日韩欧美亚洲一区,亚洲一区二区精品,在线观看国精产品一区,蜜臀99久久精品久久久久小说

華為云方國(guó)偉:AI Native Cloud 全棧系統(tǒng)性創(chuàng)新,重塑云基礎(chǔ)設(shè)施

近日,在華為全聯(lián)接大會(huì)2024(HUAWEI CONNECT 2024)期間,華為云舉辦以“AI Native Cloud 全新為AI負(fù)載和應(yīng)用設(shè)計(jì)的云基礎(chǔ)設(shè)施”為主題的專(zhuān)題論壇。論壇上,華為云首席產(chǎn)品官方國(guó)偉發(fā)表了“AI Native Cloud 全棧系統(tǒng)性的持續(xù)創(chuàng)新”主題演講,詳細(xì)闡述了在AI時(shí)代,華為云如何通過(guò)AI Native Cloud 全棧系統(tǒng)性持續(xù)創(chuàng)新,全面重塑云基礎(chǔ)設(shè)施。

華為云方國(guó)偉:AI Native Cloud 全棧系統(tǒng)性創(chuàng)新,重塑云基礎(chǔ)設(shè)施

華為云首席產(chǎn)品官 方國(guó)偉

在演講中,方國(guó)偉表示,全新一代的AI技術(shù)將驅(qū)動(dòng)全行業(yè)進(jìn)一步加速數(shù)字化、智能化升級(jí)已成為產(chǎn)業(yè)共識(shí)。隨著人工智能進(jìn)入大模型時(shí)代,云基礎(chǔ)設(shè)施所面臨諸多挑戰(zhàn)。方國(guó)偉以業(yè)界趨勢(shì)和華為云自身實(shí)踐,總結(jié)出AI時(shí)代的云基礎(chǔ)設(shè)施面臨五大關(guān)鍵挑戰(zhàn),包括AI算力資源建設(shè)與管理挑戰(zhàn)、極致性能與成本挑戰(zhàn)、穩(wěn)定性與快速恢復(fù)挑戰(zhàn)、工具鏈完備性與易用性挑戰(zhàn)、大模型安全風(fēng)險(xiǎn)挑戰(zhàn)。

針對(duì)云基礎(chǔ)設(shè)施面臨的五大挑戰(zhàn),為了更好的支撐AI模型和應(yīng)用生于云、長(zhǎng)于云。方國(guó)偉提出,華為云AI原生云基礎(chǔ)設(shè)施圍繞五大方面持續(xù)創(chuàng)新“全景算力、高性價(jià)比、穩(wěn)定可靠、開(kāi)箱即用、安全可信”。

華為云方國(guó)偉:AI Native Cloud 全棧系統(tǒng)性創(chuàng)新,重塑云基礎(chǔ)設(shè)施

?  全景算力

為了更好的滿足新一代模型對(duì)于訓(xùn)練算力的規(guī)模倍增需求以及未來(lái)推理場(chǎng)景可能無(wú)處不在的前景。華為云的云基礎(chǔ)設(shè)施,主要向兩個(gè)方向演進(jìn):

1、華為云將算力平臺(tái)從傳統(tǒng)的單體、通用算力,升級(jí)到基于CloudMatrix的下一代AI原生云算力平臺(tái),通過(guò)全棧系統(tǒng)性設(shè)計(jì),突破算力邊界和網(wǎng)絡(luò)邊界,為客戶提供一切可池化、一切皆對(duì)等、一切可組合的云矩陣算力。CloudMatrix采用新型高速互聯(lián)總線,將CPU、NPU、DPU、存儲(chǔ)和內(nèi)存等多種資源完全對(duì)等互聯(lián)起來(lái),實(shí)現(xiàn)從集群到數(shù)據(jù)中心級(jí)的資源池化,滿足AI時(shí)代對(duì)于算力的大規(guī)模、高效穩(wěn)定、彈性靈活的需求,并能為業(yè)務(wù)帶來(lái)明顯的效率提升。

2、進(jìn)一步推進(jìn)全場(chǎng)景分布式云的構(gòu)建,讓算力可以無(wú)處不在,并實(shí)現(xiàn)全局調(diào)度。從客戶訪問(wèn)的時(shí)延維度角度,華為云通過(guò)部署中心Region、區(qū)域IEC和客戶本地CloudPond系列化的云基礎(chǔ)設(shè)施,提供少于30ms、10ms、5ms的接入時(shí)延,為企業(yè)打造滿足不同場(chǎng)景業(yè)務(wù)需求的“確定性時(shí)延”體驗(yàn)。

?  高性價(jià)比

單個(gè)GPU/NPU的顯存有限,是業(yè)界公認(rèn)的影響大模型訓(xùn)練和推理效率的一個(gè)難點(diǎn),即業(yè)界的內(nèi)存墻難題。華為云首創(chuàng)EMS彈性內(nèi)存存儲(chǔ)服務(wù),在NPU顯存和持久化存儲(chǔ)兩層間增加彈性內(nèi)存存儲(chǔ)層?;贛emory Pooling專(zhuān)利技術(shù),通過(guò)顯存擴(kuò)展、算力卸載、以存代算三大創(chuàng)新來(lái)打破內(nèi)存墻。

1、首先是顯存擴(kuò)展。大模型訓(xùn)練通常采用參數(shù)并行,將模型參數(shù)分別存到多張卡的顯存中。在盤(pán)古大模型5.0的訓(xùn)練中,華為云將模型參數(shù)分層存儲(chǔ)在顯存和EMS,只用了不到一半的NPU卡,就存下了萬(wàn)億參數(shù)的大模型,算力節(jié)省超過(guò)50%。

2、其次是算力卸載。大模型推理過(guò)程中包括模型計(jì)算和KV計(jì)算,其中KV計(jì)算的顯存占用很大。華為的一張NPU卡在運(yùn)行大模型推理時(shí)原本只能支持8個(gè)并發(fā)。華為云將KV計(jì)算任務(wù)卸載到EMS和CPU上,而模型計(jì)算仍在顯存和NPU進(jìn)行。單卡的并發(fā)提升到了16個(gè),AI推理性能提升100%。

3、最后是以存代算。大模型推理中為了節(jié)省顯存,歷史對(duì)話的KV計(jì)算結(jié)果都不會(huì)保存,后續(xù)都只能重新計(jì)算,導(dǎo)致新推理的首Token時(shí)延超過(guò)1秒?,F(xiàn)在,華為云可以將歷史KV計(jì)算結(jié)果保存在EMS里,供后續(xù)推理直接調(diào)用。優(yōu)化后推理的首Token時(shí)延降低到0.2秒以內(nèi),優(yōu)化了80%。

?  穩(wěn)定可靠

幾乎所有訓(xùn)練大模型的客戶均會(huì)面臨到大規(guī)模集群訓(xùn)練穩(wěn)定性的問(wèn)題,華為云也把它作為一個(gè)重點(diǎn)的難題來(lái)進(jìn)行攻關(guān)。華為云昇騰AI云服務(wù),通過(guò)搭建覆蓋全鏈路場(chǎng)景的可觀測(cè)性和可靠性管理方案,實(shí)現(xiàn)故障可診斷、可衡量、可恢復(fù)。

1.可診斷:可診斷全鏈路多部件的故障(服務(wù)器、網(wǎng)絡(luò)、平臺(tái)、作業(yè)等),支持診斷300+通用故障,100+NPU故障,50+網(wǎng)絡(luò)故障,故障診斷覆蓋度95%+。

2.可衡量:1分鐘故障檢測(cè),5分鐘故障診斷。

3.可恢復(fù):故障診斷根因后,10分鐘進(jìn)行故障隔離和恢復(fù),故障恢復(fù)成功率99%。全鏈路恢復(fù)加速,實(shí)現(xiàn)CKPT寫(xiě)入讀取、圖編譯、建鏈、調(diào)度全鏈路優(yōu)化。

華為云已實(shí)現(xiàn)千卡集群長(zhǎng)穩(wěn)訓(xùn)練40天以上,故障自動(dòng)恢復(fù),無(wú)需人工介入,故障端到端恢復(fù)時(shí)長(zhǎng)小于30分鐘。下一步華為云還將持續(xù)優(yōu)化,預(yù)計(jì)24年底端到端故障恢復(fù)時(shí)長(zhǎng)將降低至10分鐘以內(nèi)。

?  開(kāi)箱即用

為了方便客戶獲取和使用AI算力,更好的基于百模千態(tài)進(jìn)行業(yè)務(wù)創(chuàng)新。華為云全新升級(jí)了ModelArts Studio,聚焦優(yōu)質(zhì)大模型全場(chǎng)景性能精度提升,構(gòu)建云上大模型一站式模型開(kāi)發(fā)托管服務(wù),踐行大模型即服務(wù)MaaS(Model-as-a-Service)理念。

1.開(kāi)箱即用,一站式模型應(yīng)用托管服務(wù):提供模型調(diào)優(yōu)、壓縮、部署、評(píng)測(cè)等全棧工具,功能覆蓋大模型全生命周期,支持用戶即開(kāi)即用,低門(mén)檻使用各類(lèi)大模型。

2.模型全、免配置、免調(diào)優(yōu)、性能優(yōu):業(yè)界SOTA大模型覆蓋度99%,預(yù)置最優(yōu)超參配置,基于昇騰算子、顯存優(yōu)化,大模型訓(xùn)練與推理性能大幅提升;并圍繞大模型性能與精度評(píng)價(jià)體系構(gòu)建標(biāo)準(zhǔn)化自動(dòng)流水線。

同時(shí),華為云基于OBS對(duì)象存儲(chǔ)服務(wù)之上提供了構(gòu)建了實(shí)現(xiàn)語(yǔ)義向量化的知識(shí)湖存儲(chǔ),簡(jiǎn)化客戶針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)實(shí)現(xiàn)RAG方案的難度?;趯?duì)象的讀、寫(xiě)、算分離,可以把千億級(jí)對(duì)象規(guī)模場(chǎng)景下的讀性能,從百毫秒級(jí)降到十毫秒以內(nèi),實(shí)現(xiàn)大規(guī)模低延時(shí)的效果。同時(shí),華為云把對(duì)性能要求比較高、頻繁訪問(wèn)的索引層放在了內(nèi)存層,并結(jié)合更便宜的對(duì)象存儲(chǔ)來(lái)實(shí)現(xiàn)持久化層。這樣通過(guò)高低結(jié)合,把整個(gè)成本做得更優(yōu),能做到50%成本降低。

?  安全可信

人工智能進(jìn)入大模型時(shí)代,引入了新的攻擊面,平臺(tái)、插件、環(huán)境、工具鏈等都面臨新的威脅風(fēng)險(xiǎn),結(jié)合安全權(quán)威機(jī)構(gòu)OWASP的總結(jié)及華為的自身實(shí)踐,從全棧和大模型生命周期關(guān)鍵階段視角看大模型安全風(fēng)險(xiǎn),總結(jié)了四大安全風(fēng)險(xiǎn),包括:基礎(chǔ)運(yùn)行環(huán)境安全風(fēng)險(xiǎn)、訓(xùn)練數(shù)據(jù)安全風(fēng)險(xiǎn)、模型內(nèi)生安全風(fēng)險(xiǎn)、內(nèi)容應(yīng)用安全風(fēng)險(xiǎn)。針對(duì)大模型四大安全風(fēng)險(xiǎn),華為云推出4+1大模型安全解決方案:

1.基礎(chǔ)環(huán)境安全:通過(guò)安全云服務(wù),提供基礎(chǔ)環(huán)境安全,默認(rèn)合規(guī)等保三級(jí)。

2.數(shù)據(jù)安全:通過(guò)數(shù)據(jù)安全中心DSC和ModelArts的數(shù)據(jù)工程平臺(tái),保證訓(xùn)練數(shù)據(jù)防污染防泄露,推理數(shù)據(jù)隱私合規(guī)。

3.模型安全:通過(guò)ModelArts給模型加密,實(shí)現(xiàn)模型資產(chǎn)防盜取。

4.內(nèi)容安全:通過(guò)ModelArts Guard,防御Prompt攻擊,提供內(nèi)容審核合規(guī)。

5.最后通過(guò)安全云腦實(shí)現(xiàn)一圖可視,感知威脅,全局聯(lián)動(dòng)處置的安全運(yùn)營(yíng)。

最后,方國(guó)偉總結(jié)到:“華為云在過(guò)去數(shù)年中專(zhuān)注于云基礎(chǔ)設(shè)施的全棧系統(tǒng)性創(chuàng)新,為即將到來(lái)的企業(yè)智能化浪潮做好了充分準(zhǔn)備。今天,向大家分享了華為云AI原生云基礎(chǔ)設(shè)施在‘全景算力、高性價(jià)比、穩(wěn)定可靠、開(kāi)箱即用、安全可信’等五個(gè)關(guān)鍵維度所取得的重大突破。這些創(chuàng)新將使企業(yè)能夠?qū)⒆钕冗M(jìn)的AI技術(shù)無(wú)縫集成到其核心業(yè)務(wù)中,更好支撐企業(yè)AI業(yè)務(wù)的創(chuàng)新生于云、長(zhǎng)于云。華為云的愿景是讓AI業(yè)務(wù)在云端蓬勃發(fā)展,為客戶提供持續(xù)創(chuàng)新的沃土,助力客戶在AI 驅(qū)動(dòng)的新世界中保持領(lǐng)先地位?!?/p>

本文轉(zhuǎn)載自:,不代表科技訊之立場(chǎng)。原文鏈接:http://show.wolaioa.com.cn/preview/RWEsIYJeWbzq60XAQgSIWQ.html

陳晨陳晨管理團(tuán)隊(duì)

相關(guān)推薦

發(fā)表回復(fù)

登錄后才能評(píng)論
主站蜘蛛池模板: 高陵县| 疏附县| 那坡县| 大化| 紫金县| 杂多县| 南澳县| 枞阳县| 浦东新区| 江阴市| 全州县| 萝北县| 鄢陵县| 康定县| 常熟市| 淳安县| 张家口市| 宿迁市| 文安县| 扶余县| 朔州市| 琼结县| 贵溪市| 亚东县| 汉川市| 苏尼特右旗| 溧水县| 灵宝市| 普安县| 天峻县| 连云港市| 鄂州市| 望奎县| 陇川县| 玉屏| 横峰县| 武鸣县| 弥勒县| 临漳县| 娄烦县| 新竹县|