近日，在華為全聯(lián)接大會(huì)2024（HUAWEI CONNECT 2024）期間，華為云舉辦以“AI Native Cloud 全新為AI負(fù)載和應(yīng)用設(shè)計(jì)的云基礎(chǔ)設(shè)施”為主題的專(zhuān)題論壇。論壇上，華為云首席產(chǎn)品官方國(guó)偉發(fā)表了“AI Native Cloud 全棧系統(tǒng)性的持續(xù)創(chuàng)新”主題演講，詳細(xì)闡述了在AI時(shí)代，華為云如何通過(guò)AI Native Cloud 全棧系統(tǒng)性持續(xù)創(chuàng)新，全面重塑云基礎(chǔ)設(shè)施。
華為云首席產(chǎn)品官 方國(guó)偉
在演講中，方國(guó)偉表示，全新一代的AI技術(shù)將驅(qū)動(dòng)全行業(yè)進(jìn)一步加速數(shù)字化、智能化升級(jí)已成為產(chǎn)業(yè)共識(shí)。隨著人工智能進(jìn)入大模型時(shí)代，云基礎(chǔ)設(shè)施所面臨諸多挑戰(zhàn)。方國(guó)偉以業(yè)界趨勢(shì)和華為云自身實(shí)踐，總結(jié)出AI時(shí)代的云基礎(chǔ)設(shè)施面臨五大關(guān)鍵挑戰(zhàn)，包括AI算力資源建設(shè)與管理挑戰(zhàn)、極致性能與成本挑戰(zhàn)、穩(wěn)定性與快速恢復(fù)挑戰(zhàn)、工具鏈完備性與易用性挑戰(zhàn)、大模型安全風(fēng)險(xiǎn)挑戰(zhàn)。
針對(duì)云基礎(chǔ)設(shè)施面臨的五大挑戰(zhàn)，為了更好的支撐AI模型和應(yīng)用生于云、長(zhǎng)于云。方國(guó)偉提出，華為云AI原生云基礎(chǔ)設(shè)施圍繞五大方面持續(xù)創(chuàng)新“全景算力、高性價(jià)比、穩(wěn)定可靠、開(kāi)箱即用、安全可信”。
? 全景算力
為了更好的滿足新一代模型對(duì)于訓(xùn)練算力的規(guī)模倍增需求以及未來(lái)推理場(chǎng)景可能無(wú)處不在的前景。華為云的云基礎(chǔ)設(shè)施，主要向兩個(gè)方向演進(jìn)：
1、華為云將算力平臺(tái)從傳統(tǒng)的單體、通用算力，升級(jí)到基于CloudMatrix的下一代AI原生云算力平臺(tái)，通過(guò)全棧系統(tǒng)性設(shè)計(jì)，突破算力邊界和網(wǎng)絡(luò)邊界，為客戶提供一切可池化、一切皆對(duì)等、一切可組合的云矩陣算力。CloudMatrix采用新型高速互聯(lián)總線，將CPU、NPU、DPU、存儲(chǔ)和內(nèi)存等多種資源完全對(duì)等互聯(lián)起來(lái)，實(shí)現(xiàn)從集群到數(shù)據(jù)中心級(jí)的資源池化，滿足AI時(shí)代對(duì)于算力的大規(guī)模、高效穩(wěn)定、彈性靈活的需求，并能為業(yè)務(wù)帶來(lái)明顯的效率提升。
2、進(jìn)一步推進(jìn)全場(chǎng)景分布式云的構(gòu)建，讓算力可以無(wú)處不在，并實(shí)現(xiàn)全局調(diào)度。從客戶訪問(wèn)的時(shí)延維度角度，華為云通過(guò)部署中心Region、區(qū)域IEC和客戶本地CloudPond系列化的云基礎(chǔ)設(shè)施，提供少于30ms、10ms、5ms的接入時(shí)延，為企業(yè)打造滿足不同場(chǎng)景業(yè)務(wù)需求的“確定性時(shí)延”體驗(yàn)。
? 高性價(jià)比
單個(gè)GPU/NPU的顯存有限，是業(yè)界公認(rèn)的影響大模型訓(xùn)練和推理效率的一個(gè)難點(diǎn)，即業(yè)界的內(nèi)存墻難題。華為云首創(chuàng)EMS彈性內(nèi)存存儲(chǔ)服務(wù)，在NPU顯存和持久化存儲(chǔ)兩層間增加彈性內(nèi)存存儲(chǔ)層?；贛emory Pooling專(zhuān)利技術(shù)，通過(guò)顯存擴(kuò)展、算力卸載、以存代算三大創(chuàng)新來(lái)打破內(nèi)存墻。
1、首先是顯存擴(kuò)展。大模型訓(xùn)練通常采用參數(shù)并行，將模型參數(shù)分別存到多張卡的顯存中。在盤(pán)古大模型5.0的訓(xùn)練中，華為云將模型參數(shù)分層存儲(chǔ)在顯存和EMS，只用了不到一半的NPU卡，就存下了萬(wàn)億參數(shù)的大模型，算力節(jié)省超過(guò)50%。
2、其次是算力卸載。大模型推理過(guò)程中包括模型計(jì)算和KV計(jì)算，其中KV計(jì)算的顯存占用很大。華為的一張NPU卡在運(yùn)行大模型推理時(shí)原本只能支持8個(gè)并發(fā)。華為云將KV計(jì)算任務(wù)卸載到EMS和CPU上，而模型計(jì)算仍在顯存和NPU進(jìn)行。單卡的并發(fā)提升到了16個(gè)，AI推理性能提升100%。
3、最后是以存代算。大模型推理中為了節(jié)省顯存，歷史對(duì)話的KV計(jì)算結(jié)果都不會(huì)保存，后續(xù)都只能重新計(jì)算，導(dǎo)致新推理的首Token時(shí)延超過(guò)1秒?，F(xiàn)在，華為云可以將歷史KV計(jì)算結(jié)果保存在EMS里，供后續(xù)推理直接調(diào)用。優(yōu)化后推理的首Token時(shí)延降低到0.2秒以內(nèi)，優(yōu)化了80%。
? 穩(wěn)定可靠
幾乎所有訓(xùn)練大模型的客戶均會(huì)面臨到大規(guī)模集群訓(xùn)練穩(wěn)定性的問(wèn)題，華為云也把它作為一個(gè)重點(diǎn)的難題來(lái)進(jìn)行攻關(guān)。華為云昇騰AI云服務(wù)，通過(guò)搭建覆蓋全鏈路場(chǎng)景的可觀測(cè)性和可靠性管理方案，實(shí)現(xiàn)故障可診斷、可衡量、可恢復(fù)。
1.可診斷：可診斷全鏈路多部件的故障（服務(wù)器、網(wǎng)絡(luò)、平臺(tái)、作業(yè)等），支持診斷300+通用故障，100+NPU故障，50+網(wǎng)絡(luò)故障，故障診斷覆蓋度95%+。
2.可衡量：1分鐘故障檢測(cè)，5分鐘故障診斷。
3.可恢復(fù)：故障診斷根因后，10分鐘進(jìn)行故障隔離和恢復(fù)，故障恢復(fù)成功率99%。全鏈路恢復(fù)加速，實(shí)現(xiàn)CKPT寫(xiě)入讀取、圖編譯、建鏈、調(diào)度全鏈路優(yōu)化。
華為云已實(shí)現(xiàn)千卡集群長(zhǎng)穩(wěn)訓(xùn)練40天以上，故障自動(dòng)恢復(fù)，無(wú)需人工介入，故障端到端恢復(fù)時(shí)長(zhǎng)小于30分鐘。下一步華為云還將持續(xù)優(yōu)化，預(yù)計(jì)24年底端到端故障恢復(fù)時(shí)長(zhǎng)將降低至10分鐘以內(nèi)。
? 開(kāi)箱即用
為了方便客戶獲取和使用AI算力，更好的基于百模千態(tài)進(jìn)行業(yè)務(wù)創(chuàng)新。華為云全新升級(jí)了ModelArts Studio，聚焦優(yōu)質(zhì)大模型全場(chǎng)景性能精度提升，構(gòu)建云上大模型一站式模型開(kāi)發(fā)托管服務(wù)，踐行大模型即服務(wù)MaaS（Model-as-a-Service）理念。
1.開(kāi)箱即用，一站式模型應(yīng)用托管服務(wù)：提供模型調(diào)優(yōu)、壓縮、部署、評(píng)測(cè)等全棧工具，功能覆蓋大模型全生命周期，支持用戶即開(kāi)即用，低門(mén)檻使用各類(lèi)大模型。
2.模型全、免配置、免調(diào)優(yōu)、性能優(yōu)：業(yè)界SOTA大模型覆蓋度99%，預(yù)置最優(yōu)超參配置，基于昇騰算子、顯存優(yōu)化，大模型訓(xùn)練與推理性能大幅提升；并圍繞大模型性能與精度評(píng)價(jià)體系構(gòu)建標(biāo)準(zhǔn)化自動(dòng)流水線。
同時(shí)，華為云基于OBS對(duì)象存儲(chǔ)服務(wù)之上提供了構(gòu)建了實(shí)現(xiàn)語(yǔ)義向量化的知識(shí)湖存儲(chǔ)，簡(jiǎn)化客戶針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)實(shí)現(xiàn)RAG方案的難度?；趯?duì)象的讀、寫(xiě)、算分離，可以把千億級(jí)對(duì)象規(guī)模場(chǎng)景下的讀性能，從百毫秒級(jí)降到十毫秒以內(nèi)，實(shí)現(xiàn)大規(guī)模低延時(shí)的效果。同時(shí)，華為云把對(duì)性能要求比較高、頻繁訪問(wèn)的索引層放在了內(nèi)存層，并結(jié)合更便宜的對(duì)象存儲(chǔ)來(lái)實(shí)現(xiàn)持久化層。這樣通過(guò)高低結(jié)合，把整個(gè)成本做得更優(yōu)，能做到50%成本降低。
? 安全可信
人工智能進(jìn)入大模型時(shí)代，引入了新的攻擊面，平臺(tái)、插件、環(huán)境、工具鏈等都面臨新的威脅風(fēng)險(xiǎn)，結(jié)合安全權(quán)威機(jī)構(gòu)OWASP的總結(jié)及華為的自身實(shí)踐，從全棧和大模型生命周期關(guān)鍵階段視角看大模型安全風(fēng)險(xiǎn)，總結(jié)了四大安全風(fēng)險(xiǎn)，包括：基礎(chǔ)運(yùn)行環(huán)境安全風(fēng)險(xiǎn)、訓(xùn)練數(shù)據(jù)安全風(fēng)險(xiǎn)、模型內(nèi)生安全風(fēng)險(xiǎn)、內(nèi)容應(yīng)用安全風(fēng)險(xiǎn)。針對(duì)大模型四大安全風(fēng)險(xiǎn)，華為云推出4+1大模型安全解決方案：
1.基礎(chǔ)環(huán)境安全：通過(guò)安全云服務(wù)，提供基礎(chǔ)環(huán)境安全，默認(rèn)合規(guī)等保三級(jí)。
2.數(shù)據(jù)安全：通過(guò)數(shù)據(jù)安全中心DSC和ModelArts的數(shù)據(jù)工程平臺(tái)，保證訓(xùn)練數(shù)據(jù)防污染防泄露，推理數(shù)據(jù)隱私合規(guī)。
3.模型安全：通過(guò)ModelArts給模型加密，實(shí)現(xiàn)模型資產(chǎn)防盜取。
4.內(nèi)容安全：通過(guò)ModelArts Guard，防御Prompt攻擊，提供內(nèi)容審核合規(guī)。
5.最后通過(guò)安全云腦實(shí)現(xiàn)一圖可視，感知威脅，全局聯(lián)動(dòng)處置的安全運(yùn)營(yíng)。
最后，方國(guó)偉總結(jié)到：“華為云在過(guò)去數(shù)年中專(zhuān)注于云基礎(chǔ)設(shè)施的全棧系統(tǒng)性創(chuàng)新，為即將到來(lái)的企業(yè)智能化浪潮做好了充分準(zhǔn)備。今天，向大家分享了華為云AI原生云基礎(chǔ)設(shè)施在‘全景算力、高性價(jià)比、穩(wěn)定可靠、開(kāi)箱即用、安全可信’等五個(gè)關(guān)鍵維度所取得的重大突破。這些創(chuàng)新將使企業(yè)能夠?qū)⒆钕冗M(jìn)的AI技術(shù)無(wú)縫集成到其核心業(yè)務(wù)中，更好支撐企業(yè)AI業(yè)務(wù)的創(chuàng)新生于云、長(zhǎng)于云。華為云的愿景是讓AI業(yè)務(wù)在云端蓬勃發(fā)展，為客戶提供持續(xù)創(chuàng)新的沃土，助力客戶在AI 驅(qū)動(dòng)的新世界中保持領(lǐng)先地位?！?/p>
本文轉(zhuǎn)載自：，不代表科技訊之立場(chǎng)。原文鏈接：http://show.wolaioa.com.cn/preview/RWEsIYJeWbzq60XAQgSIWQ.html
