在風云變幻的AI大模型時代，科大訊飛與華為的聯合拓展令人印象深刻。過去幾年來，雙方協同創新突破重重障礙，一次次證明國產算力基礎設施可以支撐國產AI大模型良性發展，在關鍵性能和體驗上不輸世界領先玩家，同時具備更佳的成本效益。
10月24日，以“萬物智聯 生生不息”為主題的科大訊飛全球1024開發者節隆重舉行。下午的央國企論壇上，科大訊飛與華為再度強強聯手，共同發布訊飛星火&華為數據存儲AI解決方案，將AI集群算力利用率提升30%，助力國產大模型創新突圍，在業內樹立起“以存強算”的又一標桿。
該AI存儲解決方案通過華為OceanStor A系列全新硬件、訊飛星火基礎大模型軟硬協同，深度優化，可支持萬億參數大模型，大規模算力集群的訓推任務，實現訓推全流程加速，助力大模型算力利用率大幅提升，為業界輸出了一份凝結雙方技術與經驗的標準方案。
極致性能“以存強算”，AI集群算力利用率提升超30%
根據規模定律（Scaling Law），更強的算力加上更多的有效訓練數據，可以得到更好的AI大模型。這意味著，大模型的訓練和推理不僅需要強大的算力支持，還需要高效的存儲系統來保證數據的快速讀寫和處理，存儲系統的性能直接影響到大模型的訓練效率和效果?。
為了解決大模型訓練中的存儲挑戰，需要采用高性能的存儲方案。例如，使用高性能NAS存儲系統可以顯著提高數據讀寫速度，減少訓練過程中的等待時間?。此外，優化存儲架構和采用更適合大模型訓練的存儲解決方案，也可以提高訓練效率?。
此番發布的訊飛星火&華為數據存儲AI解決方案，正采用了華為新一代OceanStor A系列AI存儲，通過創新數控分離架構，高性能并行客戶端，實現了百TB級帶寬，百億級IOPS，將訓練集加載效率提升8倍，斷點續訓速度提升4倍，最終使得AI集群算力的利用率提升了超過30%。
資料顯示，隨著大模型集群規模增長，集群的算力利用率并未同步提升，千卡以上大模型算力利用率不足50%。而科大訊飛聯合華為搭建的大規模AI集群，算力利用率常年保持在60%以上的高位，大幅領先于業內水平，背后的支撐之一正是華為數據存儲提供的高性能存力底座。
超大規模調度，AI數據湖讓大模型數據全局可管可用
在追求存儲性能的同時，存儲容量也是大模型存力底座的關鍵。隨著AI技術快速發展，AI大模型從單模態發展到多模態，短短數年時間大模型訓練的數據量已呈現1000倍的增長，亟需為AI算力集群建設AI數據湖，規模擴展并打破數據煙囪，實現全局流動可管可用。
大模型訓練需要處理的數據通常以圖片、文檔等小文件的形式存在，傳統的存儲系統面對這些小文件存在加載速度慢的問題，影響訓練效率?。企業擁抱大模型首當其沖便是要對這些海量多源異構數據進行高效管理，做好數據歸集、預處理等準備工作，才能保障大模型訓練的效率及效果。
在這個維度，華為新一代OceanStor A系列AI存儲具備無損多協議互通、冷熱數據智能分級專業存儲能力，支持512控橫向大規模擴展能力，支持EB級存儲空間；通過使用統一的AI數據湖存儲大模型數據，可實現冷熱數據分級存儲，跨越數據孤島，打破數據界限，確保了模型內數據的高效流動，為大模型訓練做好充分的數據準備。
伴隨著訊飛星火&華為數據存儲AI解決方案的發布，訊飛星火訓推平臺的AI數據湖成功經驗也浮出水面。據介紹，經過多輪技術迭代演進，訊飛建設AI數據湖底座，有效支撐了十萬億參數級別的通用多模態大模型訓練，并大幅提升了集群算力利用率。
技術與經驗深度耦合，構建AI Ready的數據基礎設施
值得注意的是，此次發布的訊飛星火&華為數據存儲AI解決方案并非雙方的“即興之作”，此前雙方便在存算分離、統一存儲平臺等方面展開了合作。隨著大模型持續演進，兩家又于去年7月正式啟動AI存力底座的聯合創新項目，旨在共同打造面向AI大模型場景的最佳數據存儲解決方案。
實際上，在驅動AI發展的三駕馬車中，隨著算力逐漸趨同、算法加速收斂，蓬勃發展的數據成了影響大模型效果的核心要素。業界也逐漸意識到，數據規模和質量決定AI智能的高度，為了提升從數據獲取、數據預處理、模型訓練、推理應用的AI全流程效率，消除數據孤島帶來的海量數據搬遷，一個高性能、穩定可靠的統一存力底座是必不可少的基石。
為此，科大訊飛在依托全國產化算力平臺打造訊飛星火認知基礎大模型時，也基于大模型數據和訓練閉環全流程設計、訓練和推理一體化設計的思路，自研超大規模大模型訓練平臺，迭代升級自家的大模型，先行先試趟出了一條探索Storage for AI、構建AI Ready的數據基礎設施的“訊飛之道”。
資料顯示，在訊飛大模型訓練平臺的加持下，訊飛星火大模型歷經數個版本的升級，目前已在文本生成、語言理解、知識問答、邏輯推理、數學能力、代碼能力、多模交互7大核心能力維度實現全國領先，通過中國信通院AIGC大模型基礎能力評測并獲得4+級的高評分，部分能力更是全面超過OpenAI的最新模型GPT-4 Turbo。
實踐出真知，相信這種源自訊飛星火與華為數據存儲雙方的技術與經驗，深度耦合而“孵化”出來的AI存儲解決方案，必將能夠加速AI Ready的數據基礎設施建設，為客戶帶來高性能、高擴展和更智能的AI訓推體驗，推動AI產業發展，將AI大模型的算力真正轉化為企業組織的新質生產力！
本文轉載自：，不代表科技訊之立場。原文鏈接：http://v.mrkbao.com/news/111202410251402406307786422.html
