6月28日至29日，「稀土開發(fā)者大會(huì)」在北京圓滿落幕，這場(chǎng)為期兩天的盛會(huì)以“代碼不止 掘金不?！睘橹黝}，匯聚了業(yè)界精英的璀璨光芒?；顒?dòng)特邀5位重量級(jí)主論壇嘉賓、12位卓越出品人以及超過(guò)70位技術(shù)先鋒，精心策劃了10大前沿主題分論壇，跨越地域界限，攜手引領(lǐng)技術(shù)潮流，深入剖析行業(yè)最新趨勢(shì)與未來(lái)發(fā)展方向。
作為本次大會(huì)的戰(zhàn)略合作伙伴，英特爾不僅在主論壇與分論壇上貢獻(xiàn)了精彩紛呈的內(nèi)容，更在外部展區(qū)大放異彩，聚焦于大模型與genAI的賦能展示。不僅展現(xiàn)了其在推動(dòng)AI技術(shù)革新方面的深厚實(shí)力，更為參會(huì)者搭建了一個(gè)近距離感受未來(lái)科技魅力的平臺(tái)。
開放生態(tài) 賦能創(chuàng)新
英特爾公司副總裁、英特爾中國(guó)軟件與先進(jìn)技術(shù)事業(yè)部總經(jīng)理李映在稀土開發(fā)者大會(huì)主論壇上帶來(lái)了主題 《開放生態(tài)，賦能創(chuàng)新：英特爾如何通過(guò)開源開放推動(dòng)GenAI 產(chǎn)業(yè)生態(tài)繁榮》 。會(huì)上，他強(qiáng)調(diào)英特爾公司通過(guò)技術(shù)趨勢(shì)引領(lǐng)和開源社區(qū)建設(shè)，推動(dòng)社區(qū)繁榮，同時(shí)在硬件支持和創(chuàng)新項(xiàng)目培育方面發(fā)揮著重要作用。英特爾的技術(shù)合作釋放了硬件算力，OS優(yōu)化快速部署，顯著提升了性能，尤其是在veLinux操作系統(tǒng)上的應(yīng)用性能。通過(guò)社區(qū)治理和創(chuàng)新項(xiàng)目，展示了硬件級(jí)安全方案和資源管理的重要性。英特爾還推動(dòng)了AI創(chuàng)新應(yīng)用在多媒體內(nèi)容生成、教育等領(lǐng)域的發(fā)展。
展望2024年，英特爾計(jì)劃通過(guò)開放生態(tài)系統(tǒng)解鎖企業(yè)人工智能，推動(dòng)異構(gòu)計(jì)算AI加速框架，與Linux Foundation等合作伙伴共同構(gòu)建開放、標(biāo)準(zhǔn)的多架構(gòu)加速計(jì)算生態(tài)系統(tǒng)。英特爾中國(guó)將繼續(xù)加強(qiáng)全球開源社區(qū)合作，加速技術(shù)應(yīng)用創(chuàng)新，推動(dòng)產(chǎn)業(yè)落地，釋放底層算力，實(shí)現(xiàn)AI的無(wú)處不在。
圖：英特爾公司副總裁、英特爾中國(guó)軟件與先進(jìn)技術(shù)事業(yè)部總經(jīng)理李映
在「大模型部署與推理」的分論壇上，英特爾高級(jí)軟件工程師 繆金成、英特爾AI框架軟件工程師 王錫貴 分別帶來(lái)了《使用英特爾優(yōu)化工具加速GenAI/LLM應(yīng)用》以及《英特爾基于transformer的工具集加速LLM》的主題演講。
繆金成首先介紹了至強(qiáng)平臺(tái)憑借其強(qiáng)大的計(jì)算能力和可擴(kuò)展性，在支撐復(fù)雜LLM運(yùn)行方面的獨(dú)特優(yōu)勢(shì)。具體而言，通過(guò)利用該平臺(tái)提供的32個(gè)物理核心以及 xFT + vLLM技術(shù)，實(shí)現(xiàn)了多路并發(fā)的卓越效果，顯著提升了模型處理速度與響應(yīng)能力。他進(jìn)一步分享了具體的部署經(jīng)驗(yàn)，包括如何選擇合適的硬件配置、優(yōu)化軟件棧以充分利用硬件資源，以及利用部署工具簡(jiǎn)化流程、加速部署周期。最終，通過(guò)實(shí)例展示，驗(yàn)證了至強(qiáng)平臺(tái)在支持高并發(fā)、低延遲LLM服務(wù)方面的卓越表現(xiàn)。
圖：英特爾高級(jí)軟件工程師 繆金成
王錫貴著重介紹了英特爾擴(kuò)展工具包，這是一個(gè)為加速Transformer模型而設(shè)計(jì)的創(chuàng)新工具集。他詳細(xì)說(shuō)明了該工具包如何支持模型量化，以減少內(nèi)存占用同時(shí)保持計(jì)算精度。并分享了全面的安裝和配置指南，指導(dǎo)用戶如何在不同的操作系統(tǒng)和軟件版本上部署和優(yōu)化模型。此外，他還列出了工具包支持的大型語(yǔ)言模型，并提供了詳盡的性能數(shù)據(jù)，展示了這些模型在不同硬件上的表現(xiàn)。
圖：英特爾AI框架軟件工程師 王錫貴
在「GenAI技術(shù)實(shí)踐」分論壇上，英特爾軟件工程師 林立凡帶來(lái)了主題為《火山引擎g3i實(shí)例：基于第五代至強(qiáng)處理器的文生圖實(shí)踐》
林立凡在演講中總結(jié)了基于英特爾第五代至強(qiáng)處理器在文生圖技術(shù)上的實(shí)踐突破。他強(qiáng)調(diào)了火山g3i實(shí)例的架構(gòu)優(yōu)勢(shì)，特別是Intel AMX技術(shù)如何通過(guò)硬件加速提升深度學(xué)習(xí)性能。同時(shí)，他介紹了英特爾軟件棧的優(yōu)化，包括針對(duì)PyTorch、TensorFlow等框架的調(diào)整及AMX性能優(yōu)化。通過(guò)Huggingface pipeline的實(shí)戰(zhàn)案例，展示了這些優(yōu)化如何在實(shí)際應(yīng)用中提升圖像生成服務(wù)的效率。
圖：英特爾軟件工程師 林立凡
在「大模型工具鏈的應(yīng)用與實(shí)踐」分論壇上，英特爾AI框架軟件工程師 王再勵(lì)帶來(lái)了主題為《助力PyTorch加速大語(yǔ)言模型》
在演講中他深入剖析了Intel Extension for PyTorch，這一專為強(qiáng)化PyTorch在英特爾平臺(tái)上性能的定制優(yōu)化工具集。王再勵(lì)簡(jiǎn)明扼要地介紹了三大核心優(yōu)化策略：算子級(jí)優(yōu)化、自動(dòng)混合精度加速及數(shù)據(jù)布局智能調(diào)整，這些策略協(xié)同作用，顯著加速了深度學(xué)習(xí)模型的訓(xùn)練與推理過(guò)程。針對(duì)大型語(yǔ)言模型（LLM）的內(nèi)存瓶頸，王再勵(lì)介紹了一系列創(chuàng)新優(yōu)化方案，涵蓋GEMM計(jì)算加速、圖結(jié)構(gòu)優(yōu)化、權(quán)重量化技術(shù)、K-V緩存策略優(yōu)化及高效的分布式推理方法。他特別強(qiáng)調(diào)了SmoothQuant與權(quán)重量化技術(shù)的應(yīng)用，這些技術(shù)能夠在保持模型精度的同時(shí)，大幅提升計(jì)算效率。
圖：英特爾AI框架軟件工程師 王再勵(lì)
展區(qū)探秘 科技觸手可及
走進(jìn)英特爾展區(qū)，立刻領(lǐng)略到科技的前沿魅力。展區(qū)設(shè)計(jì)現(xiàn)代且富有科技感。展品展示了英特爾的發(fā)展歷程和最新技術(shù)成果，還通過(guò)豐富的互動(dòng)體驗(yàn)，讓參觀者近距離感受科技的魅力。無(wú)論是科技愛好者、專業(yè)人士還是普通觀眾，都能在這里找到感興趣的內(nèi)容，全面了解英特爾如何通過(guò)科技創(chuàng)新引領(lǐng)未來(lái)。
本文轉(zhuǎn)載自：，不代表科技訊之立場(chǎng)。原文鏈接：http://show.wolaioa.com.cn/preview/XbFKG61g0ZrQ4pGlTaWHCQ.html
