谷歌近日發布其大模型矩陣的最新力作——Gemini 1.5，并將上下文窗口長度擴展到100萬個tokens。
Gemini 1.5 Pro達到了與1.0 Ultra相當的質量，同時使用了更少的計算。該模型在長語境理解方面取得突破，能夠顯著增加模型可處理的信息量——持續運行多達100萬個tokens，實現迄今任何大型基礎模型中最長的上下文窗口。
這意味著Gemini 1.5 Pro可一次處理大量的信息——包括1小時的視頻、11小時的音頻、超過3萬行代碼或超過70萬字的代碼庫。
從今天開始，谷歌將通過AI Studio和Vertex AI向開發者和企業客戶提供Gemini 1.5 Pro的有限預覽版。
此外，谷歌透露其在研究中還成功測試了多達1000萬個tokens。
AI模型的“上下文窗口”由tokens組成，這些tokens是用于處理信息的構建塊。上下文窗口越大，它在給定的提示中可接收和處理的信息就越多，從而使其輸出更加一致、相關和有用。
通過一系列機器學習創新，谷歌將上下文窗口容量大大增加，從Gemini 1.0最初的32,000個tokens，增加到1.5 Pro的100萬個tokens。
Gemini 1.5 Pro帶有標準的128,000個tokens的上下文窗口。從今天開始，有限的開發人員和企業客戶可通過AI Studio和Vertex AI在私有預覽中試用多達100萬個tokens的上下文窗口。當推出完整的100萬個tokens上下文窗口，谷歌正在積極地進行優化，以改善延遲，減少計算需求并增強用戶體驗。
Gemini 1.5構建于谷歌對Transformer和MoE架構的研究基礎之上。傳統的Transformer是一個大型神經網絡，而MoE模型被分成更小的“專家”神經網絡。
根據給定的輸入類型，MoE模型學會選擇性地激活其神經網絡中最相關的專家路徑。這種專業化極大地提高了模型的效率。谷歌一直是深度學習的MoE技術的早期采用者和研發先驅。
谷歌在模型架構上的最新創新使Gemini 1.5能夠更快地學習復雜的任務并保持質量，同時更有效地進行訓練和服務。這正幫助其團隊以更快的速度迭代、訓練和交付更先進的Gemini版本。
原創文章，作者：潮玩君，如若轉載，請注明出處：http://www.bdzhitong.com/article/630693.html
