Moonlight
-
月之暗面Kimi開源Moonlight大模型:訓練效率翻倍,技術細節全公開
昨日,月之暗面Kimi發布《Muon可擴展用于LLM訓練》技術報告,正式推出基于Muon優化器訓練的混合專家模型Moonlight。該模型提供30億和160億參數兩個版本,通過5.…
昨日,月之暗面Kimi發布《Muon可擴展用于LLM訓練》技術報告,正式推出基于Muon優化器訓練的混合專家模型Moonlight。該模型提供30億和160億參數兩個版本,通過5.…