1月15日，“AI六小虎”之一的MiniMax發(fā)布并開源了新一代01系列模型，包含基礎語言大模型MiniMax-Text-01和視覺多模態(tài)大模型MiniMax-VL-01。該系列模型使用多項突破性創(chuàng)新，以大規(guī)模應用線性注意力機制打破了Transformer傳統(tǒng)架構的記憶瓶頸。

未來，AI智能體有望成為最重要的產(chǎn)品形態(tài)，由于智能體處理的任務變得越來越復雜，涉及的數(shù)據(jù)量也越來越大，單個智能體的記憶以及多個智能體協(xié)作間的上下文都會變得越來越長。因此，長上下文能力與多模態(tài)處理能力的提升至關重要。

技術上，MiniMax-01系列模型首次將線性注意力機制擴展到商用模型的級別，受益于此次架構創(chuàng)新，該系列模型在處理長輸入的時候具有非常高的效率，接近線性復雜度。從規(guī)模效應、結(jié)構設計、訓練優(yōu)化和推理優(yōu)化等層面綜合考慮，MiniMax選擇模型參數(shù)量為4560億，其中每次激活459億，能夠高效處理400萬token的上下文，將有效替代Transformer傳統(tǒng)架構并開啟超長文本輸入時代。相較于Gemini等一眾全球頂級模型，MiniMax-01隨著輸入長度變長，性能衰減最慢。

值得注意的是，MiniMax還開源了Text-01模型、VL-01模型的完整權重，以便于更多開發(fā)者做有價值、突破性的研究。MiniMax方面表示，“我們認為這有可能啟發(fā)更多長上下文的研究和應用，從而更快促進Agent時代的到來，二是開源也能促使我們努力做更多創(chuàng)新，更高質(zhì)量地開展后續(xù)的模型研發(fā)工作。”