MiniMax‑M1Modèle de raisonnement à grande échelle open-source avec un contexte de 1 million de tokens et une architecture hybride Mixture‑of‑Experts

MiniMax-M1 est un modèle de raisonnement hybride à grande échelle et à attention ouverte. Il est alimenté par une architecture hybride Mixture-of-Experts (MoE) combinée à un mécanisme d'attention éclair, permettant une mise à l'échelle efficace de l'informatique en temps de test. Le modèle prend nativement en charge une longueur de contexte d'un million de jetons et est formé à l'aide d'un apprentissage par renforcement (RL) à grande échelle sur divers problèmes. Il surpasse d'autres modèles ouverts robustes sur des tâches complexes d'ingénierie logicielle, d'utilisation d'outils et de contexte long. Des expériences sur des benchmarks standards montrent que MiniMax-M1 surpasse d'autres modèles dans des tâches catégorielles telles que les mathématiques, la programmation, l'ingénierie logiciel, l'utilisation d'outils agétiques et la compréhension de contexte long. Le modèle est particulièrement adapté aux tâches complexes qui nécessitent le traitement d'entrées longues et une réflexion approfondie. MiniMax-M1 sert de base solide aux agents de modèles de langage de nouvelle génération pour raisonner et relever les défis du monde réel. La comparaison des performances de référence des modèles commerciaux et ouverts leaders à travers différentes tâches de catégories met en évidence les performances du modèle. Le rapport technique fournit plus d'informations sur l'architecture du modèle, le protocole d'entraînement et les résultats de l'évaluation.