MiniMax‑M1Модель великомасштабного міркування з відкритим кодом з контекстом у 1 мільйон токенів та гібридною архітектурою Mixture-of-Experts.

MiniMax-M1 — це відкрито-ваговий, масштабний гібридний модель розслідування, яка працює шляхом поєднання гібрида Мixture-of-Experts (MoE) архітектури разом із швидкою механізмом уваги, що забезпечує ефективне збільшення часу виконання на етапі перевірки. Модель по суті підтримує довжину контекста 1 мільйон токенів та навчена великомасштабовим навчанням за допомогою посилених навчальних даних (RL) на різноманітних завданнях. MiniMax-M1 перевершує інші сильні відкриті-вагові моделі на складних розробках програмного забезпечення, використання інструментів та довгих завдань контексту. Дослідження на стандартних покажчиках показують, що MiniMax-M1 перевершує інші моделі у завданнях категорії, подібних до математики, програмування, інженерії програмного забезпечення, застосування корисних речей та розуміння довгих контекстів. Цей модель особливо підходить для складних завдань, які вимагають обробки довгих вхідних даних та тривалої думки. MiniMax-M1 виконує роль міцної основи для сучасних мовних моделей агентів, які можуть розуміти та вирішувати справжні світові проблеми. Завдяки порівняльній оцінці продуктивності за кількома категорійними завданнями, модель показала високу ефективність навіть порівняно з комерційним і відкритим важінням моделями. Технічний звіт містить додаткову інформацію про архітектуру моделі, протокол тренувань і результати оцінки.