Présentation
Kimi-Linear-48B-A3B-Base est un modèle de langage préentraîné, destiné à la génération de texte et à la recherche sur les architectures d’attention. Il se distingue de la version Kimi-Linear-Instruct, ajustée pour suivre des instructions. Ses poids sont publiés et sa fiche indique une licence MIT. (huggingface.co)
Architecture et capacités
- Architecture de mélange d’experts : 48 milliards de paramètres au total, dont 3 milliards activés.
- Attention hybride associant Kimi Delta Attention (KDA) et Multi-Head Latent Attention (MLA), dans un rapport de 3:1.
- Fenêtre de contexte annoncée : 1 million de tokens. Le checkpoint a été entraîné sur 5 700 milliards de tokens.
- Selon les expériences de Moonshot AI, l’architecture peut réduire le cache KV jusqu’à 75 % et multiplier jusqu’à environ 6 le débit de décodage à un contexte de 1 million de tokens, par rapport à la référence MLA étudiée. Ces gains dépendent des conditions expérimentales. (huggingface.co)
Usages et limites
Le modèle peut servir à la génération et à l’analyse de textes longs, ainsi qu’à la recherche et à l’adaptation d’un modèle préentraîné. Comme il s’agit de la version Base et non Instruct, ses réponses ne doivent pas être supposées optimisées pour le dialogue ou le suivi d’instructions. Les résultats peuvent être inexacts et doivent être vérifiés ; le déploiement et l’utilisation d’un long contexte nécessitent des ressources et un moteur d’inférence adaptés. (huggingface.co)
Date de publication
30 octobre 2025. Le rapport technique correspondant a été publié à cette date. (arxiv.org)
Tarification
Au 17 novembre 2026, aucun tarif officiel d’API propre à cette version Base n’a pu être vérifié, ni en CNY sur la plateforme chinoise, ni en USD sur la plateforme internationale. Les montants et unités de facturation applicables à ses tokens d’entrée et de sortie restent donc non vérifiés ; les tarifs d’autres modèles ne lui sont pas attribués. Pages officielles consultées : tarification Chine et tarification internationale. (platform.kimi.com)