← Tous les modèles

Moonlight-16B-A3B

Publication Éditeur Moonshot AI

Positionnement du modèle

Moonlight-16B-A3B est un modèle de langage de base préentraîné publié par Moonshot AI. Il utilise une architecture de mélange d’experts (MoE), avec environ 16 milliards de paramètres au total et environ 3 milliards de paramètres activés par token. Il a été entraîné sur 5,7 billions de tokens à l’aide de l’optimiseur Muon. Ce modèle de base se distingue de la version ajustée pour suivre des instructions, Moonlight-16B-A3B-Instruct, publiée séparément. (huggingface.co)

Capacités et usages

  • Prend en charge la génération de texte, avec une longueur de contexte officiellement indiquée de 8K tokens.
  • Les évaluations officielles couvrent les connaissances en anglais, le chinois, le code et les tâches mathématiques ; par exemple, les résultats rapportés sont de 70.0 pour MMLU et de 48.1 pour HumanEval. Les résultats des évaluations ne garantissent pas les performances dans une application donnée. (huggingface.co)
  • Peut être utilisé pour la recherche sur les modèles de langage et l’optimisation de l’entraînement, les expériences de génération de texte et le déploiement autonome. Un exemple d’utilisation avec Transformers est fourni officiellement, et il est indiqué que des moteurs d’inférence tels que vLLM et SGLang peuvent être utilisés. (github.com)
  • Les poids du modèle ont été publiés officiellement ; la fiche du modèle indique une licence MIT. (huggingface.co)

Limites

Il s’agit d’un modèle de base préentraîné, qui ne doit pas être assimilé à la version ajustée pour suivre des instructions. 8K est la longueur de contexte indiquée officiellement et ne représente pas une longueur maximale de sortie distincte ; la date limite des connaissances et la longueur maximale de sortie distincte n’ont pas été vérifiées. Un déploiement autonome implique toujours des coûts de calcul, de stockage et d’exploitation.

Date de publication

2025-02-22 ; l’historique des commits du dépôt officiel du modèle montre qu’un commit initial existait déjà à cette date. (huggingface.co)

Prix

Au 2026-11-19, après consultation des pages officielles de tarification nationale et internationale, aucun prix officiel d’entrée ou de sortie pour une API hébergée propre à ce modèle n’a été vérifié ; aucun montant en yuans ou en dollars américains, aucune unité de facturation ni aucun palier tarifaire ne peuvent donc être confirmés. Les tarifs d’autres modèles Kimi ne sont pas appliqués à ce modèle. (platform.kimi.com)

Sources officielles