模型定位
Moonlight-16B-A3B 是 Moonshot AI 发布的预训练基础语言模型,采用混合专家(MoE)架构,约有 160 亿总参数、每个 token 激活约 30 亿参数。它使用 Muon 优化器在 5.7 万亿 token 上训练。该基础模型与另行发布的指令微调版本 Moonlight-16B-A3B-Instruct 不同。(huggingface.co)
能力与用途
- 支持文本生成,官方标注上下文长度为 8K token。
- 官方评测涵盖英文知识、中文、代码和数学任务;例如报告的 MMLU 为 70.0、HumanEval 为 48.1。评测结果不保证具体应用中的表现。(huggingface.co)
- 可用于语言模型与训练优化研究、文本生成实验及自行部署。官方提供 Transformers 使用示例,并说明可使用 vLLM、SGLang 等推理引擎。(github.com)
- 官方发布了模型权重,模型卡标注 MIT 许可证。(huggingface.co)
限制
这是预训练基础模型,不应将其等同于指令微调版本。8K 是官方列出的上下文长度,不代表单独的最大输出长度;知识截止日期和独立最大输出长度未核实。自行部署仍需承担计算、存储和运维成本。
发布日期
2025-02-22;官方模型仓库的提交历史显示该日已有初始提交。(huggingface.co)
价格
截至 2026-11-19,查询官方国内和国际定价页面,未核实针对本模型的官方托管 API 输入或输出价格;因此无可确认的人民币或美元金额、计费单位或计费档位。不将其他 Kimi 模型的报价套用于本模型。(platform.kimi.com)