模型定位
AuK 是腾讯开源的语音生成与编辑基础模型,官方称模型规模为 1.5B 参数。此条目对应面向高质量生成的 AuK 基础模型,而非采用四步推理的蒸馏版本 AuK-Flash。代码与权重于 2026 年 9 月 9 日公开,采用 MIT 许可证。(huggingface.co)
能力与用途
模型通过统一的自然语言指令接口执行语音任务,可用于配音、音频内容修改和音频修复等场景:
- 语音生成:基于参考音频的零样本文本转语音,以及仅根据声音描述生成语音。
- 内容与声学编辑:替换、插入或删除语音内容,修改歌声歌词,以及调整音高、语速和音量。
- 副语言编辑:调整情绪、音色和口音,增删呼吸或笑声等非语言声音,以及转换普通语音和耳语。
- 增强与分离:语音降噪、去混响、说话人分离、歌声提取和目标说话人提取。(huggingface.co)
限制与部署
- 本地推理除 AuK 权重外,还需加载单独的多模态编码器和 VAE 文件;部署需要相应计算资源。(huggingface.co)
- 官方在单张 NVIDIA A800 80GB、bf16 条件下测试基础模型:5 秒参考音频的峰值显存为 25.00 GiB;启用 CUDA CPU 卸载后为 16.98 GiB。这是特定测试结果,实际用量随输入长度、精度、硬件及软件版本变化。(github.com)
- 可选的 Prompt Enhancer 需要兼容 OpenAI 接口的语言模型;相关外部服务可能另行计费。语音生成和编辑结果应按实际用途检查,使用参考声音时应取得必要授权。(github.com)
价格
截至 2026 年 11 月 16 日,已检索腾讯云国内站与国际站的官方模型价格页面,均未找到可核实的 AuK 专属托管 API 报价;输入和输出的计费方式、单位及金额均未核实。开源权重可用于自行部署,但部署所需计算资源及可选外部服务的费用不等同于模型 API 价格。(cloud.tencent.com)