# Audiobox

页面：https://maomu.com/p/audiobox-metademolab-com

一款 AI 音频生成工具，利用自然语言提示和语音输入生成逼真的语音和音效

## 产品介绍

**[Audiobox](https://ai.meta.com/blog/audiobox-generating-audio-voice-natural-language-prompts/)** 是由 Meta AI 研究团队（FAIR）开发的一款 AI 音频生成工具，利用自然语言提示和语音输入生成逼真的语音和音效，适用于短视频配音、播客、游戏音效等多种场景。

***

#### 1\. 网站概述

**Audiobox** 是 Meta 在 2023 年 12 月发布的一款基础研究模型，专注于音频生成，继其前代模型 Voicebox 之后进一步提升了音频生成和编辑的控制能力与质量。根据 Meta 官方博客（https://ai.meta.com/blog/audiobox-generating-audio-voice-natural-language-prompts/），Audiobox 通过结合自然语言文本提示和语音输入，生成高质量的语音、音效和环境音，旨在降低音频创作的门槛，使普通用户也能轻松创建专业级音频内容。

Audiobox 的目标是提供统一的多模态音频生成方案，涵盖语音、音效和环境音，广泛应用于短视频配音、播客制作、游戏音效、影视配乐等场景。平台强调负责任的 AI 开发，限制商业用途，并通过水印和语音认证防止滥用。

***

#### 2\. 主要功能

Audiobox 提供了一系列先进的音频生成和编辑功能，以下是其核心功能的详细介绍：

##### （1）语音生成（Text-to-Speech, TTS）

* **零样本 TTS（Zero-Shot TTS）**：用户输入文本和语音样本（上下文提示），即可生成与样本音色一致的语音。例如，输入一段名人语音和文本，生成该名人风格的配音。
* **描述引导的 TTS**：通过文本描述控制语音风格，如“年轻女性在教堂内低语”或“深沉男声在户外演讲”，生成特定场景或情绪的语音。
* **语音克隆**：用户可录制自己的声音，Audiobox 能克隆音色并生成新内容，保留音色特征，同时根据文本提示调整语速、语调或环境效果。
* **多语言支持**：支持多种语言的语音生成（如英语、法语、西班牙语），可能包括中文，适合跨境内容创作。

##### （2）音效生成（Text-to-Sound, TTA）

* **自然语言提示生成音效**：用户输入描述（如“狗吠声”“城市街道的喧嚣”），Audiobox 生成逼真的音效，适用于游戏、影视或短视频配乐。例如，输入“海狸啃菠萝的声音”，即可生成独特音效。
* **环境音生成**：创建复杂的声音场景，如“暴风雨中的森林”或“咖啡馆的背景音”，增强音频内容的沉浸感。
* **多样化采样**：生成多种音效变体，供用户选择最合适的版本。

##### （3）音频编辑与优化

* **语音去噪**：移除录音中的瞬态噪声（如门铃声、狗叫声），生成干净的语音，类似“魔法橡皮擦”功能。
* **内容编辑**：无需重新录音即可修正错误词语。例如，将“常见事件”改为“罕见事件”，生成新的语音片段。
* **语音风格转换**：通过文本提示调整语音风格，如将普通语音改为“缓慢低语”或“兴奋演讲”。
* **填补音频（Text-Guided Infilling）**：为音频中的空白部分生成新内容，保持风格一致，适用于修复损坏的音频片段。

##### （4）多模态控制

* **语音+文本联合输入**：结合语音样本和文本描述，精确控制生成音频的音色、语调和环境。例如，输入用户语音样本和“在洞穴中缓慢讲话”的描述，生成相应效果。
* **独立控制**：允许单独调整语音的音色、语调、情感或环境音，增强创作灵活性。
* **示例引导**：通过提供参考音频，生成类似风格的语音或音效，适合风格迁移或跨语言生成。

##### （5）技术与性能优化

* **自监督学习（SSL）**：Audiobox SSL 模型基于 160K 小时的语音、20K 小时的音乐和 6K 小时的音效数据训练，覆盖全球 150 多个国家的 200 种语言，保障多样性和公平性。
* **流匹配模型**：采用非自回归流匹配技术，支持双向上下文条件生成，比传统自回归模型更灵活。
* **高效生成**：引入 Bespoke Solvers 技术，将生成速度提升 25 倍以上，同时保持高质量。
* **高质量评估**：在 Librispeech（语音相似度 0.745）和 AudioCaps（音效 FAD 0.77）等基准测试中表现优异，领先同类模型。

##### （6）安全与负责任 AI

* **音频水印**：生成音频嵌入不可察觉的水印，可追踪至帧级，防止深伪造（deepfake）等滥用。
* **语音认证**：用户需录制动态语音提示（每 50 秒刷新），防止未经授权的语音克隆。
* **非商业限制**：仅限研究用途，禁止商业应用，部分地区（如美国伊利诺伊州和德克萨斯州）因法律限制无法使用。
* **分类器防护**：内置高效分类器，区分真实语音和 Audiobox 生成音频，降低潜在风险。

***

#### 3\. 特色功能

Audiobox 的独特优势包括：

* **多模态统一**：统一语音、音效和环境音生成，提供一站式音频创作解决方案。
* **高控制性**：通过文本和语音联合输入，实现音色、风格和环境的精细控制，超越传统模型的粗粒度限制。
* **逼真效果**：生成音频接近真实，音效和语音自然流畅，适合专业场景。
* **快速迭代**：继 Voicebox 后，Audiobox 显著提升性能，并通过 Bespoke Solvers 优化生成速度。
* **负责任开发**：严格的安全措施（如水印、认证）确保技术不被滥用，体现 Meta 的开放与责任平衡。

***

#### 4\. 目标用户

Audiobox 的目标用户包括：

* **短视频创作者**：为抖音、快手、YouTube 生成配音或音效。
* **播客制作者**：创建高质量旁白或环境音，提升内容吸引力。
* **游戏开发者**：生成定制音效或角色配音，降低开发成本。
* **影视制作者**：为微电影、动画提供配乐或配音。
* **研究人员**：探索 AI 音频生成技术，参与 Meta 提供的资助项目。
* **音乐与内容爱好者**：尝试生成创意音频，如诗歌朗读或小说配音。

***

#### 5\. 收费模式

* **免费试用**：Audiobox 提供在线演示（https://audiobox.metademolab.com/），用户可免费体验生成功能，但仅限研究用途。
* **非商业限制**：目前不开放商业使用，模型和代码未开源，需申请研究访问权限。
* **资助计划**：Meta 提供研究资助，鼓励学者和开发者参与 Audiobox 相关研究。
* **未来付费可能**：若未来开放商业化，可能采用订阅或按生成量计费模式（目前无具体信息）。

***

#### 6\. 用户反馈与市场表现

根据搜索结果和 X 平台反馈：

* **正面评价**：用户对 Audiobox 的逼真效果和高控制性表示赞赏，认为其音效生成（如“银河系夏日晨雨”）和语音克隆功能具有创意潜力，适合播客和短视频。
* **市场表现**：作为 Meta FAIR 的研究项目，Audiobox 在 AI 音频生成领域与 Suno、AIVA、魔音工坊等竞争，其统一多模态生成能力领先市场。
* **用户体验问题**：部分 Reddit 用户报告演示页面偶尔出错，需多次点击生成按钮或调整提示词，可能因内容审查或服务器限制。
* **审查限制**：平台对某些提示词（如“trans women exist”或“Im sorry Dave”）有限制，用户认为审查过于严格，影响创作自由。

***

#### 7\. 与其他平台的比较

Audiobox 的竞品包括 **音疯**、**魔音工坊**、**Suno**、**AIVA**，以下是简要对比：

* **Audiobox**：统一语音和音效生成，控制性强，研究导向，限制商业化，适合创意实验。
* **音疯**：专注 AI 音乐和歌词生成，优化短视频配乐，本地化强，商业化成熟。
* **魔音工坊**：专注 AI 配音，语音合成专业，但不生成音效或音乐。
* **Suno**：国际化 AI 音乐平台，生成质量高，但中文支持弱。
* **AIVA**：偏专业音乐创作，适合影视配乐，操作较复杂。

***

#### 8\. 如何使用 Audiobox

1. **访问演示页面**：打开 https://audiobox.metademolab.com/（需确认不在受限地区，如伊利诺伊州或德克萨斯州）。
2. **选择功能**：在“Capabilities”选项卡选择功能（如 Restyled Voices、Sound Effects）。
3. **输入提示**：
    * 语音生成：录制语音样本或选择示例音色，输入文本描述（如“缓慢低语”）。
    * 音效生成：输入描述（如“狗吠声”），点击生成。
4. **编辑与下载**：预览生成的音频，调整参数，下载 MP3/WAV 格式。







## 官网入口

https://audiobox.metademolab.com/