
转折点:从内容创作到实时语音 AI 体验
第一波生成式 AI 改变的是内容创作。如今文本、图像、视频与语音都可以按需生产,一句提示词就能把想法变成内容。但其中大部分内容仍然以「成品」的形态存在:创作一次,然后被消费。下一波浪潮带来的是交互性——由实时语音 AI 驱动的角色、游戏、陪伴应用、互动故事与语音智能体,持续响应每一个用户、每一种情境和每一个时刻。
这一范式转变把用户对文本转语音的期待从「自然」向外推了一大步。听感自然仍然是一切高质量语音体验的地基,但交互式体验额外提出了三个要求:
- 多样性——给每个角色一个专属的声音。
- 可控性——随意图与情境的演进调整每一次表演。
- 低延迟——保住交互本身的自然节奏。
这三项能力合在一起,意味着一个声音可以为角色而设计、为时刻而导演、以实时的方式交付。
新模型:把三种能力装进同一个模型
Breeze TTS 2 是一个为交互式体验而生的全新语音模型:自然语言声音设计、对任意声音的声音导演、低延迟流式生成,三件事装进了同一个模型。它面向下一代实时语音 AI,让使用者可以设计任何声音、导演每一次表演,并实时把它变成声音。
推进这些能力,也需要更好的度量方式。TTS 评测历来以自然度为中心,声音设计、声音导演与延迟这三个维度长期缺乏系统性的探索。为此 BreezeBlue 同步开源了三套基准:Voice Design、Voice Direction 与 Latency。下面依次看定义 Breeze TTS 2 的四项能力:声音设计、声音导演、低延迟与多语种语音。
能力一 声音设计:给每个角色一个专属声音
从单一主角到成千上万个 NPC,Breeze TTS 2 让每个角色都有属于自己的声音。创作者不必再局限于预置音色库,而是直接描述脑海中的角色,生成与角色身份、性格和世界观更匹配的独特语音。
官方公布的声音设计榜单成绩如下:
| 排名 | 模型 | Role Fit 角色贴合 | Voice Diversity 声音多样性 |
|---|---|---|---|
| 1 | Breeze TTS 2 | 78.02 | 708 |
| 2 | MiMo-V2.5-TTS | 72.78 | 202 |
| 3 | Inworld Voice Design | 64.61 | 378 |
| 4 | Fun-AudioGen-VD | 63.82 | 136 |
| 5 | Eleven v3 | 58.88 | 111 |
| 6 | Qwen3-TTS-VD | 58.48 | 83 |
| 7 | VoxCPM2 | 55.28 | 509 |
Breeze TTS 2 在 TTS Voice Design Benchmark 上排名第一:Role Fit 78.02 为全场最高,Voice Diversity 708 同样居首,台词通过率 98.5%。与第二名相比,Role Fit 高出 5.24 分,产出的不同声音数量比最接近的对手多 39%。
官方在七个场景各给了一组「提示词加台词」示例,每个示例都配有可试听音频。以下全部原样翻译,并嵌入官方中文版试听:
动画与漫画:外星教官
提示词:男性,成熟成年人。体型庞大的外星人。低沉、沙哑、共鸣感强的男中低音。粗粝、威严、有指挥感,如同军队教官的节奏。语速快,强度高。饱经风霜,力量感十足,带严厉的导师气质。
台词:挺起胸,目视前方。太空不在乎你累不累、怕不怕、想不想家;它只奖励纪律。跟上我的口令,新兵,我总会把你锻造成冠军。(试听 0:11)
影视剧:失控的现场记者
提示词:青年女性,二十五岁上下,美式口音。职业广播记者正在陷入慌乱。吐字清晰,但已被恐慌绷紧。高张力,快节奏,几乎喘不上气。从职业的从容滑向原始的绝望。
台词:我是埃琳娜·万斯,正在东区现场直播——人群刚刚冲破警戒线——如果有人能听到,我们急需医疗队,拜托,他们越来越近了。(试听 0:08)
游戏:妖精诡术师
提示词:青年女性,空灵的诡术师。音调偏高,气声,顽皮。节奏快而韵律感强,夹着咯咯笑声。嘲弄般的唱腔谜语。戏谑,挑逗,带着非人世的气质。
台词:哦,你也听见那声低语了?聪明的小心跳。敢的话就跟上那道紫色微光——不过当心你的影子,亲爱的。薄暮时分,它最爱拿秘密做交易。(试听 0:11)
文学与舞台:南方男声
提示词:男性,二十五至三十岁出头。丝绒质感的男高音声区,带一丝轻微沙哑。深情且极富感染力,从疲惫的挣扎转向乐观的信念。吐字无可挑剔,带轻微的南方腔调,节奏从容,音域起伏宽广。
台词:我走过太多漫长的夜,不会再把寂静错认成安宁。所以当我说起明天,相信我,兄弟,我说的是一个我们终于可以一起站进去的黎明。(试听 0:11)
神话与民间故事:游牧说书人
提示词:成熟的游牧说书人。饱经风霜、共鸣感强的说话声,节奏富有韵律,音高轮廓生动。动态范围极宽,从耳语一直拉到洪亮的宣告;深情。
台词:靠近点火堆,孩子,今晚的风在讲老故事。听它怎么吹弯了草——然后记住:你走的每一条路,也都在掂量你。(试听 0:12)
研究与新闻:日语口音的长者
提示词:成熟男性,五六十岁,日语口音的英语。庄重、克制、沉稳。音色清晰,带轻微的岁月沙哑。节奏从容,停顿意味深长。传递智慧、权威与远见式的审慎。
台词:重建一个国家,靠的不是喧嚣与急躁。我们一块石头一块石头地垒,当怀疑升起时,我们用纪律、耐心与毫不动摇的职责感来回应。(试听 0:15)
网络与期刊:看守金库的巨龙
提示词:远古雄性,体型巨大。深沉、共鸣强的低音,沙哑,如来自地底。缓慢,从容,贵族气。恐怖的力量感,嘶嘶的齿音,掠食者式的狡黠。
台词:放你的小手时小心点,寻宝人;这金库里的每一枚金币都认得自己的主人,而哪怕最微小的偷窃,我也未必肯原谅。(试听 0:16)
示例末尾官方附上了 Voice Galaxy 入口:那里收录了超过 15000 个角色声音,可以直接调用。
能力二 声音导演:为每个时刻调整表演
用自然语言指令和内联标记,就能塑造情绪、意图、语速与交付方式,同时让声音保持可识别。这让创作者与开发者可以控制同一个声音在下一刻怎么演,而不必重新设计声音本身。
声音导演榜单成绩如下:
| 排名 | 模型 | 综合分 | SPK_SIM 音色相似 |
|---|---|---|---|
| 1 | Breeze TTS 2 | 4.25 | 0.67 |
| 2 | MiMo-v2.5-TTS | 3.76 | 0.66 |
| 3 | StepAudio 2.5 TTS | 3.48 | 0.64 |
| 4 | Qwen-Audio 3.0-TTS-Plus | 3.33 | 0.65 |
| 5 | Inworld TTS-2 | 3.01 | 0.71 |
| 6 | VoxCPM2 | 2.49 | 0.70 |
Breeze TTS 2 拿到 4.25 的最高综合分,比第二名高出 13%;SPK_SIM 为 0.67。两项合起来的含义是:它能听懂自然语言导演指令,跨情绪、意图、节奏与交付方式执行,同时让选定的声音在不同表演之间始终像同一个角色。
官方给了五组导演示例,按五个维度划分,同样全部原样翻译,并嵌入官方参考表演与模型输出的对比音频(该组官方仅提供英文版):
意图:推销水晶的低语
提示词:用诱人而压低的强度说话,用催眠般有说服力的节奏把听众拉近,说服他们买下一件稀有物品。
台词:你感觉到它散发出的能量了,对吧?这可不是一块普通石英,它是一条导管。只要一点小小的供奉,你就能把它带回家,终于清掉悬在你未来的那片乌云。相信我,你需要它。(参考 0:20,输出 0:13)
组合:喘着气报平安
提示词:一边剧烈喘息一边说话,努力让听者相信一切安好。
台词:(喘息)我没事……(喘气)给我一秒钟缓口气。(喘息)我保证,我真的没事……就是跑得有点太快了。(参考 0:19,输出 0:15)
情绪:阴阳怪气
提示词:说话人听起来尖刻而怨愤,用浓重的消极攻击式讽刺把台词说完。
台词:祝你假期愉快,我留在这儿收拾你留下的烂摊子。玩得开心哦。(参考 0:31,输出 0:06)
角色:海盗船长
提示词:用粗粝、张扬、戏剧化的语气,演出一个海上劫掠者咄咄逼人的自负。
台词:抛锚,把金子搬出来!你们这群渣滓里要是有谁敢背叛我,日落之前就让他去和鲨鱼做伴。这片海洋属于我!(参考 0:28,输出 0:11)
变化:一句话内情绪反转
提示词:以自信、安抚的语气开始。在「等等」一词处,骤然转为惊恐的、上气不接下气的警报,像突然听到了可怕的声音。
台词:完全没什么可担心的,这种事我做过一百次了。等等……你听见那个声音了吗?这里肯定有点不对劲。(参考 0:16,输出 0:09)
五组示例对应的正是导演指令的五个抓手:说话意图、多标记组合、情绪、角色扮演,以及同一段台词内的状态变化。官方页面每个示例都同时给出参考音频与模型输出音频,可以逐条对比。
能力三 低延迟:以对话的速度开口
Breeze TTS 2 把自然度、声音设计与声音导演收进一个低延迟模型,专为实时语音 AI 应用而生。足够快的首音频时间让对话保持即时响应,保住交互式语音体验的自然节奏。
在 TTS Latency Benchmark 中,Breeze TTS 2 的首音频延迟为 p50 127.2 毫秒、p95 159.3 毫秒。这个水平让实时交互保持跟手,也保住了对话应有的自然节奏。
流式接入:一条 WebSocket 会话跑完多轮对话
Realtime API 在多轮对话之间保持同一条 WebSocket 会话:文本随到随追加,原始 PCM 音频在模型仍在生成时即流式返回。官方给出的接入示例如下:
import { BreezeBlueClient } from "@breeze.blue/sdk";
const client = new BreezeBlueClient();
// One WebSocket session, many conversation turns.
const connection = await client.textToSpeech.realtime.connect("voc_...", {
modelId: "breeze-tts-2",
});
const consumer = (async () => {
for await (const message of connection) {
if (message.type === "audio") {
play(message.audio); // raw PCM, streamed while the model generates
} else if (message.type === "turn.done") {
return;
}
}
})();
connection.startTurn("turn_1");
connection.appendText("Hello from Breeze TTS 2.");
connection.flush();
connection.endTurn();
await consumer;
connection.close();
能力四 多语种语音:51 种语言与口音控制
跨 51 种语言生成自然、富有表现力的语音,并支持口音控制,把同一段台词调整到适配不同地区与受众的交付方式。原文页内提供了逐语种的试听控件——同一句「每个旅程都会在有人敢迈出第一步时找到意义」,可以被讲成 51 种语言各自的样子。
官方入口:Creator、API 与企业方案
BreezeBlue Creator 是官方的浏览器端一站式工具:设计、导演、生成都在同一块工作台里完成,可免费开始。对想快速试文中示例的读者,这是最短的路径。
开发者侧提供 Text to Speech API 与多语言 SDK,把 BreezeBlue 的语音能力直接接进产品;企业侧另有专属方案,面向需要生产级语音体验的组织。
译后记:三点核对与试听指引
其一,文中两个榜单均为 BreezeBlue 自建并开源的基准,竞品成绩取自官方博客发布时的快照,会随各厂商迭代而变化。本站此前的技术深读一篇梳理过它从 InstructTTSEval 换轨到自建基准的背景,两处口径可以互相对照。
其二,延迟数字是官方基准成绩,p50 127.2 毫秒、p95 159.3 毫秒;而部署文档里的实测口径更保守一些,TTFA p50 约 133.6 毫秒、p95 约 163.3 毫秒。两者环境不同,引用时注意区分。
其三,12 组示例的试听音频已直接嵌入对应小节:声音设计七例用的是官方中文版音频,声音导演五例保留英文的参考表演与模型输出对比,另附九段多语种演示;音频均外链官方 CDN,由 breezeblue.ai 提供。若某条加载失败,可到官方原文,或到Hugging Face 模型页自行部署体验。配合本站的入门解析与技术深读三篇连读,Breeze TTS 2 的官方口径、架构细节与上手路径就都齐了。