Breeze TTS 2 官方长文全译:实时语音智能,让每个角色都栩栩如生

多模态 2026-10-29 56 0

转折点:从内容创作到实时语音 AI 体验

第一波生成式 AI 改变的是内容创作。如今文本、图像、视频与语音都可以按需生产,一句提示词就能把想法变成内容。但其中大部分内容仍然以「成品」的形态存在:创作一次,然后被消费。下一波浪潮带来的是交互性——由实时语音 AI 驱动的角色、游戏、陪伴应用、互动故事与语音智能体,持续响应每一个用户、每一种情境和每一个时刻。

这一范式转变把用户对文本转语音的期待从「自然」向外推了一大步。听感自然仍然是一切高质量语音体验的地基,但交互式体验额外提出了三个要求:

  • 多样性——给每个角色一个专属的声音。
  • 可控性——随意图与情境的演进调整每一次表演。
  • 低延迟——保住交互本身的自然节奏。

这三项能力合在一起,意味着一个声音可以为角色而设计、为时刻而导演、以实时的方式交付。

新模型:把三种能力装进同一个模型

Breeze TTS 2 是一个为交互式体验而生的全新语音模型:自然语言声音设计、对任意声音的声音导演、低延迟流式生成,三件事装进了同一个模型。它面向下一代实时语音 AI,让使用者可以设计任何声音、导演每一次表演,并实时把它变成声音。

推进这些能力,也需要更好的度量方式。TTS 评测历来以自然度为中心,声音设计、声音导演与延迟这三个维度长期缺乏系统性的探索。为此 BreezeBlue 同步开源了三套基准:Voice Design、Voice Direction 与 Latency。下面依次看定义 Breeze TTS 2 的四项能力:声音设计、声音导演、低延迟与多语种语音。

能力一 声音设计:给每个角色一个专属声音

从单一主角到成千上万个 NPC,Breeze TTS 2 让每个角色都有属于自己的声音。创作者不必再局限于预置音色库,而是直接描述脑海中的角色,生成与角色身份、性格和世界观更匹配的独特语音。

官方公布的声音设计榜单成绩如下:

排名模型Role Fit 角色贴合Voice Diversity 声音多样性
1Breeze TTS 278.02708
2MiMo-V2.5-TTS72.78202
3Inworld Voice Design64.61378
4Fun-AudioGen-VD63.82136
5Eleven v358.88111
6Qwen3-TTS-VD58.4883
7VoxCPM255.28509

Breeze TTS 2 在 TTS Voice Design Benchmark 上排名第一:Role Fit 78.02 为全场最高,Voice Diversity 708 同样居首,台词通过率 98.5%。与第二名相比,Role Fit 高出 5.24 分,产出的不同声音数量比最接近的对手多 39%。

官方在七个场景各给了一组「提示词加台词」示例,每个示例都配有可试听音频。以下全部原样翻译,并嵌入官方中文版试听:

动画与漫画:外星教官

提示词:男性,成熟成年人。体型庞大的外星人。低沉、沙哑、共鸣感强的男中低音。粗粝、威严、有指挥感,如同军队教官的节奏。语速快,强度高。饱经风霜,力量感十足,带严厉的导师气质。

台词:挺起胸,目视前方。太空不在乎你累不累、怕不怕、想不想家;它只奖励纪律。跟上我的口令,新兵,我总会把你锻造成冠军。(试听 0:11)

官方试听 · 中文版

影视剧:失控的现场记者

提示词:青年女性,二十五岁上下,美式口音。职业广播记者正在陷入慌乱。吐字清晰,但已被恐慌绷紧。高张力,快节奏,几乎喘不上气。从职业的从容滑向原始的绝望。

台词:我是埃琳娜·万斯,正在东区现场直播——人群刚刚冲破警戒线——如果有人能听到,我们急需医疗队,拜托,他们越来越近了。(试听 0:08)

官方试听 · 中文版

游戏:妖精诡术师

提示词:青年女性,空灵的诡术师。音调偏高,气声,顽皮。节奏快而韵律感强,夹着咯咯笑声。嘲弄般的唱腔谜语。戏谑,挑逗,带着非人世的气质。

台词:哦,你也听见那声低语了?聪明的小心跳。敢的话就跟上那道紫色微光——不过当心你的影子,亲爱的。薄暮时分,它最爱拿秘密做交易。(试听 0:11)

官方试听 · 中文版

文学与舞台:南方男声

提示词:男性,二十五至三十岁出头。丝绒质感的男高音声区,带一丝轻微沙哑。深情且极富感染力,从疲惫的挣扎转向乐观的信念。吐字无可挑剔,带轻微的南方腔调,节奏从容,音域起伏宽广。

台词:我走过太多漫长的夜,不会再把寂静错认成安宁。所以当我说起明天,相信我,兄弟,我说的是一个我们终于可以一起站进去的黎明。(试听 0:11)

官方试听 · 中文版

神话与民间故事:游牧说书人

提示词:成熟的游牧说书人。饱经风霜、共鸣感强的说话声,节奏富有韵律,音高轮廓生动。动态范围极宽,从耳语一直拉到洪亮的宣告;深情。

台词:靠近点火堆,孩子,今晚的风在讲老故事。听它怎么吹弯了草——然后记住:你走的每一条路,也都在掂量你。(试听 0:12)

官方试听 · 中文版

研究与新闻:日语口音的长者

提示词:成熟男性,五六十岁,日语口音的英语。庄重、克制、沉稳。音色清晰,带轻微的岁月沙哑。节奏从容,停顿意味深长。传递智慧、权威与远见式的审慎。

台词:重建一个国家,靠的不是喧嚣与急躁。我们一块石头一块石头地垒,当怀疑升起时,我们用纪律、耐心与毫不动摇的职责感来回应。(试听 0:15)

官方试听 · 中文版

网络与期刊:看守金库的巨龙

提示词:远古雄性,体型巨大。深沉、共鸣强的低音,沙哑,如来自地底。缓慢,从容,贵族气。恐怖的力量感,嘶嘶的齿音,掠食者式的狡黠。

台词:放你的小手时小心点,寻宝人;这金库里的每一枚金币都认得自己的主人,而哪怕最微小的偷窃,我也未必肯原谅。(试听 0:16)

官方试听 · 中文版

示例末尾官方附上了 Voice Galaxy 入口:那里收录了超过 15000 个角色声音,可以直接调用。

能力二 声音导演:为每个时刻调整表演

用自然语言指令和内联标记,就能塑造情绪、意图、语速与交付方式,同时让声音保持可识别。这让创作者与开发者可以控制同一个声音在下一刻怎么演,而不必重新设计声音本身。

声音导演榜单成绩如下:

排名模型综合分SPK_SIM 音色相似
1Breeze TTS 24.250.67
2MiMo-v2.5-TTS3.760.66
3StepAudio 2.5 TTS3.480.64
4Qwen-Audio 3.0-TTS-Plus3.330.65
5Inworld TTS-23.010.71
6VoxCPM22.490.70

Breeze TTS 2 拿到 4.25 的最高综合分,比第二名高出 13%;SPK_SIM 为 0.67。两项合起来的含义是:它能听懂自然语言导演指令,跨情绪、意图、节奏与交付方式执行,同时让选定的声音在不同表演之间始终像同一个角色。

官方给了五组导演示例,按五个维度划分,同样全部原样翻译,并嵌入官方参考表演与模型输出的对比音频(该组官方仅提供英文版):

意图:推销水晶的低语

提示词:用诱人而压低的强度说话,用催眠般有说服力的节奏把听众拉近,说服他们买下一件稀有物品。

台词:你感觉到它散发出的能量了,对吧?这可不是一块普通石英,它是一条导管。只要一点小小的供奉,你就能把它带回家,终于清掉悬在你未来的那片乌云。相信我,你需要它。(参考 0:20,输出 0:13)

参考表演(英文)

模型输出(英文)

组合:喘着气报平安

提示词:一边剧烈喘息一边说话,努力让听者相信一切安好。

台词:(喘息)我没事……(喘气)给我一秒钟缓口气。(喘息)我保证,我真的没事……就是跑得有点太快了。(参考 0:19,输出 0:15)

参考表演(英文)

模型输出(英文)

情绪:阴阳怪气

提示词:说话人听起来尖刻而怨愤,用浓重的消极攻击式讽刺把台词说完。

台词:祝你假期愉快,我留在这儿收拾你留下的烂摊子。玩得开心哦。(参考 0:31,输出 0:06)

参考表演(英文)

模型输出(英文)

角色:海盗船长

提示词:用粗粝、张扬、戏剧化的语气,演出一个海上劫掠者咄咄逼人的自负。

台词:抛锚,把金子搬出来!你们这群渣滓里要是有谁敢背叛我,日落之前就让他去和鲨鱼做伴。这片海洋属于我!(参考 0:28,输出 0:11)

参考表演(英文)

模型输出(英文)

变化:一句话内情绪反转

提示词:以自信、安抚的语气开始。在「等等」一词处,骤然转为惊恐的、上气不接下气的警报,像突然听到了可怕的声音。

台词:完全没什么可担心的,这种事我做过一百次了。等等……你听见那个声音了吗?这里肯定有点不对劲。(参考 0:16,输出 0:09)

参考表演(英文)

模型输出(英文)

五组示例对应的正是导演指令的五个抓手:说话意图、多标记组合、情绪、角色扮演,以及同一段台词内的状态变化。官方页面每个示例都同时给出参考音频与模型输出音频,可以逐条对比。

能力三 低延迟:以对话的速度开口

Breeze TTS 2 把自然度、声音设计与声音导演收进一个低延迟模型,专为实时语音 AI 应用而生。足够快的首音频时间让对话保持即时响应,保住交互式语音体验的自然节奏。

在 TTS Latency Benchmark 中,Breeze TTS 2 的首音频延迟为 p50 127.2 毫秒、p95 159.3 毫秒。这个水平让实时交互保持跟手,也保住了对话应有的自然节奏。

流式接入:一条 WebSocket 会话跑完多轮对话

Realtime API 在多轮对话之间保持同一条 WebSocket 会话:文本随到随追加,原始 PCM 音频在模型仍在生成时即流式返回。官方给出的接入示例如下:

import { BreezeBlueClient } from "@breeze.blue/sdk";

const client = new BreezeBlueClient();

// One WebSocket session, many conversation turns.
const connection = await client.textToSpeech.realtime.connect("voc_...", {
  modelId: "breeze-tts-2",
});

const consumer = (async () => {
  for await (const message of connection) {
    if (message.type === "audio") {
      play(message.audio); // raw PCM, streamed while the model generates
    } else if (message.type === "turn.done") {
      return;
    }
  }
})();

connection.startTurn("turn_1");
connection.appendText("Hello from Breeze TTS 2.");
connection.flush();
connection.endTurn();

await consumer;
connection.close();

能力四 多语种语音:51 种语言与口音控制

跨 51 种语言生成自然、富有表现力的语音,并支持口音控制,把同一段台词调整到适配不同地区与受众的交付方式。原文页内提供了逐语种的试听控件——同一句「每个旅程都会在有人敢迈出第一步时找到意义」,可以被讲成 51 种语言各自的样子。

多语种演示 · 英语

多语种演示 · 中文

多语种演示 · 日语

官方入口:Creator、API 与企业方案

BreezeBlue Creator 是官方的浏览器端一站式工具:设计、导演、生成都在同一块工作台里完成,可免费开始。对想快速试文中示例的读者,这是最短的路径。

开发者侧提供 Text to Speech API 与多语言 SDK,把 BreezeBlue 的语音能力直接接进产品;企业侧另有专属方案,面向需要生产级语音体验的组织。

译后记:三点核对与试听指引

其一,文中两个榜单均为 BreezeBlue 自建并开源的基准,竞品成绩取自官方博客发布时的快照,会随各厂商迭代而变化。本站此前的技术深读一篇梳理过它从 InstructTTSEval 换轨到自建基准的背景,两处口径可以互相对照。

其二,延迟数字是官方基准成绩,p50 127.2 毫秒、p95 159.3 毫秒;而部署文档里的实测口径更保守一些,TTFA p50 约 133.6 毫秒、p95 约 163.3 毫秒。两者环境不同,引用时注意区分。

其三,12 组示例的试听音频已直接嵌入对应小节:声音设计七例用的是官方中文版音频,声音导演五例保留英文的参考表演与模型输出对比,另附九段多语种演示;音频均外链官方 CDN,由 breezeblue.ai 提供。若某条加载失败,可到官方原文,或到Hugging Face 模型页自行部署体验。配合本站的入门解析与技术深读三篇连读,Breeze TTS 2 的官方口径、架构细节与上手路径就都齐了。

相关文章

本地 AI 会说话了:Ollama 为 Mac 带来离线文字转语音
Breeze TTS 2 技术深读:两阶段自回归架构、长对话语料与自建评测的三重设计
即梦AI 深度解析:字节跳动一站式 AI 创作平台,生图生视频到底什么水平
Breeze TTS 2 深度解析:用一句话设计声音、实时演戏的开源 TTS 模型
会打断、会笑、会哽咽,多尔西旗下 Block 发布语音模型 Dessa,MacBook 本地就能跑
Fish Audio 开源 Drama 3:35B MoE 语音模型拿下发音稳健性第一,自然语言直接「导戏」