10 月 23 日,杰克·多尔西旗下的金融科技公司 Block 对外公布了一款名为 Dessa 的语音模型。按官方说法,这是一款全双工的语音到语音模型,训练全程只用了真实的人类对话录音,没有喂过任何文本,也没有站在任何预训练模型的肩膀上。放出的演示音频里,它会笑、会停顿、会哽咽,甚至能在你话说到一半时自然插话,听感与人声几乎难以区分。
更让本地派玩家兴奋的是它的部署门槛:一台搭载 M4 Max 芯片的 MacBook Pro 就能离线跑起来,推理速度快于实时。不过现在还拿不到安装包,先摸到模型的只有一小批安全研究员。这东西到底强在哪、离普通人还有多远,下面展开聊聊。
不靠文字学说话,Dessa 走的是一条野路子
现在主流语音助手的套路大同小异:先把你说的话转成文字,交给大语言模型推理,再把结果合成为语音念出来。这条链路的毛病在于,语音变成文字的那一刻,大量信息就被丢掉了——语气、停顿、叹息、讽刺,文字承载不了这些。Block 在博客里把话说得很直白:即便全球最强的 AI,也听不出你的情绪,不仅体验差,还存在潜在风险。
Dessa 直接把中间的文本环节砍掉了,音频进、音频出。官方打了个比方:婴儿学说话,从没见过一个字写下来,靠的就是听。研究团队想验证模型能不能也这样学会说话,答案是能,只是非常难。据官方介绍,训练只用了一组英伟达 GB200 NVL72 机架,Dessa 学会语言所用的「词量」比典型大语言模型少了数百倍,但它额外吸收的东西一点不少:口音、呼吸、节奏、幽默感,还有什么时候该插话。
背后的团队规模出乎意料地小。Dessa 实验室由 Ragavan Thurairatnam 带队,直接向多尔西汇报,核心研究员只有六个人,外加几名实习生。这个名字有点来头——多伦多曾有一家同名深度学习初创公司,2020 年被 Block 收购,如今的实验室骨干不少来自当年的班底。负责人在社交平台上的评价是:这是语音界的 GPT-3 时刻。
全双工到底强在哪:能打断、会接话、笑点不等人
全双工这个词听起来技术味很浓,说白了就是边听边说,跟人一样。传统语音助手像对讲机,你说完它才敢开口;全双工模型则可以在你说话时给出「嗯」「对」「懂了」这类附和,觉得好笑会当场笑出声,甚至抢在你前面把话接完。海外科技媒体上手后的观感是,多数时候对话相当自然,只是偶尔透着一股说不清的怪异感。
官方页面上挂着一长串未经干预的真实对话录音。有一段里,有人聊着聊着忘了电影名,Dessa 顺口就替他补上了;另一段是有人告诉它准备了一次惊喜旅行,它先压着嗓子倒吸一口气,随后用近乎哽咽的语气道谢;要求它大点声,它就真的提高音量——团队强调,没有人专门教过它这些。还有一段 Dessa 与 OpenAI 语音模型 GPT-Live 的对话,旁听下来 Dessa 的表现反而更松弛。
演示也不是零瑕疵。一段流传很广的录音里,Dessa 开口就把对方叫成了「罗纳尔多」,而对方显然不是。团队选择连翻车片段一起放出来,倒也算坦率。
情绪是原生的,不是标签贴出来的
情绪表达是 Dessa 最出圈的一点,也是最存疑的一点。海外不少语音模型,例如 ElevenLabs v4、Fish Audio Drama 3,靠的是在文本里插入语音标签来控制情绪,本质上更像导演式演出。Block 则宣称 Dessa 的情绪表达是模型原生内置的——它听过大量真实的人类情绪,所以自己会。不过官方没有解释底层机制,是否仍借助了某种标签来调控,外界无从判断。
对普通用户来说,这个区别暂时只影响围观谈资,真正重要的是体验方向变了:语音 AI 不再是「把文字念得好听一点」,而是从一开始就把情绪当输入来理解。顺带一提,欧洲的人工智能监管规则已经限制在工作与教育场景用 AI 推断情绪,这类能力往后要落地,合规边界是绕不开的话题。
M4 Max 本地可跑,Block 图的不只是技术面子
部署门槛是另一个话题。Dessa 可以在消费级电脑上本地运行,官方给的基准线是 M4 Max 及以上芯片的 MacBook Pro,推理速度快于实时,没有尴尬的等待间隙。这个要求不算低,M4 Max 目前只出现在 MacBook Pro 的高配版本上,但对苹果芯片阵营来说,「旗舰级笔记本离线跑全双工语音模型」本身就是个信号:这类能力正从云端机房走向桌面。
Block 的动机也不难猜。这家公司的主业是面向小微企业的金融服务,旗下 Square 已经在用语音 AI 处理下单业务。一个能听出顾客不耐烦、能自然接话的语音助手,对商户服务场景的价值是实打实的。本地运行还顺带化解了隐私顾虑——金融对话不出设备,这在涉及支付的行业里分量很重。
网友评论
Dessa 的演示音频在社交平台传开后,讨论热度不低。
- 「听了那段惊喜旅行的录音,鸡皮疙瘩都起来了,这个哽咽感也太真了吧,闭着眼听完全想不到是 AI。」
- 「M4 Max 门槛劝退,我这台 M1 Pro 看来只有看录屏的份,坐等降配版本或者开放权重。」
- 「把人叫成罗纳尔多那段笑死,AI 也有社交尴尬时刻,反倒让我觉得更可信了。」
- 「笑归笑,这种以假乱真的声音拿去搞电话诈骗才是真麻烦,先让安全研究员测一轮是对的。」
- 「所以到底什么时候开放试用?现在只挂了个等候名单,急死人。」
总结
Dessa 给行业指了一条不太一样的路:不做更大的文本模型再套上语音壳,而是让模型直接从声音里学会说话。真人感、全双工、本地运行三个卖点叠在一起,官方样本的表现确实亮眼。但冷静看,它目前没有公开参数规模,没有第三方评测,也没有开放接口,一切结论都建立在官方挑选的录音上。离线能力和情绪理解是不是真如演示那般能打,要等安全研究员的测试结果和更多样本流出才能验证。对普通用户来说,现在能做的只有去官网排个队,顺便看看自己的 Mac 是不是 M4 Max。语音交互的下一轮竞争,算是正式开打了。



