会打断、会笑、会哽咽,多尔西旗下 Block 发布语音模型 Dessa,MacBook 本地就能跑

多模态 2026-10-25 12 0

10 月 23 日,杰克·多尔西旗下的金融科技公司 Block 对外公布了一款名为 Dessa 的语音模型。按官方说法,这是一款全双工的语音到语音模型,训练全程只用了真实的人类对话录音,没有喂过任何文本,也没有站在任何预训练模型的肩膀上。放出的演示音频里,它会笑、会停顿、会哽咽,甚至能在你话说到一半时自然插话,听感与人声几乎难以区分。

更让本地派玩家兴奋的是它的部署门槛:一台搭载 M4 Max 芯片的 MacBook Pro 就能离线跑起来,推理速度快于实时。不过现在还拿不到安装包,先摸到模型的只有一小批安全研究员。这东西到底强在哪、离普通人还有多远,下面展开聊聊。

不靠文字学说话,Dessa 走的是一条野路子

用户在电脑前进行语音交互,声波图标叠加

现在主流语音助手的套路大同小异:先把你说的话转成文字,交给大语言模型推理,再把结果合成为语音念出来。这条链路的毛病在于,语音变成文字的那一刻,大量信息就被丢掉了——语气、停顿、叹息、讽刺,文字承载不了这些。Block 在博客里把话说得很直白:即便全球最强的 AI,也听不出你的情绪,不仅体验差,还存在潜在风险。

Dessa 直接把中间的文本环节砍掉了,音频进、音频出。官方打了个比方:婴儿学说话,从没见过一个字写下来,靠的就是听。研究团队想验证模型能不能也这样学会说话,答案是能,只是非常难。据官方介绍,训练只用了一组英伟达 GB200 NVL72 机架,Dessa 学会语言所用的「词量」比典型大语言模型少了数百倍,但它额外吸收的东西一点不少:口音、呼吸、节奏、幽默感,还有什么时候该插话。

背后的团队规模出乎意料地小。Dessa 实验室由 Ragavan Thurairatnam 带队,直接向多尔西汇报,核心研究员只有六个人,外加几名实习生。这个名字有点来头——多伦多曾有一家同名深度学习初创公司,2020 年被 Block 收购,如今的实验室骨干不少来自当年的班底。负责人在社交平台上的评价是:这是语音界的 GPT-3 时刻。

全双工到底强在哪:能打断、会接话、笑点不等人

多轨音频素材编辑界面,波形整齐排列

全双工这个词听起来技术味很浓,说白了就是边听边说,跟人一样。传统语音助手像对讲机,你说完它才敢开口;全双工模型则可以在你说话时给出「嗯」「对」「懂了」这类附和,觉得好笑会当场笑出声,甚至抢在你前面把话接完。海外科技媒体上手后的观感是,多数时候对话相当自然,只是偶尔透着一股说不清的怪异感。

官方页面上挂着一长串未经干预的真实对话录音。有一段里,有人聊着聊着忘了电影名,Dessa 顺口就替他补上了;另一段是有人告诉它准备了一次惊喜旅行,它先压着嗓子倒吸一口气,随后用近乎哽咽的语气道谢;要求它大点声,它就真的提高音量——团队强调,没有人专门教过它这些。还有一段 Dessa 与 OpenAI 语音模型 GPT-Live 的对话,旁听下来 Dessa 的表现反而更松弛。

演示也不是零瑕疵。一段流传很广的录音里,Dessa 开口就把对方叫成了「罗纳尔多」,而对方显然不是。团队选择连翻车片段一起放出来,倒也算坦率。

情绪是原生的,不是标签贴出来的

复古电脑屏幕显示笑脸的 AI 概念插画

情绪表达是 Dessa 最出圈的一点,也是最存疑的一点。海外不少语音模型,例如 ElevenLabs v4、Fish Audio Drama 3,靠的是在文本里插入语音标签来控制情绪,本质上更像导演式演出。Block 则宣称 Dessa 的情绪表达是模型原生内置的——它听过大量真实的人类情绪,所以自己会。不过官方没有解释底层机制,是否仍借助了某种标签来调控,外界无从判断。

对普通用户来说,这个区别暂时只影响围观谈资,真正重要的是体验方向变了:语音 AI 不再是「把文字念得好听一点」,而是从一开始就把情绪当输入来理解。顺带一提,欧洲的人工智能监管规则已经限制在工作与教育场景用 AI 推断情绪,这类能力往后要落地,合规边界是绕不开的话题。

M4 Max 本地可跑,Block 图的不只是技术面子

电脑上的音频处理软件界面,适合本地运行场景

部署门槛是另一个话题。Dessa 可以在消费级电脑上本地运行,官方给的基准线是 M4 Max 及以上芯片的 MacBook Pro,推理速度快于实时,没有尴尬的等待间隙。这个要求不算低,M4 Max 目前只出现在 MacBook Pro 的高配版本上,但对苹果芯片阵营来说,「旗舰级笔记本离线跑全双工语音模型」本身就是个信号:这类能力正从云端机房走向桌面。

Block 的动机也不难猜。这家公司的主业是面向小微企业的金融服务,旗下 Square 已经在用语音 AI 处理下单业务。一个能听出顾客不耐烦、能自然接话的语音助手,对商户服务场景的价值是实打实的。本地运行还顺带化解了隐私顾虑——金融对话不出设备,这在涉及支付的行业里分量很重。

网友评论

Dessa 的演示音频在社交平台传开后,讨论热度不低。

  • 「听了那段惊喜旅行的录音,鸡皮疙瘩都起来了,这个哽咽感也太真了吧,闭着眼听完全想不到是 AI。」
  • 「M4 Max 门槛劝退,我这台 M1 Pro 看来只有看录屏的份,坐等降配版本或者开放权重。」
  • 「把人叫成罗纳尔多那段笑死,AI 也有社交尴尬时刻,反倒让我觉得更可信了。」
  • 「笑归笑,这种以假乱真的声音拿去搞电话诈骗才是真麻烦,先让安全研究员测一轮是对的。」
  • 「所以到底什么时候开放试用?现在只挂了个等候名单,急死人。」

总结

Dessa 给行业指了一条不太一样的路:不做更大的文本模型再套上语音壳,而是让模型直接从声音里学会说话。真人感、全双工、本地运行三个卖点叠在一起,官方样本的表现确实亮眼。但冷静看,它目前没有公开参数规模,没有第三方评测,也没有开放接口,一切结论都建立在官方挑选的录音上。离线能力和情绪理解是不是真如演示那般能打,要等安全研究员的测试结果和更多样本流出才能验证。对普通用户来说,现在能做的只有去官网排个队,顺便看看自己的 Mac 是不是 M4 Max。语音交互的下一轮竞争,算是正式开打了。

相关文章

Fish Audio 开源 Drama 3:35B MoE 语音模型拿下发音稳健性第一,自然语言直接「导戏」
MiniCPM-V 4.7 35B-A3B 发布:开源端侧 MoE 多模态,iPhone 17 Pro Max 跑出 13 token/s
可灵 AI 官宣 Kling 4.0 十月上线:30 秒原生长视频+10 关键帧分镜控制,AI 短剧从「抽卡」进入「分镜」时代
Google Nano Banana 2.1 图像模型发布:14 张参考图保持 4 个角色一致,生成价格直接砍半