小米开源了工业级目标说话人语音识别模型 CocktailASR-1,专门解决多人同时发言时"听不清特定人"的鸡尾酒会难题。权重已免费开放,开发者可低成本接入。

传统方案先分离,它直接指定"听谁"

"鸡尾酒会问题"是语音领域的经典难题:一堆人同时说话,怎么只听清其中一个?传统做法先做盲源分离和降噪,再转录,链路长、容易互相拖累。CocktailASR-1 换了个思路——预先指定目标说话人的声学特征,模型就只输出对应那一个人的语音转录,不去管背景里其他人在说什么。

难点不在"听清",在"认人"

目标说话人识别听起来只是"加个筛选条件",实际要难得多。

模型必须先拿到目标人的声纹信息——通常是一段注册语音,或者由视觉线索(镜头看到谁在说话)辅助定位。问题在于,真实场景里这段参考信息往往很短、很脏:用户只说了三五个字就下指令,还带着环境噪音。参考越短,模型越难把"这个人"和背景里的其他人区分开。

另一个麻烦是串音与误吸。当两个人的声音在频域上重叠,模型强行"只挑一个人",很容易把旁边人的音节也带进来,转写结果读起来像两个人被缝在了一起。所以这类系统的评测不能只看字错率(WER),还得看说话人归属是否准确——挑错了人,字错率再低也没意义。

还有一个容易被忽略的点:声纹属于生物特征。要在产品里用"指定谁就听谁的",就得处理声纹数据的采集、存储和授权,这在不少地区属于敏感个人信息范畴。技术开源了,合规问题仍然留在开发者这一侧。

哪些场景立刻用得上

车载智能座舱里主驾下指令、会议转录里只抓某位发言者、嘈杂马路边用语音助手——这些真实环境的共同点是"有人想说、但周围很吵、还不止一个人"。目标说话人识别把这些场景里的拾音准确率直接拉高,而不用先做一整套分离降噪。

开源之后,谁能用得起来

权重开放降低了门槛,但要把它变成稳定可用的产品,还有两段工程要做。

第一段是端侧部署。车载与耳机这类场景没有云端可依赖,要在地平线、高通这类平台上把模型压到几亿参数级、功耗控制在瓦级,还得保住识别率。这一步靠的是量化、算子优化和硬件协同,和训练模型的团队往往是两拨人。

第二段是场景微调。通用权重对普通话、安静环境效果好,但真实用车场景里方言、童声、开窗风噪都是常态。厂商必须自己攒几百到几千条场景数据做微调,模型才真正"认识"自己的用户。

所以"开源"给的是起跑线,不是终点。真正的差距会出现在那些肯为特定场景做数据积累的团队身上——这也是顺带解释了一个现象:同一份开源权重,做出来的产品体验可以差得很远。

开源把门槛砸了下来

这类能力过去多在实验室或闭源商业方案里。小米的做法是把权重直接开放,意味着中小团队、独立开发者也能在自己的产品里接上"指定谁、就听懂谁"的能力。对语音交互产品来说,这算是把"最后一公里"又往前推了一步——不是让模型更会聊天,而是让它在真实噪音里更懂你到底在对谁说话。