Wispr Advanced Interfaces Lab 推出了 **Canto**,这是一款专为复杂现实环境中的实时听写而设计的全新语音转文字模型。与在纯净录音室音质下训练的模型不同,Canto 针对“野外”环境进行了优化,例如背景噪音、交通声、风声以及音量波动等干扰条件。 在与行业领先模型的对比测试中,Canto 在实时模型中实现了最低的词错误率(WER),在短语音听写和低音量语音表现上尤为突出。 Wispr 通过两个阶段训练 Canto:首先进行监督微调,随后使用组相对策略优化(GRPO)进行强化学习。这种方法使模型能够从特定的错误模式和用户修正中进行学习。此外,Wispr 还进行了创新,教会模型有选择性地使用上下文词汇——确保在所提供的数据与实际音频证据之间取得平衡,从而避免出现“幻觉”而产生错误单词。 Canto 是该研究计划迈出的第一步。Wispr 目前正在扩展这项技术,以改进多说话人识别、多语言支持以及能够同时处理转录和说话人识别的统一架构,旨在打造更加直观且具备上下文感知能力的人机交互界面。