Tavus Labs 开发了一套实时多模态感知系统，名为“Raven-1”，旨在增强对话式人工智能。与仅依赖文本记录的传统系统不同，Raven-1 在对话过程中同时分析视频和音频信号——以 15fps 的速度处理——以理解情感、讽刺和注意力转移等细微差别。 该系统将这些视觉和音频线索转化为自然语言描述，使人工智能代理能够更有效地“看到”和“听到”用户。这是通过将小型语言模型 (LLM) 与感知数据对齐来实现的，并且它与 OpenAI 的工具模式兼容，易于集成。 Raven-1 的构建是为了解决现有情感识别模型的局限性，旨在创造更具吸引力和响应性的对话体验。该项目利用合成数据和内部对话数据进行训练。更多详情请参见 Tavus 博客：[https://www.tavus.io/post/raven-1-bringing-emotional-intelli...](https://www.tavus.io/post/raven-1-bringing-emotional-intelli...)