技术问题请联系 网站管理员
|
报告信息 |
| 题目：迈向全模态交互模型 |
| 报告人：邱锡鹏 教授，上海创智学院／复旦大学 |
| 摘要：本报告聚焦从“离线理解”走向“实时交互”的全模态模型演进，介绍 OpenMOSS 团队在视觉理解、通用音频理解、语音生成与实时视频交互方面的研究进展。报告首先梳理多模态大模型的发展脉络与关键挑战，随后围绕 MOSS-VL、MOSS-Audio 和 MOSS-TTS，说明模型架构、训练方法及其在视频理解、音频理解和语音合成中的能力。在此基础上，报告进一步介绍 MOSS Live：该模型面向持续视频流进行实时理解与交互，支持用户在任意时刻提问，根据场景变化即时回应，并在信息不足时保持静默、在新画面到来时及时修正判断，推动视频模型从“看完再回答”转向“边看边交流”。最后展示 MOSS 多模态系列从模型设计、数据训练到推理系统协同优化的技术路径。 |