Subhashini Venugopalan等发布MTG-AD数据集及评估框架

针对多模态大模型生成的内联音频描述难以适配视频原有静音间隙这一痛点，新发布的 MTG-AD 数据集与 MTG-AD-Eval 评估框架提供了从数据基准到端到端验证的完整解决方案。该研究聚焦于视障用户（BLV）依赖的音频描述场景，指出虽然大模型能扩展生成能力，但在处理用户生成内容时，如何确保解说词精准嵌入自然停顿且避免语音重叠仍是未充分探索的难题。 MTG-AD 是一个由盲人与明眼音频描述专家配对协作标注的专业数据集，包含 36 小时视频、平均时长约 5 分钟以及超过 8000 条描述记录，旨在建立高质量的任务基准。配套的 MTG-AD-Eval 框架依据专业指南构建，提供无需参考文本的细粒度可操作指标。其核心创新在于执行端到端评估：不仅分析文本内容，还将生成的脚本渲染为音频轨道，直接测量其在原视频静音段中的适配程度，从而量化并最小化破坏性的语音重叠现象。 对前沿多模态大模型的测试显示，模型在准确描述视觉事件和大幅减少语音重叠方面表现良好，但在叙事节奏与流畅度上仍存在显著差距。通过与明眼评分者及 7 名 BLV 参与者的主观质量评分进行实证关联，研究发现自动化指标与人类评价具有显著相关性。尽管用户在细微偏好上仍倾向于人工撰写的音频描述，但普遍认为大模型生成的描述对理解内容极具价值。该成果已发表于 NeurIPS 2026 评估与数据集赛道，相关资源已开源，为优化无障碍媒体生成系统提供了具体的设计指导与度量工具。