AV-Phys Bench基准测试：联合音视频生成模型能否理解物理常识

日前，arXiv预印本网站上线了一篇题为《Do Joint Audio-Video Generation Models Understand Physics?》的研究，并正式推出AV-Phys Bench基准测试。这项测试专门用来检验联合音视频生成模型是否真的掌握了物理常识，而不仅仅是瞎编出看似合理的声音和画面。

联合音视频生成模型到底是什么呢？其实，这类模型能同时生成视频画面和对应的音频，比如一段海浪拍打礁石的视频，它既要让海浪涌动，又要配上浪花飞溅的声音。现在这些模型生成的素材，画面和音效已经能骗过普通观众的眼睛和耳朵了，可它们真的明白“石头落到水里会沉下去”这种物理常识吗？AV-Phys Bench基准测试就是来回答这个问题的。

这套基准测试怎么测？它把测试场景分成三大类：稳态场景、事件转换场景和环境转换场景。稳态场景里，模型要生成持续稳定的物理现象，比如蜡烛持续燃烧，火焰不能飘到蜡烛外面去。事件转换场景要求模型捕捉瞬间的物理变化，比如玻璃杯掉到地上——碎了，这个碎裂的过程不能只靠音效糊弄，画面里的碎片飞溅也得符合动量守恒。环境转换场景更刁钻，比如室内光线突然变成室外强光，模型生成的视频里物体阴影的移动方向得跟着变，这考验的是对光照物理的理解。

这几个分类听上去挺有道理吧？但实际跑下来，很多模型的成绩相当惨淡。研究人员从现实中采集了大量物理视频，每个都标注了违反常识的细节，比如明明是打雷下雨，模型却配上鸟叫。AV-Phys Bench基准测试就是要把这些漏洞暴露出来，让开发者知道自家模型在物理感知上究竟差在哪。说白了，模型能“糊弄”观众，是因为人类视觉对微小物理违和的容忍度很高，但一旦切换到慢放或者局部特写，破绽就全露出来了。

咱们不妨换个角度想——如果连“球滚下斜坡会加速”这种直觉都学不会，那这些模型生成的内容凭什么能用在自动驾驶仿真或者机器人训练里？这背后其实是个更根本的问题：视频生成模型究竟是在拟合像素分布，还是在学习底层物理规律？AV-Phys Bench基准测试给出的初步结论是：当前模型更像是“音画拼贴师”，而不是“物理模拟师”。

那有没有哪些场景是模型能蒙对的？确实有。在稳态场景里，比如一直燃烧的火焰，模型往往表现不错，因为火焰的画面特征很稳定，用数据驱动的模式匹配就能覆盖。但一遇到“小球撞墙反弹”这种有明确因果链的事件转换，模型就开始犯晕了——有的视频里小球撞墙后直接穿透，有的反弹角度完全反常识。这足以证明，模型缺乏对碰撞、弹性这类物理概念的本质理解。

最后来句带叹气的感叹吧：如果连AV-Phys Bench基准测试里这些最基础的物理常识都过不了，那所谓的“AI视频创作工具”离真正理解世界还差着十万八千里呢！这一测试的发布，给整个行业敲了个警钟——别光顾着炫技，先把“水往低处流”这种常识教给模型再说。