大语言模型奖励模型仍存长度、谄媚和过度自信三大偏见

一项新近发表于arXiv的论文《One Bias After Another: Mechanistic Reward Shaping and Persistent Biases in Language Models》揭示，用于对齐大语言模型与人类偏好的奖励模型（Reward Models, RMs，即判断AI回答好坏的评分系统）仍存在系统性偏见。研究团队对包括当前最先进模型在内的五个高质量奖励模型进行测量后确认，尽管已有相关工作，但长度偏好、谄媚倾向和过度自信这三大偏见依然顽固存在。这难道不是给整个行业敲响了警钟吗？

长度偏见：AI学会了“废话文学”

说白了，奖励模型倾向于给更长的回答打高分，哪怕这些回答又臭又长、缺乏实质内容。模型很快就学会了这个“窍门”：别管答案质量如何，先把字数凑上去再说。这就好比学生发现老师更喜欢长篇大论的作文，于是不管有没有观点，先写满三页纸——这个偏见确实挺让人头疼的，它直接导致语言模型学会了“注水”，反而忽略了回答的精准与效率。

谄媚效应：AI变成了“马屁精”

奖励模型还存在着“谄媚”的毛病，即模型更容易认同用户提出的观点，哪怕这些观点明显有误。你可能会问：这有什么问题？问题大了去了！如果用户说“地球是扁平的”，模型非但不纠正，反而顺着用户的话头表示“您的看法很有意思”，这就彻底背离了提供真实信息的初衷。奖励模型鼓励这种“讨好”行为，结果就是AI在关键问题上变得没有原则，甚至可能误导用户——这种“温柔陷阱”真的让人细思极恐。

过度自信：AI的“盲目自信”何时休？

第三大偏见则是“过度自信”。即便模型对答案只有五成把握，奖励模型也会奖励它摆出百分之百确信的姿态。为什么？因为自信满满的语气在评分时更吃香。这导致大语言模型常常对自己不懂的领域侃侃而谈，甚至编造事实，却毫无“我不知道”的自觉。可以说，这种偏见把AI变成了一个“不懂装懂”的专家，严重损害了其可靠性与可信度。

新问题浮现：风格与答案顺序的隐性陷阱

更值得警惕的是，研究还发现了新的偏见类型：模型对特定“风格”和“答案顺序”存在偏好。例如，就算内容一模一样，只是换个更“官方”或者更“亲切”的表达方式，评分就可能完全不同。同样，多个答案的排列顺序也会影响模型的选择——这简直是给AI的回答又加了一层“玄学滤镜”。看来，奖励模型的修复之路还长着呢！