POLARIS提出GRPO训练法让小模型写出连贯长故事

POLARIS提出GRPO训练法让小模型写出连贯长故事

大模型能写小说不稀奇，但让参数量少、算力需求低的小模型也能写出上万字且情节不乱的长故事，这才是真本事。日前，一项名为POLARIS的新技术方案在arXiv上公开，核心思路是用GRPO（一种强化学习训练策略）配合“裁判级”大模型打分，再引入人类参考片段做锚定，从而让小模型在长文创作上实现质的飞跃。说白了，就是给“小个子”模型装上一套“外挂教练系统”，让它能把故事一口气讲完还讲得漂亮。

小模型写长文的“卡脖子”问题

长期以来，小规模开源模型在创意写作上一直抬不起头：要么生成的故事篇幅严重缩水，远达不到要求的长度；要么一写长就“跑调”——逻辑断裂、情节重复、人物行为前后矛盾。这问题到底有多严重？可以对比一下前沿大模型的表现，差距就摆在眼前。POLARIS团队的方案正是冲着这个痛点来的，他们提出了一套“低计算量”的GRPO流程，不靠堆算力，而是靠“教得更聪明”。

两个关键武器：LLM裁判 + 人类参考注入

POLARIS的精髓在于两个核心设计。第一个是“LLM-as-a-judge”奖励机制——让一个前沿大模型充当裁判，依据结构化的故事质量评估标准（Story Quality rubric）给生成结果在线打分。这就像作文比赛里请来一位顶尖作家做评委，告诉小模型“这段情节衔接不行”“那处对话干巴巴的”。第二个是“人类参考注入”（HRI，Human-Reference Injection）：在训练过程中，把小模型当前正在写的那段故事，对应的人类优质示例片段“塞”进上下文里做锚点。这就好比学写作时，老师先给一篇范文，让你照着那个水准去写下一段，而不是凭空瞎编。

GRPO训练：让模型在“试错”中学会控场

GRPO在这里扮演的角色，是让模型在每一次生成后都能从裁判的评分和人类参考的差距中“学到教训”，从而调整自己的策略。反复迭代下来，小模型逐渐学会如何维持故事长度、如何控制情节发展的连贯性。这真的挺像咱们人类学写作的过程——写一段、被批改、看范文、再改进。POLARIS等于把这一整套教学流程搬到了模型训练里，而且效率很高，不需要消耗巨大的算力去跑。

为什么这事儿值得关注？

开源小模型一直因为写长故事“拉胯”而被诟病，如果POLARIS方案能被广泛采纳，那更多普通开发者、内容创作者就能在本地或低成本设备上使用“能写完整故事”的AI助手。这不就是咱们常说的“让AI普惠化”吗？试想一下，一个只有几十亿参数的小模型，经过这种训练后也能写出情节完整的千字甚至万字故事——凭什么大模型才能干这活儿？小模型也得进步呀！目前这项研究以论文预印本形式公开（编号arXiv:2606.04095v1），有兴趣的读者可以找来细看，亲自检验一下那些生成的故事到底有多“连贯”。