CodegenBench：评估LLM跨CPU架构高效并行代码生成能力

日前，研究者们正式发布了CodegenBench，一个专门用于评估LLM跨CPU架构高效并行代码生成能力的综合基准。这个基准的核心目标，是看看大语言模型在不同硬件平台下，能否写出真正跑得快的并行代码——而不是只会写个“能跑”就完了。

对比三大CPU架构，考验LLM的真本事CodegenBench覆盖了三个差异挺大的硬件平台：x86_64、Sunway（神威）和Kunpeng（鲲鹏）。x86_64咱们很熟悉，是PC和服务器的常客；Sunway则是国产高性能计算（HPC）的代表架构，比如神威·太湖之光；Kunpeng是华为基于ARM架构的服务器处理器，在数据中心里越来越常见。说白了，这个基准要测的就是：同一个LLM，在三种截然不同的CPU上，写并行代码的效率能差多少？凭什么认为它能一视同仁？

106个标准测试，覆盖真实场景CodegenBench一共包含了106个标准测试，这些用例可不是随便挑的。它们涉及矩阵计算、排序算法、图像处理等典型的高性能计算任务，每个任务都要求模型生成高效的并行实现——比如用x86_64的AVX指令集、用Sunway的从核加速体系、或者用Kunpeng的ARM NEON指令。没错，这些全是底层而硬核的东西，跟那些写个简单的Python脚本可不一样。

为什么跨CPU架构评估如此要紧？其实，过去LLM在代码生成上的评测大多盯着通用编程（写个网页、写个API）或者GPU加速（如CUDA、PyTorch），很少有人真正去测它们在纯CPU高性能计算上的表现。但现实中，很多科学计算、工业仿真、金融风控场景，依然严重依赖CPU的并行能力，而且架构五花八门。如果LLM只擅长给x86写优化代码，到了Sunway或Kunpeng上就“水土不服”，那它的实用价值就要打折扣了。CodegenBench的出现，正是为了填补这个空白。

对开发者和芯片厂商的直接启发对于开发者来说，这个基准能帮你快速判断：哪个LLM在国产CPU上写并行代码更在行，哪个还得再练练。对于芯片厂商，比如Sunway和Kunpeng的团队，也能通过CodegenBench的结果，知道自家的硬件在LLM的“眼中”到底好不好用——指令集文档是不是够清楚？编程模型是不是够直观？这些都会影响AI生成的代码质量。