最近在调研"开源架构 + 开源数据"训练出来的大模型时，我反复碰到一个名字：BigCode。它既是最早一批完全开源代码模型的缔造者，如今又变成了代码模型评测的裁判。这篇文章聊聊它的全貌——从造模型的人，到出题的人。

它是什么

BigCode 是一个开放科学协作项目，目标很纯粹：负责任地训练代码大模型。

• 启动：2022 年 9 月
• 牵头方：Hugging Face + ServiceNow Research（StarCoder2 起加入 NVIDIA）
• 治理：双 steering committee，由 Leandro von Werra（HF）和 Harm de Vries（ServiceNow）共同领导，核心研究员包括 Loubna Ben Allal
• 规模：1200+ 社区成员
• 特色：不只发模型，还发布 Governance Card，把数据治理、环境影响、法律合规都写进文档——这在 LLM 项目里相当罕见

两阶段历史

理解 BigCode 的关键，是把它分成两个阶段看。

阶段一：造开源代码模型（2022–2024）

这一阶段的核心理念是完全透明：数据可溯源（用 Software Heritage 的持久标识符 SWHIDs）、代码开源、权重用 OpenRAIL 许可、连训练的碳排放都记录在案。这是 BigCode 区别于 CodeLlama / DeepSeek-Coder 的根本点——后两者只开放权重，训练数据是闭源的。

阶段二：转向评测（2024 末–至今）

模型线停了，但项目没停，方向转向了做代码模型的评测：

当前主力：三大评测工作

1. BigCodeBench — 静态基准

设计上是为了超越 HumanEval。HumanEval / MBPP 这类基准早就饱和了（强模型 90%+），区分不出模型好坏。BigCodeBench 的设计是：

• 1140 个函数级任务，需要调用 139 个 Python 库的 723 个函数
• 覆盖 7 个领域
• 两个 split：Complete（代码补全）和 Instruct（纯自然语言指令从零写代码）
• 执行验证——真的跑测试，不是让人读代码打分

它有多难？连顶尖模型 Pass@1 也只有 30% 出头：

Instruct split 有 278 个任务所有模型都解不出，只有 14 个被全部模型解出——天花板还很高，区分度很好。

2. BigCodeArena — 人工对战平台

类似 LMSYS Chatbot Arena，但关键区别是真实执行代码后再让人投票。支持多语言、多框架、多轮对话、交互式测试。这解决了"HumanEval 太简单、人读代码又不准"的老问题。

3. BigCodeReward / AutoCodeArena — 自动化评测

评测 reward model 评判代码的能力（类似 RewardBench 之于通用 RM）。核心发现是：给 reward model 加上执行结果，判断准确率大幅提升——纯靠读代码判断质量不可靠。AutoCodeArena 据此做了自动化评测，替代昂贵的人工 arena。

一个值得注意的现象

BigCodeArena 的排行榜上跑的全是 GPT、Claude、Qwen、DeepSeek、GLM、Kimi 这些闭源 / open-weights 模型，StarCoder2 自己基本不在主力榜单。BigCode 完成了从"被评测的选手"到"给所有人打分的裁判"的身份转换。

为什么转向评测

综合公开信息，我的判断是：

1. 开源代码模型赛道被碾压。Qwen-Coder、DeepSeek-Coder 虽然数据闭源，但性能和迭代速度远超一个学术合作项目能支撑的水平。继续刷 StarCoder3 的 SOTA 性价比很低。

2. 代码评测是真正的洼地。HumanEval 已饱和，SWE-bench 偏 repo 级、太重。函数级 + 多工具调用 + 执行验证这个中间地带没人做好，BigCode 抓住了。

3. 团队优势契合。BigCode 的 evaluation-harness 早已是社区标准评测工具，做评测比拼算力训练更合适。

历史贡献与现状定位

拓展阅读

• BigCode 官网
• StarCoder2 论文 (arXiv 2402.19173)
• BigCodeBench 论文 (arXiv 2406.15877, ICLR 2025)
• BigCodeBench 排行榜
• BigCodeArena 博客