聊聊 BigCode

Fri, 10 Jul 2026 11:30:00 +0800

最近在调研"开源架构 + 开源数据"训练出来的大模型时，我反复碰到一个名字：BigCode。它既是最早一批完全开源代码模型的缔造者，如今又变成了代码模型评测的裁判。这篇文章聊聊它的全貌——从造模型的人，到出题的人。

它是什么

BigCode 是一个开放科学协作项目，目标很纯粹：负责任地训练代码大模型。

启动：2022 年 9 月
牵头方：Hugging Face + ServiceNow Research（StarCoder2 起加入 NVIDIA）
治理：双 steering committee，由 Leandro von Werra（HF）和 Harm de Vries（ServiceNow）共同领导，核心研究员包括 Loubna Ben Allal
规模：1200+ 社区成员
特色：不只发模型，还发布 Governance Card，把数据治理、环境影响、法律合规都写进文档——这在 LLM 项目里相当罕见

两阶段历史

理解 BigCode 的关键，是把它分成两个阶段看。

阶段一：造开源代码模型（2022–2024）

时间	产出	说明
2022	The Stack v1	6.4 TB，358 语言的开源代码数据集
2023.05	StarCoder	15.5B，80+ 语言，首个大规模开源代码 LLM
2024.02	The Stack v2	67.5 TB，600+ 语言，是 v1 的 7 倍
2024.02	StarCoder2	3B / 7B / 15B，基于 Stack v2
2024 下半年	StarCoder2-15B-Instruct	用 SelfCodeAlign 自对齐，首个不依赖 GPT-4 蒸馏的代码指令模型

这一阶段的核心理念是完全透明：数据可溯源（用 Software Heritage 的持久标识符 SWHIDs）、代码开源、权重用 OpenRAIL 许可、连训练的碳排放都记录在案。这是 BigCode 区别于 CodeLlama / DeepSeek-Coder 的根本点——后两者只开放权重，训练数据是闭源的。

阶段二：转向评测（2024 末–至今）

模型线停了，但项目没停，方向转向了做代码模型的评测：

时间	产出	是什么
2024.06 论文 / ICLR 2025	BigCodeBench	1140 个真实编程任务的静态基准
2025.02	BigCodeArena	带真实代码执行的 Chatbot Arena
2025.10	BigCodeReward + AutoCodeArena	评测 reward model 对代码的判断力

当前主力：三大评测工作

1. BigCodeBench — 静态基准

设计上是为了超越 HumanEval。HumanEval / MBPP 这类基准早就饱和了（强模型 90%+），区分不出模型好坏。BigCodeBench 的设计是：

1140 个函数级任务，需要调用 139 个 Python 库的 723 个函数
覆盖 7 个领域
两个 split：Complete（代码补全）和 Instruct（纯自然语言指令从零写代码）
执行验证——真的跑测试，不是让人读代码打分

它有多难？连顶尖模型 Pass@1 也只有 30% 出头：

模型	BigCodeBench Pass@1
DeepSeek-V3	~33–34
GPT-4.1	32.8
Qwen2.5-Max	32.5
Qwen2.5-Coder-32B	30.8
Claude-3.5-Sonnet	30.4

Instruct split 有 278 个任务所有模型都解不出，只有 14 个被全部模型解出——天花板还很高，区分度很好。

2. BigCodeArena — 人工对战平台

类似 LMSYS Chatbot Arena，但关键区别是真实执行代码后再让人投票。支持多语言、多框架、多轮对话、交互式测试。这解决了"HumanEval 太简单、人读代码又不准"的老问题。

3. BigCodeReward / AutoCodeArena — 自动化评测

评测 reward model 评判代码的能力（类似 RewardBench 之于通用 RM）。核心发现是：给 reward model 加上执行结果，判断准确率大幅提升——纯靠读代码判断质量不可靠。AutoCodeArena 据此做了自动化评测，替代昂贵的人工 arena。

一个值得注意的现象

BigCodeArena 的排行榜上跑的全是 GPT、Claude、Qwen、DeepSeek、GLM、Kimi 这些闭源 / open-weights 模型，StarCoder2 自己基本不在主力榜单。BigCode 完成了从"被评测的选手"到"给所有人打分的裁判"的身份转换。

为什么转向评测

综合公开信息，我的判断是：

开源代码模型赛道被碾压。Qwen-Coder、DeepSeek-Coder 虽然数据闭源，但性能和迭代速度远超一个学术合作项目能支撑的水平。继续刷 StarCoder3 的 SOTA 性价比很低。
代码评测是真正的洼地。HumanEval 已饱和，SWE-bench 偏 repo 级、太重。函数级 + 多工具调用 + 执行验证这个中间地带没人做好，BigCode 抓住了。
团队优势契合。BigCode 的 evaluation-harness 早已是社区标准评测工具，做评测比拼算力训练更合适。

历史贡献与现状定位

维度	评价
开源代码模型先驱	StarCoder / StarCoder2 是最早的大规模完全开源代码 LLM，奠基性工作
数据透明标杆	The Stack v1/v2 + SWHIDs 溯源，至今无人超越
当前模型线	停滞，StarCoder2 性能已被 open-weights 模型拉开
当前评测线	活跃且领先，BigCodeBench 已成代码评测事实标准之一

BigCode on Svtter's Blog