OLMo 与 LLM360：开源大模型的两条路线

Fri, 10 Jul 2026 16:00:00 +0800

在"完全开源"大模型这条赛道上，有两个项目几乎总是被同时提起：OLMo（Allen Institute for AI，美国）和 LLM360（MBZUAI，阿联酋）。它们都主张把训练数据、代码、权重甚至中间 checkpoint 全部公开，但代际、规模、性能和迭代节奏差异不小。这篇文章把两者摆在一起做个梳理，方便后来者快速建立全景认识。

TL;DR

维度	OLMo 系列	LLM360
主导单位	Allen Institute for AI (AI2)，美国非营利	MBZUAI（+ Petuum + Cerebras），阿联酋学术
代表人物	Dirk Groeneveld、Matt Gardner 等	邢波（Eric Xing）——MBZUAI 校长 / Petuum 创始人
最新版本	OLMo 3 / 3.1（2025-11/12）	K2-V2（2026 初，70B 稠密）
规模谱系	7B / 13B / 32B（+ 多模态 Molmo）	7B（Amber/CrystalCoder）→ 70B（K2-V2）
性能定位	全开源阵营最强，逼近 Qwen 3 同尺寸	第一代偏弱，K2-V2 在 70B 量级反追
透明度	全开源（数据 + 代码 + checkpoint）	全开源，“360°” 口号更彻底

一句话：看重 benchmark 性能选 OLMo；看重训练过程可研究性，两者都行，LLM360 的 K2-V2 是单点突破的 70B 旗舰。

OLMo 系列（AI2）

一句话定位

学术界最知名的全开源 LLM 家族，每一代都开放预训练数据、代码、中间 checkpoint。已从 OLMo 1（2024-02）迭代到 OLMo 3（2025-11），并扩展到视觉多模态（Molmo / OLMoVision）。

OLMo 2（7B / 13B，2024-11）

官方定位"迄今最强的全开源模型"，对标 Llama 3.1、Gemma 2、Qwen 2.5 同尺寸开权重模型。核心评测覆盖 11 个学术 benchmark：Average / ARC-C / HellaSwag / WinoGrande / MMLU / DROP / NQ / AGIEval / GSM8k / MMLUPro / TriviaQA。

Model	Avg	ARC-C	HellaSwag	MMLU	DROP	GSM8k
OLMo-2-1124-7B	62.9	79.8	83.8	63.7	60.8	67.5
OLMo-2-1124-13B	68.3	83.5	86.4	67.5	70.7	75.1
Llama-3.1-8B	61.8	79.5	81.6	66.9	56.4	56.5
Qwen-2.5-7B	67.4	89.5	89.7	74.4	55.8	81.5
Gemma-2-9B	67.8	89.5	87.3	70.6	63.0	70.1

几个关键观察：

vs Llama-3.1-8B：OLMo-2-7B 平均 62.9 vs 61.8，基本持平甚至略优，但训练 FLOPs 仅为对方的约 1/4——计算效率更高。
vs Qwen-2.5-7B：落后约 4-5 分（MMLU、ARC-C、GSM8k 上 Qwen 明显更强），但 Qwen 的训练 FLOPs 也约是 OLMo 的 4.5 倍。
代际跃迁：相对初代 OLMo-7B，几乎所有 benchmark 翻倍以上（GSM8k 9.2 → 67.5，MMLU 28.3 → 63.7）。
短板：MMLUPro（31-35）、NQ（事实问答）偏弱。

OLMo 3 / 3.1（2025-11 / 2025-12）

这是 OLMo 目前最重要的版本跃迁，不再只是"一组权重"，而是把**整个模型流（model flow）**开源——数据、代码、各阶段 checkpoint 全开放，可任意 fork。

四条产品线：

路径	尺寸	定位
OLMo 3-Base	7B / 32B	基座，全开源阵营最强 base
OLMo 3-Think	7B / 32B	旗舰推理模型，可查中间推理 trace
OLMo 3-Instruct	7B	对话 / 工具调用
OLMo 3-RL Zero	7B	RL 研究起点

OLMo 3-Think 32B 核心评测：

Benchmark	OLMo 3-Think 32B	Qwen 3 32B	DeepSeek R1 Distill 32B
MATH	96.1	95.4	92.6
AIME 2024	76.8	80.8	70.3
AIME 2025	72.5	70.9	56.3
MMLU-Pro	75.9	—	—
GPQA (Diamond)	61.0	67.3	61.8
IFEval	89.0	86.5	78.7
HumanEvalPlus	91.4	91.2	92.3

OLMo 3-Think 7B：MATH 94.4 追平 Qwen 3 8B，AIME 2024/2025 仅差几分；Instruct 7B 在 Safety（87.3）上反超 Qwen 3 8B（78.0）。

2025-12-12 的 3.1 更新：把 32B Think 的 RL 训练额外延长 21 天，AIME +5、IFEval +4、IFBench +20，并发布首个大尺寸 Instruct（32B）。

OLMo Hybrid（2026-03，架构研究分支）

注意这不是 OLMo 4（OLMo 4 目前未官宣）。它是一个受控对比实验：把 OLMo 3 7B 配方当作控制组，只换架构（transformer 层 → 混合 SSM/attention，Mamba 风格），其余数据/代码/超参全部保持一致。

指标	结果
数据效率	约 2 倍——用 49% 更少 token 达到与 OLMo 3 相同精度
计算等价	1.25×
定位	架构研究，非产品线

它首次把混合 SSM 架构纳入主流开源 LLM 路线，证明混合架构在 scaling 上确实比纯 Transformer 更高效，和 NVIDIA Nemotron-3、Jamba 等一起标志"混合架构从论文走向工业"。

LLM360（MBZUAI + Petuum + Cerebras）

主导单位与定位

LLM360 是三家机构联合发起的开放研究项目：

机构	角色
MBZUAI（Mohamed bin Zayed University of AI）	主导单位，阿联酋阿布扎比，全球第一所研究生级 AI 大学。K2 系列由其基础模型研究所（IFM）开发
Petuum, Inc.	联合发起，AI 创业公司，由邢波创立
Cerebras Systems	算力/硬件支持（晶圆级芯片）

核心人物是邢波（Eric Xing）：MBZUAI 校长、Petuum 创始人、CMU 教授。LLM360 与 OLMo 形成了东西方两大学术开源阵营的对照。

⚠️ 重要澄清：搜索时高频出现的"K2 万亿参数、SWE-Bench 65.8%“指的是 Moonshot AI 的 Kimi K2（商业开源权重 MoE，总参 1T），不是 LLM360 的产品。两者只是同名。

第一代：Amber & CrystalCoder（均为 7B，2023-12）

模型	强项	表现
Amber-7B（通用基座）	MMLU 相对有竞争力	ARC 明显落后同期模型；MT-Bench 仅 2.49（弱）
AmberChat / AmberSafe	对话/安全微调	MT-Bench 4.95 / 4.97
CrystalCoder-7B	代码	MMLU / HumanEval / MBPP 上明显优于 Amber，代码任务是亮点

坦率说，第一代 LLM360 的绝对水平在 7B 量级里偏弱——主要价值是"透明度"而非"性能”。

新一代：K2-V2（2026 初，70B 稠密）

这是 LLM360 自 2024 年以来最重要的一次更新：

项目	内容
发布时间	2026 初（纪念 LLM360 两周年）
参数量	~65–70B（稠密模型）
许可	Apache 2.0（全球免费商用）
定位	“360-open” 全透明 LLM，主打推理增强的基座

关键 benchmark（mid-4 checkpoint）：

Benchmark	K2-V2 (mid-4)
GPQA-Diamond	55.1
GSM8K	93.6
MATH	94.7

配套还有 K2 Think V2（基于 K2-V2 端到端构建的推理系统，被定位为"阿联酋首个完全自主的推理系统"，合作方含 G42 与 Cerebras）。

⚠️ 务必注意：K2-V2 的 GPQA-Diamond 55.1 / MATH 94.7 等分数（mid-4 checkpoint），与 OLMo 3-Think 32B 不可直接横比——评测设置、checkpoint 阶段、是否开推理模式都有差异，引用时以各自技术报告为准。

横向对比：怎么选

你想要	推荐
全开源阵营里最强基座 + 推理模型	OLMo 3-Think 32B
同等计算下高效率的 7B	OLMo 3-Think 7B
一个单点突破的 70B 全透明研究旗舰	LLM360 K2-V2
纯代码任务且要小模型	OLMo 3 系列整体更强（HumanEvalPlus 91.4 居首；第一代 CrystalCoder 已过时）
研究训练流程本身 / 做 RL 实验	两者都开放 checkpoint；OLMo 3-Think 32B 官方定位为"RL 研究工作马"
只要绝对最高分	选别的——Qwen 3 / DeepSeek 等 open-weights 更强

我的判断

这两个项目都是开源科学精神的标杆，但工程投入和迭代节奏差异明显：

OLMo 的代际进步是肉眼可见的。从 1 到 2 到 3，每代都把"全开源阵营的天花板"抬高一大截，3 代已开始追平 Qwen 3。AI2 的节奏更像一个产品团队。
LLM360 的价值在"全程可研究"。第一代 Amber/CrystalCoder 性能确实偏弱，但 K2-V2 把规模跳到 70B 后有了实质竞争力。它的"360°“口号不是营销——连训练日志都开放，作为复现/教学材料非常宝贵。
两者共同的短板是通用知识。MMLU / GPQA 上都打不过最强的 open-weights 模型。全开源（含数据）的代价在此：高质量私有数据没法用。

如果你要做研究复现或教学，OLMo 2/3 + LLM360 K2-V2 是目前最完整的两套公开教材级 LLM 栈。

LLM360 on Svtter's Blog