Featured image of post OLMo 与 LLM360:开源大模型的两条路线

OLMo 与 LLM360:开源大模型的两条路线

从 benchmark 到训练透明度,横向梳理 AI2 的 OLMo 系列与 MBZUAI 的 LLM360 项目

语速

在"完全开源"大模型这条赛道上,有两个项目几乎总是被同时提起:OLMo(Allen Institute for AI,美国)和 LLM360(MBZUAI,阿联酋)。它们都主张把训练数据、代码、权重甚至中间 checkpoint 全部公开,但代际、规模、性能和迭代节奏差异不小。这篇文章把两者摆在一起做个梳理,方便后来者快速建立全景认识。

TL;DR

维度OLMo 系列LLM360
主导单位Allen Institute for AI (AI2),美国非营利MBZUAI(+ Petuum + Cerebras),阿联酋学术
代表人物Dirk Groeneveld、Matt Gardner 等邢波(Eric Xing)——MBZUAI 校长 / Petuum 创始人
最新版本OLMo 3 / 3.1(2025-11/12)K2-V2(2026 初,70B 稠密)
规模谱系7B / 13B / 32B(+ 多模态 Molmo)7B(Amber/CrystalCoder)→ 70B(K2-V2)
性能定位全开源阵营最强,逼近 Qwen 3 同尺寸第一代偏弱,K2-V2 在 70B 量级反追
透明度全开源(数据 + 代码 + checkpoint)全开源,“360°” 口号更彻底

一句话:看重 benchmark 性能选 OLMo;看重训练过程可研究性,两者都行,LLM360 的 K2-V2 是单点突破的 70B 旗舰。

OLMo 系列(AI2)

一句话定位

学术界最知名的全开源 LLM 家族,每一代都开放预训练数据、代码、中间 checkpoint。已从 OLMo 1(2024-02)迭代到 OLMo 3(2025-11),并扩展到视觉多模态(Molmo / OLMoVision)。

OLMo 2(7B / 13B,2024-11)

官方定位"迄今最强的全开源模型",对标 Llama 3.1、Gemma 2、Qwen 2.5 同尺寸开权重模型。核心评测覆盖 11 个学术 benchmark:Average / ARC-C / HellaSwag / WinoGrande / MMLU / DROP / NQ / AGIEval / GSM8k / MMLUPro / TriviaQA。

ModelAvgARC-CHellaSwagMMLUDROPGSM8k
OLMo-2-1124-7B62.979.883.863.760.867.5
OLMo-2-1124-13B68.383.586.467.570.775.1
Llama-3.1-8B61.879.581.666.956.456.5
Qwen-2.5-7B67.489.589.774.455.881.5
Gemma-2-9B67.889.587.370.663.070.1

几个关键观察:

  • vs Llama-3.1-8B:OLMo-2-7B 平均 62.9 vs 61.8,基本持平甚至略优,但训练 FLOPs 仅为对方的约 1/4——计算效率更高。
  • vs Qwen-2.5-7B:落后约 4-5 分(MMLU、ARC-C、GSM8k 上 Qwen 明显更强),但 Qwen 的训练 FLOPs 也约是 OLMo 的 4.5 倍。
  • 代际跃迁:相对初代 OLMo-7B,几乎所有 benchmark 翻倍以上(GSM8k 9.2 → 67.5,MMLU 28.3 → 63.7)。
  • 短板:MMLUPro(31-35)、NQ(事实问答)偏弱。

OLMo 3 / 3.1(2025-11 / 2025-12)

这是 OLMo 目前最重要的版本跃迁,不再只是"一组权重",而是把**整个模型流(model flow)**开源——数据、代码、各阶段 checkpoint 全开放,可任意 fork。

四条产品线

路径尺寸定位
OLMo 3-Base7B / 32B基座,全开源阵营最强 base
OLMo 3-Think7B / 32B旗舰推理模型,可查中间推理 trace
OLMo 3-Instruct7B对话 / 工具调用
OLMo 3-RL Zero7BRL 研究起点

OLMo 3-Think 32B 核心评测

BenchmarkOLMo 3-Think 32BQwen 3 32BDeepSeek R1 Distill 32B
MATH96.195.492.6
AIME 202476.880.870.3
AIME 202572.570.956.3
MMLU-Pro75.9
GPQA (Diamond)61.067.361.8
IFEval89.086.578.7
HumanEvalPlus91.491.292.3

OLMo 3-Think 7B:MATH 94.4 追平 Qwen 3 8B,AIME 2024/2025 仅差几分;Instruct 7B 在 Safety(87.3)上反超 Qwen 3 8B(78.0)。

2025-12-12 的 3.1 更新:把 32B Think 的 RL 训练额外延长 21 天,AIME +5、IFEval +4、IFBench +20,并发布首个大尺寸 Instruct(32B)。

OLMo Hybrid(2026-03,架构研究分支)

注意这不是 OLMo 4(OLMo 4 目前未官宣)。它是一个受控对比实验:把 OLMo 3 7B 配方当作控制组,只换架构(transformer 层 → 混合 SSM/attention,Mamba 风格),其余数据/代码/超参全部保持一致。

指标结果
数据效率约 2 倍——用 49% 更少 token 达到与 OLMo 3 相同精度
计算等价1.25×
定位架构研究,非产品线

它首次把混合 SSM 架构纳入主流开源 LLM 路线,证明混合架构在 scaling 上确实比纯 Transformer 更高效,和 NVIDIA Nemotron-3、Jamba 等一起标志"混合架构从论文走向工业"。

LLM360(MBZUAI + Petuum + Cerebras)

主导单位与定位

LLM360 是三家机构联合发起的开放研究项目:

机构角色
MBZUAI(Mohamed bin Zayed University of AI)主导单位,阿联酋阿布扎比,全球第一所研究生级 AI 大学。K2 系列由其基础模型研究所(IFM)开发
Petuum, Inc.联合发起,AI 创业公司,由邢波创立
Cerebras Systems算力/硬件支持(晶圆级芯片)

核心人物是邢波(Eric Xing):MBZUAI 校长、Petuum 创始人、CMU 教授。LLM360 与 OLMo 形成了东西方两大学术开源阵营的对照。

⚠️ 重要澄清:搜索时高频出现的"K2 万亿参数、SWE-Bench 65.8%“指的是 Moonshot AI 的 Kimi K2(商业开源权重 MoE,总参 1T),不是 LLM360 的产品。两者只是同名。

第一代:Amber & CrystalCoder(均为 7B,2023-12)

模型强项表现
Amber-7B(通用基座)MMLU 相对有竞争力ARC 明显落后同期模型;MT-Bench 仅 2.49(弱)
AmberChat / AmberSafe对话/安全微调MT-Bench 4.95 / 4.97
CrystalCoder-7B代码MMLU / HumanEval / MBPP 上明显优于 Amber,代码任务是亮点

坦率说,第一代 LLM360 的绝对水平在 7B 量级里偏弱——主要价值是"透明度"而非"性能”。

新一代:K2-V2(2026 初,70B 稠密)

这是 LLM360 自 2024 年以来最重要的一次更新:

项目内容
发布时间2026 初(纪念 LLM360 两周年)
参数量~65–70B(稠密模型)
许可Apache 2.0(全球免费商用)
定位“360-open” 全透明 LLM,主打推理增强的基座

关键 benchmark(mid-4 checkpoint)

BenchmarkK2-V2 (mid-4)
GPQA-Diamond55.1
GSM8K93.6
MATH94.7

配套还有 K2 Think V2(基于 K2-V2 端到端构建的推理系统,被定位为"阿联酋首个完全自主的推理系统",合作方含 G42 与 Cerebras)。

⚠️ 务必注意:K2-V2 的 GPQA-Diamond 55.1 / MATH 94.7 等分数(mid-4 checkpoint),与 OLMo 3-Think 32B 不可直接横比——评测设置、checkpoint 阶段、是否开推理模式都有差异,引用时以各自技术报告为准。

横向对比:怎么选

你想要推荐
全开源阵营里最强基座 + 推理模型OLMo 3-Think 32B
同等计算下高效率的 7BOLMo 3-Think 7B
一个单点突破的 70B 全透明研究旗舰LLM360 K2-V2
纯代码任务且要小模型OLMo 3 系列整体更强(HumanEvalPlus 91.4 居首;第一代 CrystalCoder 已过时)
研究训练流程本身 / 做 RL 实验两者都开放 checkpoint;OLMo 3-Think 32B 官方定位为"RL 研究工作马"
只要绝对最高分选别的——Qwen 3 / DeepSeek 等 open-weights 更强

我的判断

这两个项目都是开源科学精神的标杆,但工程投入和迭代节奏差异明显:

  1. OLMo 的代际进步是肉眼可见的。从 1 到 2 到 3,每代都把"全开源阵营的天花板"抬高一大截,3 代已开始追平 Qwen 3。AI2 的节奏更像一个产品团队。
  2. LLM360 的价值在"全程可研究"。第一代 Amber/CrystalCoder 性能确实偏弱,但 K2-V2 把规模跳到 70B 后有了实质竞争力。它的"360°“口号不是营销——连训练日志都开放,作为复现/教学材料非常宝贵。
  3. 两者共同的短板是通用知识。MMLU / GPQA 上都打不过最强的 open-weights 模型。全开源(含数据)的代价在此:高质量私有数据没法用。

如果你要做研究复现或教学,OLMo 2/3 + LLM360 K2-V2 是目前最完整的两套公开教材级 LLM 栈。

拓展阅读