openai/simple-evals 深度分析报告

GitHub: https://github.com/openai/simple-evals

一句话总结

OpenAI 官方发布的轻量 LLM 评测参考实现，核心价值不在代码工具本身（仅 3,315 行 Python），而在于模型评测数据的透明公布和三个原创基准（SimpleQA/BrowseComp/HealthBench）的参考实现。已于 2025-07 宣布弃用。

值得关注的理由

OpenAI 官方评测数据的唯一可复现窗口：README 包含 GPT-4 到 o3/o4-mini 全系列模型在 9 大基准上的官方评测分数，是了解 OpenAI 如何评测自家模型的”参考窗口”。
三个原创基准具有独立学术价值：SimpleQA（短形式事实性）、BrowseComp（浏览代理评估）、HealthBench（医疗健康 LLM 评估）是 OpenAI 贡献的原创评测基准，在评测领域有影响力。
极简评测实现的教科书：每个基准 = 一个 *_eval.py 文件，零样本 + 思维链的评测哲学，设计极致精简。适合学习如何从零编写 LLM 评测。

项目画像

维度	数据
GitHub	https://github.com/openai/simple-evals
Star / Fork	4,406 / 481
代码行数	3,315（Python，23 个文件）
项目年龄	15 个月（创建 2024-04-11，弃用 2025-07）
开发阶段	已弃用（最后提交 2025-07-09，12 周零提交）
贡献模式	OpenAI 内部团队（12 位贡献者中 8 位带 -openai 后缀）
热度定位	中等热度（4.4K stars，弃用后增速放缓至 1-2/天）
质量评级	代码[一般] 文档[不足] 测试[无]

作者视角：为什么存在这个项目

创始人/作者背景

OpenAI 官方项目（115K GitHub followers），由内部评测团队维护。核心贡献者 etr2460(15)、jmcgraph-oai(12)、mgl-openai(11) 等均为 OpenAI 员工。外部社区参与仅限于 typo 修复。

问题判断

OpenAI 需要一种方式透明地公布模型评测数据，让社区可以验证和复现官方声称的基准分数。全面的 openai/evals 过于复杂，需要一个更简单的参考实现。

解法哲学

“极简参考实现”：

每个基准 = 一个独立的 *_eval.py 文件
零样本 + 思维链（CoT）提示，认为这比 few-shot 更能反映真实水平
不追求框架化——无 CLI、无配置文件、无插件系统
明确不做：不替代 openai/evals，不追求全面性

战略意图

评测数据透明化 + 原创基准推广。SimpleQA/BrowseComp/HealthBench 的推出服务于 OpenAI 在特定评测维度（事实性、浏览能力、医疗健康）的学术话语权。弃用决策可能与评测数据转移到其他渠道（模型卡片、博客文章）有关。

核心价值提炼

创新之处

SimpleQA 短形式事实性基准（新颖度 4/5 | 实用性 5/5 | 可迁移性 4/5）
- OpenAI 原创的事实性评测基准，专门测试 LLM 的”不知道就说不知道”能力（calibration），而非仅测准确率。
HealthBench 医疗健康评估（新颖度 4/5 | 实用性 4/5 | 可迁移性 3/5）
- 面向医疗场景的 LLM 评测基准，项目中最大的评测文件（548 行），反映 OpenAI 对医疗 AI 安全性的重视。
零样本 CoT 评测哲学（新颖度 3/5 | 实用性 4/5 | 可迁移性 5/5）
- 主张零样本 + 思维链比 few-shot 或角色扮演更能反映模型真实水平。这个设计哲学对评测方法论有参考价值。

可复用的模式与技巧

一个基准一个文件：极简的评测架构——每个 *_eval.py 是自包含的评测实现，无框架依赖。适合快速实现自定义评测。
Sampler 抽象：ChatCompletionSampler 基类 + OpenAI/Anthropic 实现，统一不同模型 API 的采样接口。
官方基准分数的 README 发布模式：用 README 中的 Markdown 表格公布模型评测数据，简单高效。

关键设计决策

决策	Trade-off
无框架化（无 CLI、无配置）	使用门槛高（Issue #28 “how to run”），换来极致简洁
零样本评测	与部分基准的标准设定（few-shot）不一致，换来更贴近真实使用
仅支持 OpenAI/Anthropic API	无法评测本地模型，换来实现简洁
弃用而非移交	社区失去方向（Issue #97），但避免了维护负担

竞品格局与定位

竞品对比矩阵

维度	simple-evals	lm-evaluation-harness	lighteval	deepeval	openai/evals
定位	极简参考实现	社区标准框架	HF 生态集成	应用层评测	OpenAI 综合框架
基准数量	9	400+	100+	14+	综合
维护状态	已弃用	活跃	活跃	活跃	维护中
代码量	3K 行	100K+	50K+	30K+	大型
Stars	4.4K	8.5K	2K	4K	15K
本地模型	不支持	支持	支持	支持	有限

差异化护城河

OpenAI 官方背书：是唯一由模型厂商直接发布的评测参考实现
三个原创基准：SimpleQA/BrowseComp/HealthBench 是项目独有贡献
评测数据透明性：README 中的模型对比表是官方基准数据的权威来源

竞争风险

已弃用：不再更新，竞品持续迭代
lm-evaluation-harness 是事实标准：400+ 任务、多后端、活跃社区
可复现性质疑：Issue #77、#96 反映分数不一致问题

生态定位

不是实用工具，而是评测方法论的参考实现和官方数据的透明公布渠道。

套利机会分析

信息差: 三个 OpenAI 原创基准（SimpleQA/BrowseComp/HealthBench）的设计思路在中文社区解读不足。特别是 SimpleQA 的”calibration”评测思想值得分析。
技术借鉴: 极简评测架构（一个基准一个文件）、Sampler 抽象、零样本 CoT 评测哲学——适合快速实现自定义 LLM 评测。
生态位: 已弃用，无增长空间。但三个原创基准的设计文档和参考实现仍有学术参考价值。
趋势判断: 项目本身已停止，但 SimpleQA 基准在学术界有持续影响力。

风险与不足

已弃用：2025-07 宣布不再更新，最近 12 周零提交
文档严重不足：多个 Issue 反馈”不知道如何运行”（#1、#28）
可复现性存疑：HealthBench 评测分数与官方声称不一致（#77、#96）
零测试：没有任何单元测试或 CI 流水线
仅支持 API 模型：无法评测本地运行的开源模型
社区参与度极低：几乎全部由 OpenAI 内部员工维护

行动建议

如果你要用它: 仅适合验证/复现 OpenAI 官方公布的特定基准分数（SimpleQA/BrowseComp/HealthBench）。如果需要全面的 LLM 评测，用 lm-evaluation-harness。注意项目已弃用。
如果你要学它: 重点关注：
- simpleqa_eval.py — SimpleQA 基准的完整实现（事实性 + calibration 评测）
- healthbench_eval.py — 最大最复杂的评测（548 行），医疗 AI 评测方法论
- common.py — Sampler 抽象和公共工具
- README.md — 官方模型评测数据表（核心参考价值）
如果你要 fork 它: 可改进方向：
- 增加本地模型支持（Ollama/vLLM Sampler）
- 添加 CLI 入口和配置文件，降低使用门槛
- 补充使用文档和运行指南
- 持续更新新模型的评测数据

知识入口

资源	链接
DeepWiki	deepwiki.com/openai/simple-evals
Zread.ai	未收录
关联论文	SimpleQA/BrowseComp/HealthBench 各有 OpenAI 博客文章
在线 Demo	无