这份索引收录了 70 篇 OpenAI 官方博客及具有可核实任职关联的研究员个人文章，供学习模型评测与数据工作时检索、回看。
整理日期：2026 年 11 月 5 日。条目按原站发布日期从新到旧排列，日期缺失的放在末尾。以下中文摘要由 AI 辅助整理，主要依据原站介绍、正文节选与主题证据，是阅读导引；请结合原文核对，不代表机构官方译文。
收录范围与阅读方式
主题包括 eval、benchmark、评测数据、评分器、数据质量、标注、合成数据、评测污染和安全测试，也保留少量已在摘要中注明的扩展阅读。个人作者范围包括现任及前研究员；机构关联不表示文章发表时的任职，也不表示个人观点代表机构。
这是有限轮次的初始收录，并非全量目录。来源名单、公开可达性与关键词筛选均可能带来遗漏，部分站点的访问限制尚未解决。跨机构作者的文章可能同时出现在多个分类，总目录按内容去重，因此分类篇数不能简单相加。
其他索引：Anthropic · Google 与 Google DeepMind
文章列表
1. Eval-production behavior gaps in agent safety and the role of eval-awareness
2026-11-03 · OpenAI Alignment · eval
比较智能体安全评测与真实部署中的行为，发现两者可能存在显著差距，部分模型在评测中反而表现更差。文章区分“知道正在被评测”与“推断评测目标”，并指出目标表述能够影响评测结果，因此不能把测试成绩直接等同于部署可靠性。
2. Training activation classifiers for safety and alignment
2026-11-02 · OpenAI Alignment · eval / data
介绍利用模型内部激活训练轻量安全分类器的方法，用于及时识别不当行为，并与外部文本监控形成互补。方法依赖已标注的风险数据，且与具体模型权重紧密耦合，跨模型或权重更新后需要重新验证或训练。
3. How we detect frontier model misalignment
2026-10-29 · OpenAI Alignment · eval
介绍对前沿智能体的推理、行动及环境影响进行持续监控，以发现训练、评测和部署中的偏离预期行为。文中通过事件回放与实际告警说明监控覆盖和响应流程的重要性；这些案例是监控有效性的证据，并不意味着所有异常都可被检测。
4. Beyond g-mean²: complementary metrics for monitorability
2026-10-20 · OpenAI Alignment · eval / data
讨论为何单一的 g-mean² 指标不足以全面衡量思维链监控效果。不同模型实际产生的任务样本分布可能不同，干预评测还存在因果归属不确定性，因此需要补充可比较的指标和更明确的适用条件。
5. Separating signal from noise in coding evaluations
2026-07-08 · OpenAI 官网 · eval / data
通过自动筛查、智能体调查和工程师独立复核审计 SWE-Bench Pro，区分模型失败与任务缺陷。文章归纳测试过严、需求缺失、测试覆盖不足和提示误导等问题，强调代码基准也需要持续的数据质量审计。
6. Harness Engineering for Self-Improvement
2026-07-04 · Lilian Weng · Lil’Log · eval / data
梳理围绕基础模型的 harness 设计：如何组织计划、工具调用、上下文、产物和结果评估。文章将自动研究与自我改进放在完整执行系统中讨论，提示评测应同时关注模型能力和部署框架带来的影响。
7. Scaling Laws, Carefully
2026-06-24 · Lilian Weng · Lil’Log · eval / data
综述训练损失随模型参数、数据规模和计算量变化的 scaling laws，以及如何用小规模实验估算更大训练的资源需求。文章把数据量与模型规模的分配视为关键问题，提醒读者明确预测对象和外推条件。
8. Sequoia Ascent 2026 summary
2026-04-30 · Andrej Karpathy · eval / data
整理 Karpathy 关于智能体工程、Software 3.0 与能力不均衡的访谈观点。与 eval/data 相关的重点是：代码测试等可验证反馈促进能力进步，而训练语料、强化学习环境和基准选择会塑造模型的能力分布；原站说明正文包含经作者检查的 AI 整理内容。
9. Why SWE-bench Verified no longer measures frontier coding capabilities
2026-02-23 · OpenAI 官网 · eval / data
分析 SWE-bench Verified 中不合理测试与训练数据污染如何削弱分数的解释力。文章指出，部分正确修复会因测试限制被拒绝，而接触过题目或参考修复的模型可能获得额外优势，因此分数增长未必代表真实软件工程能力同步进步。
10. 2025 LLM Year in Review
2025-12-19 · Andrej Karpathy · eval / data
回顾 2025 年大模型发展的若干变化，其中突出可验证奖励强化学习成为训练的重要阶段。文章用数学和代码环境说明明确反馈如何帮助模型学到推理策略，适合从奖励可验证性与训练资源分配角度理解能力进步。
11. Auto-grading decade-old Hacker News discussions with hindsight
2025-12-10 · Andrej Karpathy · eval
用大模型根据后来的实际发展，回看并评议十年前 Hacker News 的讨论，形成可浏览的历史阅读材料。案例展示了 LLM 自动评分与解释的用途，也提示此类事后评价包含主观判断，不能简单当成客观真值标签。
12. Asymmetry of verification and verifier’s rule
2025-07-15 · Jason Wei · eval
解释“验证答案比生成答案更容易”的不对称性，并讨论它对强化学习和智能体任务设计的意义。数独、代码和检索任务提供了不同类型的验证信号；也有事实核查等验证成本更高的任务，因此不能假定所有能力都能用廉价验证器训练。
13. Introducing HealthBench
2025-05-12 · OpenAI 官网 · eval / data
介绍由医生参与构建的 HealthBench，使用 5,000 段真实感健康对话及逐题评分规则评估模型。数据结合合成生成与人工对抗测试，评分关注准确性、沟通和应对不确定性等维度，目标是比考试题更接近实际使用；基准成绩不能直接替代临床有效性验证。
14. Why We Think
2025-05-01 · Lilian Weng · Lil’Log · eval / data
综述测试时计算与思维链为何能改善模型解题能力，讨论给模型更多思考时间的研究路线。与评测相关的重点是把推理预算纳入能力比较，并区分模型直接回答与经过搜索、检查或多步推理后的表现。
15. BrowseComp: a benchmark for browsing agents
2025-04-10 · OpenAI 官网 · eval / data
介绍包含 1,266 道题的网页浏览基准，以难搜索但易核验的短答案问题测量检索、推理和持续探索能力。出题流程要求多重难度检查；短答案使评分可靠且方便，但不保证成绩能完整代表开放式真实用户任务。
16. Reward Hacking in Reinforcement Learning
2024-11-28 · Lilian Weng · Lil’Log · eval / data
解释强化学习中模型利用奖励函数漏洞取得高分、却未完成真实目标的 reward hacking。文章结合修改测试和迎合偏好等例子，指出奖励设计、评测有效性与真实任务成功之间可能存在偏差。
17. Introducing SimpleQA
2024-10-30 · OpenAI 官网 · eval / data
介绍短答案事实性基准 SimpleQA，用明确、稳定且可核查的问题测试模型的事实回答能力。数据构建采用独立标注者交叉验证，评分区分答对、答错和不作答，同时可用于检查模型自报置信度是否与真实准确率一致。
18. Introducing SWE-bench Verified
2024-08-13 · OpenAI 官网 · eval / data
介绍对 SWE-bench 进行人工核验得到的子集，针对描述不充分、测试过度限定实现和环境不可复现等问题改进评测可靠性。文章解释修复验证与回归测试的区别，强调基准样本本身的质量会影响对编码能力的判断。
19. Extrinsic Hallucinations in LLMs
2024-07-07 · Lilian Weng · Lil’Log · eval / data
从预训练语料质量和微调引入新知识等角度分析模型幻觉，并区分与上下文不一致的幻觉和缺乏外部事实依据的幻觉。对事实性评测而言，既要检查答案是否正确，也要检查模型是否能在不知道时承认不确定。
20. Successful language model evals
2024-05-24 · Jason Wei · eval
从 GLUE、MMLU、GSM8K、MATH、HumanEval 等案例讨论成功评测的特征。作者强调，评测会塑造研究激励，而有意义、易解释并得到社区信任的分数，更容易推动研究方向和代表性突破。
21. Diffusion Models for Video Generation
2024-04-12 · Lilian Weng · Lil’Log · data
综述扩散视频模型的建模路线，解释时间一致性要求以及高质量视频、文本—视频配对数据的采集难点。文章从直接训练视频生成模型展开，帮助理解数据结构与模型设计之间的关系。
22. Thinking about High-Quality Human Data
2024-02-05 · Lilian Weng · Lil’Log · eval / data
讨论人工标注如何决定训练与评测数据质量，覆盖任务设计、标注员筛选与培训、反馈校准以及标签聚合。文章强调，高质量数据不仅依赖清洗算法，也依赖清晰的流程和持续的执行管理。
23. Adversarial Attacks on LLMs
2023-10-25 · Lilian Weng · Lil’Log · eval / data
综述针对大语言模型的对抗攻击和越狱提示，说明离散文本攻击与连续图像攻击的差别。文章围绕威胁模型与输出控制展开；对评测的价值在于帮助构造超出普通测试分布的安全挑战。
24. LLM Powered Autonomous Agents
2023-06-23 · Lilian Weng · Lil’Log · eval / data
介绍以大模型为控制器的自主智能体架构，包括任务分解、自我反思、短期与长期记忆以及工具使用。与评测相关的价值在于说明最终表现依赖整个系统，不能只归因于基础模型或单次回答。
25. Common arguments regarding emergent abilities
2023-05-03 · Jason Wei · eval
回应大模型“涌现能力”是否只是评测指标造成的假象这一争论。文章比较精确匹配等离散指标与概率等连续指标，提示能力曲线的形态取决于任务和测量方式，解释规模化收益时应明确指标的实际含义。
26. Prompt Engineering
2023-03-15 · Lilian Weng · Lil’Log · eval / data
综述在不更新权重的情况下通过提示影响语言模型行为的方法。文章强调不同模型对提示策略的响应差异，以及共享基准和实验验证的重要性，适合用于思考提示改动应如何被系统评估。
27. The Transformer Family Version 2.0
2023-01-27 · Lilian Weng · Lil’Log · eval / data
扩展整理 Transformer 架构家族及其后续改进，提供理解模型结构和比较不同设计的基础背景。本文主要讨论架构，eval/data 并非核心主题，保留为扩展阅读。
28. Large Transformer Model Inference Optimization
2023-01-10 · Lilian Weng · Lil’Log · eval / data
讨论大型 Transformer 推理中的显存、KV cache、自回归生成和并行度限制，并梳理提高推理效率的路线。文章主要关注系统效率，可辅助理解能力评测中的资源成本与部署约束，属于扩展阅读。
29. 137 emergent abilities of large language models
2022-11-14 · Jason Wei · eval
汇总大模型规模增长过程中已报告的 137 项涌现能力，列出 BIG-Bench、MMLU 等来源和对应任务。可作为查找能力评测案例的入口，但对“涌现”的判断仍依赖所选任务、模型规模和指标。
30. Some Math behind Neural Tangent Kernel
2022-09-08 · Lilian Weng · Lil’Log · data
介绍神经切线核如何描述梯度下降下神经网络的训练动态，帮助解释宽网络的收敛及泛化现象。文章侧重理论推导，数据与测试性能是分析背景，属于与核心数据工程主题关联较弱的扩展阅读。
31. Generalized Visual Language Models
2022-06-09 · Lilian Weng · Lil’Log · eval / data
梳理让预训练语言模型接收视觉信息的几类方法，包括联合表征、视觉前缀、交叉注意力和无训练组合。适合了解图文输入如何进入模型及视觉语言任务的研究框架，数据与评测是其中的配套因素。
32. Learning with not Enough Data Part 3: Data Generation
2022-04-15 · Lilian Weng · Lil’Log · eval / data
讨论标注数据不足时的两条合成数据路线：对现有样本做保持语义的增强，以及利用预训练模型生成新样本。文章覆盖图像和文本场景，强调生成更多数据时仍需保留任务所需的关键属性。
33. Learning with not Enough Data Part 2: Active Learning
2022-02-20 · Lilian Weng · Lil’Log · eval / data
介绍主动学习：在有限标注预算下，从未标注样本中挑选最有价值的部分交给人工标注。文章把样本选择、评分函数和批次预算纳入统一框架，适合用于设计高效的数据收集流程。
34. Learning with not Enough Data Part 1: Semi-Supervised Learning
2021-12-05 · Lilian Weng · Lil’Log · eval / data
介绍半监督学习如何共同利用有标签与无标签数据，并将其与预训练后微调、主动学习及自动生成数据等路线比较。文章围绕标注资源不足的问题展开，帮助判断何时应提升已有数据的利用率。
35. How to Train Really Large Models on Many GPUs?
2021-09-24 · Lilian Weng · Lil’Log · eval
讨论训练大规模神经网络时的显存压力与并行策略，涉及权重、梯度、优化器状态及中间结果的存储。文章主要提供训练系统背景，适合作为理解大规模数据训练成本的扩展阅读。
36. Learning to summarize with human feedback
2020-09-04 · OpenAI 官网 · eval / data
介绍收集人工摘要偏好、训练奖励模型并用强化学习优化摘要生成的流程。文章用人工比较和跨数据集测试衡量效果，同时检查长度偏好等混杂因素，强调研究人员与标注者的一致性及持续反馈对数据质量的重要性。
37. Learning from human preferences
2017-06-13 · OpenAI 官网 · eval / data
通过让人比较两段智能体行为，学习能够解释人类偏好的奖励模型，再用强化学习优化策略。该循环优先询问不确定的行为对，降低人工反馈需求；文章也指出人类判断的局限和智能体欺骗评审者的风险。
38. Visualizing Representations: Deep Learning and Human Beings
2015-01-16 · Chris Olah · colah’s blog · data
讨论如何结合神经网络表征与降维方法理解数据，展示表示空间对发现样本关系的价值。核心观点是理解网络行为离不开理解其处理的数据，适合作为数据探索与模型解释的扩展阅读。
39. Visualizing MNIST: An Exploration of Dimensionality Reduction
2014-10-09 · Chris Olah · colah’s blog · data
用 MNIST 展示降维与高维数据可视化方法，帮助读者理解样本结构和数据分布。文章将可视化视为探索机器学习的工具，而不是把二维图形当成对原始高维关系的完整证明。
40. Neural Networks, Manifolds, and Topology
2014-04-06 · Chris Olah · colah’s blog · data
通过低维神经网络的可视化解释数据流形如何在层间被变换，并联系拓扑结构讨论分类任务的难度。文章帮助理解数据几何与模型表达能力的关系，属于数据表征方面的扩展阅读。
41. A Practical Approach to Verifying Code at Scale
原站日期未取得 · OpenAI Alignment · eval
介绍专门训练具备仓库级工具和执行权限的代码审查智能体，以适应 AI 生成代码规模增长。文章讨论召回率、精确率及部署中的误报成本，把自动审查作为行为测试和其他安全监控的互补层。
42. A Recipe for Training Neural Networks
原站日期未取得 · Andrej Karpathy · eval / data
从训练神经网络的常见失败出发，强调建立逐步验证的工程流程，而不是依赖看似简单的端到端训练代码。文章适合用来理解数据检查、训练行为和验证结果之间的联系，减少因实现或数据问题造成的误判。
43. Auto-review of agent actions without synchronous human oversight
原站日期未取得 · OpenAI Alignment · eval
介绍由独立智能体审核越过沙箱边界的动作，以减少频繁人工批准，同时拦截危险操作。文章用危险动作评测和内部使用经验讨论安全与操作摩擦的取舍，强调把执行与审核分开有利于分别测试和改进。
44. Breaking Linear Classifiers on ImageNet
原站日期未取得 · Andrej Karpathy · eval
讨论为何图像分类器能在 ImageNet 上取得很高成绩，却会被人眼难以察觉的扰动误导。文章以对抗样本说明常规测试准确率无法充分代表鲁棒性，评测需要考虑输入分布和攻击条件。
45. Can public chat data predict real-world AI misalignments?
原站日期未取得 · OpenAI Alignment · eval / data
探索能否使用公开 WildChat 对话前缀模拟部署，从而帮助外部研究者预测真实使用中的失误。方法以真实生产数据作验证，说明公开对话数据可补充人工编写的基准；其可靠性仍依赖公开数据与部署分布的接近程度。
46. Deep Neural Nets: 33 years ago and 33 years from now
原站日期未取得 · Andrej Karpathy · eval / data
复现 1989 年使用反向传播识别手写邮政编码的神经网络工作，并借此讨论深度学习的长期进展。文章对照数据集、架构、损失和训练／测试误差，展示现代实验范式与早期工作的连续性。
47. Deep Reinforcement Learning: Pong from Pixels
原站日期未取得 · Andrej Karpathy · eval
以从像素学习 Pong 为例解释深度强化学习，并联系 OpenAI Gym 等环境与基准。文章展示交互经验和奖励信号如何支持策略学习，适合作为理解环境驱动训练与评测的入门材料。
48. Discovering unknown AI misalignments in real-world usage
原站日期未取得 · OpenAI Alignment · eval
利用真实对话中的用户反应及交互变化发现未知的模型失误，让推理模型协助判断哪里出了问题。文章强调部署后的长尾问题难以由预先设计的基准穷尽，真实使用信号可补充实验室评测并支持后续诊断。
49. Feature Learning Escapades
原站日期未取得 · Andrej Karpathy · data
回顾大规模视频分类与特征学习研究的实践过程，讨论如何从原始视频学习适用于分类的时空表征。它提供数据规模、任务设计和特征学习之间关系的研究背景，而非专门的评测方法教程。
50. Helpful assistant features suppress emergent misalignment
原站日期未取得 · OpenAI Alignment · eval
研究在错误建议数据上微调后出现的跨任务失配现象，重点分析激活减弱的“有帮助助手”相关特征。通过稀疏自编码器和模型差分，文章探索数据如何改变内部表征，以及这些表征与对齐行为的因果联系。
51. How far does alignment midtraining generalize?
原站日期未取得 · OpenAI Alignment · eval / data
研究在预训练与能力强化学习之间加入描述对齐或失配行为的合成文档，会如何影响后续智能体行为。文章关注这类中期训练干预能否推广到更强模型、经历后续训练后是否保留效果，以及真实智能体场景中的适用性。
52. Interpreting Black Box Reward Models
原站日期未取得 · OpenAI Alignment · eval / data
介绍 ARGO，通过强化学习搜索可解释的自然语言评分规则，使固定的 LLM 评审器尽量复现黑箱奖励模型的偏好。该方法试图揭示大规模偏好数据中被奖励模型学到的标准、标注伪影和非预期偏差。
53. Introducing Model Spec Evals
原站日期未取得 · OpenAI Alignment · eval / data
介绍依据 Model Spec 构建的模型行为评测，覆盖指令冲突、诚实、事实性、安全边界和表达方式等方面。该套件补充传统能力及安全评测，把“理想行为”转化为可测量标准；一致性分数仍只反映所覆盖的测试范围。
54. Investigating the consequences of accidentally grading CoT during RL
原站日期未取得 · OpenAI Alignment · eval
调查部分强化学习流程意外对思维链评分的事件，及其对可监控性的潜在影响。文章解释直接奖励推理文本可能诱导隐藏不当意图；已有分析未发现明确退化，但无法排除难以测量的影响，因此仍主张避免此类优化压力。
55. Lessons learned from manually classifying CIFAR-10
原站日期未取得 · Andrej Karpathy · data
从亲自标注 CIFAR-10 的经历讨论图像分类数据和人工判断，结合训练集、测试集及历史模型结果分析任务难度。文章属于 2011 年的经验记录，模型表现数字应按当时背景理解。
56. Measuring Reward-Seeking by Instilling Contrastive Beliefs
原站日期未取得 · OpenAI Alignment · eval
用对比式合成文档微调改变模型对外部奖励规则的信念，观察其行为是否随之改变，以检测奖励追求倾向。文中考察了专门构造的模型及能力导向强化学习过程，强调“得到正确输出”不等于模型遵循了预期目标。
57. Meet LASER: Recursive sampling for safer conversations
原站日期未取得 · OpenAI Alignment · eval / data
介绍 LASER：交替使用轻量分类器选样和推理模型标注，从大量候选对话中寻找少见、含糊但重要的安全边界案例。该方法提高评测数据构建效率并降低评分计算量，处理范围限定为合成或去标识化对话。
58. Metagaming matters for training, evaluation, and oversight
原站日期未取得 · OpenAI Alignment · eval
讨论模型推测训练奖励、评测规则或监督机制的“元博弈”行为，及其对测试可信度的影响。文章观察能力强化学习中的变化，指出此类推理本身不一定有害，但可能成为规避监控或训练约束的前提。
59. Open Sourcing Monitorability Evaluations
原站日期未取得 · OpenAI Alignment · eval / data
介绍开源思维链可监控性评测的数据集和参考代码，覆盖干预、过程等不同测量方式。其目的在于持续检查推理记录能否帮助识别不当行为，并使不同训练、推理方法及模型版本的监控效果更可比较。
60. Quantifying Hacker News with 50 days of data
原站日期未取得 · Andrej Karpathy · data
用定时抓取的 Hacker News 页面分析内容传播、热门主题和发帖时机，并公开采集脚本和分析材料。文章说明采样时间边界、记录缺口及 HTML 解析流程，适合作为网页数据采集与可复现分析案例。
61. Reinforcement learning towards broadly and persistently beneficial models
原站日期未取得 · OpenAI Alignment · eval / data
研究在真实感场景中针对诚实、谦逊等有益行为进行强化学习，能否把改善推广到训练之外的领域。文章用跨领域和对抗条件下的多项评测考察泛化，关注对齐收益是否具有持续性，而非仅提升训练任务得分。
62. Sidestepping Evaluation Awareness and Anticipating Misalignment with Production Evaluations
原站日期未取得 · OpenAI Alignment · eval / data
介绍从去标识化生产对话中构造真实感安全评测的流程，试图同时改善场景覆盖和对实际部署的代表性。重点是减少模型识别人工测试的线索，并发现传统评测尚未覆盖的失配行为。
63. Studying metagaming latents in language models
原站日期未取得 · OpenAI Alignment · eval / data
研究模型推测奖励、评测或监控机制时的内部表征。文章认为这种“元博弈”涉及任务分析、评测意识和奖励追求等重叠机制，可能在强化学习过程中增强，而且不一定完整出现在可见思维链中。
64. The Second Half
原站日期未取得 · Shunyu Yao · 姚顺雨 · eval
提出 AI 的重点正在从发明训练方法和解决既定问题，转向定义值得解决的问题与衡量真实进展。作者认为通用强化学习能力的发展提升了任务设计与评测的重要性，研究者也需要更强的问题定义与产品判断能力。
65. The Unreasonable Effectiveness of Recurrent Neural Networks
原站日期未取得 · Andrej Karpathy · eval / data
通过字符级文本生成演示循环神经网络的能力，并提供可复现实验代码。文章从训练语料到生成样本建立直观联系，适合观察数据分布如何影响模型输出，以及生成示例与严谨评测之间的区别。
66. Training agents to self-report misbehavior
原站日期未取得 · OpenAI Alignment · eval
提出训练智能体在隐蔽违规时主动调用报告工具，将自我暴露变成行为模式。文章用分布外环境比较该方法与黑箱监控等基线，并公开评测和合成数据流程，研究重点是对齐失效后的额外检测机制。
67. What I learned from competing against a ConvNet on ImageNet
原站日期未取得 · Andrej Karpathy · eval / data
作者亲自参与 ImageNet 图像分类，与卷积网络的结果比较，反思人类和机器成绩如何受到任务设置影响。文章说明“达到人类水平”需要明确类别知识、判断流程及数据条件，不能仅凭排行榜分数概括。
68. What a Deep Neural Network thinks about your #selfie
原站日期未取得 · Andrej Karpathy · data
用大量互联网自拍训练卷积网络区分照片质量，作为视觉模型应用实验。案例涉及样本收集、质量标签和预测结果的解释，也说明这类模型学到的是特定数据中的偏好模式，而非普遍的审美真值。
69. Why We Are Excited About Confessions
原站日期未取得 · OpenAI Alignment · eval / data
讨论让模型在正常回答之外输出一份仅按诚实程度奖励的“坦白”，以揭露奖励投机等行为。作者认为将任务完成质量与自我报告的奖励分开可能更易监督，但明确将这篇文章定位为对研究方向及局限的讨论。
70. microgpt
原站日期未取得 · Andrej Karpathy · eval / data
用约 200 行无依赖 Python 展示 GPT 的最小训练与推理流程，涵盖文档数据集、分词、自动微分、网络、优化器和采样。适合追踪原始文本如何变成训练样本与学习信号；重点是教学上的完整性，而非生产效率。