这份索引收录了 42 篇 Google 与 Google DeepMind 官方博客及具有可核实任职关联的研究员个人文章，供学习模型评测与数据工作时检索、回看。
整理日期：2026 年 11 月 5 日。条目按原站发布日期从新到旧排列，日期缺失的放在末尾。以下中文摘要由 AI 辅助整理，主要依据原站介绍、正文节选与主题证据，是阅读导引；请结合原文核对，不代表机构官方译文。
收录范围与阅读方式
主题包括 eval、benchmark、评测数据、评分器、数据质量、标注、合成数据、评测污染和安全测试，也保留少量已在摘要中注明的扩展阅读。个人作者范围包括现任及前研究员；机构关联不表示文章发表时的任职，也不表示个人观点代表机构。
这是有限轮次的初始收录，并非全量目录。来源名单、公开可达性与关键词筛选均可能带来遗漏，部分站点的访问限制尚未解决。跨机构作者的文章可能同时出现在多个分类，总目录按内容去重，因此分类篇数不能简单相加。
文章列表
1. Piloting the world's first double-blind AI evaluations
2026-08-27 · Google DeepMind 官方博客 · eval
介绍在密码学保护的计算环境中进行双盲模型评测的试点，使外部测试数据与专有模型相互保密。该方案试图降低题目提前泄露和针对基准优化的风险，为第三方评测提供更可信的运行条件。
2. AI-generated synthetic neurons speed up brain mapping
2026-04-16 · Google Research 官方博客 · data
介绍用生成式方法合成神经元几何形态，帮助模型学习按形状分类神经元，以支持更高效的脑连接图重建。该案例展示了合成数据在稀缺、昂贵的科学标注任务中的潜力。
3. FACTS Benchmark Suite: a new way to systematically evaluate LLMs factuality
2025-12-09 · Google DeepMind 官方博客 · eval
介绍 FACTS 事实性评测套件，将参数知识、搜索工具使用、图像理解与给定上下文中的事实依据分别测试。多个子基准帮助区分错误来自模型记忆、检索整合还是多模态理解，避免用单一分数概括全部事实性能力。
4. A picture's worth a thousand (private) words: Hierarchical generation of coherent synthetic photo albums
2025-10-20 · Google Research 官方博客 · eval / data
提出先生成中间文本表示、再分层合成照片相册的方法，并用差分隐私约束原始数据的信息泄露。该工作展示如何构造可供后续分析使用的隐私保护合成数据，兼顾样本一致性与统计代表性。
5. AfriMed-QA: Benchmarking large language models for global health
2025-09-24 · Google Research 官方博客 · eval / data
介绍 AfriMed-QA，面向非洲健康问答构建具有本地语境的数据集。文章关注疾病分布、语言表达和文化背景差异，强调在西方医学基准上表现良好并不能保证在其他地区同样可靠。
6. A scalable framework for evaluating health language models
2025-08-26 · Google Research 官方博客 · eval / data
介绍可扩展的健康语言模型评测框架，用少量针对性的 rubric 问题拆解复杂判断，以减轻专家评审负担。文章关注评审者之间的一致性、偏差控制，以及人工与自动评估如何共同定位回答缺陷。
7. Building secure AGI: Evaluating emerging cyber security capabilities of advanced AI
2025-04-02 · Google DeepMind 官方博客 · eval
提出覆盖网络攻击链多个阶段的能力评测框架，以真实世界数据构建更全面的风险测试。文章将测试结果用于识别模型可能增强的攻击能力与防御优先级，强调在部署前理解并缓解滥用风险。
8. FACTS Grounding: A new benchmark for evaluating the factuality of large language models
2024-12-17 · Google DeepMind 官方博客 · eval
介绍 FACTS Grounding，用于检查模型回答是否忠实于提供的材料，同时是否足够完整地满足问题。该基准及排行榜把“有事实依据”与回答质量结合，关注复杂输入下的幻觉和错误归因。
9. An improved flood forecasting AI model, trained and evaluated globally
2024-11-11 · Google Research 官方博客 · eval / data
介绍全球洪水预测模型的更新及评估，关注预报提前量、不同地区的数据覆盖和缺少实测站点时的泛化。文章是领域模型评测案例，其数据与可靠性结论应结合当地观测条件理解。
10. Adversarial Nibbler Challenge: Continuous open red-teaming with diverse communities
2024-05-31 · Google Research 官方博客 · eval / data
介绍 Adversarial Nibbler 的持续开放红队挑战，邀请多元社区寻找文生图模型中隐含、细微的有害输出。文章强调社区参与有助于补足机构内部测试的盲点，并形成更丰富的真实世界安全测试数据。
11. Evaluating social and ethical risks from generative AI
2023-10-19 · Google DeepMind 官方博客 · eval
提出从模型能力、人机交互和系统性影响三个层面评估生成式 AI 的社会与伦理风险。文章指出仅测模型输出不足以判断真实伤害，还需要考虑使用场景、用户行为和多模态条件。
12. Tiny Mech Interp Projects: Emergent Positional Embeddings of Words — Neel Nanda
2023-07-18 · Neel Nanda · eval
通过小规模实验探查模型是否学到相对语义位置，例如“第二个人名”，而不只编码绝对 token 位置。文章借助跨提示模板的激活干预分析表征，作者明确提示这是时间有限的探索性研究。
13. Data-centric ML benchmarking: Announcing DataPerf’s 2023 challenges
2023-03-30 · Google Research 官方博客 · eval / data
介绍 DataPerf 的数据中心评测挑战，把训练数据选择、清洗和构建测试集等环节纳入可比较的基准。文章强调数据流程中的标注错误与偏差会改变模型结果，因此数据工程应获得与模型算法同等严谨的评估。
14. Actually, Othello-GPT Has A Linear Emergent World Representation — Neel Nanda
2023-03-28 · Neel Nanda · eval / data
重新分析 Othello-GPT，提出棋盘状态可以用相对当前玩家的颜色关系进行线性解码，并通过干预考察这种表征的作用。文章说明探针定义会影响“模型是否学到世界表示”的结论，作者也标明了探索性实验的限制。
15. Attribution Patching: Activation Patching At Industrial Scale — Neel Nanda
2023-02-04 · Neel Nanda · eval / data
用梯度近似 activation patching，快速定位影响模型行为的内部激活。该方法降低了逐项干预的成本，但近似精度依赖激活规模，适合生成研究假设，后续仍需更严格的因果验证。
16. A Comprehensive Mechanistic Interpretability Explainer & Glossary — Neel Nanda
2022-12-21 · Neel Nanda · eval / data
提供面向 Transformer 机械可解释性的概念解释与术语索引，涵盖内部表征、研究方法及常见理解陷阱。它是理解模型分析与验证工作的背景材料，而非专门的数据集或排行榜文章。
17. Benchmarking the next generation of never-ending learners
2022-11-22 · Google DeepMind 官方博客 · eval
介绍面向持续学习的 NEVIS’22 基准，研究模型能否在连续任务中积累并复用知识。与每遇到新数据就从头训练相比，该评测关注适应新任务时的性能和资源效率。
18. An Extremely Opinionated Annotated List of My Favourite Mechanistic Interpretability Papers — Neel Nanda
2022-10-18 · Neel Nanda · data
整理作者偏好的机械可解释性论文，并给出阅读重点、个人判断和相关研究背景。该页面是旧版书单，原文提示已有新版；与 eval/data 的联系主要是模型行为验证和研究方法，属于扩展阅读。
19. Evaluating Multimodal Interactive Agents
2022-05-27 · Google DeepMind 官方博客 · eval / data
介绍 STS 多模态交互评测：从真人交互数据提取行为场景，让智能体在重放上下文后继续执行，再由人工判断成功或失败。该设计将难以形式化的人机互动转成较可比较的离线测试。
20. An International Scientific Challenge for the Diagnosis and Gleason Grading of Prostate Cancer
2022-02-11 · Google Research 官方博客 · eval / data
以病理图像中的前列腺癌诊断与 Gleason 分级挑战为例，讨论高质量训练数据及独立评测数据的构建难点。文章强调通过多个独立数据集和外部评审检查泛化，避免比赛成绩仅反映某一数据来源。
21. Red Teaming Language Models with Language Models
2022-02-07 · Google DeepMind 官方博客 · eval
研究用语言模型自动生成测试输入，以发现另一语言模型的有害行为。自动红队能够扩大测试覆盖，但文章明确将其视为整体安全工作的一部分，而非保证发现所有风险的独立方案。
22. Language modelling at scale: Gopher, ethical considerations, and retrieval
2021-12-08 · Google DeepMind 官方博客 · eval
概述 Gopher、大语言模型伦理风险及检索增强方面的研究，强调能力扩展需要同时考察数据带来的问题。文章将规模化模型评测、训练语料与潜在社会影响联系起来，属于跨主题研究综述。
23. A Dataset Exploration Case Study with Know Your Data
2021-08-09 · Google Research 官方博客 · eval / data
以 COCO Captions 为例介绍 Know Your Data，检查数据中不同性别和年龄群体的表示及偏差。文章强调，采集和标注会受隐性偏见、访问限制及隐私问题影响，数据审查是负责任地训练与评测模型的重要步骤。
24. Melting Pot: an evaluation suite for multi-agent reinforcement learning
2021-07-14 · Google DeepMind 官方博客 · eval
介绍 Melting Pot 多智能体强化学习评测套件，重点考察面对不同交互对象和社会环境时的泛化。它将合作、竞争和协调等因素纳入测试，提醒研究者部署差异不仅来自物理环境，也来自其他参与者的行为。
25. A Dataset for Studying Gender Bias in Translation
2021-06-24 · Google Research 官方博客 · eval / data
介绍用于研究机器翻译性别偏差的数据资源，关注跨句上下文对正确选择性别表达的作用。文章通过孤立句子和上下文段落的区别说明，评测设置应覆盖真实翻译中的指代与语境信息。
26. A Step Toward More Inclusive People Annotations in the Open Images Extended Dataset
2021-06-15 · Google Research 官方博客 · data
介绍 Open Images Extended 中的 MIAP 人物标注，为人物框增加感知性别表达和年龄范围等公平性相关属性。数据旨在支持偏差评估与缓解；这些是标注者感知的属性，不应等同个人真实身份。
27. Announcing the Objectron Dataset
2020-11-09 · Google Research 官方博客 · eval / data
介绍 Objectron，通过带三维标注的物体视频支持三维检测与理解。数据集旨在弥补二维照片与真实三维任务之间的差距，并为训练、测试和比较物体几何理解方法提供共同材料。
28. An Analysis of Online Datasets Using Dataset Search (Published, in Part, as a Dataset)
2020-08-25 · Google Research 官方博客 · data
利用 Dataset Search 的元数据索引分析网络数据集生态，包括来源域名、规模和分布。文章展示结构化元数据如何支持数据发现与统计，同时承认索引覆盖率未知，不能将被收录数据等同全部网络数据。
29. RL Unplugged: Benchmarks for Offline Reinforcement Learning
2020-06-24 · Google DeepMind 官方博客 · eval / data
介绍 RL Unplugged，为离线强化学习提供统一的数据集、基线和评测协议。文章指出仅用既有交互日志学习策略具有实际价值，但数据与测试设置不一致会阻碍算法比较，因此需要覆盖更丰富的环境属性。
30. Announcing Meta-Dataset: A Dataset of Datasets for Few-Shot Learning
2020-05-13 · Google Research 官方博客 · eval / data
介绍 Meta-Dataset，将多个不同来源的数据集组合成少样本学习基准。它试图改善以往测试无法可靠比较模型的问题，关注模型能否从少量样本学习新类别，并推广到多样的数据分布。
31. Announcing the 2020 Image Matching Benchmark and Challenge
2020-04-02 · Google Research 官方博客 · eval / data
介绍面向宽视角图像匹配和三维重建的公开基准与挑战，重点使用互联网上非受控采集的图像。评测帮助检查方法在真实视角差异和图像多样性下的表现，而不只验证受控拍摄场景。
32. Agent57: Outperforming the human Atari benchmark
2020-03-31 · Google DeepMind 官方博客 · eval / data
介绍在 Atari57 全部游戏上超过人类基线的 Agent57，并讨论如何通过多任务表现衡量通用性。文章把有效探索与自适应控制结合，同时强调游戏成绩只是迈向更广泛能力的研究工具。
33. A new model and dataset for long-range memory
2020-02-10 · Google DeepMind 官方博客 · eval / data
介绍 Compressive Transformer 与书籍级语言建模数据集 PG19，用于研究长距离记忆。文章强调评测需要包含跨越较长上下文的依赖，才能区分模型记住局部模式与利用长期信息的能力。
34. International evaluation of an AI system for breast cancer screening
2020-01-01 · Google DeepMind 官方博客 · eval / data
介绍利用英国和美国数据评估乳腺癌筛查 AI 的研究，讨论不同筛查流程和数据来源下的表现。作为医学模型评测案例，它强调独立数据和跨地区检验的重要性，研究结果应与具体筛查流程一并解释。
35. Learning human objectives by evaluating hypothetical behaviours
2019-12-13 · Google DeepMind 官方博客 · eval / data
研究在存在未知危险状态时如何从人类反馈学习目标。方法先生成假想行为并询问用户，再学习奖励模型，以减少必须让智能体真实进入危险状态才能获得反馈的需求。
36. Announcing Google-Landmarks-v2: An Improved Dataset for Landmark Recognition & Retrieval
2019-05-03 · Google Research 官方博客 · data
介绍 Google-Landmarks-v2，通过扩大图像数量和地标种类支持实例级识别与图像检索研究。文章结合竞赛说明更大、更多样的数据如何提高任务难度，并为比较不同方法提供共同基础。
37. Announcing AVA: A Finely Labeled Video Dataset for Human Action Understanding
2017-10-19 · Google Research 官方博客 · eval / data
介绍 AVA 视频动作数据集，为每个人提供多个细粒度动作标签，而非只给整段视频一个类别。该设计更适合复杂多人场景，帮助研究者训练和评估动作定位与理解模型。
38. Announcing AudioSet: A Dataset for Audio Event Research
2017-03-30 · Google Research 官方博客 · data
介绍 AudioSet，利用大规模带声音事件标签的短视频片段支持音频识别研究。文章强调一致的类别体系和准确标注，为模型训练与共同评测提供现实规模的数据基础。
39. Advancing Research on Video Understanding with the YouTube-BoundingBoxes Dataset
2017-02-06 · Google Research 官方博客 · data
介绍 YouTube-BoundingBoxes，通过视频中连续帧的人工边界框标注支持目标定位和跟踪研究。数据覆盖自然光照、运动模糊和遮挡等情况，使训练与评测更接近真实视频，而不只判断整段视频包含什么对象。
40. Visualizing Representations: Deep Learning and Human Beings
2015-01-16 · Chris Olah · colah’s blog · data
讨论如何结合神经网络表征与降维方法理解数据，展示表示空间对发现样本关系的价值。核心观点是理解网络行为离不开理解其处理的数据，适合作为数据探索与模型解释的扩展阅读。
41. Visualizing MNIST: An Exploration of Dimensionality Reduction
2014-10-09 · Chris Olah · colah’s blog · data
用 MNIST 展示降维与高维数据可视化方法，帮助读者理解样本结构和数据分布。文章将可视化视为探索机器学习的工具，而不是把二维图形当成对原始高维关系的完整证明。
42. Neural Networks, Manifolds, and Topology
2014-04-06 · Chris Olah · colah’s blog · data
通过低维神经网络的可视化解释数据流形如何在层间被变换，并联系拓扑结构讨论分类任务的难度。文章帮助理解数据几何与模型表达能力的关系，属于数据表征方面的扩展阅读。