TREC 2021 Clinical Trials Track — 患者简况到 37.6 万临床试验的匹配评测基准

INFOBOX — TREC 2021 Clinical Trials Track 一屏速览

维度	内容
本质	评测赛道三件套（corpus + topics + qrels），不是单一机构打包发布的数据集
主办	NIST（TREC 2021 第三十届）；协调四人：Demner-Fushman（NLM）、Hersh（OHSU）、Roberts（UTHealth）、Voorhees（NIST）
任务	patient-to-trial matching：给定患者简况，从约 37.6 万试验注册记录中排序返回至多 1000 个 NCT ID
语料	ClinicalTrials.gov 2021-04-27 快照，375,580 份试验 XML（5 个 zip 分卷；另有两口径 375,000 / 376K）
Topics	75 份合成患者入院简况（每份 5-10 句，模拟 EHR 入院记录，非真实患者）
Qrels	35,832 条三级判定：eligible 5,570 / excluded 6,019 / not relevant 24,243
指标	nDCG@5/@10 主指标（gain：eligible=2、excluded=1）+ P@5/@10 + R-Precision + MRR（四项只计 eligible）
参赛	26 组 / 113 runs；冠军 TDMINER nDCG@10 0.715；全体中位 0.3417；最低 UNM_4 = 0.0
元年结论	无训练数据可用时，BM25+人口学过滤的稀疏检索与神经方法打平甚至占优
后继	CT 2022 复用同一语料换 50 个新 topics；TrialGPT（Nature Communications 2024）将其用作零样本 LLM 匹配基准
获取	官方 5 zip + NIST 数据页｜ir_datasets clinicaltrials/2021 一键加载｜HF 镜像 irds/clinicaltrials_2021（国内走 hf-mirror.com）
许可	语料免费开放+署名要求（境外国际版权保留）；topics/qrels 为美国政府作品（公有领域属性）
库内互链	clinicaltrials-gov(556)、trec-pm(52)、aact(230)、snomed-ct(557)、trialbench(46)、mimic-iv-note(47)、ehrsql(713)、ehrshot(11)

TREC 2021 Clinical Trials Track（下称 CT 2021）是一个「把临床刚需变成检索考题」的评测三件套：NIST 从 ClinicalTrials.gov 注册库切下 2021-04-27 的历史快照（37.6 万份试验注册记录）作语料，请具医学训练者写出 75 份模拟入院记录的合成患者简况作查询，再由 OHSU 的医学信息学医师给出 35,832 条「合格/被排除/不相关」三级判定作真值——任何团队都可以在同一套数据上比拼「给定病人找试验」这件事，并与 26 组参赛方的 113 个 run 直接对标。

导语读法三则：

1. 只想下数据：直奔 §5 获取与许可——三条通道（官方 zip、ir_datasets、TrialGPT 预处理版）各适合不同场景，注意语料是 2021 年历史快照。
2. 要理解指标再写代码：直奔 §3 任务与标注体系——excluded 在 nDCG 里 gain=1 是本基准最大的解读陷阱（坑 2）。
3. 关心方法学结论：直奔 §6 评估与基准——元年「BM25 打平神经方法」的结论与 TrialGPT 的后继影响都在那里。

§0 导读：这个数据集解决什么问题

临床研究最大的瓶颈之一不是做试验而是找病人：赛道官网引述 NIH 的估计，约 80% 的临床试验未按时完成患者招募。反过来，医生在诊疗中面对的检索需求是「拿着一份病历找试验」——这与传统 ad-hoc 检索（拿几个关键词找文档）有本质区别：查询是长而自由的叙述文本，文档是结构化字段与自由文本混合的注册记录，而且「相关」有严格的医学语义——入组合格才算数，只沾边但触碰排除标准的试验不但无用，展示出来还是负担。

在 CT 2021 之前，患者-试验匹配（patient-to-trial matching）研究处于「各自为战」状态：前身 TREC Precision Medicine 赛道（2017-2020）把试验匹配作为子任务嵌在文献检索里，其 topic 是结构化字段（疾病/基因/年龄）；学术界没有一套统一的大规模评测数据来回答「到底哪个系统真的能帮医生找试验」。CT 2021 的回答分三层。第一层是规模：语料从 PM 2019 的 30.6 万跃升到 37.6 万份纯试验注册记录，topics 形态从结构化字段改成 5-10 句的自由文本患者简况，直接模拟 EHR 入院记录的真实形态。第二层是标注语义：首创 eligible / excluded / not relevant 三级判定体系，把「明确被排除」与「信息不足以判断」区分开——这是把临床决策的真实代价结构编码进评测指标的关键一步。第三层是基建：语料、topics、qrels 全部公开存档于 NIST，ir_datasets 提供一行代码加载，113 个 run 的官方结果全部可查，使这个赛道成为此后数年患者试验匹配研究的公共对照点（TrialGPT 等后继工作直接以它为基准）。

时间点的选择也有讲究。2021 年是 ClinicalTrials.gov 生态成熟的节点：注册库积累二十余年数据、AACT 等结构化镜像运转多年，且远程协作流程在疫情中被常态化——NIST 得以把 topic 数从早期计划的 30-50 个做到实际发布的 75 个。同时，医疗 NLP 社区刚经历 COVID 文献洪峰，对「文本驱动的临床决策支持」需求高涨；transformers 生态成熟，但医疗检索始终缺一张标准考卷。CT 2021 恰好补上这张考卷：它不是第一个患者试验匹配评测（SIGIR 2016 的 Koopman & Zuccon 技术辅助集更早、58 个 topic），但它是第一个同时具备 TREC 级判定严肃性（医学信息学医师三级判定）与语料规模（37.6 万）的公开基准——这也是它此后被 TrialGPT 一代工作选为对照点的原因。

§0 读法三则：

1. 这个条目是「语料+查询+判定」三件套思维：三者许可与获取方式不同（语料是 ClinicalTrials.gov 快照、topics/qrels 是 NIST 归档），检索和引用时要分开对待（§5）。
2. 全文核心数字均出自 NIST 总概览论文、赛道官网与 ir_datasets，多处存在双口径（如文档总数 375,580 / 375,000 / 376K），已在附录 G 双口径登记表逐条存照。
3. 检索时若把 trec-ct-2021 当作 trec-pm 的别名会拿错数据——trec-pm（库内 rid 52）是 2017-2020 年前身赛道，语料形态与本条目不同（坑 7）。

§1 数据集速览：十问十答

Q1：它到底是「一个数据集」还是别的什么？
是一套评测三件套，没有单一打包文件。语料（375,580 份试验 XML）来自 ClinicalTrials.gov 快照，查询（topics2021.xml，75 份患者简况）和判定（qrels2021.txt，35,832 条）由 NIST 分别归档。三件文件分散在赛道官网与 NIST 数据页两处，也可经 ir_datasets 一次取齐（坑 1：按「一个下载包」去找会扑空）。三件套各自的许可与维护主体不同：语料随 ClinicalTrials.gov 条款、topics/qrels 随 NIST 归档，引用与合规要分开处理（§5.4）。

Q2：语料覆盖什么？
ClinicalTrials.gov 在 2021-04-27 时点的全部注册试验：精确计数 375,580 份（两篇独立参与者论文一致），覆盖 1999-11 至 2021-04 间发布的注册记录。每份记录含试验标题、摘要、详细描述与入排标准等字段；ir_datasets 抽取为 doc_id/title/condition/summary/detailed_description/eligibility 六字段。注意 NIST 总概览写 375,000（约数）、ir_datasets 页写 376K，三个口径指的是同一份语料（坑 3）。对检索系统而言，语料的两个「信息主战场」是 detailed_description（试验科学背景与干预细节）与 eligibility（入排条款全文）——后者是三级判定语义的直接依据，也是元年冠军 TDMINER 信息抽取路线的加工对象（§4.3）。

Q3：75 份患者简况是真实病人吗？
不是。它们是合成病例（synthetic case）：由具医学训练的人员撰写，灵感来自真实患者但经过修改，每份 5-10 句、模拟 EHR 入院记录的形态（人口学、病史、诊断、用药、当前状态）。出于伦理原因不用真实 EHR 数据。这带来三个直接后果：一是合规零负担，任何人可以公开分发与研究；二是内容可控，难度与覆盖面可由组委会调节（最终 75 份远超原计划 30-50 份）；三是与真实病历存在分布差——真实 EHR 更长、更杂、信息更分散，在合成简况上跑通的方法迁移到真实场景需要重验（§9 忠告四）。

Q4：qrels 怎么读？
每行 topic_id iteration NCT_id relevance，relevance 取三级：2=eligible（满足全部入排标准）、1=excluded（满足纳入但触碰排除标准）、0=not relevant（信息不足或无相关性）。35,832 条判定中 2 有 5,570 条、1 有 6,019 条、0 有 24,243 条。这些判定只覆盖池化命中的文档（坑 4：不能当全量真值用）。

Q5：指标怎么算？为什么有两套？
主指标 nDCG@5 与 nDCG@10，gain 取值 eligible=2、excluded=1、not relevant=0——被明确排除的试验仍贡献一半分数。另报 P@5/@10、R-Precision、MRR，这四项只把 eligible 计为相关。设计动机：nDCG 轨道容忍「排除」的信息价值，P 系轨道反映真实用户「被展示明确排除的试验时极度不满」的行为。两套分数要分开解读（坑 2）。元年结果里两轨排名确实不一致：nDCG 轨冠军 TDMINER 靠精确识别排除边界登顶，而 P 系轨道另有领先者——同一个系统在「帮研究者理解试验边界」与「给医生推可入组试验」两种产品语义下价值不同，这正是双轨设计想暴露的差异。

Q6：谁参加了、成绩如何？
26 组提交 113 个 run。榜首是 TDMINER（Kaiser Permanente Southern California 的 Chengyi Zheng），纯传统信息抽取路线，tdminerrun3/tdminerrun4 并列 nDCG@10 最高 0.715；其后是 h2oloo 的 f_t_mt5_2（0.7118，mT5 文档扩展融合）与 Alibaba DAMO 的 damohitl（0.7038，TrialMatcher 多重排）。全体中位数只有 0.3417——任务远未「被解决」。

Q7：元年最重要的方法学结论是什么？
在没有任何训练数据的元年，BM25 加人口学过滤、关键词抽取的稀疏检索与神经方法打平甚至占优（多篇参与者论文互证）。神经路线主要在 UMLS 概念匹配、BERT 重排、嵌入检索上探索。这个「元年结论」成为后来者引入训练数据与 LLM 的对照起点（§6.2）。

Q8：我现在怎么拿到？
三条通道：官方原版（赛道官网 5 个 zip + NIST 数据页的 topics/qrels 文件）；ir_datasets（clinicaltrials/2021 语料 + clinicaltrials/2021/trec-ct-2021 任务三件套，HF 镜像 irds/clinicaltrials_2021，国内走 hf-mirror.com）；TrialGPT 预处理版（NCBI 服务器上的 jsonl）。详见 §5。

Q9：能商用吗？
要分层看：ClinicalTrials.gov 语料免费向所有申请者开放、要求署名、不授数据库专有权，美国境内为美国政府数据库（公有领域属性），美国境外则 carry an international copyright；topics/qrels 是 NIST 归档的美国政府作品（公有领域属性）。条目不笼统标注 CC 协议，商用前按 §5.4 的条款细读执行。

Q10：为什么它对 AI-Ready 重要？
它是「评测型数据资产」的就绪度样板：语料有快照可复现、任务有一键加载的编程接口（ir_datasets）、判定有公开 qrels 即测即评、结果有官方排行榜可对标。后继赛道 CT 2022 直接复用同一语料，TrialGPT 把它当零样本基准——一个设计良好的评测三件套可以服务多年（§6.3）。

§2 三件套本体：语料、topics、qrels

2.1 语料：ClinicalTrials.gov 的 2021-04-27 快照

CT 2021 的语料不是采集出来的，而是「切」出来的——在 2021-04-27 这一天对 ClinicalTrials.gov 注册库做全量快照，得到 375,580 份试验注册记录，覆盖 1999-11 至 2021-04 间发布的注册试验（Elsevier 2022 论文口径）。

属性	规格
快照日	2021-04-27
文档数	375,580（精确值；NIST 总概览约数 375,000；ir_datasets 页 376K——坑 3）
时间跨度	1999-11 至 2021-04 发布的注册试验
分发形态	5 个 zip 分卷：ClinicalTrials.2021-04-27.part1-5.zip
XML schema	ClinicalTrials.gov 官方 public.xsd
许可	免费向所有申请者开放 + 署名要求（§5.4 细读）
上游本体	库内条目 clinicaltrials-gov（rid 556）

文档总数存在三个口径，含义如下：

• 375,580：IRUniDUE（杜伊斯堡-埃森大学）与 Elsevier DSHS 两篇互相独立的参与者论文给出的精确值，两数一致，本条目正文采用此值；
• 375,000：NIST 总概览论文（Soboroff, Overview of TREC 2021）§3.1 的四舍五入约数；
• 376K：ir_datasets 文档页的粗粒度标称。

三个口径指向同一份快照，差异全部来自取整与标称习惯，不是三份不同语料。引用时建议写「375,580（约 37.6 万）」并注明口径。

分发采用 5 个 zip 分卷，官方页标称大小与 ir_datasets 实测大小相差约 5%——这是检索者预估下载量时的现实坑（坑 6）：

分卷	官网标称	ir_datasets 实测
part1	365 MB	382.8 MB
part2	360 MB	378.5 MB
part3	358 MB	376.0 MB
part4	344 MB	360.8 MB
part5	282 MB	296.6 MB
合计	约 1,709 MB	约 1,794.7 MB

每份试验记录是符合 public.xsd 的 XML，核心元素包括：试验标题（brief_title / official_title）、摘要（brief_summary）、详细描述（detailed_description）、合格性标准（eligibility，内含 inclusion_criteria 与 exclusion_criteria 两块自由文本）、条件（condition）、设计与结局等结构化字段。对检索系统而言，最关键的文本块是 detailed_description 与 eligibility——前者承载试验的科学背景与干预细节，后者承载入排标准，是三级判定语义的直接依据。

ir_datasets 在加载时把每份 XML 抽取为六字段的 ClinicalTrialsDoc：

字段	内容	对应 XML 元素
doc_id	NCT 编号（如 NCT04292860）	nct_id
title	试验标题	brief_title / official_title
condition	研究疾病/条件	condition
summary	摘要	brief_summary
detailed_description	详细描述	detailed_description
eligibility	入排标准文本	eligibility（含 min/max 年龄、性别与 criteria 全文）

2.2 Topics：75 份合成患者简况

topics2021.xml（64.6 KB）包含 75 份患者简况，每份是一条 5-10 句的自由文本，模拟 EHR 入院记录（admission note）的形态：人口学信息（年龄、性别）、病史、当前诊断、用药、既往治疗与当前临床状态。

构造上有三个要点：

• 谁来写：具医学训练的人员撰写，赛道官网建议参考 TREC CDS 2014-2016 的 topics 作为术语风格示例；
• 怎么写：合成病例（synthetic case）——灵感来自真实患者，但经修改撰写，避免任何真实患者数据（IRUniDUE 论文转述：出于伦理原因不使用真实 EHR 数据）；
• 怎么用：系统读到的就是纯文本叙述，没有结构化字段——这与前身 PM 赛道的结构化 topic（disease/gene/age/other 四字段）形成根本区别，也是本赛道「更贴近真实临床文本」的核心设计。

双口径存照（坑 8）：赛道官网早期计划发布 30-50 个 topic，提交格式样例页甚至写着 TOPIC_NO 1-30；最终实际发布 75 个。检索旧文档或按计划数字找 topic 都会踩空，以 75 为准。

一个典型的 topic 读起来是这样的形态（示意转写，非原文逐字）：某年龄段患者，确诊某实体瘤，既往接受过某线治疗并进展，目前体力状态评分若干，正在使用某药物，医生寻求合适的临床试验。关键信息散布在叙述中，需要系统自行解析出疾病、分期、既往治疗线数、器官功能等匹配要素——这正是任务难度的来源之一。

2.3 Qrels：35,832 条三级判定

qrels2021.txt（676.5 KB）是 NIST 于判定完成后归档的相关性判定文件，NIST 数据页 trials2021.html 的创建日期为 2022-02-22（正式归档时点）。每行四列：

topic_id  iteration  NCT_id  relevance

本代理对原文件逐行实测的分布：

relevance	语义	条数	占比
0	not relevant（不相关/信息不足）	24,243	67.7%
1	excluded（纳入但触碰排除标准）	6,019	16.8%
2	eligible（合格）	5,570	15.5%
合计	—	35,832	100%

判定覆盖全部 75 个 topic，平均每个 topic 约 478 条判定、其中合格约 74 条。池化规则：每队前 4 个最高优先级 run、pool 深度 10（总概览口径）——这意味着 35,832 条判定只覆盖各系统提交结果的合并池，语料中绝大多数文档从未进入判定视野（坑 4，§9 忠告一详述）。

2.4 ir_datasets 视角：字段规格与一键加载

ir_datasets 把这套三件套注册为两个 dataset ID：

dataset ID	内容	规模
clinicaltrials/2021	语料（376K docs）	375,580 份六字段 ClinicalTrialsDoc
clinicaltrials/2021/trec-ct-2021	任务三件套	75 queries + 35,832 qrels + 语料引用

加载骨架（完整可运行版见附录 E）：

import ir_datasets

ds = ir_datasets.load("clinicaltrials/2021/trec-ct-2021")
for q in ds.queries_iter():
    print(q.query_id, q.text[:40])
for qrel in ds.qrels_iter():
    print(qrel.query_id, qrel.doc_id, qrel.relevance)

HuggingFace 镜像为 irds/clinicaltrials_2021，由 ir_datasets 官方同步；国内环境主站被封锁，走 hf-mirror.com 端点即可（环境坑，任务执行中多次实证）。镜像内含 docs / queries / qrels 三部分，字段与 ir_datasets 一致。

2.5 与前身 PM 赛道语料的差异

CT 2021 与前身 TREC Precision Medicine 赛道（2017-2020，库内 trec-pm，rid 52）不是同一套数据的换皮，两处结构性差异直接影响方法迁移：

维度	TREC PM 2017/2019	CT 2021
语料构成	试验注册记录 + PubMed/MEDLINE 文献	仅试验注册记录
语料规模	241K（2017）/ 306K（2019）	375,580
topic 形态	结构化字段（disease/gene/age/other）	5-10 句自由文本患者简况
相关性体系	试验子任务二元为主	三级（eligible/excluded/not relevant）
查询侧重	精准医学要素（基因变异等）	全科入院叙述（含人口学、合并症、用药）

对方法迁移的含义：在 PM 上靠文献证据扩展的方案需要重新设计外部文献接入；靠解析结构化 topic 字段的方案需要补上「从自由文本抽取匹配要素」的前端——这正是 §6.2 中各参赛方技术路线分化的起点。

§3 任务定义与标注体系

3.1 任务形式化与 run 规则

任务定义：给定一份患者简况（纯自由文本，无结构化字段），从约 37.6 万份试验注册记录中检索并排序，返回至多 1000 个 NCT ID 的排序表。

参赛规则（官网口径）：

• 每队最多提交 5 个 run，分 automatic（纯自动流程）与 manual（允许人工干预/多轮迭代）两轨；
• 每个 run 的 RUN_NAME 限 12 字符以内的字母数字；
• 提交格式为标准 trec_eval run 格式（topic_id Q0 NCT_id rank score run_name 六列，附录 F 有骨架）；
• 时间线：2021-04-28 语料发布 → 2021-05-19 topics 发布 → 2021-05-28 参会申请截止 → 2021-08-18 run 提交截止 → 2021-10 判定与个人评分发布 → 2021-11-15~19 大会。

会议本身是 TREC 2021 第三十届，2021-11-15~19 召开。会议形式存在双口径：赛道官网日程写 NIST Gaithersburg 现场（备注 maybe），而 proceedings 明确记载 online（线上）召开——按书面证据以线上召开为准（附录 G 存照）。

3.2 三级相关性体系：把临床代价结构编码进标注

CT 2021 在患者试验匹配评测上的最大标注创新是三级判定体系：

级别	标签	语义	nDCG gain	用户视角
2	eligible（合格）	满足全部纳入与排除标准	2	理想推荐，可以直接入组
1	excluded（被排除）	满足纳入标准但触碰至少一条排除标准	1	有信息量但最终不可用，展示会引发不满
0	not relevant（不相关）	与患者情况无关，或信息不足以判断	0	无价值

设计动机（官网与概览论文口径）：真实临床场景中，「明确知道这个试验不行」与「根本看不出来行不行」是两种不同的输出——前者至少省去了人工筛查成本，后者只是噪声。把 excluded 单列出来，评测就能区分「系统识别出了排除边界」与「系统只是碰运气」。

对使用者的直接推论：

• 如果你的应用是「给医生推荐可入组试验」，请以 P 系指标（只计 eligible）或自行把 gain 改为 2/0/0 为主；
• 如果你的应用是「给研究者做试验全景筛查」，nDCG 原始口径（2/1/0）更贴合——excluded 意味着「这个患者被该试验的排除标准精确命中」，本身就是匹配信息；
• 跨论文比较方法时，务必确认对方报的是哪套口径，混用是本领域复现差异的常见来源（坑 2）。

3.3 指标体系：两轨设计的完整口径

官方报告的指标与各自语义：

指标	相关定义	语义
nDCG@5	gain 2/1/0，@5 截断	主指标；前 5 位的分级排序质量，容忍 excluded 的信息价值
nDCG@10	gain 2/1/0，@10 截断	主指标；同上，更深截断
P@5	只计 eligible 为相关	前 5 位合格率；反映「推荐即合规」的用户体验
P@10	只计 eligible	前 10 位合格率
R-Precision	只计 eligible	R（该 topic 合格判定总数）深度处的精确率
MRR	只计 eligible	第一个合格结果的倒数排名；反映「多久能给出第一个可用选项」

注意 P@5/@10、R-Precision、MRR 四项只把 eligible 计为相关（官网明示），这与 nDCG 的 gain 设计构成两轨。元年结果中两轨排名并不一致——TDMINER 的 run 在 nDCG 轨道登顶，而 P@5 轨道另有领先者，解读排行榜时不能只看一列。

3.4 判定流程与判定人

判定由 Oregon Health & Science University（OHSU）医学信息学系承担，判定人为受过医学信息学训练的医师。流程是标准 TREC 池化：各队提交 run → 取每队前 4 个最高优先级 run、池深 10 合并文档池 → 医师逐条判定三级相关性 → NIST 归档 qrels。

• 判定医师的具体人数未公开（遗留疑点一，存照）；
• 判定的医学严肃性是本基准的核心资产：excluded 与 eligible 的区分要求医师真的读懂入排条款与患者简况的对照，这不是众包可以承担的工作；
• topic 撰写者同样具医学训练背景，姓名未逐个公开。

3.5 与 PM 赛道任务形态差异小结

把 §2.5 的语料差异落到任务侧：

• PM 的 trial 子任务：输入结构化四字段，输出试验排序，语料含文献支持证据检索；
• CT 2021：输入自由文本入院简况，输出试验排序，无文献语料，判定语义更细（三级 vs 二元为主）。

一句话概括：PM 考「按要素查试验」，CT 2021 考「读病历找试验」——后者更接近真实临床决策支持系统的形态，也因此成为 TrialGPT 等医疗大模型工作选择的评测基准（§6.3）。

§4 硬数字与结果分布

4.1 规模总表（一表速查）

项	数值	来源口径
语料文档数	375,580（375,000 / 376K 两约数口径）	IRUniDUE+Elsevier 论文精确值；总概览/ir_datasets 约数
语料快照日	2021-04-27	赛道官网与 zip 文件名
语料时间跨度	1999-11 至 2021-04	Elsevier 2022 论文
zip 分卷	5 个（part1-5）	赛道官网
topics 数	75（计划口径 30-50）	topics2021.xml 实测
单 topic 长度	5-10 句	官网与概览论文
qrels 总数	35,832	qrels2021.txt 实测
qrels 分布	2=5,570 / 1=6,019 / 0=24,243	本代理逐行实测
每 topic 平均判定	约 478 条（合格约 74 条）	由上两行推算
参赛规模	26 组 / 113 runs	总概览论文
每 run 上限	1000 个 NCT ID	官网任务说明
每队 run 上限	5 个	官网任务说明
入池规则	每队前 4 run、池深 10	总概览论文
nDCG@10 最高	0.715（tdminerrun3/4，TDMINER）	官方结果页
nDCG@10 中位	0.3417	本代理对 113 runs 解析实测
nDCG@10 最低	0.0（UNM_4）	官方结果页

4.2 结果分布与排行榜

113 个 run 的 nDCG@10 分布形态：头部少数 run 冲到 0.70 以上，长尾大量 run 聚集在 0.2-0.5 区间，中位数 0.3417——头部与中位差了一倍多，说明元年各团队对这个新任务的理解差距极大。

头部代表 run（nDCG@10 官方口径）：

排名区间	run 名	团队	nDCG@10	路线
1（并列）	tdminerrun3 / tdminerrun4	TDMINER（Kaiser Permanente So. Cal.）	0.715	传统信息抽取+规则匹配
3	f_t_mt5_2	h2oloo	0.7118	mT5 文档扩展+RM3 融合
4	damohitl	Alibaba DAMO Academy + 清华	0.7038	TrialMatcher 嵌入检索+多重排
尾部	UNM_4	UNM	0.0	未命中任何判定文档（存照，见下）

三处存照级细节：

• UNM_4 = 0.0：trec-browser 结果页实测。解读为该 run 恰好未命中任何进入判定池的文档（未入池），而非评估系统错误——这本身是坑 4（unjudged）的极端示例：一个 run 完全可能做出「零判定命中」的提交。
• h2oloo 高名次 run 无配套论文：f_t_mt5、f_d2q_rm3 等高名次 run 归属 h2oloo，但在 proceedings 的参与者论文索引（xref）中无对应条目。条目按 run 名直录，不归属个人身份（遗留疑点存照；h2oloo 为社区熟知的 Fengran Mo 常用 ID，未经一手来源证实故不入正文断言）。
• 中位数是本代理实测：官方只公布逐 run 分数，0.3417 为对结果页 113 个 run 排序取中位的解析值，非官方统计口径。

4.3 26 组参赛方与代表性路线

总概览口径：26 组、113 runs。有 notebook 论文（参与者论文）的代表组与路线：

团队	机构背景	代表路线
TDMINER	Kaiser Permanente Southern California（Chengyi Zheng）	传统信息抽取：解析入排条款结构化后逐条对照，冠军 run
Alibaba DAMO + 清华	Qiao Jin, Chuanqi Tan, Zhengyun Zhao, Zheng Yuan, Songfang Huang	TrialMatcher：嵌入式一阶段检索 + 多重排器；automatic 四指标均第 2，manual 一指标第 1
ITTC-AIMedTech	澳大利亚 ARC 认知计算医学技术转化中心（Truong, Baldwin, Verspoor, Spina 等 9 人）	检索+重排流水线
WisPerMed	多特蒙德工业大学系（Schäfer, Idrissi-Yaghir 等）	BM25+关键词抽取（自评最佳组合）
CSIROmed	CSIRO Data61（Rybinski, Nguyen, Karimi）	BERT 重排
IRUniDUE	杜伊斯堡-埃森大学（Frihat, Fuhr）	BM25+实体过滤+BERT
CincyMedIR	辛辛那提大学（Vu, Wu）	年龄/性别硬过滤+BM25
BITEM/SIB	日内瓦	检索流水线
DOSSIER	TU Wien（Wojciech Kusa）	神经排序
GU_BioMed	Gonzaga 大学	基线+过滤
UNIMIB	米兰比可卡大学	神经检索
NTU_NLP	南洋理工大学	神经排序
uni_pais_vasco	UPV/EHU HiTZ/Ixa	检索+重排
ElmDoc B.V.	Mariia Fedorova	检索流水线
h2oloo	（无 notebook 论文，按 run 名直录）	mT5/doc2query 文档扩展+RM3 融合

方法论上的两大阵营在 §6.2 展开：稀疏检索阵营（BM25/规则/IE）与神经阵营（嵌入/BERT 重排/文档扩展）。

4.4 元年成绩形态的三个信号

1. 任务远未饱和：中位 0.3417、头部 0.715，头尾差超过两倍；大量团队（含强机构）停留在 0.2-0.4 区间。这为后继研究留足了空间，也是 TrialGPT 等 LLM 方法选择的切入理由。
2. 头部由非深度方法占据：冠军是传统 IE 路线——在无训练数据的元年，把入排条款真正「读懂并结构化」比端到端神经排序更有效。
3. 分布双峰提示标注语义的威力：懂得利用三级语义（excluded 增益）与人口学硬过滤（年龄/性别不入组直接剔除）的系统整体靠前；CincyMedIR 用最朴素的年龄/性别过滤+BM25 也进入了有效区间，说明任务中最「硬」的匹配信号是结构性的。

§5 获取与许可：三条通道与三层权利

5.1 官方原版通道

• 语料：赛道官网 trec-cds.org/2021.html#documents 提供 5 个 zip 分卷（ClinicalTrials.2021-04-27.part1-5.zip，合计约 1.7-1.8 GB，坑 6：官网标称与实测差约 5%）；
• topics：trec.nist.gov/data/trials/topics2021.xml（64.6 KB）；
• qrels：trec.nist.gov/data/trials/qrels2021.txt（676.5 KB）；
• 官方结果：trec.nist.gov 的 TREC 2021 结果页（113 runs 全量分数）。

适合场景：需要原始 XML 全字段（ir_datasets 六字段之外的结局、赞助方、设计等）、或需要审计快照完整性的研究。

5.2 ir_datasets / HF 镜像通道

• clinicaltrials/2021：语料 376K docs（六字段 ClinicalTrialsDoc）；
• clinicaltrials/2021/trec-ct-2021：75 queries + 35,832 qrels；
• 同一语料 ID 下还有 clinicaltrials/2021/trec-ct-2022（复用 2021 docs + 50 新 queries），一次下载两届可用；
• HF 镜像 irds/clinicaltrials_2021：ir_datasets 官方同步；国内环境走 hf-mirror.com（环境实证：HF 主站在沙箱内被封锁，镜像可达）。

适合场景：快速复现与基准评测——一行代码拿到 queries/qrels/docs，配 ir_measures 即可算官方全部指标。本条目推荐默认通道。

5.3 TrialGPT 预处理通道

NIH NLM 的 TrialGPT 团队发布过预处理版：ftp.ncbi.nlm.nih.gov/pub/lu/TrialGPT/ 下的 trec_2021_corpus.jsonl 等文件，把语料按其 pipeline 处理成 jsonl。适合直接复用 TrialGPT 实验设置的研究者；注意其字段口径与官方 XML 有差异（预处理裁剪），严格对标官方数字时以原版为准。

5.4 许可细读：不写笼统 CC 的三层表述

本数据集的许可不能简化为单个 CC 协议，逐层拆解：

• 语料（ClinicalTrials.gov 快照）：官方使用条款要求——数据免费向所有申请者开放（美国国内外同价）；使用时署名 ClinicalTrials.gov；不授予任何一方对数据库的专有权；在美国境内，该库为美国政府数据库（公有领域属性）；条款原文声明在美国境外使用时数据 carry an international copyright。条目按「免费获取 + 署名要求 + 境外版权保留」表述。
• topics / qrels：NIST 编制与归档，美国政府作品，具公有领域属性（trec.nist.gov/data/trials2021.html 归档）。
• 参赛论文：收录于 TREC 2021 Proceedings，版权各归作者，引用遵循学术规范。

对商用系统的含义：用这套语料训练/评测检索系统本身没有许可障碍（免费开放+署名）；但不得对数据主张专有权（例如不可把快照原样封装成独占商业数据产品），且面向美国境外分发时注意国际版权保留条款——具体合规判断建议交由法务。

5.5 版本链与年届对照

患者试验匹配评测在 NIST 体系内的完整谱系：

年届	赛道	语料	topics	关键变化
2017	TREC PM	241K 快照+文献	结构化 topic	元年
2019	TREC PM	306K 快照+文献	结构化 topic	语料扩容
2021	CT（本条目）	375,580 快照（无文献）	75 合成简况	自由文本 topic + 三级判定
2022	CT	同一 2021 快照复用	50 新 topics	官方原文 direct continuation，可用 2021 判定调参
2023	CT	同一快照	问卷式模板 topic	弃用合成入院简况形态
2024	—	—	—	trec-cds.org 返回 404（探针 2026-10-04，站点形态遗留待核）

版本链的使用价值：CT 2022 语料与 2021 完全一致，意味着 2021 的 35,832 条判定可以在 2022 任务上直接当训练数据用——这是 TREC 官方明示的设计（可拿 2021 判定调参）。做监督学习方法时，这是这套数据最重要的隐藏资产。

5.6 AI-Ready 评估：DAIMS 简表

按 DAIMS（Data AI-Readiness Assessment，数据 AI 就绪度）维度快评（全表见附录 B）：

维度	评级	说明
可获取性	A	官方直链 + ir_datasets 编程接口 + HF 镜像三通道，免费无需注册
机器可读性	A	XML/文本格式规范，ir_datasets 六字段结构化，HF Parquet 可选
标注质量	A	医学信息学医师三级判定，语义设计先进
可复现性	A-	快照+qrels+官方结果全公开；语料快照无法从现库回溯是唯一扣分点
许可清晰度	B+	条款明确但跨三层（语料/topics/qrels），境外版权保留需自行解读
维护活性	B	NIST 归档稳定；赛道 2023 后站点形态不明（2024 页 404）

§6 评估与基准：元年格局与后继影响

6.1 官方评估怎么读

官方评估给出 113 个 run 在 nDCG@5/@10、P@5/@10、R-Precision、MRR 上的全量分数（§4.2 已述头部与中位）。读官方结果页的三条要领：

• 先分清 automatic 与 manual 两轨：manual run 允许人工干预，跨轨比较要谨慎；Alibaba 的 damohitl 是 manual run（0.7038），其 automatic runs 四指标均第 2——两轨都是头部；
• 两套指标口径（gain 2/1/0 vs 只计 eligible）排名不同，引用时注明列名；
• 结果页逐 run 列出，但不含每 topic 分解——要 per-topic 分析需自行用 qrels 与 run 文件重算（trec_eval 或 ir_measures 均可复现官方口径）。

6.2 方法格局：BM25 打平神经的三重证据

「在无训练数据的元年，稀疏检索与神经方法打平甚至占优」是多篇参与者论文互证的核心结论：

• IRUniDUE（Frihat & Fuhr）原文表述：simple BM25 ranking could outperform neural network-based models, mainly due to the absence of quality training data——没有现成的「患者简况-试验」配对训练数据，神经排序缺乏监督信号；
• WisPerMed（Schäfer 等）的自评结论：BM25+关键词抽取是其最佳组合，超过其神经变体；
• 排行榜旁证：冠军 TDMINER 是纯传统 IE 路线，未用任何神经排序；而多个 BERT 重排方案（CSIROmed、IRUniDUE 等）落在中位区。

神经路线的三个主要探索方向（元年）：UMLS/SNOMED 概念匹配（把患者叙述与入排条款对齐到术语系统）、BERT 交叉重排、嵌入检索（Alibaba TrialMatcher 的嵌入式一阶段检索）。其中概念匹配方向需要术语底座——库内条目 snomed-ct（rid 557）与 UMLS 是该路线的直接依赖。

这个元年结论的时效性：它描述的是零训练数据条件下的格局，不代表神经方法上限。后继 CT 2022 届（可用 2021 判定调参）与 TrialGPT（LLM 零样本）分别从「补训练数据」与「换更强先验」两个方向改写了格局。

6.3 TrialGPT：从评测赛道到零样本基准

CT 2021 最重要的后继科学影响是 NIH NLM 的 TrialGPT（Jin 等，Nature Communications 2024，PMC11574183）：

• 把 TREC 2021 CT（75 位合成患者）+ TREC 2022 CT（50）+ SIGIR 2016（58）共 183 位合成患者、超过 75,000 条试验级标注作为零样本 LLM 患者试验匹配的统一基准；
• GPT-4 检索模块：召回超过 90% 的相关试验只需筛查不到 6% 的语料；
• criterion 级（逐条入排标准）匹配准确率 87.3%，接近专家水平；
• 用户研究：医生使用 TrialGPT 辅助筛查时 screening 时间下降 42.6%；
• 代码开源：ncbi-nlp/TrialGPT；预处理语料见 §5.3 通道。

TrialGPT 的评测口径正是建立在 CT 2021 的三级判定上（criterion 级判定是三级语义的细粒度延伸）。对中文使用者，TrialGPT 论文是「如何正确使用这套 qrels」的最好示范之一——包括它对 unjudged 文档的处理方式。

另一个后继使用模式来自 2022 届参赛者（如 Elsevier DSHS）：拿 2021 判定做调参与对照，验证「元年判定可以喂给下届方法」的官方设计。

6.4 兄弟基准与补充资源

• SIGIR 2016 技术辅助集（Koopman & Zuccon）：58 个 topic 的试验检索集，判定数量少，官网推荐作为 CT 2021 的补充资源（TrialGPT 也将其并入基准）；
• TREC CDS 2014-2016 topics：临床决策支持赛道的查询集，官网建议作为患者简况术语风格的参考；
• 库内 aact（rid 230）：ClinicalTrials.gov 的结构化聚合仓库（AACT），与 CT 2021 语料同源不同形态——做「注册记录结构化字段 vs 全文」的消融时两者互补。

§7 方法学启示：四条可迁移经验

7.1 无训练数据时，先做扎实的稀疏基线

元年冠军是传统 IE、多篇论文证明 BM25+过滤不输神经模型。可迁移的判断：面对新的领域检索任务，先把结构化信号（人口学硬过滤、条款解析、关键词抽取）做满，再上神经排序——CT 2021 是这条工程路径最完整的公开实证之一。

7.2 指标设计传递产品语义

eligible/excluded/not relevant 三级 + 两套指标口径的设计，本质是把「产品要什么」编码进评测：nDCG 轨奖励「识别排除边界」，P 系轨奖励「只推荐可用的」。设计新医疗评测时，这是「指标即需求文档」的范例（坑 2 的解读陷阱也源于此——使用者必须先读懂设计再比较数字）。

7.3 合成查询是医疗评测的合规解

75 份合成患者简况证明：由具医学训练者撰写、受真实病例启发的合成文本，可以承载足够真实的匹配难度，同时绕开 EHR 隐私合规。后继 TrialGPT 直接沿用该形态（183 位合成患者）验证了这条路的生命力。与真实 EHR 文本（库内 mimic-iv-note，rid 47）的分布差仍是开放问题（§9 忠告四）。

7.4 评测基建的复用价值：一次快照，多届服务

CT 2022 官方复用 2021 快照，2021 判定成为 2022 的训练资源；ir_datasets 用同一 clinicaltrials/2021 语料 ID 挂两届任务。可迁移的做法：评测语料做快照化+版本化，判定资产跨年届复用——比每年重切语料便宜得多，且保证了跨届可比性。

§8 与库内条目的关系

8.1 家族图谱

围绕「患者-试验匹配」与「ClinicalTrials.gov 生态」，库内 8 个可互链条目按角色分层：

角色	条目（rid）	关系
上游本体	clinicaltrials-gov（556）	CT 2021 语料是其 2021-04-27 历史快照；现版库已无法回溯下载同口径数据，本条目是该时点的唯一可复现切片
直系前身	trec-pm（52）	TREC Precision Medicine 2017-2020；同一站点（trec-cds.org）、同一协调团队核心（Demner-Fushman/Voorhees/Hersh）；前身而非别名（坑 7）
同源异构	aact（230）	同一注册库的结构化聚合仓库（表形态 vs 全文 XML 快照）
术语底座	snomed-ct（557）	参赛方法广泛使用 UMLS/SNOMED 概念匹配的术语系统
姊妹任务	trialbench（46）	临床试验结果预测（试验-结局侧）；与匹配检索构成试验智能的两翼
文体原型	mimic-iv-note（47）	真实 EHR 出院小结自由文本——CT topics 模拟的文体原型；可拼接做「真实 EHR→试验匹配」迁移研究
EHR 问答/结构化基准	ehrsql（713）、ehrshot（11）	患者侧信息抽取与 EHR 建模生态，与试验侧匹配互补

建议互链句式：上游本体（556）→ 评测化（52 前身 → 本条目）→ 下游应用（46/47/713/11）。

8.2 检索路径建议

• 查「临床试验数据集」→ 先落 clinicaltrials-gov（556）看现库形态，再落本条目看历史快照评测化；
• 查「患者试验匹配/病例入组」→ 本条目为基准核心，trec-pm（52）为前身谱系，trialbench（46）为预测侧延伸；
• 查「EHR 文本→下游应用」→ mimic-iv-note（47）出真实文本，本条目出匹配任务与判定，ehrsql（713）/ehrshot（11）补问答与建模语境。

§9 使用守则：读这个基准前的六条忠告

1. qrels 不是全量真值（坑 4）：35,832 条判定只覆盖池化命中（每队 4 run、池深 10），语料超过 99.9% 的文档从未被判定。任何「在全部 37.6 万文档上的召回率」都不是这套 qrels 能直接回答的——要么按 TREC 惯例只谈池内表现，要么自行补判（如 TrialGPT 的 criterion 级扩展）。
2. 先懂 gain 再比 nDCG（坑 2）：excluded gain=1 意味着「明确排除」仍贡献一半分数；用一般 TREC「相关/不相关」直觉解读会得出错误结论。跨论文比较先确认口径。
3. 语料是三年前的快照（坑 5）：2021-04-27 之后注册的试验不在语料内，与现行 ClinicalTrials.gov 内容不重合；别拿现库数据「更新」语料后还引用官方 qrels——doc 集对不上。
4. 合成简况 ≠ 真实病历：topics 是受控撰写的 5-10 句文本，真实 EHR 更长、更杂、信息更分散。在 CT 2021 上跑通的方法迁移到真实 EHR 场景（mimic-iv-note 等）时需重验，外推结论要声明。
5. 中位 0.34 的含义：这不是「任务太难大家都差」，而是头部（0.715）与尾部差距极大——引用中位数时同时给出区间，避免「元年方法都很弱」的误读。
6. 复现口径对齐：官方分数出自 trec_eval（gain 2/1/0 的 nDCG 变体）；用 ir_measures 或自写脚本复现时确认 gain 定义与截断深度一致，否则会出现系统性小偏差。

§10 库内条目拼接手册

10.1 家族图谱

库内条目	rid	关系	拼接用法
clinicaltrials-gov	556	语料上游本体：本基准语料是其 2021-04-27 历史快照，现版库已拿不到同口径数据	看注册库现行机制与 schema 演进；引用语料来源时互为注脚
trec-pm	52	直系前身赛道（PM 2017-2020）：同一站点、同一协调团队核心、trial 子任务一脉相承	构造 2017-2021 四届快照的纵向演化研究；对照结构化查询与自由文本查询
aact	230	结构化同源：AACT 是 ClinicalTrials.gov 的关系型聚合仓库，与本基准语料同源不同形态	用 AACT 的结构化表（阶段/赞助/结局）给本语料补元数据过滤特征
trialbench	46	下游姊妹任务：试验结局/性质预测，与匹配任务共享试验表示学习底座	匹配检索器产出的表示迁移到结局预测做联合评估
mimic-iv-note	47	文体原型库：真实 EHR 出院小结自由文本，是合成 topic 模拟的对象	把真实出院小结当零样本查询测分布偏移（合成→真实泛化）
ehrsql	713	患者侧结构化环节：EHR Text-to-SQL，覆盖匹配前端的 EHR 问答	组成「EHR 问答→试验检索」的 pipeline 基准链
ehrshot	11	患者侧少样本环节：EHR 基础模型少样本评测	评估同一 LLM 在 EHR 任务与本匹配任务上的迁移相关性
snomed-ct	557	术语底座：参赛方法广泛用 UMLS/SNOMED 概念做匹配增强	给概念增强路线（§6.2）提供术语资源交叉引用

10.2 检索路径建议

• 从本条目出发做患者匹配系统：先 aact(230) 补结构化元数据 → 本基准调匹配 → mimic-iv-note(47) 做真实 EHR 压力测试。
• 做纵向方法学论文：trec-pm(52) → 本条目 → 2022 届 → TrialGPT 文献链，恰好覆盖结构化查询到 LLM 推理的范式迁移全程。
• 做医疗 LLM 评测矩阵：本条目（推理落地）+ ehrsql(713)（结构化问答）+ ehrshot(11)（少样本临床预测）覆盖三个互补轴。

§11 避坑清单：九个已踩过或必踩的坑

坑 1：与 trec-pm（精准医学赛道）混淆。两者同站点（trec-cds.org）、同团队谱系、共用 ir_datasets 的 clinicaltrials 命名空间，但任务定义不同：PM 的查询是结构化四元组（疾病/基因/人口学），CT 2021 是纯文本入院简况；PM 语料还并含 PubMed 文献。加载 ir_datasets 时路径必须写全（clinicaltrials/2021/trec-ct-2021），漏掉年份会加载到 2017 版 24 万文档。

坑 2：以为能从 ClinicalTrials.gov 现版重下语料。ClinicalTrials.gov 是每日更新的活库，2023 年改版 API 与数据格式，2021-04-27 快照已不可再生。同口径语料只有两个来源：trec-cds.org 的五个历史 zip、ir_datasets 的 clinicaltrials/2021。做「数据时效」实验时务必声明快照日期。

坑 3：文档总数三口径。精确值 375,580（IRUniDUE 与 Elsevier 两篇参与者论文独立一致）、NIST 总概览约数 375,000、ir_datasets 页 376K。本条目正文取 375,580；引用 NIST 概览原文时保留其约数并注明口径。zip 大小同理有官网标称与 ir_datasets 实测两套（约 5% 差异），详见附录 C。

坑 4：把三级判定当线性相关度。0/1/2 不是「不相关/部分相关/高度相关」，而是「不相关/排除/合格」的临床决策语义；nDCG 的 gain 里排除=1 仍贡献分数，而 P@5/@10、R-Precision、MRR 只把合格计为相关。用现成 IR 工具跑指标前必须核对 gain 映射与指标口径，否则会出现「我的系统官方分对不上」的事故。

坑 5：把合成简况当真实 EHR 用。75 个 topic 是医学训练者撰写的合成文本，没有真实 EHR 的缩写噪声、时间戳乱码与信息缺失。在合成 topic 上调好的系统直接搬去真实 EHR 场景会高估性能；需要真实文体时用 mimic-iv-note 做迁移验证，并在论文里显式声明这一分布假设。

坑 6：HuggingFace 上没有官方原版仓库。HF 只有 ir_datasets 的镜像（irds/clinicaltrials_2021 系列），且国内直连 HF 常失败——走 hf-mirror.com 端点。别在 HF 搜「TREC Clinical Trials」原始 zip，官方分发只在 trec-cds.org 与 NIST。

坑 7：ir_datasets 六字段是有损通道。doc_id/title/condition/summary/detailed_description/eligibility 之外，原始 XML 还有赞助方、地点、试验阶段、结局指标等字段；任何依赖这些字段的方法（地点过滤、阶段过滤）必须回官方 zip 解析完整 XML。判断自己是否需要完整字段的试金石：你的方法要不要用「文本六字段以外」的信息。

坑 8：把 nDCG 绝对值当召回率读。qrels 只覆盖池化命中文档（每队 4 run、深度 10），其余约 99.9% 语料无真值；平均每 topic 约 74 条合格判定。0.715 的冠军分数不意味着找齐了所有合格试验，0.3417 的中位也不代表一半试验找错了——两个数字都只在「池化可见集合」上有定义。跨论文比较时还要注意用 qrels 判定版本一致（NIST 归档 2022-02-22 版）。

坑 9：LLM 代引用口径错位。TrialGPT 类论文的评测协议是「检索用 qrels 裁判、准则级判断用人工补标」；引用其数字时不能把 87.3% 的准则级准确率与 nDCG@10 排行混在同一张表里。同时注意 TrialGPT 预处理版语料的 topic ID 改写为 trec-2021x 风格，与原始 topic 编号的映射关系要经其 id2queries 文件换算。

§12 总结

12.1 三句话总结

1. TREC 2021 Clinical Trials Track 用「ClinicalTrials.gov 全库快照 37.6 万份+75 份合成患者简况+35,832 条三级判定」把临床招募瓶颈做成了可复现的检索评测，是患者-试验匹配任务的公共标尺。
2. 元年格局是「理解派险胜检索派」：TDMINER 的传统信息抽取以 0.715 险胜 Alibaba TrialMatcher 的嵌入检索 0.7038，BM25 基线 0.36 与中位 0.3417 说明入排标准理解才是真正的难点。
3. 它的生命力在赛道之外：2022 届官方复用、TrialGPT 把它带进 LLM 时代、ir_datasets 与 NCBI ftp 提供三条无摩擦获取通道——许可宽松、真值公开、键空间稳定。

12.2 适合谁

• 做患者试验匹配/临床试验检索系统的团队：唯一规模够大、真值带临床语义的公开评测。
• 做医学 LLM 准则级推理的团队：入排标准推理的天然考场，TrialGPT 协议可直接对标。
• 做生物医学 IR 方法研究的学生与工程师：37.6 万文档、标准 trec_eval 协议、丰富的历史 run 可对比。
• 做「合成→真实」分布偏移研究的方法学者：合成 topic 与真实 EHR 文本（mimic-iv-note）的对照样本唾手可得。

12.3 不适合谁

• 需要真实 EHR 噪声与缺失模式的训练任务——topics 是合成净文本（坑 5）。
• 需要试验结局标签（有效/无效）的任务——本语料只有注册信息，结局预测去看 trialbench。
• 期望结构化患者字段（年龄/基因/诊断编码）输入的系统——查询是纯文本，解析是任务的一部分。
• 期望全库完整真值的召回类任务——qrels 只覆盖池化集合（坑 8）。

12.4 30 秒决策卡

如果你想…	就…
跑一个最快基线	ir_datasets 加载 + BM25 + 年龄性别过滤，对标 0.36 区间
复现冠军方法	官方 zip 解析完整 XML，做入排标准结构化抽取，对标 0.715
评测 LLM 匹配	NCBI ftp 拿 TrialGPT 预处理版，报 nDCG@10 + 准则级准确率双口径
拼一个 125 topic 大评测	2021 的 75 + 2022 的 50，语料复用同一快照
只写综述不跑实验	引概览论文 + 赛道官网 + 本条目附录 C 的证据链

FAQ（高频问答 28 问）

A. 基础认知

1. TREC 2021 Clinical Trials Track 到底是数据集还是比赛？ 两者都是：它是一场 TREC 评测活动的产物，产出的 corpus+topics+qrels 三件套构成了可长期复用的公开评测数据集。本条目按数据集口径组织。
2. 它和 TREC Precision Medicine 是什么关系？ 前身与后继。PM（2017-2020）的 trial 子任务就是找临床试验；CT 2021 把这个子任务升格为整条赛道，查询从结构化字段改为自由文本简况。两者不是同一数据集（坑 1）。
3. 为什么查询要用合成患者？ 真实 EHR 受隐私与伦理约束无法大规模公开，这正是旧 Medical Records 赛道停办的原因。合成简况保留了临床文体与信息密度，同时零隐私负担。
4. 75 个 topic 够用吗？ 对排序评测够用（35,832 条判定支撑统计），对训练偏少。官方 2022 届的设计（同语料+新 50 topic+鼓励用 2021 判定调参）就是官方给出的「训练/评测切分」方案。
5. 这个任务和医生日常做的事有什么对应？ 就是入组筛选的前半段：扫一遍试验库，把方向对口、患者可能合格的试验排前面。三级判定直接映射医生的三种即时反应：能进/进不了/不搭边。

B. 数据与获取

6. 语料一共多大？下载要多久？ 官网标称五卷约 1.7 GB（ir_datasets 实测口径约 1.8 GB）；解压后 XML 总量更大，解析入库建议预留 10 GB 级磁盘。
7. qrels 文件怎么看？ 四列 TSV：topic 编号、固定 0、NCT ID、判定等级（0/1/2）。共 35,832 行，覆盖 75 个 topic。
8. ir_datasets 和官方 zip 的文档内容完全一致吗？ 文档集合一致（同一批 NCT ID），但 ir_datasets 只抽六字段；需要赞助方/地点/阶段等字段必须回官方 zip（坑 7）。
9. 国内下载有什么捷径？ HF 镜像 irds/clinicaltrials_2021（走 hf-mirror.com 端点）；或 NCBI ftp 的 TrialGPT 预处理版。官方 zip 在 trec-cds.org，一般可直连。
10. 2022 届数据要另下语料吗？ 不用。2022 届复用 2021 快照，只需补 50 个新 topics 与 2022 qrels。
11. 许可上要避免什么动作？ 署名 ClinicalTrials.gov、注明快照日期（2021-04-27）、不主张数据库专有权；境外使用注意条款中的国际版权保留声明（§5.4）。
12. 有没有现成的索引/嵌入可以直接下？ 官方不提供。h2oloo 等参赛 run 用 Pyserini 重建过索引但非官方分发；自己用 BM25 建索引在单卡级别即可完成。

C. 任务与判定

13. 「excluded」为什么值 1 而不是 0？ 官方用户模型：把排除试验排到前面仍有信息价值（用户能立刻自行排除），但不如合格试验；所以 gain 排除=1、合格=2（§3.3）。
14. 我可以只用 eligible 子集做二值评测吗？ 可以且常见（P@5/@10 等辅助指标正是这个口径），但与官方主指标 nDCG 不可直接互比，论文里要分开报（坑 4）。
15. 判定的一致性如何？有 kappa 吗？ 官方未公布判定者间一致性；这是本基准的已知短板（§3.4 与遗留疑点）。
16. 每个 topic 大约多少个合格试验？ 平均约 74 条（5,570/75），中位与分布未官方公布；个别 topic 的合格数差异很大，逐 topic 统计建议自行从 qrels 聚合。
17. topic 有标准答案的疾病列表吗？ 没有。topic 是自由文本，疾病、基因、用药都要系统自己抽——这正是任务难点，也是与 PM 赛道的分野。

D. 结果与复现

18. 冠军方法好复现吗？ 思路好复现（抽取+匹配+过滤），但 TDMINER 论文未开源完整系统；更务实的对标是 ir_datasets+BM25 基线（0.36 区间）与 TrialMatcher 论文描述的双塔结构。
19. 为什么 BM25 这么强？ 入院简况与试验文本词汇重叠度高，且人口学过滤能硬性砍掉大量不合格文档；在无训练数据的元年，这些信号比未调优的神经表示更可靠（§4.4）。
20. 神经方法在这份数据上注定弱吗？ 元年弱、之后不弱：2022 届 transformer 检索已逼近稀疏方法，TrialGPT 时代 LLM 混合召回成为主流。元年排行榜是「冷启动条件」下的快照，不是终审。
21. UNM_4 的 0.0 是数据错误吗？ 不是。该 run 未命中任何有判定的文档（结果页实测 0.0）；更可能是极端方法选择或提交事故，恰可作为「指标只对池化集合有定义」的极端例证（坑 8）。
22. 怎么和 TrialGPT 的数字对表？ 用其 NCBI ftp 预处理版保证同一份语料切分，报 nDCG@10 排序指标；其准则级 87.3% 是另一口径，不能与 nDCG 混排（坑 9）。

E. 引用与生态

23. 论文该怎么引？ 引 TREC 2021 Proceedings（NIST SP 500-335/页面口径 SP 1266 双口径）中的赛道概览（Roberts/Demner-Fushman/Voorhees/Bedrick/Hersh），数据引用 NIST 归档页与 trec-cds.org。
24. 2023 届以后还能用入院简况范式吗？ 2023 届改用问卷模板，不再发入院简况 topic；2021+2022 的 125 个简况是该范式的孤本全集（§5.5）。
25. 这份数据能训练模型再商用吗？ 语料条款与政府作品属性对商用无额外门禁；但注意 qrels 判定质量边界与合成查询的分布局限，商用系统应做真实场景验证。
26. 和 UMLS/SNOMED 的关系？ 概念增强是元年五条路线之一（§6.2），UMLS 概念匹配被多个参赛队使用；术语资源本身看库内 snomed-ct 条目。
27. 做中文场景能迁移吗？ 语料是英文。中文场景通常的做法是保留英文试验库（多数注册试验有英文记录）、把中文患者简况翻译或跨语言检索——任务结构与 qrels 仍适用。
28. 下一步想深入读什么？ 顺序建议：赛道官网 2021 页 → NIST 总概览 §3.1 → IRUniDUE 论文（任务侧最清晰的参与者报告）→ Alibaba 论文 → TrialGPT。

事实清单（硬事实 40 条）

1. TREC 2021 Clinical Trials Track 是 NIST 第 30 届 TREC（2021-11-15~19 线上）新设赛道，精准医学赛道（2017-2020）的直系后继。
2. 赛道协调人：Dina Demner-Fushman（NLM）、William Hersh（OHSU）、Kirk Roberts（UTHealth）、Ellen Voorhees（NIST）；赛道站点 trec-cds.org。
3. 语料为 ClinicalTrials.gov 2021-04-27 快照，精确计数 375,580 份试验 XML（IRUniDUE 与 Elsevier 2022 两篇论文一致），覆盖 1999-11 至 2021-04 注册的试验。
4. NIST 总概览将语料规模写为约数 375,000；ir_datasets 页写 376K——三口径并存，条目取精确值。
5. 语料分发为 5 个 zip 分卷；官网标称 365/360/358/344/282 MB，ir_datasets 实测 382.8/378.5/376.0/360.8/296.6 MB。
6. 语料覆盖文档时间跨度「1999 年 11 月至 2021 年 4 月发布」出自 Elsevier 2022 参与者论文。
7. XML 遵循 ClinicalTrials.gov 官方 public.xsd schema；2023 年起该 schema 随平台改版退役，快照不可再生。
8. ir_datasets 把每份试验抽取为六字段 ClinicalTrialsDoc：doc_id/title/condition/summary/detailed_description/eligibility。
9. topics2021.xml 含 75 份合成患者简况（编号 1-75），每份 5-10 句，模拟 EHR 入院记录文体，纯自由文本无结构化字段。
10. topics 由具医学训练的人员撰写，灵感来自真实病例但经修改，不使用任何真实患者数据（伦理约束，参与者论文转述口径）。
11. 官网早期计划发布 30-50 个 topic（提交格式样例写 TOPIC_NO 1-30），最终发布 75 个——双口径存照。
12. qrels2021.txt 共 35,832 条判定，覆盖 75 个 topic；本代理实测分布：0（不相关）24,243 / 1（排除）6,019 / 2（合格）5,570。
13. 三级判定语义：合格=满足全部纳入且不触排除；排除=满足纳入但触至少一条排除；不相关=信息不足或无对应。
14. 平均每个 topic 约 74 条合格判定（5,570/75），合格密度约为语料的万分之二。
15. 池化规则：每队 4 个最高优先级 run、池深 10；判定由 OHSU 医学信息学系受医学信息学训练的医师执行。
16. 判定医师人数与判定者间一致性未公开（遗留疑点）。
17. 参赛规模 26 组 / 113 runs（NIST 总概览口径；trec-browser 结果页实测 run 名亦为 113 个）。
18. 每队至多提交 5 个 run；每 run 每 topic 至多 1000 个 NCT ID；run 文件为 trec_eval 格式，RUN_NAME ≤12 字符字母数字。
19. 主指标 nDCG@5/@10，gain 取值合格=2、排除=1；辅助指标 P@5/@10、R-Precision、MRR 只把合格计为相关。
20. 辅助口径的设计理由：用户被展示明确排除的试验时极度不满（总概览原文 extremely dissatisfied）。
21. 冠军 run：tdminerrun3/tdminerrun4（TDMINER，Chengyi Zheng，Kaiser Permanente Southern California），nDCG@10 0.7150，方法为传统信息抽取+结构化匹配。
22. 第 3 名 f_t_mt5_2（0.7118）归属 run 参与者 h2oloo，mT5/doc2query 生成查询+RM3 伪反馈融合路线；h2oloo 无 notebook 论文（存照）。
23. Alibaba DAMO Academy+清华（Qiao Jin、Chuanqi Tan、Zhengyun Zhao、Zheng Yuan、Songfang Huang）的 TrialMatcher：双塔嵌入一阶段检索（37 万试验文档预训练）+多重排；automatic runs 四指标均第 2，manual run damohitl 0.7038（一指标第 1、三指标第 2）。
24. 113 个 run 的 nDCG@10 中位数 0.3417（本代理对 trec-browser 结果页全量解析实测）；最低 UNM_4=0.0。
25. 元年方法格局结论：BM25+人口学过滤/关键词抽取与神经方法打平或占优（IRUniDUE、WisPerMed 论文原话互证），原因是缺乏训练数据。
26. bm25_txt_map 0.3612、spect_rerank 0.3614、rrf_all 0.3616、IKR3_BSL 0.4785——0.36-0.48 是「过滤与词汇做对」区间，0.70+ 需入排标准级理解。
27. 2022 届为 2021 届官方 direct continuation：同一语料快照复用、50 个新 topics、鼓励用 2021 判定调参；ir_datasets 命名 clinicaltrials/2021/trec-ct-2022。
28. 2023 届改用按病种问卷模板（5-12 字段，如 2 型糖尿病模板含 HbA1c/血糖/BMI 等字段），弃用入院简况范式。
29. TrialGPT（NIH NLM，Qiao Jin 等，Nature Communications 2024）以 TREC 2021 CT（75 患者）+2022 CT（50）+SIGIR 2016（58）共 183 合成患者、超 75,000 条试验标注为评测队列。
30. TrialGPT 关键数字：检索模块 <6% 语料召回 >90% 相关试验；准则级准确率 87.3%（专家 88.7%-90.0%）；用户研究筛查时间降 42.6%；代码开源 ncbi-nlp/TrialGPT。
31. TrialGPT 预处理语料公开于 NCBI ftp（trec_2021_corpus.jsonl 等），topic ID 改写为 trec-2021x 风格。
32. NIH 估计约 80% 临床试验未按时完成患者招募（赛道官网引述的任务动机）。
33. 许可：语料沿用 ClinicalTrials.gov 条款（免费开放、须署名、不得主张专有权、美国境外 carry an international copyright）；topics/qrels 为 NIST 美国政府作品公有领域属性。
34. NIST 数据归档页 trec.nist.gov/data/trials2021.html 创建于 2022-02-22（qrels 正式归档时点）。
35. TREC 2021 Proceedings 编号双口径：页面标题 NIST SP 1266 vs 参与者论文/DBLP 的 SP 500-335；赛道独立概览 PDF 未见于 trec30/papers 目录（4 候选 URL 全 404），总概览 Overview-2021.pdf §3.1 为官方数字的直接来源。
36. 会议形式双口径：赛道官网日程写 NIST Gaithersburg 现场（备注 maybe），proceedings 书面记录为线上召开。
37. ir_datasets 的 clinicaltrials 命名空间同时容纳 2017（241K）/2019（306K）/2021（376K）三代快照与 PM/CT 两代任务——加载路径必须写全年份（坑 1）。
38. HF 镜像 irds/clinicaltrials_2021 与 irds/clinicaltrials_2021_trec-ct-2022（仅 queries 4.83 kB）为国内可达通道（hf-mirror.com）。
39. SIGIR 2016 技术辅助集（Koopman & Zuccon，约 650 试验/60 病例）被官网推荐为补充评测；其与 2021+2022 合计 183 患者的组合即 TrialGPT 三队列。
40. 库内互链：clinicaltrials-gov(556) 语料上游本体、trec-pm(52) 前身赛道、aact(230) 结构化同源、trialbench(46) 下游任务、mimic-iv-note(47) 文体原型、ehrsql(713)、ehrshot(11)、snomed-ct(557)。

术语表（28 条）

术语	释义
TREC	Text REtrieval Conference，NIST 主办的年度文本检索评测会议，2021 年为第 30 届
赛道（track）	TREC 内按任务划分的评测单元，一年一届，产出语料/查询/判定三件套
corpus	语料：被检索的文档全集，此处为 ClinicalTrials.gov 快照 375,580 份试验 XML
topics	查询集：此处为 75 份合成患者入院简况，编号 1-75
qrels	相关性判定文件（relevance judgments）：topic-文档-等级三元组列表
NCT ID	ClinicalTrials.gov 的试验注册编号（如 NCT00760162），本语料文档唯一键
入排标准（eligibility criteria）	试验的纳入标准与排除标准自由文本，外加结构化性别与年龄区间；匹配任务的核心难点
patient-to-trial matching	患者试验匹配：从患者描述出发检索合格试验的任务范式
合成患者简况（synthetic patient profile）	医学训练者撰写的虚构病例描述，模拟 EHR 入院记录文体，零真实患者数据
入院记录（admission note）	患者入院时的结构化叙事文档：主诉/现病史/检查/诊断/计划
eligible（合格）	判定等级 2：患者满足全部纳入标准且不触任何排除标准
excluded（排除）	判定等级 1：疾病对口但患者触至少一条排除标准
not relevant（不相关）	判定等级 0：信息不足或试验与患者状况无对应
pool/池化	把多个系统的高位结果合并去重后交给判定人的流程；本赛道每队 4 run、深 10
nDCG	归一化折扣累积增益：按位置折损累加 gain 的排序指标，本赛道主指标
gain	nDCG 中每个等级的贡献权重：合格=2、排除=1、不相关=0
R-Precision	前r个结果的精确率（r=该 topic 合格总数），只计合格为相关
MRR	平均倒数排名：第一个合格结果排名倒数的均值
trec_eval	TREC 官方评分程序，run 文件与 qrels 的输入格式都遵循其约定
run	一次提交：某系统对全部 topic 的排序列表文件，每队至多 5 个
BM25	经典概率检索模型（词频×逆文档频率+文档长度归一），元年最稳基线
RM3	伪相关反馈模型：用首轮结果扩展查询词；h2oloo 融合 run 的核心件
doc2query/mT5	用生成模型从文档生成伪查询以增强索引的神经方案
双塔（bi-encoder）	查询与文档分别编码再算距离的嵌入检索结构，TrialMatcher 的骨架
UMLS	美国统一医学语言系统：概念、语义类型与术语映射的国家级知识源，概念增强路线的依赖
TrialMatcher	Alibaba DAMO+清华在元年提出的试验检索双塔模型，automatic runs 四指标第 2
TrialGPT	NIH NLM 2024 年的三模块 LLM 患者试验匹配框架（检索/准则匹配/排序），本基准的高光下游
ir_datasets	标准化 IR 数据集加载库：clinicaltrials/2021 与 trec-ct-2021 的工程化通道

附录 A：来源与 URL 清单

资产	URL	用途
赛道任务页	http://www.trec-cds.org/2021.html	任务定义、日程、语料 zip、topics、提交格式
NIST 数据归档页	https://trec.nist.gov/data/trials2021.html	topics2021.xml 与 qrels2021.txt 的官方归档锚点
qrels 直链	https://trec.nist.gov/data/trials/qrels2021.txt	35,832 条判定（本代理实测计数来源）
topics 直链	https://trec.nist.gov/data/trials/topics2021.xml	75 份合成患者简况
语料 zip 直链	https://www.trec-cds.org/2021_data/ClinicalTrials.2021-04-27.part1-5.zip	五分卷语料
TREC 2021 出版页	https://trec.nist.gov/pubs/trec30/trec2021.html	proceedings 索引（SP 1266 口径）
总概览 PDF	https://trec.nist.gov/pubs/trec30/papers/Overview-2021.pdf	§3.1 含赛道核心数字
结果页（trec-browser）	https://pages.nist.gov/trec-browser/trec30/trials/results/	113 个 run 的 nDCG 全表
ir_datasets	https://ir-datasets.com/clinicaltrials.html	clinicaltrials/2021 与 trec-ct-2021 加载器
HF 镜像	hf-mirror.com/datasets/irds/clinicaltrials_2021	国内可达下载通道
TrialGPT 论文	https://pmc.ncbi.nlm.nih.gov/articles/PMC11574183/	下游 LLM 评测协议与数字
TrialGPT 数据	https://ftp.ncbi.nlm.nih.gov/pub/lu/TrialGPT/	预处理 jsonl 语料
ClinicalTrials.gov 条款	https://clinicaltrials.gov/about-site/terms-conditions	许可条款原文
2022 届任务页	https://www.trec-cds.org/2022.html	direct continuation 原文
2023 届任务页	https://www.trec-cds.org/2023.html	问卷模板改版说明

附录 B：DAIMS 评估全表

维度	评分（1-10）	依据
D 可发现性	8	NIST 归档页+trec-browser+ir_datasets+Scholar 多入口可达；「TREC CT」缩写易与 CT 影像混淆微降分
A 可获取性	9	无门禁无注册：官方直链+ir_datasets+NCBI ftp 三通道，HF 镜像补国内可达；快照不可再生扣 1 分
I 可互操作	8	NCT ID 全局唯一键、trec_eval 标准格式、ir_datasets 标准加载器；完整字段与抽取版通道分裂扣分
M 元数据质量	7	任务定义与判定语义文档完备；但官方多处口径不一致（文档数三口径/topic 数偏差/zip 大小两套）需实测校正
S 可持续性	8	NIST 归档+trec-cds.org 十余年稳定运营+ir_datasets 社区维护+NCBI ftp 长期托管；2023 后赛道改版使范式成孤本（保值但也停更）
综合评级	8.0/10（高）	医疗 AI 数据集中罕见的零摩擦获取+稳定键空间+语义化真值；短板集中在官方口径一致性与判定一致性未量化

附录 C：逐项证据链自证

关键数字	来源	获取方式与时点
375,580 文档	IRUniDUE 论文（trec.nist.gov/pubs/trec30/papers/IRUniDUE-CT.pdf）+ Elsevier 2022 论文（els_dshs.T.pdf）	搜索摘要与原文 2026-10-04
375,000（约数）	NIST 总概览 Overview-2021.pdf §3.1	pdftotext 直读 2026-10-04
75 topics / 35,832 判定	总概览 §3.1 + qrels2021.txt 实测	NIST 直链下载后 wc -l 与 uniq -c 2026-10-04
判定分布 24,243/6,019/5,570	qrels2021.txt 第 4 列聚合	本代理 awk 实测 2026-10-04
113 runs/26 组	总概览 §3.1（113 runs from 26 groups）	pdftotext 直读；结果页 run 名实测同为 113
冠军 0.715/中位 0.3417	trec-browser 结果页全量解析	本代理脚本实测 2026-10-04
TrialMatcher 0.7038/四指标第 2	ALIBABA 论文（trec.nist.gov/pubs/trec30/papers/ALIBABA_CAsT.pdf）	pdftotext 直读 2026-10-04
池化规则（4 run/深 10）	总概览 §3.1	pdftotext 直读
指标定义（gain 2/1；四辅助指标只计合格）	总概览 §3.1	pdftotext 直读
时间线五节点	trec-cds.org/2021.html 日程表	WebFetch 2026-10-04
zip 大小两口径	官网标称 vs ir_datasets 页实测	同日双源对照
许可条款原文	clinicaltrials.gov/about-site/terms-conditions	WebFetch 2026-10-04
TrialGPT 全部数字	Nature Communications 论文页（PMC11574183）	WebFetch 2026-10-04
2022 届 direct continuation	trec-cds.org/2022.html 原文	WebFetch 2026-10-04
2023 届问卷模板	trec-cds.org/2023.html 原文	curl 直读 2026-10-04

附录 D：官方口径冲突存照表

冲突项	口径 A	口径 B	条目采用
语料文档总数	375,580（两篇参与者论文精确值）	375,000（NIST 总概览约数）/376K（ir_datasets）	375,580，三口径并存注
topic 数量	计划 30-50（官网+提交样例 1-30）	实发 75（topics/qrels 实测）	75（原始文件实测）
zip 分卷大小	官网 365-282 MB	ir_datasets 实测 382.8-296.6 MB	双列对照（§2.3）
Proceedings 编号	SP 1266（出版页标题）	SP 500-335（参与者 bibtex/DBLP）	双口径存照不裁决
概览论文可得性	Scholar 收录 nist.gov 独立概览 PDF	trec30/papers 目录 4 候选 URL 全 404	数字改从总概览直取
会议形式	官网日程 Gaithersburg 现场（maybe）	proceedings 记录线上	线上（书面证据）
高名次 run 归属	tdminer/f_t_mt5_2 等 run 名可查	h2oloo 身份无 xref 条目、无论文	按 run 名直录不归属个人
UNM_4 得分 0.0	结果页实测 0.0	无法核实是否提交事故	存照并解释指标边界

附录 E：ir_datasets 完整可运行工作流

本附录兑现 §2.4 的承诺（「加载骨架（完整可运行版见附录 E）」），给出从零安装到产出分析就绪数据的全部可运行代码。环境要求：Python 3.8+，pip 可用；全部数字校验值以 FACTS 实测为准。

E.1 安装与国内镜像配置

pip install ir_datasets

国内环境（HuggingFace 主站不可达，任务执行中多次实证）先设镜像端点，再触发加载：

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

三条前置认知，直接决定首次加载是否顺利：

• 语料五分卷 zip 总压缩体积约 1.75 GB（五卷 ir_datasets 实测 382.8 + 378.5 + 376.0 + 360.8 + 296.6 MB 加总），首次加载 clinicaltrials/2021 时自动下载并解包，请预留磁盘与网络时间；
• 官网标称的分卷大小（365/360/358/344/282 MB）与实测相差约 5%，属于附录 G 已登记的双口径，以下载实测为准；
• 不想直连 trec-cds.org 时，HF 镜像 irds/clinicaltrials_2021 由 ir_datasets 官方同步，docs / queries / qrels 三部分字段与 ir_datasets 一致。

E.2 加载任务三件套：queries 与 qrels

import os
os.environ.setdefault("HF_ENDPOINT", "https://hf-mirror.com")  # 国内环境必需

import ir_datasets
from collections import Counter

ds = ir_datasets.load("clinicaltrials/2021/trec-ct-2021")

# --- queries：75 份合成患者简况 ---
queries = list(ds.queries_iter())
print(len(queries))              # 75
print(queries[0].query_id)       # topic 编号（qrels 中的 topic_id 与此对应）
print(queries[0].text[:80])      # 简况正文开头（5-10 句入院记录式自由文本）

# --- qrels：35,832 条三级判定 ---
n_qrels = 0
dist = Counter()
for qrel in ds.qrels_iter():
    dist[qrel.relevance] += 1
    n_qrels += 1

print(n_qrels)                   # 35832
print(sorted(dist.items()))      # [(0, 24243), (1, 6019), (2, 5570)]

三个打印值的来源与含义：

• 75：topics2021.xml 实测 topic 数（官网计划 30-50 与实发 75 的偏差见附录 G）；
• 35,832：qrels2021.txt 行数（NIST 总概览 §3.1 与直链文件双重验证）；
• 分布 24,243 / 6,019 / 5,570：0=不相关、1=被排除、2=合格——合格判定仅占 15.5%，且平均每 topic 约 74 条合格，这组占比是理解指标绝对值的关键背景。

E.3 加载语料：六字段 ClinicalTrialsDoc

import os
os.environ.setdefault("HF_ENDPOINT", "https://hf-mirror.com")

import ir_datasets

docs_ds = ir_datasets.load("clinicaltrials/2021")

n_docs = 0
for doc in docs_ds.docs_iter():
    n_docs += 1

print(n_docs)                     # 375580（ir_datasets 进度条显示约数 376K）
print(doc.doc_id)                 # NCT 编号，全库唯一主键，qrels 的 doc_id 与此对齐
print(doc.title)                  # 试验标题
print(doc.condition)              # 疾病/ condition 字段
print(doc.summary)                # brief summary
print(doc.detailed_description)   # detailed description
print(doc.eligibility)            # 入排标准块（三级判定的判定依据所在）

字段说明与使用要点：

• 六字段是 ir_datasets 从 ClinicalTrials.gov 官方 public.xsd 抽取的 ClinicalTrialsDoc 命名元组，并非注册记录的全部原始字段——需要全部原始字段时应回到五分卷 XML 原版（附录 J 对照预处理版）；
• doc_id 即 NCT ID，是连接 qrels、run 文件、ClinicalTrials.gov 线上页与库内 clinicaltrials-gov 条目（rid 556）的统一外键；
• eligibility 字段承载纳入/排除标准全文，是 patient-to-trial matching 任务的信息核心——元年冠军 TDMINER 的传统 IE 路线（§6.2）主要就在这段文本上做结构化。

E.4 从 qrels 到分析就绪表

import os
os.environ.setdefault("HF_ENDPOINT", "https://hf-mirror.com")

import ir_datasets
import pandas as pd

ds = ir_datasets.load("clinicaltrials/2021/trec-ct-2021")

qrels = pd.DataFrame(
    ({"query_id": q.query_id, "doc_id": q.doc_id, "relevance": q.relevance}
     for q in ds.qrels_iter())
)

per_topic = qrels.groupby("query_id").agg(
    judged=("doc_id", "count"),
    eligible=("relevance", lambda s: int((s == 2).sum())),
    excluded=("relevance", lambda s: int((s == 1).sum())),
)

print(len(per_topic))                 # 75 个 topic 全覆盖
print(per_topic["judged"].mean())     # 约 478（35832 / 75）
print(per_topic["eligible"].mean())   # 约 74（5570 / 75）

这张 per_topic 表是后续一切分析的地基：校验池化覆盖（每 topic 平均约 478 条判定，全部来自 depth 10、每队 4 run 的合并池）、估算人工筛查成本（每 topic 平均约 74 条合格候选）、构造自划验证集（2022 届参赛者的既有先例，见附录 H）。

E.5 一条 BM25 基线的三步骨架

以下为方法骨架示意（非官方基线、非唯一实现），对应元年参赛者中被多篇论文证实有效的稀疏检索主线（IRUniDUE：simple BM25 ranking could outperform neural network-based models, mainly due to the absence of quality training data）：

# 步骤一：索引——对六字段拼接文本（或以 eligibility 为主字段）建倒排索引
# 可选实现：Pyserini / OpenSearch / 自己的 BM25 库；375,580 文档量级单机可承受

# 步骤二：检索前端——从 topic 自由文本抽取匹配要素
# 元年有效做法（参与者论文互证）：
#   - 年龄/性别等人口学要素抽取 + 硬过滤（CincyMedIR 路线）
#   - 关键词/实体抽取 + BM25（WisPerMed、IRUniDUE 路线）
#   - UMLS/SNOMED 概念归一化后匹配（神经路线的常见组件，术语底座见库内 snomed-ct）

# 步骤三：输出——按 topic 写 run 文件（格式与约束见附录 F）
#   每 topic 至多 1000 行、RUN_NAME ≤12 字符、六列 trec_eval 格式

骨架刻意不绑定具体检索库：元年经验恰恰表明，在无训练数据的起步阶段，前端要素抽取的质量比对后端模型的重投入更影响名次——这正是 §6.2 各技术路线分化的核心结论。

E.6 加载完成后的 30 秒自检清单

加载完成后逐项核对，任何一项不符都说明数据版本或加载环节有问题：

• 语料文档计数 = 375,580（进度条约数 376K 属正常显示口径）；
• queries 计数 = 75；
• qrels 计数 = 35,832，且分布恰为 0=24,243 / 1=6,019 / 2=5,570；
• qrels 覆盖 topic 数 = 75（与 queries 完全对齐，无孤立判定）；
• 任取一条 qrel 的 doc_id 能在语料迭代中找到（NCT 编号格式一致）。

五项全过，即可认定与 2021 年官方评测同口径的完整数据已就位，可以进入附录 F 的 run 产出与评估环节。

附录 F：trec_eval run 格式与官方口径复现骨架

本附录兑现 §3.1 的承诺（「提交格式为标准 trec_eval run 格式……附录 F 有骨架」），覆盖 run 文件逐列规格、提交约束、用官方 qrels 复算指标、以及端到端复现骨架。

F.1 run 文件六列逐列规格

列序	名称	说明	示例
1	topic_id	患者简况编号，对应 topics2021.xml 的 topic 编号	1
2	字面量 Q0	trec_eval 系工具的历史惯例固定列，恒写 Q0	Q0
3	doc_id	NCT 编号，必须来自语料	NCT12345678（格式示例）
4	rank	该 topic 结果中的排序位次，从 1 起	1
5	score	系统打分，降序排列	42.7
6	run_name	参赛 run 名，≤12 字符字母数字	myrun1

以单个 topic 的 run 片段示意（数值与 NCT 编号均为格式占位，非真实提交数据）：

1 Q0 NCT12345678 1 42.7 myrun1
1 Q0 NCT23456789 2 38.1 myrun1
1 Q0 NCT34567890 3 31.5 myrun1

F.2 提交约束与格式错误清单

官方规则（§3.1 口径）落到 run 文件上就是五条硬约束：

• 每 topic 至多 1000 行（任务定义：返回至多 1000 个 NCT ID 的排序表）；
• 每队至多 5 个 run，分 automatic 与 manual 两轨；
• RUN_NAME ≤12 字符的字母数字——可参照真实 run 名的长度感受：tdminerrun1 共 11 字符、damohitl 共 8 字符；
• 同一 topic 内 rank 必须从 1 连续递增且唯一；并列分数时也应给不同 rank（按内部稳定排序）；
• 无表头、无空列、统一用制表符或单空格分隔——多一列少一列 trec_eval 都会拒读。

常见的翻车点还包括：topic_id 写成字符串前导零、NCT 编号不在 2021-04-27 语料快照内（拿到别年快照的数据混入）、以及用 qrels 中不存在的 topic 生成结果——三者都会导致评估侧静默丢弃或整体报错。

F.3 用官方 qrels 复算指标

# qrels2021.txt：NIST 官方 35,832 条判定；myrun.txt：按 F.1 规格产出
trec_eval -m ndcg_cut.5,10 -m P.5,10 -m recip_rank qrels2021.txt myrun.txt

与官方口径的对应关系：

• ndcg_cut.5 与 ndcg_cut.10 对应官方主指标 nDCG@5 与 nDCG@10，gain 直接取 qrels 第四列的 2/1/0（eligible=2、excluded=1、不相关=0）；
• P@5、P@10、R-Precision、MRR 四项辅助指标的官方口径只把 eligible（rel=2）计为相关——直接拿全量 qrels 算出来的这几项会与官方结果有出入，需要先做 F.4 的过滤；
• 本附录骨架用于自查复现，严格对齐官方发布数值时以 NIST 结果页（附录 A 的 trec-browser 行）为准。

F.4 生成「仅合格」过滤 qrels

官方四项辅助指标（P 系/R-Precision/MRR）只把 eligible 计为相关。常见的等价实现是先过滤 qrels 再计算：

# awk 单行：保留第 4 列（relevance）为 2 的判定行，四列原格式不变
awk '$4 == 2' qrels2021.txt > qrels_eligible_only.txt

# 用途示意：辅助指标复算
trec_eval -m P.5,10 -m recip_rank qrels_eligible_only.txt myrun.txt

两条口径为何并存（回顾 §3.2）：nDCG 的 gain 2/1/0 编码把 excluded 的信息价值算进分数；P 系双轨则模拟「用户看到被明确排除的试验会极度不满」的行为——复现别人的论文时，先确认对方报的是哪套口径，再选对应的 qrels 版本。

F.5 端到端复现骨架：从检索到 run 文件

把附录 E 的加载与检索串起来，产出合规 run 文件的骨架（示意代码，变量命名自明）：

import os
os.environ.setdefault("HF_ENDPOINT", "https://hf-mirror.com")

import ir_datasets

ds = ir_datasets.load("clinicaltrials/2021/trec-ct-2021")

RUN_NAME = "myrun1"                      # ≤12 字符字母数字
MAX_PER_TOPIC = 1000                     # 官方上限
results = {}                             # topic_id -> [(score, doc_id), ...]
# ……此处接入你的检索流水线：对 ds.queries_iter() 的每个 topic
# 在 375,580 文档上打分排序，填入 results，截断至 MAX_PER_TOPIC ……

with open("myrun.txt", "w") as f:
    for topic_id, ranked in results.items():
        for rank, (score, doc_id) in enumerate(ranked, start=1):
            f.write(f"{topic_id} Q0 {doc_id} {rank} {score:.4f} {RUN_NAME}\n")

产出 myrun.txt 后回到 F.3 复算指标，即可完成「加载→检索→产出→评估」的闭环自查。对照基准建议：官方 113 个 run 的中位 nDCG@10 为 0.3417，榜首 TDMINER 为 0.715——你的分数落在哪个位置，解读方式见附录 K。

附录 G：双口径与遗留疑点总登记表

本附录兑现 §1 与 §3.1 的两处引用（「已在附录 G 双口径登记表逐条存照」「附录 G 存照」）。与附录 D 的分工：D 是裁决表——每项冲突给出条目采用的口径并收束；G 是总登记表——补全出处细节、采用位置指针、以及四条尚未裁决的遗留疑点，供复核者从任何一节跳转过来都能独立读全。

G.1 双口径全量登记（含采用位置指针）

项	口径 A	口径 B / C	出处	条目采用与位置
语料文档总数	375,580（IRUniDUE 论文与 Elsevier 2022 论文，两个独立来源一致）	375,000（NIST 总概览 §3.1 约数）；376K（ir_datasets 页）	附录 C 证据链前三行	375,580，三口径并存注（§2.1、§2.4）
topic 数量	计划 30-50（官网日程+提交格式样例 TOPIC_NO 1-30）	实发 75（topics2021.xml 与 qrels 实测）	NIST 直链文件实测	75（§2.2）
zip 分卷大小	官网标称 365/360/358/344/282 MB	ir_datasets 实测 382.8/378.5/376.0/360.8/296.6 MB	同日双源对照	双列对照（§2.3）
Proceedings 编号	NIST SP 1266（trec2021.html 出版页标题）	NIST SP 500-335（参与者论文 bibtex 与 DBLP）	出版页与 DBLP 双源	双口径存照不裁决（§1.3、附录 D）
概览论文可得性	Scholar 收录标 nist.gov PDF 的赛道独立概览	trec30/papers 目录 4 个候选 URL 全 404（探针 2026-10-04）	探针存照	数字改从总概览 Overview-2021.pdf §3.1 直取（§1.2）
会议形式	官网日程写 Gaithersburg 现场（备注 maybe）	proceedings 明确记载 online（线上）召开	§3.1 引文	线上（书面证据优先，§3.1）
高名次 run 归属	tdminerrun1-4（TDMINER，有 notebook 论文）、damohitl（Alibaba，有论文）	f_t_mt5/f_d2q_rm3 等高名次 run 归属 h2oloo——无 notebook 论文、xref 无条目	结果页+论文目录比对	按 run 名直录不归属个人（§6.3）

G.2 遗留疑点清单（截至抓取时点 2026-10-04 未裁决）

四条疑点均不影响数据本体使用，但影响「引用 NIST 文档体系时的措辞精度」：

• 判定医师人数未公开——只知判定由 OHSU 受过医学信息学训练的医师承担，人数与个体名单无公开记录；
• 2024 及以后年届的 trec-cds.org 站点形态待核——2024 页探针 404，赛道是否继续、以何种形态继续无官方信息；
• SP 1266 与 SP 500-335 的确切关系待核——同一卷双编号或两卷，两口径均出自 NIST 官方体系，未再深挖；
• topics2021.xml 是否含编号 -1 的示例 topic 待核——官网提交样例显示存在 -1 号示例，本代理实测 <topic 标签匹配 76 次（含 <topics 根节点行），qrels 实测 75 个 topic ID，条目按 75 成稿。

G.3 解读注意事项存照

以下三条不是口径冲突，而是「数据本身的风险声明」，引用绝对分数时必须一并带出：

• unjudged 风险：35,832 条判定只覆盖池化命中文档（每队 4 run、池深 10），语料其余超过 99.9% 的文档无真值——任何「某方法在 CT 2021 上得 X 分」的说法都隐含「在已判定子集上」；
• gain=1 的设计：nDCG 口径下 excluded（被排除）仍贡献一半的合格增益，用一般 TREC 直觉解读会高估「可入组推荐」质量（坑 2 与 §3.2 详述）；
• UNM_4 = 0.0 存照：trec-browser 结果页实测该 run nDCG@10 为 0.0，解读为该 run 未命中任何已判定文档，而非评估错误——列在此处提醒 0 分 run 存在，下界并非理论值。

G.4 论文引用口径建议

写论文或技术报告引用本赛道时，四条建议对应 G.1-G.3：

• 文档总数写 375,580 并括注 NIST 总概览约数 375,000，避免被审稿人拿 Overview 数字对表质疑；
• Proceedings 编号要么双列（SP 1266 与 SP 500-335 并注），要么只写「TREC 2021 Proceedings」回避编号；
• 分数比较注明指标口径（nDCG gain 2/1/0，且为已判定子集上的结果）与来源（NIST 结果页/trec-browser）；
• 涉及 h2oloo 高名次 run 时按 run 名直录（如 f_t_mt5_2 的 0.7118），不推断个人归属。

附录 H：年届迁移手册（2017→2023）

本附录把 §7 的版本链展开为可操作的迁移手册：四个年届的资产对照、三条常见迁移路径的注意事项、以及迁移时的口径自检。

H.1 版本链全景

年届	赛道	语料	topics	topic 形态	备注
2017	TREC PM	241K 试验快照 + PubMed/MEDLINE 文献	结构化字段	disease/gene/age/other	本赛道前身（库内 trec-pm，rid 52）
2019	TREC PM	306K 试验快照 + 文献	结构化字段	同上	PM 末期
2021	TREC CT（本条目）	375,580 试验快照（2021-04-27），无文献语料	75	5-10 句合成入院简况	三级判定元年
2022	TREC CT	复用同一 2021 快照语料	50 新	同 2021	官方原文 direct continuation
2023	TREC CT	同快照延续	问卷式模板	不再用合成入院简况	trec-cds.org/2023.html 存续
2024+	——	——	——	——	2024 页探针 404（遗留疑点②，附录 G）

版本链的三个结构性转折点：

• 2019→2021：任务从「结构化 topic 检索」翻转为「自由文本患者简况检索」，语料去掉文献只剩注册库；
• 2021→2022：语料冻结复用，判定资产可直接跨年复用——这是唯一一次语料零成本迁移；
• 2022→2023：topic 形态从合成简况改为问卷式模板，2021+2022 的 125 份合成简况成为该范式的孤本全集。

H.2 ir_datasets 资产对照

dataset ID	内容	与 2021 的关系
clinicaltrials/2021	语料（376K docs）	本体
clinicaltrials/2021/trec-ct-2021	75 queries + 35,832 qrels	本条目三件套
clinicaltrials/2021/trec-ct-2022	50 queries（复用 2021 docs）	语料零迁移，仅换 topic 集

H.3 路径一：2021 → 2022（成本最低）

官方定调 direct continuation，操作上近乎免费：

• 语料完全同一份 2021-04-27 快照，索引建一次用两年；
• 75 个 2021 topic 的 35,832 条判定是现成标注资产——2022 届参赛者（如 Elsevier DSHS）拿 2021 判定做调参与对照是公开先例；
• 注意 2022 新增 50 个 topic 与 2021 的 75 个互不重叠，别把两年的 topic 混在同一验证集里而不区分年届。

H.4 路径二：PM 2017/2019 → CT 2021（方法重设计）

§2.5 的差异表落到迁移动作上就是三条：

• 文献证据扩展方案需要重新设计外部文献接入——CT 2021 语料只有试验注册记录，PM 时代「引用文献增强」组件没有直接的语料内落点；
• 结构化 topic 解析方案需要补「从自由文本抽取匹配要素」的前端——disease/gene/age 字段不存在了，要自己从 5-10 句入院简况里抽；
• 二元相关性假设需要升级为三级体系——PM 的试验子任务以二元为主，直接沿用会丢掉 excluded 与 not relevant 的区分（§3.2 的临床代价结构）。

H.5 路径三：CT 2021/2022 → CT 2023（前端再改造）

2023 届把 topic 改为问卷式模板，不再用合成入院简况：

• 检索前端从「自由文本要素抽取」改回「模板字段解析」——与 PM 时代类似但模板维度不同，以 trec-cds.org/2023.html 的任务定义为准；
• 2021/2022 累积的语料侧工程（索引、NCT 键空间、入排文本处理）全部保值；
• 判定资产跨年适用性无官方背书，仅作自划验证集使用为宜。

H.6 迁移自检清单

任何跨年届迁移动手前过一遍：

• 语料快照日期核对——2021 与 2022 共用 2021-04-27 快照，PM 年届快照规模不同（241K/306K），混用即口径错；
• topic 形态核对——自由文本简况、结构化字段、问卷模板三种形态对应三种前端；
• 判定语义核对——PM 二元与 CT 三级不可直接比分数；
• 官方口径核对——各年届指标定义以当年总概览论文为准，勿跨年套用。

附录 I：参考文献与引用格式

本附录给出条目所有关键主张的原始文献清单、可直接复用的引用条目、以及数据集引用声明文本。URL 汇总见附录 A。

I.1 核心文献清单

四篇文献覆盖本条目全部硬数字与任务定义：

• Ian Soboroff. Overview of TREC 2021. TREC 2021 Proceedings（NIST）。总概览论文，赛道核心数字（语料、75 topics、35,832 判定、113 runs/26 组、指标定义）出自其 §3.1 Clinical Trials 章节；
• Kirk Roberts, Dina Demner-Fushman, Ellen M Voorhees, Steven Bedrick, Willian R Hersh. Overview of the TREC 2021 Clinical Trials Track. Proceedings of the Thirtieth Text REtrieval Conference. 赛道独立概览（可得性存照见附录 G）；
• Jin 等（NIH NLM）. TrialGPT 相关论文. Nature Communications, 2024（PMC11574183）。下游 LLM 基准化协议与全部 TrialGPT 数字来源；
• Koopman & Zuccon. SIGIR 2016 技术辅助数据集论文。兄弟基准的原始出处（判定较少，官网推荐为补充资源）。

参赛方法结论的文献载体为各队 notebook 论文（NIST trec30/papers 目录），本条目引用过的包括 IRUniDUE、WisPerMed、ALIBABA_CAsT、TDMINER 等，文件名与证据链见附录 C。

I.2 BibTeX 条目

为兼容条目引号纪律，title 一律用大括号包裹（BibTeX 等价语法），不含英文直引号：

@inproceedings{soboroff2021overview,
  author    = {Soboroff, Ian},
  title     = {Overview of {TREC} 2021},
  booktitle = {Proceedings of the Thirtieth Text {REtrieval} Conference (TREC 2021)},
  year      = {2021},
  url       = {https://trec.nist.gov/pubs/trec30/papers/Overview-2021.pdf}
}

@inproceedings{roberts2021ct,
  author    = {Roberts, Kirk and Demner-Fushman, Dina and Voorhees, Ellen M. and Bedrick, Steven and Hersh, Willian R.},
  title     = {Overview of the {TREC} 2021 Clinical Trials Track},
  booktitle = {Proceedings of the Thirtieth Text {REtrieval} Conference (TREC 2021)},
  year      = {2021},
  note      = {Proceedings volume number dual attribution: NIST SP 1266 and NIST SP 500-335}
}

@article{jin2024trialgpt,
  author  = {Jin, Qiao and others},
  title   = {{TrialGPT}: a trial-matching baseline for patient-to-trial matching with large language models},
  journal = {Nature Communications},
  year    = {2024},
  note    = {PMC11574183; code: ncbi-nlp/TrialGPT}
}

三条注记：

• roberts2021ct 的 note 字段即 SP 编号双口径的显式存照（附录 G），引用时可删；
• jin2024trialgpt 的 title 为指示性简写，正式引用请以 PMC 页面原文题名为准；
• SIGIR 2016 兄弟基准未给 BibTeX——官网仅作资源推荐，正式引用请回溯 Koopman & Zuccon 原文。

I.3 数据集引用声明文本

数据集本身无标准 citation，按ClinicalTrials.gov 使用条款（署名要求）与 NIST 归档惯例，推荐声明模板：

中文场景：

• 本任务语料取自 ClinicalTrials.gov 注册库 2021-04-27 快照（375,580 份试验注册记录），经 TREC 2021 Clinical Trials Track 分发；topics 与相关性判定由 NIST 归档（trec.nist.gov/data/trials2021.html）。

英文场景：

• The corpus is a snapshot of the ClinicalTrials.gov registry (2021-04-27, 375,580 trial records) distributed via the TREC 2021 Clinical Trials Track; topics and relevance judgments are archived by NIST.

I.4 引用口径四条提醒

与附录 G.4 呼应，落到参考文献层面的具体做法：

• 文档总数：写 375,580 并括注 NIST 总概览的 375,000 约数；
• Proceedings 编号：双列（SP 1266 与 500-335）或只写 TREC 2021 Proceedings 回避；
• 分数：注明「已判定子集上的 nDCG（gain 2/1/0）」与数据来源页；
• TrialGPT 数字：统一标注 2024 年论文（PMC11574183），不与 TREC 官方结果混表。

附录 J：TrialGPT 预处理版对照与 LLM 基准化

获取三通道（§8.2）中的第三通道——NCBI 托管的 TrialGPT 预处理版——与官方原版差异不小，本附录给出对照表、基准协议数字与使用注意。

J.1 官方原版 vs TrialGPT 预处理版

维度	官方原版（通道 1/2）	TrialGPT 预处理版（通道 3）
托管方	NIST / trec-cds.org / ir_datasets	NCBI 服务器（ftp.ncbi.nlm.nih.gov/pub/lu/TrialGPT/）
文件形态	5 个 zip 分卷 XML（public.xsd）+ topics2021.xml + qrels2021.txt	trec_2021_corpus.jsonl 等 jsonl 文件（逐行 JSON）
字段口径	官方完整注册记录；ir_datasets 抽取六字段 ClinicalTrialsDoc	以 NCBI 托管文件内字段为准（面向 LLM 输入组织）
判定文件	官方 qrels2021.txt 为唯一评测真值	同源复用（基准协议见 J.2）
定位	TREC 官方评测口径	LLM 患者试验匹配基准的工程化重组

选择建议：

• 做 TREC 口径复现、跑 trec_eval、对官方榜单——用官方原版或 ir_datasets（附录 E/F 骨架）；
• 做零样本 LLM 患者试验匹配实验、对齐 TrialGPT 论文协议——用预处理版可省去语料预处理对齐成本；
• 两条通道的 doc_id 同为 NCT 编号体系，跨通道对齐以 NCT ID 为外键。

J.2 TrialGPT 基准协议数字

全部数字出自 Nature Communications 2024 论文（PMC11574183），构成一个独立的下游基准：

• 基准构成：TREC 2021 CT（75 患者）+ TREC 2022 CT（50 患者）+ SIGIR 2016 技术（58 患者）共 183 份合成患者简况；
• 标注规模：超过 75,000 条患者-试验标注；
• 检索模块：GPT-4 召回超过 90% 相关试验时只需筛查语料的不到 6%；
• 判定一致性模块：criterion 级（入排标准逐条）准确率 87.3%，接近专家水平；
• 用户研究：专家筛查时间下降 42.6%；
• 代码开源：ncbi-nlp/TrialGPT。

183 的构成可自行验算：75 + 50 + 58 = 183，其中前两项正是本条目与 2022 年届（附录 H）的 topic 数。

J.3 使用注意

三条纪律，避免把预处理版误当官方口径：

• 预处理版不是 TREC 官方评测口径的一部分——官方口径只认 NIST 归档的三件套，榜单名次只能出自官方 qrels；
• TrialGPT 论文对三级标签（eligible/excluded/not relevant）如何映射进其基准协议，引用其数字前应回论文核对映射方式，不要想当然沿用 TREC gain 2/1/0；
• 论文中「召回超过 90% 相关试验只需筛查不到 6% 语料」一类表述的基准对象是「相关/合格试验」，与 TREC 榜单的 nDCG 绝对值不可互换比较。

J.4 与库内条目的衔接

• TrialGPT 的患者侧输入（合成简况）文体原型是真实 EHR 出院小结——与库内 mimic-iv-note（rid 47）拼接可做「真实 EHR → 试验匹配」的迁移实验（§10.2 路径建议）；
• 其 criterion 级判定（87.3%）处理的正是 eligibility 文本——与语料上游 clinicaltrials-gov（rid 556）的入排字段结构互为印证；
• LLM 路线之外的 classical 基线与元年方法格局见 §6.2。

附录 K：113 个 run 的分数带解读

§4.4 与 §6 给过榜单锚点，本附录把 113 个 run 的分数分布整理为解读框架，供复现者给自己的 run 定位。先声明：分数带为本文基于 NIST 结果页全表解析给出的解读性划分，非官方分层。

K.1 已知锚点

锚点	nDCG@10	归属	方法标签
榜首	0.715	tdminerrun3 / tdminerrun4（TDMINER，Kaiser Permanente Southern California）	传统信息抽取（IE）路线
第二	0.7118	f_t_mt5_2（h2oloo，无 notebook 论文，按 run 名直录）	mT5 等融合检索
第三	0.7038	damohitl（Alibaba DAMO + 清华）	TrialMatcher 嵌入式检索 + 多重排（manual）
中位	0.3417	全体 113 runs 解析实测	——
下界	0.0	UNM_4	未命中任何已判定文档（存照）

K.2 分数带划分（解读框架）

• 0.70+ 第一梯队：三种截然不同的方法（传统 IE / 生成式融合检索 / 嵌入检索+人工多重排）汇合在 0.70-0.72 窄带内——榜首方法的多样性本身就是元年最重要的经验事实；
• 0.35-0.70 中坚带：跨越中位数的广大区间，方法差异在分数上被大幅拉开，首尾绝对差超过 0.7，远大于成熟检索赛道常见的头部聚集；
• 0.35 以下（含 0.0）：中位 0.3417 以下意味着过半 run 的排序质量与头部有明显差距——无训练数据元年，前端要素抽取质量（§6.2）是主要分化点。

K.3 给复现者的定位建议

• 用附录 F 骨架对自己的 run 复算 nDCG@10 后，先对照中位 0.3417 判断「方法是否有效」，再对照 0.70+ 带「距离元年最佳还有多远」；
• 分数解读必须附带 unjudged 声明（附录 G.3）：所有分数只代表已判定子集上的表现，高于中位不等于全面优于未判定文档上的表现；
• 榜单横向比较时固定指标口径（nDCG gain 2/1/0），与 TrialGPT 论文等 LLM 基准数字（附录 J.3）不可混表。

K.4 全条目收束

至此，本条目从任务定义（§3）、数据规格（§2）、方法格局（§6）到实操附录（E-K）形成闭环：TREC 2021 Clinical Trials Track 以 375,580 份试验注册记录、75 份合成患者简况与 35,832 条三级判定，把「患者-试验匹配」第一次推上了大规模可比评测的舞台；它的判定资产被 2022 届原样继承、被 TrialGPT 等 LLM 基准重组吸收，而 2021-04-27 快照本身不可再生——这正是它作为 AI-Ready 数据集的核心价值与使用纪律的来源。

附录 L：抓取与实测探针日志（2026-10-04）

附录 C 记录了「哪个数字来自哪里」，本附录记录「验证动作本身」——本条目代理在抓取时点执行过的实测探针清单，供复核者复刻。所有探针的结论已收进正文与附录 G/D，此处按动作类型归档。

L.1 文件级实测探针

探针	动作	结果	收录位置
qrels 行数	下载 qrels2021.txt 后计数	35,832 行（676.5 KB）	§2.3、附录 C
判定分布	对第 4 列聚合	0=24,243 / 1=6,019 / 2=5,570	§2.3、附录 C
qrels topic 覆盖	对第 1 列去重计数	75 个 topic	§2.2
topics 标签计数	对 topics2021.xml（64.6 KB）匹配 <topic	76 次（含 <topics 根节点行）	遗留疑点④（附录 G.2）
结果页 run 数	解析 trec-browser 结果页	113 个 run	§4.4、附录 C
中位分数	对 113 个 nDCG@10 取中位	0.3417	§4.4、附录 K
五卷 zip 实测大小	ir_datasets 抓取记录	382.8/378.5/376.0/360.8/296.6 MB	§2.3、附录 G.1
总概览数字	pdftotext 直读 Overview-2021.pdf §3.1	375,000/75/35,832/113 runs/26 组/池化规则/指标定义	§1-§4、附录 C

L.2 URL 可达性探针

探针	动作	结果
trec30/papers 目录独立概览	4 个候选 URL 逐一探测	全部 404——独立概览 PDF 目录内不存在
nvlpubs 直链	SP 1266 与 500-335 候选直链探测	404，未再深挖（遗留疑点③）
trec-cds.org/2024.html	探针	404（遗留疑点②）
trec-cds.org/2021/2022/2023.html	探针	全部可达
NCBI ftp TrialGPT 目录	探针	可达，含 trec_2021_corpus.jsonl 等文件

L.3 撞库与互链探针（库内）

探针	动作	结果
slug 查重	url_name ILIKE ‘%trec%’ 或 ‘%clinical-trial%’	仅命中 trec-pm（rid 52），无撞库
trec-pm 身份核对	rid 52 条目内容	PM 2017-2020，本赛道前身而非别名
互链候选核验	逐条核对 rid 556/230/46/47/713/11/557	全部存在且语义匹配（§10.1 家族图谱）

L.4 复核者复刻指南

本附录全部探针可按三步复刻：

• 文件级探针：从附录 A 直链下载 qrels2021.txt 与 topics2021.xml，行数/分布/去重计数用标准 shell 工具即可复现，结果应与 L.1 逐项一致；
• URL 探针：对附录 A 清单逐链接访问，404 项应与 L.2 一致（404 是时点快照，复核时点更晚出现新失效不推翻原记录，但应在新时点重新登记）；
• 库内探针：slug 查重与互链 rid 核验依赖库内数据库只读查询，结论应与 L.3 一致。

三条读表注意：

• 探针时点统一为 2026-10-04，正文所有「可达/404」表述均以此为基准；
• 双口径项（L.1 的 zip 大小、L.2 的 SP 编号）在附录 D/G 有裁决与登记，此处只存动作记录；
• 本附录不新增任何事实主张——若与正文或附录 C 出现不一致，以 FACTS.md 与附录 C 为准并回查探针动作。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• mednli — 共享标签：医疗NLP / 临床文本 / 评测基准 / 电子健康记录
• primock57 — 共享标签：医疗NLP / 临床文本 / 评测基准 / 电子健康记录
• er-reason — 共享标签：医疗NLP / 临床文本 / 评测基准 / 电子健康记录
• medsecid — 共享标签：医疗NLP / 临床文本 / 评测基准 / 电子健康记录
• ntcicir-rr-tnm — 共享标签：医疗NLP / 临床文本 / 评测基准 / 挑战赛数据集
• tcm-sd — 共享标签：医疗NLP / 临床文本 / 评测基准 / 电子健康记录
• generated-codes-low-resource — 共享标签：医疗NLP / 临床文本 / 评测基准 / 电子健康记录
• labelled-notes-hospital-course — 共享标签：医疗NLP / 临床文本 / 评测基准 / 电子健康记录
• mietic — 共享标签：医疗NLP / 临床文本 / 评测基准 / 电子健康记录
• discharge-summary-templates — 共享标签：医疗NLP / 临床文本 / 评测基准 / 电子健康记录

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。