CohortX — MICCAI 2026 队列定义可计算化挑战赛基准

把论文里的患者队列叙述文本变成机器可执行的队列查询:MICCAI 2026 官方挑战赛四任务覆盖 PMC 队列标准抽取、资格准则三元组化、ICD-10-CM 编码解析与本体知识图谱建模,226 队 9,267 次提交 18 支验证团队,金标准由 ChatGPT 初转换加人工验证,Zenodo 提案 CC BY-4.0 公开

来源 ClinicalTrials.gov 注册记录 + PubMed/PMC 文献全文(Task 1)+ ChatGPT 初转换人工验证三元组(Task 2)+ Google Scholar Labs Service 病名派生(Task 3)+ NCT 结构化模板(Task 4)——全部为公开文献与注册层文本,零患者记录发布时间: 2026-10-09最后更新: 2026-10-20 阅读 42
CohortX — MICCAI 2026 队列定义可计算化挑战赛基准

信息速览

数据集名称CohortX — MICCAI 2026 队列定义可计算化挑战赛基准
数据类型人工标注,文本数据,公开数据
规模无患者级数据(文献/注册层基准)|Task 1 测试金标 500 例文献案例(300 public + 200 private;官网口径 Test 200)|Task 2 三元组案例 150 例(10
接入方式ClinicalTrials.gov 注册记录 + PubMed/PMC 文献全文(Task 1)+ ChatGPT 初转换人工验证三元组(Task 2)+ Google Scholar Labs Service 病名派生(Task 3)+ NCT 结构化模板(Task 4)——全部为公开文献与注册层文本,零患者记录
AI 就绪度

INFOBOX — CohortX 一屏速览

维度 内容
本质 MICCAI 2026 官方挑战赛 + 文献队列定义提取基准数据集族(不是患者级数据集)
全称 CohortX: Extracting Executable Cohort Definitions for Medical Imaging Research
组织 8 人国际组委会(沙特 KAUA、突尼斯 Sfax、美国 Rutgers、巴基斯坦 JSMU、德国独立研究员、沙特 KFSH-Dammam);站点标识 CSISC(全称未公开披露)
提案 Zenodo DOI 10.5281/zenodo.19713304(v1,2026-04-23,CC BY-4.0,MICCAI 挑战赛编号 269)
任务 T1 队列标准抽取(Kaggle)|T2 三元组化(Kaggle)|T3 ICD-10-CM 编码(Kaggle)|T4 本体建模(OpenReview,取消)
规模 T1 测试金标 500 例(300 public+200 private)|T2 150 例(100/25/25)|T3 测试 23 例|T4 模板 40 例(未使用)
金标准 文献/注册公开文本 → 生成式 AI 初转换 → 人工验证;T3 另配 6 位标注者一致性分析
评分 T1 六分量均值(FM3S+BERT 余弦+数字相似度)|T2 三元组 FM3S+匈牙利匹配×1.024|T3 F1(KEEP/ASSOCIATION/DIFF 三档码关系)
参与 226 队 / 9,267 次提交 / 18 支验证团队 / 3 个任务(T1 58 队、T2 45 队、T3 123 队)
地理 T1 Top:印度/美国/中国大陆;T3 Top:中国 59 队——亚洲合计 13 国 93 人
Showcase 2026-10-01 斯特拉斯堡会议中心 Leicester Room(11 场参赛方案演讲 + 4 张海报)
获取 提案 Zenodo CC BY-4.0 直链|竞赛数据 Kaggle 公开|复现 notebook GitHub 公开(无 license 声明)
库内互链 clinicaltrials-gov(上游注册库)、aact(聚合库)、mimiciv/clif(队列查询执行端)、n3c/trinetx(落地场景)

CohortX 是一个"给队列定义装上执行引擎"的挑战赛基准。

它不采集患者数据,而是瞄准一个长期被忽视的断层:几乎所有临床研究都把患者入选标准写成论文里的叙述文本——“18 岁以上、确诊二型糖尿病、排除妊娠”——而下游的影像库、EHR 仓库和试验匹配系统需要的是机器可执行的查询条件。

这段从"人话"到"查询"的翻译今天依然主要靠人工。

CohortX 把它拆成了四个可评测的环节:从 PMC 全文里抽取队列选择标准、把资格准则结构化成主谓宾三元组、把病名解析到 ICD-10-CM 编码、把结构化表示建成本体对齐的知识图谱。

挑战赛由一个 8 人国际组委会操办,主力来自突尼斯斯法克斯大学数据工程与语义研究单元和沙特阿卜杜勒阿齐兹国王大学。

它作为 MICCAI 2026 官方挑战赛(提案编号 269)运行:2026 年 4 月 1 日放训练数据,7 月 15 日截止提交,10 月 1 日在斯特拉斯堡会议中心办结果展示。

三个 Kaggle 任务合计收到 226 支队伍的 9,267 次提交、18 支队伍通过验证。

第四个任务(本体建模)因零注册在截止日前取消。

它的金标准有一条值得反复强调的构造原则:所有案例都派生自公开的文献与注册文本(ClinicalTrials.gov、PubMed/PMC、Google Scholar Labs Service),生成式 AI 做初转换、人类做验证。

这个"AI 起草、人类把关"的金标准构造学,本身就是 2026 年基准数据集的一个时代切片。

导语读法三则:

  1. 只想下数据:直奔 §6 获取与许可——提案在 Zenodo(CC BY-4.0 直链)、竞赛数据在 Kaggle(三个任务各一个竞赛页)、复现 notebook 在 GitHub(注意无 license 声明)。
  2. 关心金标准怎么造:直奔 §3——ChatGPT 初转换+人工验证的 T2、六标注者一致性分析的 T3,这两套构造学是这个条目最有复用价值的方法论。
  3. 想做队列自动检索:直奔 §0 与 §7——CohortX 测的是"文本→可计算定义"这一跳,它的输出最终要落到 mimiciv、clif 这类 EHR 库上执行,两端合起来才是完整管线。

§0 导读:这个基准解决什么问题

队列选择标准(cohort selection criteria)是临床研究里信息密度最高、却又最不"机器友好"的文本类型。

一篇影像学研究或一个临床试验的入排标准,往往混合了疾病命名、年龄边界、性别限制、时间窗、逻辑组合(且/或/非)与极性(纳入 vs 排除)——同一个"糖尿病"出现在纳入侧和排除侧含义完全相反。

这些信息在论文和注册记录里以自由文本存在,人工把它翻译成 SQL/OMOP/FHIR 查询既慢又不可复现。

直接后果有三:影像库的队列复用率低、系统评价的筛选偏倚难以审计、跨库公平性评估无从谈起。

CohortX 的回答是把这条翻译链拆成四个独立可测的环节。

第一跳是抽取(Task 1):给定 PMC 全文,识别六类目标信息——病况(conditions)、研究类型(study_type)、性别(sex)、年龄下限与上限(minimum_age/maximum_age)、以及带极性的入排准则全文(eligibility_criteria)。

第二跳是结构化(Task 2):把自由文本准则切成纳入/排除两个集合,逐条拆成"主语—谓语—宾语"三元组,让人可以逐条审计机器理解得对不对。

第三跳是编码(Task 3):把病名映射到 ICD-10-CM 码集合,且必须区分"正确码(KEEP)、相关码(ASSOCIATION)、易混码(DIFF)"三种关系——这正是真实临床编码系统里最容易翻车的地方。

第四跳是建模(Task 4,取消):把结构化表示转成 RDF/Turtle 知识图谱,用 FHIR、OWL、SKOS、OBO Foundry 等既有本体对齐。

四跳合起来是一条完整的"文献→可计算队列定义→可执行查询"流水线。

它刻意不自己造影像库或 EHR 库——CohortX 的输出设计成可以喂给任何下游仓库。

输出对齐 OMOP 概念就能查 all-of-us 与 pcornet 型网络。

对齐 ICD-10-CM 就能查理赔与登记库。

对齐 FHIR 就能查现代 EHR。

也正因为这个"中间件"定位,它的价值不在数据体量(测试集合计不过数百例),而在评测口径的标准化。

四个任务各配一套官方指标与金标准,任何新的抽取/结构化/编码系统都可以在同一把尺子上与 2026 年的 18 支验证队伍同台比较。

对检索者还有一个反向提醒:CohortX 的名字极易被误解。

“cohort"一词在临床数据语境里通常指向患者队列数据库(如 all-of-us、pcornet),而 CohortX 处理的是"队列的定义文本”——它本身不包含任何患者记录。

按"患者队列数据集"搜索而来的人会在 §2 与 §6 找到自己真正需要的东西的线索,但本体在这里是找不到的(坑 1)。

§0 读法三则:

  1. 这个条目是"挑战赛流程+基准数据集族+金标准构造学"三合一:数据本体是四个任务的金标与提交文件(千例以内),流程资产是 Kaggle 竞赛页与官方复现 notebook,方法论副产品是"AI 起草、人类验证"的金标构造学——三者许可与获取方式各不相同(§6)。
  2. 全文统计数字均出自官网 JS bundle 文案、官方统计报告 PDF(Participation_Data.pdf)、官方节目单(Final_Program.pdf)与三个官方复现 notebook;口径冲突处(Task 1 测试集 200 vs 500、Showcase 日期 10-01 vs 10-4~8)已在坑 2、坑 3 存照。
  3. 检索时若把"CohortX"当患者队列数据集去找会一无所获——它是队列定义的基准,患者级数据请看库内 all-of-us、pcornet、trinetx(坑 1)。

§1 数据集速览:十问十答

Q1:CohortX 到底是一个"数据集"还是一场"比赛"?

两者,而且两层在 Zenodo 与 Kaggle 上各有独立入口。

比赛层是 MICCAI 2026 官方挑战赛(提案编号 269,Zenodo 提案 CC BY-4.0),2026 年 4-10 月运行。

数据层是三个 Kaggle 任务的金标准与提交文件族(PMC 案例文本、三元组案例、ICD-10-CM 案例),它们在比赛后依然留在 Kaggle 竞赛页可下载。

本条目把"挑战赛流程"当叙事主线,把"数据族"当核心资产介绍。

Q2:四个任务各自解决什么?

Task 1(队列标准抽取):从 PMC 文献全文里识别病况、研究类型、性别、年龄边界与入排准则六类信息。

Task 2(三元组化):把资格准则文本切成纳入/排除两组、逐条拆成主谓宾三元组。

Task 3(编码解析):把病名映射到 ICD-10-CM 码集合并区分正确/相关/易混三档。

Task 4(本体建模):把结构化表示转成 RDF/Turtle 知识图谱——该任务因注册截止前零报名被取消,仅存 40 例模板。

Q3:数据从哪来?有没有患者信息?

全部派生自公开的文献与注册层文本。

Task 1 用 ClinicalTrials.gov、PubMed、PMC 的公开数据。

Task 2 的案例与 Task 1 同源。

Task 3 的病名经 Google Scholar Labs Service 从学术出版物派生。

Task 4 模板用 NCT 注册号挂接的注册记录。

零患者记录、零影像、零基因数据——它工作在"关于患者的叙述文本"这一层,而非患者数据本身。

Q4:金标准是谁标的?

构造学是"生成式 AI 起草 + 人类验证"。

Task 2 官网明写案例由 ChatGPT 转换为三元组、再经人工验证。

Task 3 病名经 Google Scholar Labs Service 派生、同样人工验证。

此外官方复现 notebook 显示 Task 3 另配了 6 位独立标注者的标注文件,用于标注者间一致性(inter-annotator agreement)与共识(consensus)分析——这是金标准质量的核心证据链。

Q5:规模多大?

以千例计。

Task 1 训练 416 / 验证 300 / 测试 200(官网口径;官方复现 notebook 的金标为 500 行=300 public + 200 private,见坑 2)。

Task 2 训练 100 / 验证 25 / 测试 25。

Task 3 样例 5 / 测试 23。

Task 4 模板 40 例(未投入使用)。

对"基准"而言规模小是常态——它的价值在口径与评测,不在体量。

Q6:谁参加了?

Task 1 收到 58 支队伍 1,860 次提交、3 支验证团队。

Task 2 收到 45 支队伍 1,794 次提交、9 支验证团队。

Task 3 收到 123 支队伍 5,613 次提交、6 支验证团队。

合计 226 队 9,267 次提交。

地理分布高度亚洲化:Task 3 的 123 队里中国占 59 队、印度 13 队;Task 1 前三名为印度 10、美国 8、中国大陆 5。

Q7:怎么评分?

Task 1 用六目标字段的平均相似度(数字相似度、BERT 余弦相似度、FM3S 本体语义相似度)加极性一致性系数,入排准则再按纳入/排除两节分别计分。

Task 2 用改造版 FM3S 对三元组做最大权匈牙利匹配后取均值,再乘 1.024 官方缩放。

Task 3 用 F1。

三任务奖金均为 120/100/80 美元三档——象征性奖金,重在榜单与论文署名。

Q8:Task 4 为什么被取消?

官网原文直白:注册截止(2026-04-30)前无人报名(“as no one has registered on time (April 30) for it”)。

组委会随即取消该任务并保留 OpenReview 页面与 40 例 Task_4.xlsx 模板存档。

对一个偏"数据建模作业"性质的任务来说,取消原因大概率与开放赛程里注册门槛的注意力分布有关——但它留下了一个值得注意的信号:即使在本体资源丰富的 2026 年,"从零写 RDF 建模"对参赛者的吸引力仍远低于可直接对榜的抽取任务。

Q9:我现在能拿到什么?

三层。

提案与描述性文档走 Zenodo(CC BY-4.0 直链)。

竞赛数据与榜单走 Kaggle(cohort-x-task-1/2/3 三个竞赛页)。

赛后资产走 GitHub(三个官方复现 notebook、节目单、参与统计、Task_4.xlsx、解答视频列表)。

注意 GitHub 两个仓库截至抓取时点均无 license 声明,代码复用前需确认。

Q10:为什么它对 AI-Ready 重要?

它把"AI-Ready"从数据格式问题推进到了"知识可执行"问题。

一个队列定义数据集是否 AI-Ready,不只看文件格式是否规范,更看机器能否把叙述文本变成可执行查询。

CohortX 提供的是这条管线中间三跳的公开基准——它的存在让"自动队列检索系统"第一次有了跨论文可比的评测口径。

§2 数据构成与规格

2.1 四任务数据族总览

任务 平台 训练/验证/测试 金标准构造 官方指标 参赛规模(队/提交/验证)
Task 1 队列标准抽取 Kaggle 416 / 300 / 200(官网口径) 公开文献+注册文本,人工整理 六分量平均相似度+极性一致性 58 / 1,860 / 3
Task 2 三元组化 Kaggle 100 / 25 / 25 ChatGPT 转换+人工验证 FM3S 三元组相似度(×1.024)+极性一致性 45 / 1,794 / 9
Task 3 ICD-10-CM 编码 Kaggle 样例 5 / 测试 23 Google Scholar Labs 派生+人工验证,另配 6 标注者 F1 123 / 5,613 / 6
Task 4 本体建模 OpenReview 模板 40 例 结构化三元组模板(NCT 挂接) 专家定性四维评估 取消(零注册)

四个任务共享同一条设计哲学:上游全部公开、零患者数据、金标准可审计。

Task 1 的金标行带来源 pmcid。

Task 2/3 的案例可回溯到原始文本。

Task 4 模板直接挂 NCT 编号。

这种"每条案例可溯源"的设计让基准结果可以反向审计金标准本身的错误率,也构成了它与"黑箱评测集"的本质区别。

三个 Kaggle 任务的竞赛页(含榜单)至今保持公开:

  • https://www.kaggle.com/competitions/cohort-x-task-1
  • https://www.kaggle.com/competitions/cohort-x-task-2
  • https://www.kaggle.com/competitions/cohort-x-task-3

官方把 winners 链接统一指向私榜(/leaderboard?tab=private)——小测试集场景下公榜易过拟合,私榜才是权威口径,这与 §3.5 的统计守则一致。

2.2 Task 1:六目标字段与双口径测试集

Task 1 的案例是 PMC 文献全文。

目标是抽出一个结构化记录,官方评分器把它拆成六个分量:

目标字段 内容 评分要点
conditions 研究关注的病况描述 语义相似度(BERT 余弦+FM3S)
study_type 研究类型(试验/观察性等) 语义相似度+极性一致
sex 性别限制 语义相似度
minimum_age / maximum_age 年龄边界 数字相似度(数值容差)
eligibility_criteria 入排准则全文 纳入节与排除节分别计分后取均值

三个细节决定了这个任务的真实难度。

第一,极性是隐形杀手。

同一段准则文本里"纳入二型糖尿病"与"排除一型糖尿病"都含"糖尿病",数字与语义相似度都可能给高分,但极性完全相反。

这正是官方把"极性一致性系数"(polarity consistency coefficient)单列进复合分的原因。

参赛系统若不做显式的纳入/排除分区处理,极性错误会悄悄吃掉大量分数。

第二,测试集有双口径。

官网写 “Test: 200 cases”,对应 Kaggle 私榜(private leaderboard)的 200 条。

而官方复现 notebook 显示金标文件 solution_fixed.csv 有 500 行,Usage 列分 300 public + 200 private——即公榜 300 条、私榜 200 条。

两个口径都"对",但引用时必须写明用的是哪一个(坑 2)。

第三,低资源约束是任务特色而非附带说明。

官网明写预处理仅允许离线进行(Intel Core i7、16GB RAM),不许用 GPU 或云。

组织方有意把赛道从"堆算力"转向"规则+轻量模型"的组合。

这与 Task 1 的解决方案画像吻合:参赛者仓库显示的主流方案是数字识别+语义检索+上下文解析的流水线,而非端到端大模型。

2.3 Task 2:三元组化的三层拆解

Task 2 把一条资格准则拆成"主语—谓语—宾语"三元组。

官方 Task_4.xlsx 的示例模板展示了这套表示的基本形态:

  • Study — has inclusion criteria — Inclusion Criteria
  • Inclusion Criteria — includes criterion — Inclusion Criterion 1
  • Inclusion Criterion 1 — minimum age — 18 years old
  • Inclusion Criterion 2 — patient condition — hepatic injury of metastatic …

数据分训练 100 / 验证 25 / 测试 25。

官网对金标准的表述值得原文照录:“Converted to triples using ChatGPT with human validation”——ChatGPT 做初转换,人类做验证。

这是 2026 年基准数据集的一个标志性构造:承认生成式 AI 是最高效的初标注工具,同时用人工验证守住质量底线。

评分链路比 Task 1 更复杂一环。

系统输出的三元组集合与参考三元组集合之间做最大权匈牙利匹配(maximum-weight Hungarian matching)。

逐对计算基于 WordNet/spaCy 的 FM3S 本体语义相似度。

未匹配的三元组按规则补零后取行均值。

最后乘以官方缩放系数 1.024 并取整截断——官方复现 notebook 把这条公式完整还原为 clip(round(mean(row_scores) × 1.024, 2), 0, …)。

那个 1.024 是把"理论满分"校准到榜单满分 100 的缩放因子。

复现对比时若直接用原始均值会系统性低估(坑 5)。

参赛侧有两个可核实的锚点。

官方复现 notebook 载入了 9 份参赛 CSV(对应 9 支验证团队),与官方统计报告的"Task 2: 9 validated"一致。

参赛者自述仓库(Mohit1053)写"3rd of 9 validated teams",并描述其方案为 MMR 检索增强的小样本抽取、本地 9B 模型、无 GPU——再次印证低资源赛道的实际竞争形态。

2.4 Task 3:KEEP/ASSOCIATION/DIFF 三档码关系

Task 3 表面是"病名→ICD-10-CM 码",实质是编码歧义消解。

给定一个医学病名,模型要给出全部正确码,且不得被相关码与易混码带偏。

官方把标签关系显式分三档(组织方 LinkedIn 官宣口径):

关系档 含义 示例逻辑
KEEP 正确诊断码 病名直接对应的 ICD-10-CM 码
ASSOCIATION 相关码 与该病相关但需病历进一步确认的码
DIFF 易混码 鉴别诊断中容易混淆的病况码

这个三档设计直接映射了真实临床编码工作流。

编码员面对一个诊断描述时,除了"确定编码",还要处理"可能相关"和"别编错"两类干扰项。

指标用 F1(在 KEEP 集上的查准与查全)。

数据只有样例 5 条 + 测试 23 条,但金标准的构造投入不小。

病名经 Google Scholar Labs Service 从学术出版物派生、人工验证之外,官方复现 notebook 显示另有 6 位标注者的独立标注文件参与一致性分析(inter-annotator agreement、consensus、集成搜索与空集敏感性分析)。

评测沿用"双方均为空集时 F1=1"的约定——病名到码的映射里"无正确码"是合法答案。

测试集 23 条与 5,613 次提交的巨大反差(平均每队 45.6 次提交)来自 Kaggle 每日提交上限机制。

小测试集+高频提交让榜单极易过拟合私榜外的公榜信号。

这也是官方在复现 notebook 里补做"空集敏感性分析"的现实动因(坑 7)。

2.5 Task 4:一份被取消任务留下的档案

Task 4 的原始设计是四任务里最"本体工程"的一个。

给出结构化资格准则,参赛者要设计稳健的数据模型把它转成语义丰富的知识图谱。

要求使用 FHIR、OWL、RDFS、SKOS、OBO Foundry 等既有本体对齐。

提交物包括:RDF 数据模型的可视化 PDF、建模问题答卷、以及把 Task_4.xlsx 中 40 个结构化示例翻译成 RDF/Turtle。

评估方式是专家定性打分(reproducibility、intelligibility、flexibility、standards compliance 四维)。

平台不走 Kaggle 而走 OpenReview(MICCAI.org/2026/Workshop/CohortX_Task_4)。

它在注册截止(2026-04-30)前没有收到任何报名,组委会按规则取消。

留下的档案有三件:

  1. OpenReview 页面(含完整设计文本)。
  2. Task_4.xlsx 模板——sharedStrings 层可辨识的 NCT 编号有 10 个(如 NCT02849145、NCT01796600、NCT07112976 等),配合结构化三元组模板若干;官网称 40 例,字符串层只见 10 个 NCT,疑为共享字符串复用所致,存照待核(坑 6)。
  3. 官网任务卡([Cancelled] 标注+取消理由原文)。

对想做队列知识图谱的团队,这份 40 例模板至今仍是一份现成的"结构化表示→RDF 映射"练习题。

§3 金标准构造学与评分体系:AI 起草、人类验证、公式可复现

3.1 三种金标准构造模式同场对比

CohortX 四个任务的金标准走了三条不同的构造路线,恰好构成一个"标注方法学光谱"。

模式 任务 生成方式 质量证据 风险面
文献整理型 Task 1 从公开文献/注册记录整理(官网:Publicly available data) 每例带来源可回溯 抽取目标含长自由文本,整理一致性未公开
生成式 AI+人工验证 Task 2 ChatGPT 转换为三元组,人类验证(官网原文) 人工验证环节,具体流程未公开 验证深度不透明;AI 风格偏置可能内嵌
派生+多标注者 Task 3 Google Scholar Labs Service 派生病名,人工验证,另配 6 标注者 官方复现 notebook 可复算标注者间一致性 金标依赖共识机制,个别 case 参考集可争议

三条路线放在一起看,CohortX 实际上示范了 2026 年"中小规模 NLP 基准"的典型预算分配。

不再追求纯人工全量标注——成本不可行。

人类判断被集中在两个杠杆点:验证生成式输出(T2)与量化标注一致性(T3 的 6 标注者)。

对想造同类基准的团队,这里的可复制要点是三句话:

  1. 让 AI 干初转换。
  2. 让人类干分歧仲裁。
  3. 把一致性数据当成金标准质量的一部分公开。

Task 3 的多标注者设计尤其值得细看。

官方复现 notebook 显示每位标注者的输出都是一份独立 CSV。

分析栈包括四层:

  • 逐标注者与参考(solution.csv)的 F1。
  • 标注者间两两一致性。
  • 共识机制(consensus)如何逼近金标。
  • "如果用标注者集成本身当金标,排名会不会变"的集成搜索(ensemble search)。

这套分析回答了基准评审里最尖锐的问题——金标准的噪声会不会淹没系统间的真实差异。

notebook 还保留了一个披露细节:原始分析把子群 [2,3,7,8,18,22] 标为 Pulmonology,论文口径修正为 Respiratory/Pulmonary,仅作显示标签修正、计算不变。

这种"标签修正存档"的做法本身就是可复现性的加分项。

另有一个评测器层面的修复被记录在案:参考评分器曾把字面值 “Not Applicable” 当真实码处理,升级版统一归一化为空集——金标准管线里这类"约定即语义"的细节,引用时必须交代。

3.2 三套官方指标的解剖

Task 1:六分量等权均值。

官方复合分是六个目标列得分的算术平均:conditions、study_type、sex、minimum_age、maximum_age、eligibility_criteria。

前五列走"数值/语义相似度"——数字相似度管年龄、BERT 余弦与 FM3S 管文本。

eligibility_criteria 单独处理:按纳入节与排除节分别与参考文本比对再取均值。

复合分设计简单透明,但等权隐含了一个立场:准则文本与结构化字段同等重要。

官方复现 notebook 专门补了一个权重敏感性场景(eligibility 占 40%、其余五字段均分 60%),结论方向是排名对权重不敏感——这等价于给"等权设计"做了一次事后辩护。

Task 2:FM3S + 匈牙利匹配 + 1.024 缩放。

三元组集合之间无法逐位对齐。

官方用最大权匈牙利匹配找系统输出与参考集合之间的最优配对。

逐对算 FM3S 语义相似度(WordNet/spaCy 实现)。

未匹配的三元组补零后取行均值。

最后一步是官方缩放:clip(round(mean(row_scores) × 1.024, 2), 0, 100)。

把未缩放均值约 97.7 的天花板抬到 100。

这个 1.024 是理解 Task 2 榜单的钥匙:榜单分 = 原始均值 × 1.024。

任何"直接拿 FM3S 原始分对标榜单"的复现都会系统性低估 2.4%(坑 5)。

Task 3:F1 + 空集约定。

在 KEEP 集上算查准与查全的调和平均。

两个评测约定影响复现:

  1. “Not Applicable” 字面值要归一化为空集(官方修复了参考评分器的这个行为)。
  2. “双方均为空集时 F1=1”——病名→码的映射允许"无正确码"是正确答案。

第二条约定在测试集仅 23 条时对总分影响不小。

3.3 极性一致性:一个被单列的错误类型

三个文本任务都带"极性"(polarity)维度。

Task 1 有极性一致性系数(polarity consistency coefficient)。

Task 2 有极性感知一致性度量(polarity-aware consistency)。

这不是装饰。

队列定义里"纳入 vs 排除"是方向性错误——抽错方向等于反向筛选患者,危害远大于漏抽一个字段。

把极性错误单独计量并计入复合分,等于官方把"方向感"写进了及格线。

对下游使用者的启示直接:在 CohortX 上报告分数时,极性分量与其他分量必须同报。

只报总分的系统评测应被视为不完整。

3.4 赛后官方审计:复现 notebook 的分析栈

三个官方复现 notebook(csisc/CohortX 仓库)本质上是结果论文的分析管线。

Task 1 版本明言 “Export tables used by the manuscript”。

Task 2 版本标注 “the paper’s private subset: records 25–49”。

Task 3 版本注明 “for paper presentation”。

截至抓取时点该论文未见发表(存照待核),但 notebook 已公开了完整的审计方法:

分析 Task 1 Task 2 Task 3
官方分逐分量复现 六分量逐列 行级 FM3S 复算 总分+专业子群分解
不确定性 配对 bootstrap 百分位区间 bootstrap 区间 空集敏感性(zero/exclude 两种约定)
显著性 配对置换检验 配对 Wilcoxon —
分布偏移 public-private SMD 公私榜对照 —
稳健性 权重敏感性+反事实字段替换 记录难度极值+秩相关 集成搜索(标注者当金标)

Task 1 的反事实字段替换(counterfactual field replacement)值得单独解释:把某一列的理想分 1.0 代入、其余五列保持实测值,看复合分能抬升多少——这是各字段对总分贡献的上界诊断。

官方在 notebook 里明确标注这不是可行的系统结果,只是诊断工具。

这套分析栈对基准使用者的价值在于:它演示了"小测试集基准如何做严肃的统计推断"。

四个要点:配对设计(所有系统在同一批记录上评测)、置换检验而不是 t 检验、bootstrap 只作描述性区间、反事实替换只作上界诊断。

引用 CohortX 结果时,这套方法比任何单一分数都更值得搬运。

3.5 统计卫生:引用这组数字的四条守则

  1. 分清两个"测试集"。Task 1 官网 Test 200 与 notebook 金标 500(300 public+200 private)并存;报告"测试性能"时必须写明是私榜 200 还是金标 500。
  2. 榜单分不等于原始相似度。Task 2 的 ×1.024 缩放意味着榜单 97 分对应原始均值约 94.7;跨榜对比(如与其他三元组化基准)必须还原缩放。
  3. 验证团队数≠参赛队数。226 支队伍里只有 18 支通过了官方验证(T1 3 支、T2 9 支、T3 6 支)——引用"参赛规模"时 226 与 18 两个数都要出现,只引用其一都会失真。
  4. 官方物料里有 AI 生成件。Final_Program.pdf 携带 C2PA 凭证(softwareAgent gpt-5-6,2026-08-30 生成),官网是 AI Studio 生成的 SPA——考据此挑战赛时,节目单内容与官网文案的权威性应以 Zenodo 提案与 Kaggle 竞赛页为最高(坑 8)。

§4 参与统计与结果:226 队、9,267 次提交与一场斯特拉斯堡的 Showcase

4.1 总量与分布

官方统计报告(Participation_Data.pdf,MICCAI 2026 · Statistical Report)给出总量。

226 支队伍、9,267 次提交、18 支验证团队、3 个任务。

三个任务的分账:

任务 队伍 提交次数 验证团队 平均每队提交
Task 1 58 1,860 3 32.1
Task 2 45 1,794 9 39.9
Task 3 123 5,613 6 45.6
合计 226 9,267 18 41.0

三组数字的内部张力值得读出来。

Task 3 队伍最多(123)但验证最少(6)——零门槛报名把队伍数推高,而最终能走完"提交→验证"全程的是少数。

Task 2 反过来,队伍最少(45)但验证率最高(9/45=20%)——三元组化任务的完成门槛把观光客挡在了外面。

平均每队 40 次上下的提交次数反映 Kaggle 每日提交上限的节奏,而非方法迭代速度。

4.2 地理分布:一场亚洲主导的挑战赛

官方报告给出了各任务的 Top 国家与大洲明细。

Task 1 前三:印度 10 队、美国 8 队、中国大陆 5 队。

Task 1 大洲分布:亚洲 12 国 30 人、欧洲 7 国 11 人、北美 2 国 9 人、非洲 4 国 7 人、大洋洲 1 国 1 人。

Task 2 前三:印度 10 队、中国大陆 6 队、美国 5 队。

Task 3 前三:中国 59 队、印度 13 队、美国 10 队。

Task 3 大洲分布:亚洲 13 国 93 人——占该任务总人数的绝对多数。

Task 3 的中国集中度(59/123≈48%)与 ICD 编码任务的性质高度相关。

ICD-10-CM 虽是美国临床修改版,但病名→编码的任务形态与中文医疗 NLP 社区近年大规模练兵的 ICD 自动编码方向同构,吸引大量中国团队参训合情合理。

非洲四国参与(T1 7 人、T2 5 人、T3 10 人)则与组织方的开源科学背景有关——Turki 所属的 SisonkeBiotik-Africa 社区长期推动非洲生物医学机器学习参与。

4.3 赛程时间线:从 4 月放榜到 10 月展示

日期 事件
2026-03-15 官网仓库(csisc/CohortX-MICCAI)创建
2026-04-01 三任务训练数据发布 + 提交开放(Kaggle)
2026-04-23 Zenodo 提案记录发布(v1,DOI 10.5281/zenodo.19713304)
2026-04-30 Task 4 注册截止——零注册,随后被组委会取消
2026-07-01 Task 4 原定提交截止(已无意义)
2026-07-15 Tasks 1-3 提交截止
2026-08-01 结果公布
2026-08-30 Final_Program.pdf 生成(C2PA 凭证:gpt-5-6 via ChatGPT)
2026-10-01 Challenge Showcase,Leicester Room,斯特拉斯堡会议中心

注意官网自己的"重要日期"节把 Showcase 写成 “October 4-8, 2026”。

这与页面顶部 badge(October 1)和节目单(October 1)冲突。

Final_Program.pdf 是权威口径:MICCAI 2026 大会本身于 2026 年 9 月 27 日在斯特拉斯堡开幕,Challenge Showcase 于 10 月 1 日举行。

“October 4-8” 为官网笔误(坑 3)。

4.4 Showcase 议程:11 场方案演讲与 4 张海报

节目单(Final_Program.pdf)记录了完整的半天议程。

08:00-08:17 开场与挑战赛总览(Alzahrani 主讲)。

随后是 11 场参赛方案演讲:

  • NTUA(全任务)。
  • Alan T. Andrea(全任务)。
  • Md Raihan(T2&3)。
  • Yingfali(T2&3)。
  • Ngọc Hưng Nguyễn(T2&3)。
  • Sanket Kachole(T1)。
  • Jason Karpeles(T2)。
  • Mohit(T2)。
  • Harsh Rajbhar(T2)。
  • Kirscher(T2)。
  • Monash AIM(T3)。

11:46-12:20 进入 Results and Discussion(Alzahrani)。

咖啡休会期间展示 4 张海报(挑战赛总览+三任务最终结果)。

演讲席位与验证团队数的对应关系可以读出一个选拔逻辑。

18 支验证团队里,T1 的 3 支与 T2 的 9 支各有代表上台(T1 3 场演讲对 3 支验证、T2 5 场演讲对 9 支验证)。

T3 的 6 支验证团队对应 4 场演讲(3 支做 T2&3 双任务 + Monash AIM 专做 T3)。

T3 有约 2 支验证团队未获演讲席位——可能因方案重叠或未到场,官方未逐一说明(存照)。

4.5 公开可考的方案画像

参赛侧能从公开仓库交叉核实的方案锚点有五个。

Mohit(Task 2 第 3 名/9 支验证团队,自述口径):MMR 检索增强的小样本抽取、本地 9B 模型、无 GPU、22 版本迭代日志(另一仓库称日志记录了"什么不奏效")。

Jason Karpeles(Task 2 演讲者):自由文本→主谓宾三元组,本地 9B 模型+语义检索路线,与官方复现 notebook 中的单独配对比较表(Table 4. Paired comparison of Jason Karpeles against each submission)对应。

NTUA(全任务演讲):雅典国立技术大学团队,“3 clinical text extraction pipelines”,是唯一覆盖全部三个任务的演讲团队之一(另一为 Alan T. Andrea)。

Md Raihan(T2&3):对应 GitHub raihansaa/cohortx-task2 与 cohortx-task3 两仓库。

Monash AIM(T3):莫纳什大学 AI in Medicine 社团。

这些锚点共同勾勒出 Task 2/3 的主流技术形态:中小模型+检索增强+规则后处理,而非端到端大模型微调。

这与 Task 1 的低资源约束设计互为印证。

也正因如此,官方复现 notebook 里"配对比较"的统计设计(同批记录、逐记录差值、置换检验)才是必要的:方法同质化之后,名次差距很小,必须靠配对推断才能分辨。

各队最终分数明细截至抓取时点未在官网或 GitHub 公开。

评分明细表在未发表的结果论文里,Kaggle 榜单页可查公私榜分数——待核项。

§5 生态与复现资源:三仓库、一个 SPA 官网与一群开源身份

5.1 GitHub 资产地图

CohortX 的赛后资产全部落在 GitHub 用户 csisc(Houcemeddine Turki 个人账号)名下。

该账号 2017 年注册,71 个公开仓库,bio 自述:Medical Student, Open Science Advocate, Wikimedian-in-Residence, and Research Assistant,隶属 @Data-Engineering-and-Semantics 与 @SisonkeBiotik-Africa 两个组织。

三个相关仓库分工明确:

仓库 内容 状态
csisc/CohortX 资料仓库:官方复现 notebook×3(Task 1 约 195KB、Task 2 约 447KB、Task 3 约 919KB)、Final_Program.pdf(68KB)、Participation_Data.pdf(28KB)、Posters.pdf(约 2MB)、Task_4.xlsx(27KB) 赛后增补,复现分析为主
csisc/CohortX-MICCAI 官网源码(React SPA,Google AI Studio 应用模板),description:“A Challenge for structuring clinical cohort eligibility criteria at MICCAI 2026” 2026-03-15 创建,2026-09-12 最后推送
csisc/CohortX-Videos 参赛方案演讲视频的 YouTube 播放列表(“The YouTube Playlist of the Solutions to the MICCAI CohortX Challenge”) 展示会后归档

三个仓库在抓取时点均无 license 声明(GitHub API license 字段为 None)。

对 CC BY-4.0 的 Zenodo 提案形成许可落差:提案文档可以自由转载,而复现 notebook 的复用边界待组织方确认。

另有一个小坑:CohortX-MICCAI 的 README 并非文档,而是 AI Studio 应用的运行说明残留(“Run and deploy your AI Studio app… Set the GEMINI_API_KEY…”)。

把这个 README 当项目说明引用会闹笑话(坑 9)。

5.2 官网的技术形态:一个用生成式 AI 搭的挑战赛官网

官网 csisc.github.io/CohortX-MICCAI 是一个 React 单页应用(SPA)。

index.html 只有 469 字节,全部内容内嵌在 390KB 的 JS bundle(assets/index-Z4UCJjlk.js)里,静态抓取返回空壳。

搜索引擎能索引到全文,是因为 Google 渲染了 JS。

这对研究者有一个直接操作含义:用 curl/wget 抓官网只会得到 469 字节的空壳,要么上无头浏览器,要么直接解析 JS bundle。

本条目的官网信息即来自 bundle 提取。

更有意思的是它的生成方式。

官网仓库的 AI Studio 模板痕迹、README 里的 Gemini API key 配置指引,加上 Final_Program.pdf 的 C2PA 凭证(softwareAgent gpt-5-6),共同拼出一个 2026 年式的图景——一场关于"把 AI 输出变成可审计结构"的挑战赛,其官网与节目单本身就是生成式 AI 产品。

这不是矛盾而是时代注脚。

组织方并不避讳——C2PA 凭证是他们主动嵌入的内容凭证。

评审者也应当把"AI 生成+人类把关"当作默认工作流来审计。

这正是 Task 2 金标准构造学的同款哲学。

官网还有两处导航细节值得记录:导航栏 Statistics 项直接链到 GitHub raw 的 Participation_Data.pdf;Challenge Showcase 按钮链到 Final_Program.pdf——官方把统计与节目当作"一级入口"而非附录。

页脚嵌入组织者社交链接(Alzahrani 的 LinkedIn 主页)与 GitHub 图标。

5.3 组织方背景:斯法克斯数据工程与语义研究单元为轴心

8 人组委会的机构构成如下。

沙特两人:Alzahrani(King Abdulaziz University)、Almsned(King Fahad Specialist Hospital Dammam)。

突尼斯三人:Turki、Hadj Taieb、Ben Aouicha(University of Sfax)。

美国一人:Altammami(Rutgers University)。

巴基斯坦一人:Pasha(Jinnah Sindh Medical University)。

德国一人:Nebli(独立研究员)。

两位 Primary Contact 各留公开邮箱:anashalzahrani@gmail.com 与 turkiabdelwaheb@hotmail.fr。

学术轴心是斯法克斯大学数据工程与语义研究单元(Data Engineering and Semantics Research Unit,DES-Unit)。

Hadj Taieb 与 Ben Aouicha 是该单元核心成员,长期从事语义相似度研究。

Task 1/2 评分器里的 FM3S(ontology-based semantic similarity)正出自这一谱系。

Turki 则是 Wikimedian-in-Residence 与开源科学活动家:维基数据医学本体合作、Creative Commons 全球峰会讲者、维基媒体突尼斯副主席(2019 起)。

这解释了挑战赛的三个设计选择:

  1. FM3S 被选为核心指标——本团队学术资产。
  2. OpenReview 被选为 Task 4 平台——开放评审传统。
  3. Africa 在参与统计里被单列大洲——开源科学推广使命。

Zenodo 提案的 8 位作者与官网 8 位组织者完全一致,机构标注也一致——两份官方档案互相印证,身份链干净。

5.4 结果论文动向:三份 notebook 指向的 manuscript

三个官方复现 notebook 分别提到 manuscript/paper。

Task 1: “Export tables used by the manuscript”。

Task 2: “the paper’s private subset: records 25–49” 与 “paper-reported legacy values”。

Task 3: “for paper presentation”。

Task 1 版本还带有一整节 “Extended analyses for the updated manuscript”。

综合看,组织方在赛后推进一篇覆盖三任务的结果论文,分析管线已就绪。

截至 2026-10-08 该论文未见发表,各验证团队的最终分数明细也随之未正式公开——这是本条目最大的待核项(§9)。

§6 获取与许可:三层入口与一个许可落差

6.1 三层获取总表

层 内容 入口 许可 获取方式
提案与描述 挑战赛提案 PDF(181KB,编号 269) Zenodo records/19713304(concept DOI 10.5281/zenodo.19713303) CC BY-4.0 公开直链,无需注册
竞赛数据 T1 PMC 案例与金标、T2 三元组案例、T3 ICD 案例、公私榜 kaggle.com/competitions/cohort-x-task-1|-2|-3 上游公开源;分发受 Kaggle 竞赛规则约束 Kaggle 账号+接受竞赛规则后下载
赛后资产 复现 notebook×3、节目单、参与统计、海报、Task_4.xlsx、视频列表 github.com/csisc/CohortX|CohortX-MICCAI|CohortX-Videos 无 license 声明(截至抓取时点) Git clone / raw 直链
官网 任务卡、时间线、组织者、统计导航 csisc.github.io/CohortX-MICCAI 站点无明确声明 需 JS 渲染或解析 bundle

6.2 复现路径:从零到复算榜单的六步

  1. 下载 Zenodo 提案(CC BY-4.0)了解任务定义与动机——这是唯一明确可再分发的官方文档。
  2. 注册 Kaggle 并接受 cohort-x-task-1/2/3 竞赛规则,下载各任务训练/验证/测试数据与金标文件(注意 T1 金标在官方复现 notebook 里名为 solution_fixed.csv,500 行含 Usage 列)。
  3. clone github.com/csisc/CohortX,按 Task 1→2→3 顺序运行官方复现 notebook:T1 复算六分量官方分与公私榜划分;T2 复算 FM3S+匈牙利匹配并核对 ×1.024 缩放;T3 复算 F1 与六标注者一致性(T3 的 6 份标注者 CSV 未随仓库分发——notebook 明言需自备输入,待核)。
  4. 若做系统评测:在 500 行金标(T1)或 25 条测试(T2)或 23 条测试(T3)上跑你的系统,配对设计下用置换检验对齐官方 notebook 的显著性框架。
  5. 引用时把许可边界写清楚:提案 CC BY-4.0 可转载;Kaggle 数据遵循其竞赛规则;GitHub 资产在获得 license 前默认保留所有权利。
  6. 关注结果论文发表(manuscript)——分数明细与金标准构造细节的最终权威版本将出现在那里。

6.3 许可落差的实务影响

两层落差需要实务处理。

第一层在 Kaggle。

竞赛页数据"公开"不等于"再分发自由"。

把 T1 的 PMC 案例文本打包转载需同时理清 Kaggle 规则与上游 PMC 的版权状态——PMC 文章多为 CC 系许可但逐篇有别。

第二层在 GitHub。

复现 notebook 是目前唯一的官方评分器实现(T2 的 FM3S+匈牙利匹配代码以 Kaggle notebook 为源)。

无 license 意味着严格意义上只能"运行参考"而不能"复制集成"。

对想把官方评分器嵌进自家评测框架的团队,这是一个现实的法务摩擦点。

建议向组织方邮件确认——两位 Primary Contact 邮箱公开。

§7 AI-Ready 视角:队列定义是连接文献库与患者库的中间件

7.1 它在数据生态里的位置

把本库的条目按"数据流"排开,CohortX 的位置一目了然。

上游:clinicaltrials-gov(注册库)与 aact(其聚合库)提供了结构化的注册数据。

但论文全文里的队列定义依然是自由文本——CohortX 的 T1 案例正是从这层公开文本里来。

本位:CohortX 评测"文本→可计算定义"的转换质量。

它自己不存患者、不存影像。

下游:转换产物(结构化准则、三元组、ICD 码集、RDF 图)最终要在患者级库里执行。

mimiciv 与 clif(ICU 队列)、n3c/trinetx/all-of-us(大规模 EHR 网络)、pcornet(PCOR 网络)都是潜在的执行端。

synthea 这类合成队列库则可以当无隐私风险的调试靶场。

一句话:CohortX 是"文献层"与"患者层"之间的翻译质量基准。

库内其他条目回答"数据在哪里、长什么样"。

CohortX 回答"如何让机器自己找到正确的数据子集"。

7.2 使用决策指南

你的目标 建议
训练队列定义抽取器 用 T1(416 训练+300 验证)起步;极性处理先行;对照官方六分量分解定位短板
评测系统与 2026 年参赛者同台 严格复用官方评分器(T2 注意 ×1.024 缩放);配对置换检验对齐官方分析
建队列知识图谱 T4 已取消但 40 例模板现成(Task_4.xlsx),可作"结构化→RDF/Turtle"练习题;本体选 FHIR/OWL/SKOS/OBO Foundry
搭临床编码(ICD)系统 T3 的 KEEP/ASSOCIATION/DIFF 三档设计可直接借用为标签体系;23 条测试不够训练,需自建语料
找患者级队列数据 本条目帮不上——请转 all-of-us、pcornet、trinetx、mimiciv、n3c

7.3 局限:小基准的固有边界

三点局限如实记。

其一,测试集合计数百例,任何"在 CohortX 上 SOTA"的宣称都受小样本方差约束——官方自己的补救(bootstrap、置换检验)正是为此。

其二,金标准含生成式 AI 中间步骤,参考答案本身可争议——T3 的 6 标注者一致性分析是质量护栏,但 T2 的验证深度未公开。

其三,四任务里两任务的实际体量远小于宣传口径——T3 测试 23 条、T4 零参赛。

评估其"基准贡献"时应按实际有效体量(T1 的 500 行金标与 T2 的 25 条测试)打折计算。

7.4 与库内条目的互链清单

互链条目 关系 一句话说明
clinicaltrials-gov 上游数据源 T1 的资格准则文本部分来自注册库公开数据
aact 上游聚合 ClinicalTrials.gov 的结构化聚合库,与 T1 金标同源互补
mimiciv 下游执行端 可计算队列定义最常落地的 ICU 数据库
clif 下游执行端 ICU 概念模型,队列查询的另一落地形态
n3c 下游场景 大规模 EHR 网络中的队列发现正是 T1-T3 管线的目标
trinetx 下游场景 真实世界队列网络,试验匹配的产业对应物
all-of-us 边界对照 患者级队列库的代表——CohortX 明确不是这一类
pcornet 边界对照 PCOR 网络数据模型,队列定义执行的传统端
synthea 调试工具 合成队列可当无隐私风险的查询测试靶场

§8 避坑清单:十个已核实的坑

坑 1:CohortX 不是患者队列数据集。

现象:名称含 cohort,极易被当患者队列库检索。

证据:全部数据派生自 ClinicalTrials.gov/PubMed/PMC/Google Scholar Labs 的文献与注册文本,零患者记录(官网任务卡+复现 notebook 双证)。

处置:按患者队列数据检索而来的人转库内 all-of-us、pcornet、trinetx、mimiciv、n3c;引用时用精确短语 CohortX Challenge 并核对 DOI。

坑 2:Task 1 测试集双口径。

现象:官网写 Test: 200 cases,官方复现 notebook 金标 solution_fixed.csv 为 500 行。

证据:官网 JS bundle task1.dataset 字段与 notebook §1(Usage 列 300 public + 200 private)并存。

处置:引用性能数字必须注明口径;自动化抽取建议以 notebook 的 500 行为完整金标、官网 200 为私榜口径备注。

坑 3:官网 Showcase 日期自相矛盾。

现象:官网顶部 badge 写 October 1,重要日期节写 October 4-8。

证据:官方节目单(Final_Program.pdf)权威口径 2026-10-01,Leicester Room, Strasbourg Convention Center;MICCAI 2026 大会 9 月 27 日于斯特拉斯堡开幕。

处置:全篇按 10-01 成稿;10-4~8 按笔误存照。

坑 4:[Cancelled] 标签的归属曾被误挂。

现象:部分搜索摘要把 [Cancelled] 渲染到 Task 3 行。

证据:官网任务对象数组里仅 task4 的 title 带 [Cancelled] 前缀;T3 正常完赛(123 队/5,613 提交/6 验证/Showcase 演讲)。

处置:确认 [Cancelled] 只修饰 Task 4;T3 按正常完赛任务引用。

坑 5:Task 2 榜单分含 ×1.024 缩放。

现象:榜单分普遍接近满分,原始 FM3S 均值对不上。

证据:官方复现 notebook 还原缩放规则 clip(round(mean(row_scores) × 1.024, 2), 0, 100)。

处置:跨基准对比或复算榜单时必须还原缩放(约 2.4% 差额);1.024 的来历无文档,复现者当黑盒常数处理并存照。

坑 6:Task_4.xlsx 的 40 示例与 10 编号双口径。

现象:官网称 T4 有 40 个示例案例;模板 sharedStrings 层逐格可辨的 NCT 编号只有 10 个。

证据:zipfile 解包核验;可能存在共享字符串复用(同一 NCT 在多格出现)。

处置:引用时写"官网 40 案例(任务已取消)+模板字符串层可辨 10 编号"的双口径,不做捏合。

坑 7:Task 3 的提交次数与测试体量严重不对称。

现象:123 队贡献 5,613 次提交,测试集仅 23 条(样例 5 条)。

证据:官方统计报告与官网任务卡 dataset 字段。

处置:解读 T3 榜单时记住小样本方差与每日提交上限机制;官方的空集敏感性分析与配对比较是必要护栏。

坑 8:Task 4 被取消,勿按有效任务引用。

现象:官网任务列表四个任务并排展示,易误读为四个任务均有效。

证据:官网原文取消理由 “as no one has registered on time (April 30) for it”;OpenReview 页面保留;40 例模板存档。

处置:引用"四任务"时给 T4 标注取消;其模板可作为"结构化→RDF/Turtle"练习题使用。

坑 9:GitHub 资料仓无 license,复用默认版权保留。

现象:csisc/CohortX 与 csisc/CohortX-MICCAI 内含高价值材料(复现 notebook、统计报告、T4 模板),但 GitHub API license=None。

证据:GitHub API 元数据核验;CohortX-MICCAI 的 README 还是 AI Studio 应用模板残留(含 GEMINI_API_KEY 配置指引)。

处置:代码与图表复用前邮件双主联系人确认;引用提案内容走 Zenodo CC BY-4.0 路径最安全。

坑 10:官方物料自带生成式来源。

现象:官网是 AI Studio 生成的 React SPA(静态抓取为空壳);节目单 PDF 的 C2PA 元数据 softwareAgent 为 gpt-5-6、generator 为 ChatGPT(created 2026-08-30T13:37:27Z)。

证据:一手核验两处元数据(index.html 469 字节空壳+JS bundle 390KB;PDF 内嵌 Content Credentials)。

处置:这不影响数据与金标的有效性,但引用官方物料时注明生成式制作背景;考据权威序为 Zenodo 提案 > Kaggle 竞赛页 > GitHub notebook > 官网 bundle 文案 > 节目单。

§9 方法学启示:CohortX 教基准设计者的四件事

9.1 零患者数据也能扛起挑战赛

MICCAI 挑战赛序列的默认形态是影像+金标分割/分类标签,许可谈判与数据使用协议常常吃掉筹备周期的大头。

CohortX 演示了另一条路:任务对象选在文献与注册层——零隐私、零协议、上游全开放。

金标自造(AI 初生成+人工验证),分发挂 Kaggle。

结果是 226 支队伍、9,267 次提交的参与规模,与很多同序列影像挑战赛相比不落下风。

这个样板对"想做挑战赛但拿不到数据"的团队有直接的复制价值。

9.2 金标构造的诚实定价

CohortX 对金标构造的表述是罕见的坦率。

官网直接写明 T2 金标由 ChatGPT 转换、人工验证。

复现 notebook 把 6 标注者一致性分析原样公开。

对比常见做法(金标来源含糊其辞、标注者数量与一致性指标不披露),这是把"基准的测不准边界"前置给用户的示范。

它同时暴露了一个分层:T3 有 6 标注者证据链,T1/T2 只有"AI+人工验证"一句话——同一基准内部,金标置信度并不均匀。

使用者在跨任务比较模型表现时要记住:T3 的分数背后有标注者一致性做测度支撑,T1/T2 的分数背后没有等价物。

9.3 低资源约束是设计决策不是妥协

T1 把无 GPU、16GB 内存写进赛题。

官方评分栈用 BERT 余弦+WordNet 相似度而非大模型接口。

T2 的头部公开方案是本地 9B 模型纯 CPU 的检索增强流水线。

三任务奖金合计 300 美元。

这一整套低资源取向筛选出的参与结构——印度与中国的队伍在 Top 榜上占绝对多数——恰是"排除算力门槛后"的真实全球兴趣分布。

对被 GPU 军备竞赛劝退的社区,CohortX 提供了一个反例:把算力需求压进指标栈设计,参与面会自己变宽。

9.4 指标缺陷的显式补偿

×1.024 缩放是把"语义相似度到不了 1"的指标缺陷显式编码进分数的少见做法。

对比两种替代方案——放着缺陷不管(榜单天花板低于理论满分),或者偷偷归一(不给公式只给分数)——CohortX 选了第三条:缺陷量化、补偿公开、复现者可对齐。

缺点同样显式:1.024 这个数从哪来(校准集?拟合?)没有文档。

复现者只能当黑盒常数处理。

§10 总结

10.1 三句话总结

  1. CohortX 是 MICCAI 2026 官方挑战赛与文献队列定义提取基准:三个 Kaggle 任务(队列标准抽取、三元组化、ICD-10-CM 编码)加一个被取消的本体建模任务,226 队 9,267 次提交、18 支验证团队。
  2. 它的金标准走"生成式 AI 初转换+人工验证"路线,Task 3 另配 6 标注者一致性分析,全部案例可溯源到公开文献与注册文本。
  3. 它的价值在评测口径而非数据体量:把"文本→可计算队列定义"这条翻译链标准化,是文献库与患者库之间的翻译质量基准。

10.2 适合谁

  • 做医学信息抽取(队列标准/入排准则)需要基准的人。
  • 做临床试验自动匹配系统的工程团队。
  • 做自动 ICD 编码且关心"相关/易混"区分的研究者。
  • 想复用"AI 起草+人类验证"标注方法学的基准建设者。
  • 评测"文献→EHR 查询"管线中间件的人。

10.3 不适合谁

  • 找患者级队列数据的研究者——这里零患者记录。
  • 需要大规模训练语料的团队——测试集合计数百例。
  • 要做影像/组学分析的人——本基准无影像无组学。
  • 期待精细许可条款可以高枕无忧的商用团队——GitHub 资产无 license,Kaggle 数据有平台约束。

10.4 30 秒决策卡

你的需求是什么?
├── 评测队列定义抽取系统
│   └── Kaggle cohort-x-task-1 数据 + 官方复现 notebook(500 行金标)
├── 评测三元组化/临床编码系统
│   ├── T2:注意 ×1.024 缩放(坑 5)
│   └── T3:借 KEEP/ASSOCIATION/DIFF 标签体系(23 条测试只够评测)
├── 建队列知识图谱
│   └── Task_4.xlsx 40 例模板 + FHIR/OWL/SKOS/OBO Foundry
├── 引用挑战赛本身
│   └── Zenodo DOI 10.5281/zenodo.19713304(CC BY-4.0)
└── 找患者数据
    └── 转库内 all-of-us / pcornet / trinetx / mimiciv(坑 1)

FAQ(高频问答 18 问)

A. 基础认知

Q:CohortX 的"Cohort"指什么?

指患者队列的选择标准文本(cohort selection criteria),不是患者队列数据本身。

Q:它和 MICCAI 什么关系?

MICCAI 2026 官方挑战赛序列的一员,提案编号 269,在 2026 年 10 月 1 日的 Challenge Showcase 上展示结果。

Q:组织方是谁?

8 人国际组委会,轴心是突尼斯斯法克斯大学数据工程与语义研究单元与沙特阿卜杜勒阿齐兹国王大学;站点标识 CSISC(全称未公开披露)。

Q:有奖金吗?

每个任务 120/100/80 美元三档——象征性,重在榜单与署名。

Q:比赛结束了吗?

结束了。2026-07-15 提交截止、08-01 公布结果、10-01 Showcase,赛后资产已归档 GitHub。

B. 数据与获取

Q:数据在哪下载?

Kaggle 三个竞赛页(cohort-x-task-1/2/3)下载竞赛数据;Zenodo 下载提案;GitHub 下载复现 notebook 与统计报告。

Q:要注册什么?

Kaggle 账号并接受各任务竞赛规则;Zenodo 与 GitHub 无需注册。

Q:数据是什么格式?

CSV(金标与提交)、Jupyter Notebook(官方复现)、PDF(提案/节目单/统计)、XLSX(T4 模板)。

Q:能商用吗?

分资产:Zenodo 提案 CC BY-4.0 可商用(需署名);Kaggle 数据按平台规则;GitHub 资产无 license——默认保留所有权利,商用前先确认。

Q:Task 1 的金标文件叫什么?

官方复现 notebook 里叫 solution_fixed.csv,500 行,含 Usage 列(300 public + 200 private)。

C. 评分与复现

Q:Task 1 的六个分量是什么?

conditions、study_type、sex、minimum_age、maximum_age、eligibility_criteria,等权平均;eligibility 内部再按纳入/排除两节均分。

Q:FM3S 是什么?

组织方团队(斯法克斯大学 DES-Unit)谱系的本体语义相似度度量,Task 1/2 评分器的核心组件,官方实现基于 WordNet 与 spaCy。

Q:为什么 T2 榜单分普遍接近 100?

×1.024 缩放把原始均值天花板(约 97.7)抬到 100——榜单分不是原始相似度。

Q:T3 的 KEEP/ASSOCIATION/DIFF 怎么用?

KEEP 是必须命中的正确码;ASSOCIATION 是相关但不计入正确的码;DIFF 是易混干扰码。F1 只在 KEEP 集上算。

Q:Task 4 还能参加吗?

不能。2026 年因零注册取消;但 40 例模板仍在,可自行练习"结构化→RDF/Turtle"映射。

D. 引用与库内

Q:正式引用引什么?

引 Zenodo 提案 DOI 10.5281/zenodo.19713304(概念 DOI …13303);结果论文发表后应转引论文。

Q:本库还有哪些条目与之相关?

上游看 clinicaltrials-gov、aact;下游执行看 mimiciv、clif;场景看 n3c、trinetx;边界对照看 all-of-us、pcornet。

Q:CohortX 的结果论文发表了吗?

截至 2026-10-08 未发表。三个官方复现 notebook 已公开其分析管线,分数明细待论文。

事实清单(硬事实 28 条)

  1. 全称:CohortX: Extracting Executable Cohort Definitions for Medical Imaging Research。
  2. 性质:MICCAI 2026 官方挑战赛(提案编号 269)+ 文献队列定义提取基准数据族。
  3. 提案 DOI:10.5281/zenodo.19713304(v1,2026-04-23;概念 DOI 10.5281/zenodo.19713303)。
  4. 提案 license:CC BY-4.0,access_right open。
  5. 提案文件:1 个 PDF,181,130 字节,文件名前缀 269-。
  6. Zenodo 关键词:Cohort discovery / Clinical trials / Multimodal data integration / Clinical translation / MICCAI 2026 challenge。
  7. 组委会 8 人:Alzahrani、Turki、Altammami、Nebli、Pasha、Hadj Taieb、Ben Aouicha、Almsned。
  8. 两位 Primary Contact 邮箱公开(anashalzahrani@gmail.com、turkiabdelwaheb@hotmail.fr)。
  9. T1(Kaggle cohort-x-task-1):训练 416 / 验证 300 / 测试 200(官网口径)。
  10. T1 官方复现金标:solution_fixed.csv 500 行(300 public + 200 private)。
  11. T1 六分量:conditions / study_type / sex / minimum_age / maximum_age / eligibility_criteria。
  12. T1 指标:Number similarity + BERT cosine + FM3S + polarity consistency coefficient。
  13. T1 低资源约束:离线预处理,Intel Core i7 / 16GB RAM,无 GPU。
  14. T2(cohort-x-task-2):训练 100 / 验证 25 / 测试 25。
  15. T2 金标构造:Converted to triples using ChatGPT with human validation(官网原文)。
  16. T2 缩放规则:clip(round(mean(row_scores) × 1.024, 2), 0, 100)(官方复现 notebook)。
  17. T2 验证团队:9 支(官方复现 notebook 载入 9 份参赛 CSV)。
  18. T3(cohort-x-task-3):Sample 5 / Test 23;数据经 Google Scholar Labs Service 派生+人工验证。
  19. T3 标签三档:KEEP / ASSOCIATION / DIFF;指标 F1。
  20. T3 金标配 6 位标注者独立标注(官方复现 notebook:6 个 annotator CSV)。
  21. T4:注册截止(2026-04-30)前零注册被取消;OpenReview 页面保留;Task_4.xlsx 40 例模板存档。
  22. 参与总量:226 队 / 9,267 提交 / 18 验证 / 3 任务(T1 58/1,860/3;T2 45/1,794/9;T3 123/5,613/6)。
  23. 地理:T1 Top 印度 10/美国 8/中国大陆 5;T3 Top 中国 59/印度 13/美国 10;T3 亚洲 13 国 93 人。
  24. 时间线:2026-04-01 放数据、07-15 截止、08-01 公布结果、10-01 Showcase(Leicester Room, Strasbourg Convention Center)。
  25. GitHub 资产:csisc/CohortX(3 notebook+3 PDF+xlsx)、CohortX-MICCAI(官网 SPA 源码)、CohortX-Videos(演讲视频列表);均无 license 声明。
  26. Final_Program.pdf 携带 C2PA 凭证:softwareAgent gpt-5-6 / generator ChatGPT / 2026-08-30T13:37:27Z。
  27. 官网为 React SPA:index.html 469 字节,JS bundle(assets/index-Z4UCJjlk.js)390KB 含全部文案与三个 Kaggle 链接。
  28. csisc GitHub 账号 = Houcemeddine Turki 个人账号(2017 年注册,Sfax, Tunisia)。

术语表(16 条)

术语 解释
队列选择标准(cohort selection criteria) 研究中定义患者入选/排除条件的文本,CohortX 的处理对象
入排准则(eligibility criteria) 纳入(inclusion)与排除(exclusion)准则的总称
可计算队列定义(computable cohort definition) 可被机器执行的结构化队列表示——CohortX 的目标产物
可执行队列查询(executable cohort query) 能在影像库/EHR 库上直接运行的队列查询语句
三元组(triple) 主语—谓语—宾语结构化表示,T2 的输出单元
FM3S 组织方团队谱系的本体语义相似度度量,T1/T2 评分核心
匈牙利匹配(Hungarian matching) 最大权二分图匹配算法,用于三元组集合对齐
极性一致性(polarity consistency) 纳入/排除方向判断的正确率维度
ICD-10-CM 美国临床修改版国际疾病分类第十版,T3 的编码目标
KEEP/ASSOCIATION/DIFF T3 的三档码关系:正确/相关/易混
公榜/私榜(public/private leaderboard) Kaggle 测试集的两个子划分;T1 为 300/200
RDF/Turtle 资源描述框架及其文本序列化格式,T4 的目标语言
OBO Foundry 开放生物医学本体联盟,T4 要求对齐的本体系之一
OpenReview 开放评审平台,T4(取消)的提交入口
C2PA 内容来源与真实性凭证标准,Final_Program.pdf 携带
CSISC 官网/搜索结果显示的组织标识,全称未公开披露(待核)

附录

附录 A:条目信息速查卡

项目 内容
官方名 CohortX: Extracting Executable Cohort Definitions for Medical Imaging Research
slug cohortx
类别 挑战赛基准数据集族(文献/注册层,零患者数据)
抓取时点 2026-10-08
权威入口 Zenodo 10.5281/zenodo.19713304|Kaggle cohort-x-task-1/2/3|github.com/csisc/CohortX
官网 https://csisc.github.io/CohortX-MICCAI/(React SPA,需 JS 渲染)
库内互链 clinicaltrials-gov / aact / mimiciv / clif / n3c / trinetx / all-of-us / pcornet / synthea

附录 B:DAIMS 评估全表

维度 评分(1-10) 依据
D 可发现性 6 Zenodo/Kaggle/GitHub 三入口可索引;但官网 SPA 不利静态抓取,CSISC 标识无展开,名称易与患者队列数据集混淆(坑 1)
A 可获取性 8 三层全部公开直链或免费注册可得;无请求制环节;扣分在 Kaggle 规则约束与 GitHub 无 license
I 可互操作 7 CSV/Notebook/XLSX 均为通用格式;金标带来源 pmcid 可回溯;无官方 OMOP/FHIR 映射层
M 元数据质量 7 官网任务卡+统计报告+复现 notebook 三源交叉一致;测试集双口径(坑 2)与官网日期笔误(坑 3)微降分
S 可持续性 5 赛事型基准:一次性;无数据版本发布计划;结果论文未发表;GitHub 个人账号托管有单点风险
综合评级 6.6/10(中上) 获取性优、口径透明;可持续性与规模是主要短板——典型的"赛事基准"画像

附录 C:逐项证据链自证

关键数字 来源 位置
四任务划分与数据规模 官网任务卡(JS bundle tasks 数组) csisc.github.io/CohortX-MICCAI/assets/index-Z4UCJjlk.js
T1 金标 500 行(300 public+200 private) 官方复现 notebook Task 1 csisc/CohortX/CohortX_Task_1.ipynb
六分量官方分定义 官方复现 notebook Task 1(scorer 复现节) 同上
T2 ×1.024 缩放规则 官方复现 notebook Task 2(metric 复现节) csisc/CohortX/CohortX_Task_2.ipynb
T2 九份参赛 CSV 官方复现 notebook Task 2(输入清单) 同上
T3 六标注者 CSV 官方复现 notebook Task 3(输入需求表) csisc/CohortX/CohortX_Task_3.ipynb
226 队/9,267 提交/18 验证 官方统计报告 csisc/CohortX/Participation_Data.pdf
各任务国家与大洲分布 官方统计报告 同上
Showcase 日期地点与 11 场议程 官方节目单 csisc/CohortX/Final_Program.pdf
C2PA gpt-5-6 凭证 节目单嵌入内容凭证 Final_Program.pdf 二进制层
T4 取消理由原文 官网任务卡 abstract 字段 JS bundle task4 对象
CC BY-4.0 / MICCAI meeting / 关键词 Zenodo API metadata zenodo.org/api/records/19713304
Kaggle 三竞赛 URL 官网 JS bundle 链接表 assets/index-Z4UCJjlk.js
数据库查重 0 行 qf_psql 查询 ai_ready_dataset 表,2026-10-08

附录 D:数据获取决策树

需求是什么?
├── 复算官方榜单
│   ├── 1) Kaggle 下载竞赛数据(接受规则)
│   ├── 2) GitHub clone csisc/CohortX
│   └── 3) 按官方复现 notebook 跑 T1→T2→T3
├── 训练自己的队列抽取系统
│   ├── T1 训练 416+验证 300 起步
│   └── 极性处理与入排分区先行(§3.3)
├── 建队列知识图谱
│   ├── Task_4.xlsx 40 例模板
│   └── 对齐 FHIR/OWL/RDFS/SKOS/OBO Foundry
├── 只需要正式引用
│   └── Zenodo DOI 10.5281/zenodo.19713304(CC BY-4.0)
└── 找患者级数据
    └── 本条目不适用(坑 1)→ 转库内队列条目

附录 E:双口径登记表

编号 口径 A 口径 B 采信 理由
1 T1 官网 Test 200 T1 notebook 金标 500(300 public+200 private) 双口径并存 前者=Kaggle 私榜,后者=完整金标;引用须注明(坑 2)
2 官网重要日期节 Showcase 10-4~8 官网 badge 与节目单 10-01 节目单 10-01 与大会日程(9-27 开幕)吻合(坑 3)
3 T4 模板 40 例(官网) Task_4.xlsx 字符串层 10 个 NCT 官网口径加注 疑共享字符串复用,未逐格验证(坑 6)
4 首次搜索摘要 [Cancelled] 标在 T3 行 官网 bundle 仅 T4 标 [Cancelled] bundle 搜索摘要为渲染拼接误差(坑 4)
5 226 队参赛规模 18 支验证团队 双数同报 前者=报名总量,后者=完赛验证(§3.5 守则 3)

附录 F:引文规范

挑战赛提案(数据集/基准的正式引用对象):

  • Alzahrani, Anas H.; Turki, Houcemeddine; Altammami, Abdullah; Nebli, Ahmed; Pasha, Naveed Aman; Hadj Taieb, Mohamed Ali; Ben Aouicha, Mohamed; Almsned, Fahad. CohortX: Extracting Executable Cohort Definitions for Medical Imaging Research. Zenodo, 2026-04-23. doi:10.5281/zenodo.19713304(概念 DOI: 10.5281/zenodo.19713303)。License: CC BY-4.0。

三份赛后资产(GitHub,无 license,引用需注明抓取日期):

  • 官方统计报告:Participation_Data.pdf(MICCAI 2026 · Statistical Report),github.com/csisc/CohortX。
  • 官方节目单:Final_Program.pdf(CohortX Challenge Showcase · MICCAI 2026),同仓库。
  • 官方复现 notebook:CohortX_Task_1/2/3.ipynb,同仓库。

注意事项四条:

  1. 结果论文(manuscript)发表后,分数明细的引用应转移到论文。
  2. 引 T2 榜单分需注明含 ×1.024 官方缩放。
  3. 引 T1 测试规模需注明 200(私榜)或 500(金标全量)口径。
  4. 官网与节目单含 AI 生成物料(C2PA 凭证在案),作证据时标注生成来源。

附录 G:本条目生产档案

项目 内容
写手代理 agent-a-cohortx
任务书 rsi_dispatch/task_cohortx.md
开工三查 锁文件 writing/cohortx/.lock(2026-10-08T17:27:18Z);私有区分片目录 .parts_agent-a-cohortx_1791480447_914146;进程留痕(codebuddy 进程 8)
核验路径 数据库查重(0 rows)→ WebSearch 2 次 → WebFetch 6 次 → curl 官方资产(notebook×3+PDF×2+xlsx+JS bundle)
三源互证 官网 JS bundle + Zenodo API + GitHub 官方仓库(Kaggle 链接与 LinkedIn 官宣帖佐证)
坑点存照 十个(§8)
待核项 结果论文发表;CSISC 全称;T2 验证团队名单与分数;T3 标注者 CSV 分发方式;GitHub license 补充

附录 H:FAIR/AI-Ready 检查单

检查项 状态 说明
F1 元数据有全局唯一标识 通过 Zenodo DOI
F2 数据有富描述 通过 任务卡+提案+统计报告
F3 元数据含数据标识符 通过 Kaggle 竞赛 slug 与 GitHub 路径可引用
F4 数据/元数据可检索 部分 Kaggle/Zenodo 可检索;官网 SPA 不可静态检索
A1 元数据可自由获取 通过 Zenodo CC BY-4.0
A2 数据可获取 通过(有约束) Kaggle 规则约束+GitHub 无 license
I1 语义互操作 部分 格式通用;无官方 OMOP/FHIR 映射
I2 机器可访问 通过 CSV/Notebook/XLSX 直链
R1 来源可溯 通过 案例带 pmcid/NCT 来源
R2 许可明确 部分 Zenodo 明确;GitHub 缺失(坑 9)
R3 社区维护 弱 赛事型一次性基准,无版本计划

尾注

本条目全部事实性陈述截至 2026-10-08(UTC)抓取核验。

核心证据:Zenodo API 元数据、官网 JS bundle 提取文案、csisc/CohortX 仓库官方资产(三份复现 notebook、两份 PDF、Task_4.xlsx)、Kaggle 竞赛页链接表、LinkedIn 组织方官宣帖、数据库查重记录。

待核项(结果论文、CSISC 全称、验证团队分数明细)在 §8 坑点与附录 G 登记后,由后续维护触发点跟进。

若未来结果论文正式发表,本条目的 §3.4、§4.5 与附录 E 应优先更新。


相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • scifact — 共享标签:医疗NLP / 医学问答与基准 / 生物医学文献 / 评测基准
  • mmedc — 共享标签:医疗NLP / 医学问答与基准 / 临床文本 / 生物医学文献
  • pubtabnet — 共享标签:医疗NLP / 医学问答与基准 / 生物医学文献 / 评测基准
  • ntcicir-rr-tnm — 共享标签:医疗NLP / 临床文本 / 评测基准 / 挑战赛数据集
  • blue-benchmark — 共享标签:医疗NLP / 医学问答与基准 / 临床文本 / 评测基准
  • care-bench — 共享标签:医疗NLP / 医学问答与基准 / 临床文本 / 评测基准
  • pgb — 共享标签:医学问答与基准 / 生物医学文献 / 评测基准
  • pubmedqa — 共享标签:医疗NLP / 医学问答与基准 / 生物医学文献 / 评测基准
  • mednli — 共享标签:医疗NLP / 医学问答与基准 / 临床文本 / 评测基准
  • medcalc-bench — 共享标签:医疗NLP / 医学问答与基准 / 临床文本 / 评测基准

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集