PAIR 胸片肺结节 2022（商业 AI 独立验证基准）

PAIR 胸片肺结节 2022 是荷兰 Project AIR 项目的胸片臂，以 PairLungNoduleXR22 之名运行在 Grand Challenge 平台，2024 年 1 月随《Radiology》论文公布结果。它从荷兰 7 家医院的常规检查中收集 386 例成人胸片，每一例都有 3 个月内的胸部 CT 作为金标准，让 7 款已上市的商用肺结节检测软件独立出分，再与 17 名医师阅片者的判断并排比较。验收集本身不公开。

胸片查结节的老问题是「看得见与看不见之间没有硬边界」：肋骨与心影会把几毫米的病灶藏起来，同一张片子换个人读，结论就可能翻转。厂商宣传里的敏感度多半出自自建数据与自家标注，横向对照几乎不存在。这个基准把产品放进未参与开发的医院、统一的参考标准与同一批阅片者之下，用一把尺子同时量产品和医师，给出可复述的比较结论。

准备采购胸片 AI、或正在设计影像 AI 评测的团队，可以把它当作方法学模板来读。使用前需要记住三件事：它测的是「这张片子上有没有结节」的患者级判断，不是病灶定位；它有意不公开数据，因此只能读结论、不能复现；它比较的是独立运行性能，与医师在真实阅片中是否采纳，还隔着一层。

§1 它是什么

1.1 一句话定义

PairLungNoduleXR22 是一份产品级独立验证基准，而非影像图库。它的产出物是一张排行榜和一篇同行评议论文，主体是「若干已上市的胸片肺结节检测算法，在同一批未公开胸片上的判断能力」，不是「一批可以下载、可以训练、可以二次标注的影像」。

这个区分不是措辞讲究。图库的入口问题是「下载后怎么用」，关心体量、标注密度与许可范围；基准的入口问题是「读完后怎么引」，关心抽样是否去偏、参考标准是否独立、阅片组是否公平、统计口径是否登记过。数据部分在此很薄：386 例、十来个字段、18 张样片；协议部分很厚：纳入排除、参考标准、阅片协议、缺测处理、统计模型、亚组分析。

1.2 名称的四种写法

同一个对象在四处有四个名字，检索时容易漏。

出现位置	写法	说明
官方子站域名	pairlungnodulexr22.grand-challenge.org	平台生成，全小写无连字符，尾部 22 指 2022 年
平台页面标题	Project AIR - commercial AI for lung nodule detection on CXR	描述性标题，含项目名与任务名
论文引用的项目名	PairLungNoduleXR22	驼峰写法，见于论文方法段的排行榜说明
论文标题	Comparison of Commercial AI Software Performance for Radiograph Lung Nodule Detection and Bone Age Prediction	两臂合写，未在标题中单列胸片臂

中文语境常见三种指称：「PAIR 胸片肺结节 2022」「Project AIR 胸片验证」「PairLungNoduleXR22」，三者等价。

PAIR 这个缩写是第一个坑。它不是肺动静脉、不是放射组学、也不是外周血管，而是 Project AIR 的压缩写法，AIR 展开为 AI for Radiology。论文正文用的是「the Project AIR initiative」这一原话，项目定位从一开始就写在名字里：不是做模型，是做放射 AI 的独立评测。同一缩写在线性影像圈另有所指——三星首尔医院等机构发布的骨与软组织肿瘤病理检索数据集 PAIR-BST，那是 Pathology AI Research，来源处一字不提放射科，两者毫无关系；检索时若只搜 PAIR，两条结果会并列出现。

第二个坑是 XR22 的 22。它指 2022 年，是招募与验证实施启动的年份，不是数据发布年份。论文 2024 年 1 月才见刊，影像采集则早在 2012 年 1 月就开始了。把它读成「2022 年发布的胸片数据集」会连带把数据的年代感也估错。

第三个坑在「commercial AI」上。它不是说数据由商业公司发布，而是说被评测的对象是商业产品。数据归学术机构，产品归厂商，厂商看不到影像，只把算法送进隔离环境跑。

1.3 为什么要单独立条，而不并入骨龄臂

同一篇论文同时报告骨龄与胸片两项任务，同一批研究者、同一套框架、同一时间窗口，分开写会不会是拆条凑数？判据不是论文目录，而是两臂有没有共享数据与结论。

维度	骨龄臂	胸片臂
检查部位	儿童左手正位 X 光	成人胸部后前位 X 光
参考标准来源	3 至 5 名专家按图谱法判读	3 个月内胸部 CT
参考标准的客观性	专家共识，主观成分多	影像学上可复核的客观证据
验证集规模	326 例	386 例
纳入人群	0 至 18 岁	18 岁以上
产品数	2 款	7 款
主要指标	均方根误差、相关系数	受试者工作特征曲线下面积
阅片者数	14 名	17 名
影像采集窗口	2017-01 至 2022-01	2012-01 至 2022-05

九行没有一行共享。这是两条独立的流水线，只是同期发表、共用方法学说明；合成一条会出现两套规模、两套指标、两份阅片协议。反过来，两条之间必须互指：骨龄臂已有独立记录，只看名称匹配容易把这一条误判成重复，正确关系是「同一研究的兄弟臂」，不是「同一资源的两个入口」。

1.4 与 CT 肺结节基准的根本区别

库内已有多个肺结节数据集，全部围绕 CT。把它们与本基准并列，第一个要澄清的不是谁大谁小，而是同一个器官在两种模态上的任务定义完全不同。

维度	CT 肺结节基准（如 LUNA16、LIDC-IDRI、LNDb）	PairLungNoduleXR22
模态	断层容积	单一投照方向的叠加影像
数据形态	三维体素序列	二维灰度片（部分含侧位）
任务粒度	结节级：找出每一个可疑灶及其坐标	患者级：这名患者有没有结节
输出形态	检测框或掩模	0 至 100 的单一概率
评价指标	按结节计的自由响应受试者工作特征、检出敏感度	患者级 AUC
典型用途	训练与评测检测算法	评测已上市产品
数据可得性	多为公开下载	保密

这张表里的每一行都会引发误读。CT 上能算出体积、能测倍增时间、能追踪生长；胸片上一个直径八毫米的结节，可能完全落在心脏轮廓后面，连是不是存在都要靠 CT 回头确认。反过来，胸片便宜、普及、剂量低，是做粗筛的实际入口。两者的临床位置不同，因此「检出率」这个数字在两边的含义也不同：CT 的检出率是按结节算的，本基准的敏感度是按人算的——一个人身上有两颗结节，也算一例。

还有一个容易被忽略的差别：CT 基准的评价单位可以小到毫米，误差的量纲是物理的；本基准的评价单位是「人是否被正确排序」，误差的量纲是概率的。前者的失败表现为漏掉一颗小结节，后者的失败表现为把一个有结节的人排在了一堆健康人前面。

1.5 名字里没有写出来的定位

官方标题用的是「commercial AI」和「detection」，两个词都留着余地。

其一是「commercial」：纳入限定为持有欧盟 CE 认证、已在欧洲合法销售的产品，学术原型与未获批模型不在邀请之列。结论因此与采购直接相关，代价是无法代表技术前沿。

其二是「detection」：任务定义为患者级的「有还是没有」，不是病灶定位。算法与阅片者都对每位患者给出 0 至 100 的概率分数，算法报出多个发现时取最高分。即使产品能在图上画框，进入统计的也只有那个分数，这与医师「指出在哪、多大」的动作并不对应。

1.6 时间线

时间	事件
2012 年 1 月	胸片臂最早一批影像的采集起点
2022 年 5 月	胸片臂最晚一批影像的采集终点
2022 年 6 月至 11 月	邀请窗口，该期间在放射 AI 产品清单上的合格厂商受邀
2022 年 6 月	验证实施窗口开始
2023 年 1 月	验证实施窗口结束，九个产品、八家厂商跑完全部流程
2023 年 1 月 26 日	通用框架与两份任务方案以第三版发布在 Zenodo，按 CC BY 4.0 开放
2024 年 1 月 9 日	《Radiology》第 310 卷第 1 期在线发表，同期配发评论文章
2023 年之后	Project AIR 转入持续运行的基础设施形态，改用另一个项目名继续接收新产品

时间线上有两个错位值得留意。

第一个是采集窗口的跨度：2012 年到 2022 年，整整十年。这期间数字 X 线设备普及、后处理算法迭代、曝光协议调整，同一家医院的片子在不同年份可能出自不同机器。论文的纳入条件只要求「2012 年起」，没有把设备代际作为分层变量写进主分析，只在亚组里按设备厂商切分，且分层数值放在补充材料里。

第二个是方案与执行的关系：方案第三版发布于验证实施结束之后，修订说明写明「基于初次执行的实际经验修订了样本量、候选产品、指标与统计四条」。这意味着方案不是完全的事前预注册，而是在保留原始版本的前提下事后修订。对阅片者来说，能查到的修订记录本身就是可用的信息，但它与「先登记后执行」的严格预注册不是一回事。

§2 数据构成

2.1 数字链：从 561 到 386

一切关于规模的讨论都要从这条链开始，因为不同环节的数被混用时，结论会差出几百例。

环节	数量	处理	说明
初始收集	561 张	—	2012 年 1 月至 2022 年 5 月，荷兰 7 家医疗中心
满足纳入条件	404 张	剔除 157 张	剔除项含无 3 个月内 CT、床旁片、非诊断质量片、弥漫性病变；逐项计数见论文表 1，正文只给合计
留出公开子集	18 张	分层随机	按中心分层抽取，留作厂商自测，不进分析
最终验证集	386 例	404 减 18	患者数与影像数相等，每人一套

157 这个差额是算出来的（561 减 404），论文正文没有逐条拆解，只说「在确认满足入组条件后，404 张被保留」。把 157 写成「因缺 CT 排除 157 例」是把合计当分项，属于常见的算术误读。真正因缺 CT 排除多少、因床旁片排除多少、因图像质量排除多少，正文没有给，要看得看论文表 1 的分行数据。

另有一条容易漏掉的口径：患者数与影像数相等，但影像并不止 386 张。386 例中有 383 例同时提供了侧位片。也就是说，进入统计的「例」是 386，实际被算法与医师看到的图像张数是 386 张后前位加 383 张侧位。提到体量时若说「386 张影像」，会低估侧位片的实际参与；若说「769 张」，又与统计单位不符。稳妥的写法是「386 例患者，每人一张后前位胸片，其中 383 例附侧位」。

2.2 规格表

字段	取值 / 类型	单位	缺失情况	字段可靠性
患者标识	研究内部编号（经中心编码）	—	无	依方案 5.2.2 推定，论文未展开
中心	编码（7 家）	—	无	依方案推定
年龄	连续值，均值 64 岁	岁	无	论文表 1 口径，正文给出均值与标准差
性别	男 / 女	—	无	论文给出男性 223 例
采集设备厂商	编码（Siemens、Philips、Canon、Agfa、Hologic）	—	无	论文正文点名五家，逐例分布未公开
采集日期	仅到年份	年	无	方案写明「采集日期：年」，非精确日
分组	结节病例 / 对照	—	无	论文给出 144 与 242
结节最大径	连续值，CT 上最长轴	mm	仅结节病例有	论文写明纳入区间 5 至 30 mm，逐例值不公开
结节在胸片上的可见度	四级：清晰、中度、细微、极细微	—	仅结节病例有	论文四级；方案五级，差一档「不可见」
参考标准分值	0（无结节）与 100（有结节）	分	无	二值化，非连续置信度
侧位片	有 / 无	—	3 例无	论文明确 383 例有

「缺失情况」多数写「无」，真正的问题在不公开：结构完整，取值只在研究者手里，公开的只有聚合的均值、标准差与分组计数。

2.3 纳入与排除的边界

六条纳入条件里，三条决定了这份数据的使用边界。

第一条是年龄：18 岁以上。这让它彻底排除了儿科胸片。儿童胸片的纵隔比例、胸廓形态、配合度都与成人不同，针对成人训练的产品在儿童身上会怎样，这份数据回答不了。

第二条是配对 CT：胸片前后三个月内必须有胸部 CT。这条要求把样本推向了一个特定人群——因为有 CT，说明这些患者在拍片时已经被怀疑有肺部问题，或者正在随访某个已知病灶。这与「健康体检拍个胸片」的人群不同，也与「急诊发热拍片」的人群不同。论文讨论里把这条列为局限之一：数据分布与临床实践不同。

第三条是结节定义：Fleischner 学会定义的（部分）实性结节，实性成分在 CT 上 5 至 30 毫米。这条排除了纯磨玻璃结节、排除了小于 5 毫米的微小结节、也排除了 30 毫米以上的肿块。因此本基准不测「磨玻璃病变检测」，也不测「大肿块检出」。把它的 AUC 当作泛化的「肺结节检出能力」，会高估它在磨玻璃病变上的表现。

排除项里最值得注意的是「弥漫性（结节性）病变」。转移瘤、间质性肺病、大肿块，这些在胸片上会形成大量可疑影，对算法是灾难性的干扰，但它们恰恰是临床中最需要 AI 帮忙的场景之一。基准把这些排除掉，是为了保证「结节病例」的定义干净——一颗能被点名的结节，对照是一片没有结节的肺。代价是：本基准的数字不能外推到弥漫性病变人群。

2.4 参考标准是怎么定的

参考标准的构建方式是这份基准最值得细看的一段。

流程是：一名有 8 年经验的胸部放射科医师，逐例阅读胸片与配对 CT，判定该患者有无结节（0 或 100），测量 CT 上最显著结节的最大径（毫米），并对该结节在胸片上的可见度做四级分类。分类的四个词是 well visible、moderately visible、subtle、very subtle，中文可依次写作清晰可见、中度可见、细微、极细微。

三层设计值得拆开。

其一，判读依据是 CT，不是胸片。小结节在断层影像上不易被肋骨或心影遮挡，判定「有没有」比在胸片上可靠得多。用 CT 给胸片打标签，等于先知道答案再回头看题；若参考标准也靠胸片判读，这份基准就退化为「一群人和另一群人比谁看得准」，没有客观锚点。

其二，可见度在胸片上评。同一结节，CT 量出 12 毫米，在胸片上可能清晰，也可能被心影吞掉。这一维把「结节多大」与「在这张片子上多容易被看见」拆开，亚组分析正按它切分——论文报告所有算法与医师平均都在可见度下降时同步下降。

其三，单阅片者。整份标准由一人给出，无第二人交叉复核，也未报告观察者间一致性。好处是内部一致；代价是无法量化标签本身的不确定性，AUC 的置信区间只反映抽样误差，不反映标签误差。

2.5 结节与对照的构成

386 例按参考标准分成两组：144 例至少有一个结节，242 例为对照。阳性比例约 37%，与方案预设的一比二（33%）相比，实际略偏向阳性一侧。

这个比例对解读的影响不小。AUC 本身对类别比例不敏感，但三件事会跟着变：阈值下敏感度与特异度的组合、阳性预测值、以及阅片节奏。37% 阳性率下，一个特异度 80% 的产品，其报警里仍有相当比例是假阳性；换到阳性率不足百分之一的筛查人群，假阳性会压倒真阳性。

对照组的定义也值得抄下来：正常表现，或其他不会被误认为结节的病变。这个措辞很讲究。「不会被误认为结节」意味着对照组里可以有肺炎、可以有胸腔积液、可以有心血管异常，只要这些病变在胸片上不会形成类结节影。这比「完全正常」的对照更接近真实人群，也比「随便找一批无结节片」更严格。

2.6 公开子集：18 张能做什么、不能做什么

18 张按中心分层随机抽取的胸片被单独留出，以 CC BY 许可公开，用途写得很明确：让厂商测试自己的算法能否在 Project AIR 的流程里正常跑通，并在事后回溯核对处理链路。

能做的只有两件：验证输入输出格式对得上，确认结果文件能被正确解析。不足以训练、调参、评估性能或比较产品。这 18 张的阳性构成论文未披露，只说按中心分层。另需注意骨龄臂同样留出 18 张，两个 18 各自独立，不是合计，也不是同一批。

2.7 数据体量与存储形态

论文与方案都没有给出验证集的存储体量。可以确定的只有形态：每例包含一张后前位胸片的 DICOM 文件、可选的侧位胸片 DICOM 文件、以及 3 个月内胸部 CT 的 DICOM 文件。方案 5.2.1 把这三项列为采集内容。CT 的层厚要求是 3 毫米及以下，可带或不带对比剂。

论文未给出验证集存储体量，只能写「未披露，仅说明每例含胸片 DICOM 与配对 CT DICOM」。

§3 怎么拿到

3.1 三类可获取物，三种许可

项目把可获取的东西切成三层，每层许可不同。混为一谈是这一节最常见的事故。

层	内容	获取方式	许可	能做什么
排行榜层	七款产品的 AUC、置信区间、显著性、敏感度与特异度	公开网页直接阅读	未单独声明，按网页内容使用	引用、对比、做采购论证
方案层	通用框架与两份任务方案第三版	Zenodo 公开下载（通用框架 337.3 kB，胸片方案 63.4 kB）	CC BY 4.0	复制方法、改写协议、二次发表
样片层	18 张按中心分层抽取的胸片	论文声明为 CC BY 公开发布	CC BY	跑通流程、核对格式
验收集层	386 例胸片、配对 CT 与标签	不提供	—	无

四层越往下越难拿到，价值却相反：排行榜是结论，方案是方法，样片是格式，验收集是证据本身。拿不到第四层，前三层都会被「无法复核」打折。

3.2 排行榜怎么读

排行榜挂在 Grand Challenge 子站，先给研究背景，再给结果表，最后给论文链接；页面写明这是「对放射科商用 AI 算法的客观比较」，影像来自荷兰七家医院。读榜要带三个前提。

第一，榜上成绩对应的是具体版本，不是产品。每款算法都标了版本号，例如 Lunit INSIGHT CXR v3.1.4.4、Milvue 的 Suite–SmartUrgences v1.24、Oxipit ChestEye v2.6、Siemens 的 AI-Rad Companion Chest X-ray v9。版本号是结论的一部分，脱离版本谈产品排名没有意义。

第二，榜上成绩是在2022 年 6 月至 2023 年 1 月这个窗口里跑出来的。此后产品可能升级，基准可能追加新产品，榜单会更新，但历史版本的数值不会重跑。引用时应把窗口写进去。

第三，榜上没有的比有的更多：多数产品没有敏感度与特异度明细，没有按可见度、结节大小、设备厂商的分层数值，也没有逐例预测。这些在论文补充材料里，不属于榜单。

3.3 方案文件的实际内容

胸片臂方案第三版只有六节、不足十页，却把从立项到统计的全链路写清。

第一节是目标：验证并比较商用 AI 软件在胸片上检测经 CT 证实的肺结节的独立诊断性能。三个限定词都要抓：胸片（不是 CT）、CT 证实（参考标准来源）、独立性能（不涉人机协同）。

第二节是设计：持续进行的回顾性研究，厂商临时提供算法生成结果，数据不与厂商共享，同时在同一份数据上做医师阅片研究。「持续进行」不是修辞——数据保密正是为了让流程可以反复执行。

第三节是人群：六条纳入、三条排除、三条样本量要求。样本量写「至少六个欧洲中心、每中心至少 25 例、初始目标 600 例、阳性阴性比一比二」；实际落在七家中心、386 例，与初始目标有差距，须与论文并读才看得出来。

第四节列 14 款候选产品，从 Annalise.ai 到 VUNO，逐家列出厂商与产品名。清单公开，对照最终 7 家即可算出谁受邀未参加。

第五节是方法与参数：主指标为受试者工作特征曲线下面积，敏感度与特异度可选；亚组按结节大小、可见度、设备厂商切分；算法无输出时填「结节概率 0」以便指标可算。

第六节是统计：与平均阅片者比较用多阅片者多病例分析，基于 U 统计量做显著性检验，软件为 iMRMC；两者置信区间用自助法。

3.4 「未处理即判阴性」这条规则

第五节那条填充规则值得单独拎出来：它对厂商不利，却白纸黑字写进了方案。

规则原文的意思是：如果算法对某张图没有给出预测——无论是拒绝处理、报错还是别的原因——那么空白的字段填「结节概率为 0」，以便指标可以计算。

效果是：失败图像一律计为「判定无结节」，对结节病例即等同漏诊；若把失败样本剔出分母，成绩会好看得多。方案选择了前者，不允许产品用「处理失败」换取成绩提升。代价是失败率高的产品被压得更低，而论文未逐款报告失败率，外人只知道规则存在，不知道它对各产品分别造成多大影响。

3.5 验证是怎么执行的

执行方式是这个基准区别于普通评测的关键，也是它敢保密的底气。

流程是：厂商把算法临时提供给研究者，形式为本地部署或打包成亚马逊机器镜像（Amazon Machine Image）；研究者在隔离环境中让算法跑过验证集，数据全程不出其掌握。方案第二节写明「厂商把算法临时提供给研究者生成结果，数据不会与厂商共享」。

这套安排解决两个老问题。一是数据泄露：厂商哪怕只看一眼影像，这批数据此后就不能再作独立验证，可能已被用于调参或训练。二是公平性：所有产品面对相同输入、相同预处理约定与相同评价脚本，差异只能来自算法。代价是部署环境、版本兼容与运行时依赖都由研究方承担；各厂商采用本地还是镜像、是否出现运行故障，论文未披露。

3.6 引用这个基准时的规范写法

要引它，至少带上五个要素，缺一个就会让引用变得不可复核。

要素	写法示例
对象名	PairLungNoduleXR22（Project AIR 胸片臂）
论文出处	van Leeuwen 等，Radiology，2024，310(1)，DOI 10.1148/radiol.230981
数据集规模与口径	386 例患者，144 例结节、242 例对照
指标与对象	患者级受试者工作特征曲线下面积，七款商用产品，具体版本号
版本与窗口	2022 年 6 月至 2023 年 1 月验证窗口；榜单可随新产品更新

不规范的写法包括：只写「据 Project AIR 研究」而不写是哪一臂；只写「AI 检出率 90%」而不写指标是 AUC；把 386 写成训练集或测试集的规模；把骨龄臂的 326 例与之混记。

§4 质量与已知问题

4.1 质量判断的四个维度

评价验证基准与评价影像库用两套尺子：后者看体量、标注质量、许可宽松度；前者看抽样是否去偏、参考标准是否独立、比较是否公平、统计是否预设。失守任何一项，结论的可用性都会掉档，而体量不是关键变量。下表逐条给出支持与反对两侧证据，并标结论强度（A 为三条以上独立证据，B 为两条，C 为单一来源，D 为推断）。

4.2 假设—支持—反对三列表

假设	支持证据	反对或不足证据	强度
抽样能代表荷兰成人胸片就诊人群	七家中心覆盖学术、教学、综合三类；2012 至 2022 十年跨度；设备覆盖五家厂商；对照定义允许「不会被误认为结节的其他病变」	需有 3 个月内 CT，实为便利抽样而非连续抽样，论文原文写明「由中心基于报告或登记检索自行决定」；排除弥漫性病变人群；未报告各中心样本量是否均衡	B
参考标准足够客观	以 CT 为锚，规避了胸片读片的主观性；结节大小在 CT 上量取；可见度单独分级，可与大小解耦	全部由单名医师判定，未做双阅片者交叉；未报告观察者间一致性；不可见档在论文中被剔除，意味着标签在胸片层面部分依赖「看不看得见」这一判断	B
产品间比较是公平的	同一批输入、同一环境、隔离执行；厂商对数据与稿件均无控制权；方案事先规定失败即判阴性	只有七家参与，其余七家未参加，缺席原因未公开；缺席可能与非随机因素相关（论文自陈「可能的市场影响」）；各产品的运行方式（本地或镜像）未逐家披露	B
统计口径稳健	使用多阅片者多病例受试者工作特征分析，而非简单比较均值；用 iMRMC 处理阅片者与病例的双重随机性；阅片者均值取对角平均；显著度亚组按可见度分层	主指标仅 AUC，敏感度与特异度为可选项且只对提交阈值的厂商报告（七款中仅两款给出）；方差估计为负时改用非参数估计，属技术兜底而非设计；未预设多重比较校正	B
结论可外推到临床使用	阅片组 17 人、经验层级混合，是较真实的人类对照；产品均为已获 CE 认证的在售版本	阅片在挑战赛平台而非 PACS 上进行，无临床信息，任务明确单一；评估的是独立运行而非决策支持；作者自陈数据与阅片环境异于临床	C
结果可复现	方案与论文公开，指标定义清楚；榜单长期在线	386 例影像与逐例预测全部保密；榜单只给聚合值；补充材料未在本轮抓取中取得	D

六条假设没有一条达到 A 级。这并非说基准不可信，而是说它的证据结构是「关键环节都做了，每个环节却都留了一处不透明」，这是第三方验证在可比性、可行性与透明度之间必然的取舍。

4.3 效应量的正确读法

论文的主结果可以概括为：医师平均 0.81，四款产品显著更高，最高 0.93，三款与医师无差异。

从 0.81 到 0.93，差 0.12。AUC 从 0.8 往上每提高 0.1 往往需要换一代模型，但在 37% 阳性率的样本里，这点差别落到同一阈值上，只是敏感度或特异度几个到十几个百分点的移动。

论文措辞值得逐字对照：四款用「表现优于阅片者」，三款用「没有差异的证据」，而不是「差于阅片者」。前者是拒绝零假设，后者是未能拒绝；在 386 例、17 名阅片者的条件下，后者可能只意味着功效不足。另一处必须并读：医师区间 0.77 至 0.85，四款产品下界依次为 0.91、0.87、0.85、0.82；除 Milvue 与医师上界相接外，其余三款下界均高于医师上界，说明「优于」有区间分离支撑，而非微弱领先。

4.4 阈值问题的结构性困境

论文里有一个数字对比，比 AUC 排名更能说明临床落地的难处。

医师在统一阈值 50 下的平均敏感度是 71%，特异度是 80%。两款提交了阈值的厂商中，一款给出敏感度 89%、特异度 80%，另一款给出敏感度 50%、特异度 99%。这组数字展示的不是谁更准，而是同一款产品可以站在工作特性曲线的任何位置：想少漏就压低阈值，特异度掉；想少误报就抬高阈值，敏感度掉。

真实困境在于：AUC 高的产品确有判别力，但落到具体阈值就成了组合，而两种错误在阅片中的代价并不对称——漏掉小结节可能延误干预，假阳性成片则让医师不再看它。

方案把敏感度与特异度列为可选项，厂商可自行提交阈值，这是务实的设计，避免统一阈值造成失真；缺口在于阅片者有统一阈值 50、产品没有，因此两者的敏感度、特异度比较严格说不同尺，只有 AUC 是共同口径。

4.5 单阅片者标签的误差边界

单名医师给出参考标准，误差边界需要写明。

标签依据是 CT 而非胸片。在 CT 上判断有无 5 至 30 毫米实性结节，医师间一致性通常较高，比骨龄那种「多位专家主观判读取均值」的标签更硬。

但两个环节仍掺入单人判断：「最显著结节」的选取（多结节时选哪颗测径、评可见度），以及可见度分级本身（清晰与中度之间没有客观刻度）。这两个环节的误差不进 AUC 的置信区间——区间只反映抽样误差，不反映换人重标的标签误差，后者在本研究中未被量化。

4.6 缺席的七家厂商

受邀 14 家，参与 7 家。缺席的这一半，是这份基准最明显的外部效度问题，论文自己也把它列在局限的第一条。

缺席的原因论文没有逐家说明，只做了一个判断：公开比较并披露产品名称在放射 AI 领域仍不普遍，担心影响市场表现可能降低了参与意愿。这个判断本身不构成对任何具体厂商的指责，但它揭示了一个结构性事实：能进入这份榜单的产品，是自愿进入的。

自愿参与会带来什么偏差？两种方向都存在，且无法在本研究内部区分。一种可能是，自认为表现好的产品更愿意参加，于是榜上分布整体偏高；另一种可能是，厂商并不确定自家产品在这类混合难度数据上的表现，表现差的反而更不愿来，于是榜上分布整体也偏高。无论哪种方向，结论都是一样的：榜上七款的成绩，不能代表市场上全部产品的成绩。

同理，没有参与的产品不是因为不合格，而是因为没来。把「不在榜上」读成「性能不佳」，是对这份名单最严重的误读。

4.7 与既有验证文献的对照难题

论文讨论指出，不同研究之间难以直接比较，原因是抽样方式（连续还是便利）、是否纳入肿块、阈值设定、产品版本各不相同。这条提醒对本基准有两层用处。

对外：这里的数字不能与其他研究里同名产品的数字并排。同样是 Lunit 的胸片产品，别处 AUC 可能是 0.88 也可能是 0.95，差异可能全部来自数据难度与阳性率。

对内：即便在同一份基准里，产品之间也不该比分数大小。各产品输出的是未经校准的原始分数，只在 0 至 100 的标尺上缩放，语义不共享。医院信息科把几款产品接到同一界面，看到 A 给 90、B 给 45，就以为 A 更确信——这个直觉是错的，两个数来自两套无关的打分体系。

§5 能做什么

5.1 四类可用场景

基准产出的不是数据，是判断，能用在四个地方。

场景	怎么用	需要的附加信息	不能做什么
采购前的同类产品筛选	把候选产品对应到榜上的版本，看 AUC 与置信区间	产品版本是否在售、本地部署要求、报价	不能据此下定论，缺席产品无从比较
院内验证的方案设计	借用它的纳入排除、阅片协议、统计模型	本地人群的阳性率、本院设备构成	不能直接套用它的阅片者数，本地功效需重算
评测研究的基线设定	用 0.81 作为「有经验医师平均值」的参照点	本地医师经验构成	不能把 0.81 当行业常数
厂商产品说明书的交叉核对	核对宣传材料里的 AUC 是否出现在独立验证中	具体版本号	不能把自测数据与第三方验证混排

第二类场景的价值最容易被低估：多数医院无力独立完成横向评测，却能照着别人的协议做一次小规模核查。方案把「怎么算公平」写成可操作条款——数据不给厂商、失败判阴性、阅片者盲化、阅片者人数按功效算、均值取对角平均，可直接抄进本地伦理申请与统计方案。

5.2 任务清单：这份数据支持什么、不支持什么

支持：

1. 患者级二分类的判别能力评估，指标为受试者工作特征曲线下面积。
2. 与人类阅片者在同一批图像上的比较，条件是须采用多阅片者多病例设计。
3. 按结节在胸片上的可见度做分层分析，用于回答「在难例上表现如何」。
4. 按结节大小做分层分析，条件是分层数值须从补充材料取得。
5. 按 X 线设备厂商做分层分析，用于初步观察跨设备稳健性。

不支持：

1. 病灶定位评测。任务定义是患者级概率，输出不含坐标，无法计算检测框层面的指标。
2. 训练或微调。数据不公开，且 386 例的体量对深度模型远远不够。
3. 生长速率与随访分析。每名患者只取一次检查，没有纵向序列。
4. 磨玻璃结节的检出评估。纳入标准限定为（部分）实性结节，实性成分 5 至 30 毫米。
5. 儿科人群的任何结论。纳入年龄为 18 岁以上。
6. 弥漫性病变人群的性能推断。转移瘤、间质性肺病、大肿块均在排除之列。

5.3 最小可执行示例：用它的数字做一次采购论证

下面这段可直接改数据套用，不产生新结论，只把已有结论组织成决策语言。

第一步，确立本院需求。是要「一例都不漏」的辅助筛查，还是要「少打扰医师」的分诊提示？两者对敏感度与特异度的偏好相反：接诊量大、医师时间紧，误报代价高；承担肺癌筛查随访，漏诊代价高。

第二步，把候选产品对应到榜上版本，版本号必须一致——v3 与 v4 的差别可能大于厂牌之间的差别。不在榜上的产品，不能借用同类产品的数字。

第三步，看区间，不看点。Lunit 的 0.93 对应 0.91 至 0.96，Milvue 的 0.86 对应 0.82 至 0.90；若决策会在两区间重叠处翻转，说明证据不足以支撑，须本院自行验证。

第四步，确认阈值。AUC 高不等于某个阈值下好用，应向厂商索取其推荐阈值及该阈值下的敏感度与特异度，与本院可接受的漏诊、误报水平对照。论文只有两款产品提交阈值，其余五款没有，这是产品未提供，不是遗漏。

第五步，写下证据边界：本结论基于荷兰七家医院 386 例成人胸片、2022 至 2023 年间的产品版本，评估独立运行性能，不涵盖决策支持场景，本院人群与设备构成存在差异。

5.4 读论文时的建议路径

全文不长，但两条臂交织，按下面顺序读可少切换语境。

先读方法段的「研究设计」，看清 Project AIR 的制度安排：数据不给厂商、算法临时提供、隔离执行。这一段解释了这个基准为什么敢说「独立」。再读「研究样本」，把 561、404、18、386 四个数字的链条记牢。然后跳到结果段，先看医师平均，再看四款优于阅片者的产品，最后看三款无差异的产品。接着读讨论段的局限，三条局限比结果更重要——它们决定了结论能推到哪。最后回头读方案第三版，补上论文正文没写的细节，比如失败即判阴性、样本量目标 600 例、候选产品 14 款。

不建议先看排行榜：七个数并列，容易只记住第一名，而忽略它在什么条件下跑出来。

5.5 把它当成方法学参考时的三个可迁移设计

若要在本院或本单位复制一次类似评测，有三处设计值得原样照搬。

第一处是隔离执行。把算法和数据放在同一个受控环境里跑，而不是把数据交出去。这条看似是技术细节，实则是独立性的根本。数据一旦流出，这份数据就永久失去了作为独立验证集的资格。

第二处是失败即判阴性。这条规则把「处理不了」与「处理了但判错」放在同一个惩罚面上，堵住了用拒识来提升指标的路径。任何自建评测都应当先写下这条规则，再开始跑。

第三处是阅片组按功效而非按方便来定。本研究用了 17 名阅片者、每人 140 例，并用多阅片者多病例模型处理双重随机性。若只找三位医师各读一百例，得到的均值方差会大得多，与算法的比较也就失去分辨力。

§6 常见误读与引用陷阱

常见说法	实际口径	证据位置
「这是一个 386 例的训练集」	386 例是验证集，且不公开；不存在训练用途，也没有训练集	论文研究样本段与数据声明
「2017 例与 2022 例，两个队列」	2017 与 2022 是骨龄臂影像的采集起止月份；胸片臂采集窗口是 2012 年 1 月至 2022 年 5 月	论文摘要与样本段
「PAIR 指肺动脉放射组学」	PAIR 是 Project AIR 的缩写，AIR 指 AI for Radiology	论文引言与 Zenodo 方案标题
「PAIR 就是那个骨肉瘤病理数据集」	那是 PAIR-BST，属 Pathology AI Research，与本研究无关	库内同名缩写条目
「这款 AI 的检出率是 93%」	93% 是受试者工作特征曲线下面积，不是敏感度，也不是检出率	论文结果段
「九款产品参与评测」	九个产品来自八家厂商，是骨龄与胸片两臂合计；胸片臂为七款	论文摘要与研究设计
「14 家厂商参与」	14 家是受邀数，参与为 7 家，参与率 50%	论文摘要与研究设计
「17 家合格产品全部被测」	17 是两臂合计的受邀厂商数，被测为 9 个产品、8 家厂商	论文摘要
「四款产品打败了医生」	论文结论是四款表现优于阅片者，三款与阅片者无差异证据；且这一比较限于独立运行场景	论文结论段与局限段
「三款产品不如医生」	不显著只意味着差异未被检出，不是被证明更差	论文结果段与统计段
「数据集按 CC BY 开放」	CC BY 只覆盖 18 张公开样片与 Zenodo 方案；386 例验收集保密	论文数据声明
「AUC 0.93 意味着临床可用」	独立运行性能不等于决策支持场景的性能，也不含工作流与界面因素	论文局限段第二条
「结节可以是磨玻璃的」	纳入限定为（部分）实性结节，实性成分在 CT 上 5 至 30 毫米	论文纳入标准与方案 3.1
「这套结果适用于所有年龄」	纳入为 18 岁以上成人	方案 3.1 与论文样本段
「AI 给 90 分的那例一定比给 60 分的那例更危险」	各产品输出的是未经校准的原始分数，只在 0 至 100 标尺上缩放，不可跨产品比较	论文图注
「14 张公开片可以拿来做预训练」	公开子集为 18 张，且明确不入分析，体量不足以训练	论文研究样本段

6.2 技术性陷阱

坑一：把「例」与「张」混用。 386 是患者数，影像是 386 张后前位加 383 张侧位。写「386 张影像」会漏掉侧位，写「769 张」又偏离统计单位。

坑二：把 561 当最终样本。 561 是采集数，404 是满足纳入数，386 是验证数，三者出现在同一段，摘抄易错。只引一个时用 386。

坑三：把 157 的差额拆成分项。 157 是合计，论文正文未给「因无 CT 排除多少」「因床旁片排除多少」，分项在表 1。把 157 全归因于缺 CT，是无据推断。

坑四：把两臂的公开子集当成一份。 骨龄臂 18 张，胸片臂 18 张，各自独立留出，不是合计 18 张，也不是同一批图像。

坑五：把方案第三版当成事前预注册。 方案第三版发布于 2023 年 1 月 26 日，验证已于 2023 年 1 月结束，修订说明写明是根据初次执行经验修订。它保留了早期版本可查，但性质是「事后修订并公开修订记录」，与严格意义上的事前注册不同。引用时若写「预先注册的方案规定」，需注明版本与发布时间。

坑六：把可见度四档当五档。 方案 3.1 与 5.2.3 列出五档，多一档「不可见」；论文正文与参考标准段只出现四档。差异的可能解释是「不可见」的结节被归入对照或单列处理，但论文未明说，属于未解口径差。引用档数时以论文为准，并注明方案多一档。

坑七：把失败率当零。 方案规定算法无输出即填概率 0，这意味着「失败」在统计上等价于「判无结节」。这条规则对结节病例是漏诊，对对照则无损。因此凡涉及各产品的失败情况，都不能假定为零；论文正文亦未逐款披露失败率。

坑八：把 AUC 的置信区间当标签不确定度。 论文给出的置信区间反映抽样误差，不反映单阅片者标签本身的误差。两者不可互换，也不能相加。

坑九：把「无差异」写成「等效」。 论文用的是「没有差异的证据」，不是等效性检验。等效性检验需要预设等效界值，本研究未设。这个词的差别在监管语境里很实际。

坑十：把榜单当静态资产。 排行榜可随新产品与新版本更新，论文报告的是 2022 年 6 月至 2023 年 1 月窗口的特定版本。引用榜单数值必须带窗口与版本号，否则一年后复核会对不上。

§7 在生态中的位置

7.1 与同一论文另一臂的关系

PairLungNoduleXR22 与 PairBoneAge22 是同一项研究的两个臂。共同的骨架有四层：同一批研究者、同一套通用框架、同一个邀请窗口、同一个 Grand Challenge 平台。除此之外几乎没有交集——检查部位、人群、参考标准来源、产品数、指标、阅片者人数、采集窗口，无一相同。

两者在仓库里分成两条，理由与「合并不合并」无关，与「用起来是不是一件事」有关。查采购的人想知道胸片产品怎么选，问的是敏感度、阈值、误报；查儿科的人想知道骨龄怎么估，问的是误差、相关性、图谱法。两类问题在一页里交叉，查阅时需要在两个语境之间不停切换。

反过来，两条之间必须互指。只看名称的自动查重会把它们判成同一实体的两个写法；看过数字链之后才会明白，326 与 386 是两个独立队列，不是一次研究的两批。这是本库内互链优先级最高的一对。

7.2 与胸片肺结节经典基准的关系

更早、更广为人知的胸片肺结节公开基准是日本放射技术学会的 JSRT 数据库，形态与本基准几乎相反：JSRT 放出 247 张后前位胸片，其中 154 张带结节、93 张无结节，附临床、放射与病理信息，长期充当训练与检出研究的公共底料；本基准则把数据收进黑箱，只放结论。两者回答的问题不同：JSRT 回答「模型在公开数据上能做到多少」，本基准回答「已上市产品在没见过的人群上能做到多少」。前者的结论易被过拟合侵蚀，后者易被「无法复核」侵蚀。

同源关系也值得一提：本研究的作者群体与 JSRT 系列工作所在的荷兰放射学与计算机辅助诊断谱系有交集，论文引用的三篇早期工作正是骨抑制影像与计算机辅助检出在胸片结节上的经典研究。也就是说，这份基准不是凭空出现的第三方评测，而是一条延续了十余年的研究线的产物。这不损害独立性，但作者并非毫无立场——他们自己就长期做计算机辅助检出。论文中的利益冲突声明列了讲课酬金与学会职务，未涉及本基准所测产品。

7.3 与 CT 肺结节基准的关系

库内的 CT 系基准——LIDC-IDRI、LUNA16、LNDb 及其派生集合——回答的是另一个问题：在断层影像上，能不能把每一颗结节都找出来并定位准确。它们的评价单位是结节，指标是按病灶计的自由响应受试者工作特征曲线，标注往往由多名放射科医师独立完成后再做共识。

与本基准的交叉点在于参考标准的哲学。LIDC-IDRI 的标注来自多名医师的独立判读，公开数据中可以看到每个人的标注，因此可以量化观察者间变异；LNDb 在此之上加了单盲标注与眼动追踪，专门研究「同一颗结节，不同人为什么给出不同判断」。本基准则用一名医师加一份 CT 做标签，把变异压到最低、也把不确定性藏到最深处。

这一取舍的后果在用途上很分明：如果要做的是「人类判读本身有多不确定」的研究，本基准帮不上忙；如果要做的是「产品在一个确定标签下的判别力」的比较，本基准的标签方式反而更干净。

7.4 与 CT 与病理链条的关系

胸片结节检测的终点不是「看见」，是「确认」：被怀疑的结节要经 CT 定性、随访、必要时活检才能定性。胸片 AI 因此位于临床路径最前端，其错误会被后续环节放大或纠正。这正是参考标准锚在 CT 上的原因——CT 是链条上第一个能给出明确答案的环节；也是结论不能直接推到肺癌筛查的原因——筛查对象无症状、阳性率低、随访周期长，而这里是有 CT 的就诊人群。

7.5 项目自身的演进方向

Project AIR 没有停在这次验证上。2023 年荷兰开放科学基金公告提到，团队获资助推进名为 Project AIRborne 的后续项目，目标是把「一次性验证」变成「持续测试」：同产品可在不同人群反复测，升级后重新入库，结果继续公布在 Grand Challenge 与产品目录上。这恰好回应了时间性局限——算法持续更新，单次验证很快过期，数据保密正是为了反复使用。同一公告称产品目录已收录两百余款，目录回答「市场上有什么」，验证回答「测得怎么样」；后者目前只覆盖七个产品。

§8 结果与方法细节

8.1 主结果全表

对象	版本	AUC	95% 置信区间	与阅片者的 P 值	判定
阅片者平均（17 人）	—	0.81	0.77 至 0.85	—	参照
Lunit INSIGHT CXR	v3.1.4.4	0.93	0.91 至 0.96	小于 0.001	优于
Annalise Enterprise CXR	v3.1	0.90	0.87 至 0.94	小于 0.001	优于
Oxipit ChestEye	v2.6	0.88	0.85 至 0.92	0.005	优于
Milvue Suite–SmartUrgences	v1.24	0.86	0.82 至 0.90	0.04	优于
VUNO Med-Chest X-ray	v1.1.x	0.84	0.80 至 0.88	0.26	无差异
Siemens AI-Rad Companion Chest X-ray	v9	0.80	0.75 至 0.85	0.60	无差异
Infervision InferRead DR Chest	v1.0.0.1	0.79	0.74 至 0.84	0.33	无差异

七个产品的分布有一个容易被忽略的形状：顶部密集、中部塌陷。前三名从 0.93 到 0.88，跨度 0.05；从第三名到第七名，跨度 0.09，而中间还夹着医师平均 0.81。也就是说，医师平均水平落在产品分布的中段偏下，不是垫底，也不是顶端。

Milvue 的位置值得单独看一眼。它的 AUC 是 0.86，优于阅片者的 P 值为 0.04，恰好压在 0.05 的门槛内。这个数字的稳健性依赖于方差估计方式；论文提到当 U 统计量因方差负估计无法给出置信区间时，改用非参数最大似然估计。对一款刚过线的产品，这种技术兜底的具体影响论文未展开。

8.2 阅片者一侧的数字

17 名阅片者每人读 140 例随机子集，前 5 例作为练习不计入。阅片者盲于算法输出与临床数据，只知年龄与性别。阅片在 Grand Challenge 平台上进行，而非医院影像系统。

个体阅片者 AUC 在 0.69 至 0.91 之间，跨度约 0.22，比七款产品之间的总跨度还大——医师与医师的差距，大于产品与产品的差距。把 AI 当作统一水平的替代品，会忽略院内医师本身的能力分布。

阅片者平均敏感度 71%、特异度 80%，均在统一阈值 50 下计算，与 AUC 0.81 自洽。

阅片者从 2019 年由作者所在中心与荷兰放射学会共建的医师网络招募，经验层级混合，含放射科医师与住院医师。接近真实科室结构，代价是「平均」混合了不同年资的判断力。

8.3 产品一侧的敏感度与特异度

论文只对提供了阈值的厂商报告敏感度与特异度。七款中有两款给出。

产品	敏感度	特异度	解读
Lunit INSIGHT CXR v3.1.4.4	89%	80%	与阅片者特异度相当，敏感度高出 18 个百分点
Milvue Suite–SmartUrgences v1.24	50%	99%	极低误报，代价是漏掉一半阳性

这两行放在一起，几乎就是胸片结节 AI 的困境图解。同一款产品可以在工作特性曲线上任意移动：往左走，特异度逼近满分，敏感度掉到一半；往右走，敏感度上来，误报成片。Milvue 提交的阈值显然偏保守，Lunit 的阈值接近阅片者的工作点。

注意这里的比较口径不对等：阅片者有统一阈值 50，产品各自的阈值由厂商自选。因此「Lunit 敏感度 89% 而阅片者 71%」这一句，严格说不是同一把尺子量出来的，只有在 AUC 上两者才共用口径。论文在方法段的处理是把它列为次要终点，是有意为之的克制。

8.4 亚组分析的结论形状

亚组按三个维度切：结节在胸片上的可见度、结节在 CT 上的大小、X 线设备的厂商。

可见度这一维的结论最清楚：所有算法与阅片者平均，在可见度下降时表现都下降。这条结论的方向与临床直觉一致——片子越难看，人和机器都越看不出来。它的价值不在「AI 不如人」或「人不如 AI」，而在于说明这套比较不是靠难例拉开的差距，人与机器在同一批难例上一起掉分。

结节大小这一维的结论是「多数算法与阅片者平均的 AUC 与结节大小相关性有限」。这条结论需要小心读。「相关性有限」不等于「无关」，也不等于「大小不影响检出」。它是一个统计描述，意味着在这个 5 至 30 毫米的窄区间内，大小不是 AUC 的主要驱动因素。区间本身已经很窄——小于 5 毫米的微小结节和大于 30 毫米的肿块都被排除了，区间内的变化自然有限。

设备厂商这一维的数值放在补充材料里，正文未展开。因此「跨设备稳健性如何」这个问题，只能回答「做了这个分析」，不能回答「结果是什么」。

8.5 统计模型的技术细节

统计部分的三个选择，决定了结论的可信度。

多阅片者多病例设计。这是与「简单比较均值」最重要的区别。如果只用阅片者平均 AUC 与产品 AUC 做一次普通检验，会低估阅片者之间的变异；多阅片者多病例模型同时把「病例抽样」与「阅片者抽样」两种随机性纳入方差估计，得到的置信区间更宽也更诚实。

对角平均。阅片者平均 AUC 有多种算法，取对角平均意味着把每个阅片者在其自身工作点上的表现平均起来，而不是先合并所有阅片者的判断再算一次曲线。前者保留了个体差异，后者会被高能力阅片者拉高。

iMRMC 与兜底。软件为美国食品药品监督管理局发布的 iMRMC 4.0.3 版，基于 U 统计量。当 U 统计量的方差估计为负、无法给出置信区间时，改用非参数最大似然估计。这是一个标准的技术兜底，但兜底触发了几次、影响了哪几款产品的区间，论文未逐一说明。

8.6 结果的呈现方式与可见信息量

结果呈现为两张图与两张表：一张受试者工作特征曲线图，把七款产品与阅片者平均画在同一坐标系；一张按可见度分层的亚组图；表格给 AUC 与置信区间；分层数值与产品特性在补充材料。信息量有边界——曲线看不到工作点标注，表格看不到逐例预测。论文另提示算法曲线来自未经校准的原始分数，防止把曲线位置读成「分数可比」；跨产品比较靠的是 AUC 这个归一化指标。

§9 参与方与背景

9.1 牵头机构

Radboud University Medical Center，位于荷兰奈梅亨，简称 Radboudumc。承担本基准的是其诊断影像分析组（Diagnostic Image Analysis Group，DIAG），这是一个长期从事医学影像计算的长设研究组，在肺结节计算机辅助检出、胸片骨抑制、深度学习分割等方向有多年积累。

伦理审查也由该中心的伦理委员会出具。论文写明：因数据为回顾性收集，知情同意要求被豁免；所有临床数据在进入分析前完成匿名化。

第二署名单位是 Jeroen Bosch Hospital，位于荷兰登博斯，与 Radboudumc 并列出现在方案的著者隶属里。这解释了样本为什么能覆盖教学医院与综合医院两类：数据不全来自学术中心。

9.2 关键人物

姓名	角色	与本研究的关系
Kicky G. van Leeuwen	第一作者、通信作者	项目主要执行者，论文与两份方案的第一作者
Steven Schalekamp	共同作者、参考标准判读者	8 年胸部放射经验，独立完成全部参考标准判读
Matthieu J.C.M. Rutten	共同作者	并列隶属 Radboudumc 与 Jeroen Bosch 医院
Maarten de Rooij	共同作者	参与框架设计与方案撰写
Bram van Ginneken	共同作者、研究组负责人	影像分析组负责人，开放科学基金项目申请人

署名采取「具名作者加 Project AIR 工作组」，让未逐一点名的参与者也被承认为作者，代价是无法从署名判断实际人数。

9.3 影像来源与中心构成

七家荷兰医疗中心，胸片臂的构成为三家学术医院、三家教学医院、一家综合医院。这个构成与骨龄臂不同（一份学术、五份教学、一份综合），说明两臂的中心并非同一批。

设备方面，论文点名五家厂商：Siemens、Philips、Canon、Agfa、Hologic。检查协议要求使用各中心的本地标准化协议，带电自动曝光控制，管电压 115 至 150 千伏。CT 可带或不带对比剂，层厚 3 毫米及以下。

这里有一个容易被跳过的信息：胸片臂的管电压区间是 115 至 150 千伏，而骨龄臂是 40 至 50 千伏。两个数字不能混着用，它们对应的是完全不同的检查类型与曝光逻辑。

9.4 受邀与参与的产品

肺结节方向共 14 家厂商受邀，7 家参与，参与率 50%。参与的七款产品与厂商如下：

厂商	产品	版本
Annalise.ai	Annalise Enterprise CXR	v3.1
Infervision	InferRead DR Chest	v1.0.0.1
Lunit	INSIGHT CXR	v3.1.4.4
Milvue	Milvue Suite–SmartUrgences	v1.24
Oxipit	ChestEye	v2.6
Siemens Healthineers	AI-Rad Companion Chest X-ray	v9
VUNO	Med-Chest X-ray	v1.1.x

方案第四节点名的候选产品共 14 款，除上述七款外还列有 Gleamer 的 ChestView、JLK 的 JLD-02K、Quibim 的胸片分类器、Qure.ai 的 qXR、Rayscape 的胸片产品、Riverain 的 ClearRead Xray–Detect、三星电子的 Auto Lung Nodule Detection。方案原文对这些缺席者的措辞是「可能符合条件的产品初步名单」，并欢迎补充。邀请的是产品，最终参与与否由厂商决定。

9.5 与骨龄臂的人员交叉

两臂共用同一批核心作者与同一套框架，产品侧只有一个交叉点：VUNO 同时参加了骨龄与胸片两个方向。这也是「九个产品来自八家厂商」这个算式成立的原因——九个产品、八家厂商，差的一家就是双栖的 VUNO。

论文摘要里「九分之十七」的表述容易被误读为「胸片臂九个产品」。实际是两臂合计九个产品、八家厂商，胸片臂单独是七款、七家。

9.6 利益冲突与独立性声明

论文声明段列出的关系值得逐条并读。

第一作者接受 Contextflow 与 Siemens Healthineers 的讲课酬金，并接受 Bayer 的会议差旅支持。其中 Siemens Healthineers 恰是本基准所测七款产品之一的厂商。共同作者 Rutten 接受 Bayer、DeepC、MedicalPHIT 的讲课酬金，并在欧洲医学影像信息学会等机构担任委员。Schalekamp 与 de Rooij 声明无相关关系。另有一位作者接受 Elsevier 与 Thieme 的版税，以及 Canon、Boehringer、Philips 的讲课酬金。

这些声明与论文的另一句话需要并列阅读：厂商对提交的数据与用于发表的信息没有控制权。两句合在一起，构成的是「研究者有产业联系，但产业对结果无控制权」这一状态。它比「研究者零产业联系」弱，比「厂商主导评测」强，属于第三方验证研究中常见且可接受的中间形态。要评估结论的独立性，应当把这两句一起引用，只引其中一句都会失真。

9.7 平台角色

Grand Challenge 在此扮演三个角色：托管排行榜、承载阅片界面、转递数据与结果。论文点明该平台出自 Radboudumc 的同一研究组——验证方、平台方、阅片工具提供方同源。这不说明结果有问题，而是说明独立性来自制度设计（数据不给厂商、算法隔离运行、方案公开），不来自组织隔离。

§10 局限、争议与使用建议

10.1 论文自陈的三条局限

论文在讨论段明确列出三条局限，措辞相当直接。

第一条是厂商参与度不足。部分合格产品的厂商选择暂不参与，论文给出的推测是公开披露产品名称与表现可能影响市场表现。这条局限的后果是选择偏差无法排除。

第二条是只评估独立性能，不评估决策支持场景。多数商用产品在临床上被定位为辅助工具，使用时医师会看到算法的提示再做判断；而本研究测的是算法单独跑的样子。购买决策还会牵涉功能、界面、工作流集成、服务与支持，这些都不在评测范围内。论文承认，在决策支持场景下做前瞻性、可重复的验证技术难度大、耗资高，且放射科医师时间本就稀缺，因此本研究的定位是「目前可获得的最佳证据」，而不是「最终答案」。

第三条是数据与阅片环境异于临床。图像在挑战赛平台而非影像系统上阅读；要求优化显示器与环境光，但无法实际控制；未提供临床信息；任务定义明确单一；数据分布与临床实践存在差异。由此得出的结论是：医师的表现只能在本研究语境下理解，不能外推到临床实践。

三条局限的顺序本身就有信息量：参与度排第一，说明作者认为选择偏差是最要紧的问题；独立性能排第二，说明「决策支持场景」的缺位被视作方法学上的根本边界，而非可以补做的附加实验。

10.2 论文未自陈但可核查的边界

另有几处边界可从数据本身核出。

其一，阳性率固定。37% 的阳性率与筛查人群（常在百分之一以下）相差一个数量级，阳性预测值会随之大幅不同；论文未做定量外推。

其二，年龄结构单一。均值 64 岁、标准差 11 岁，年轻成人与儿童完全缺位。

其三，单阅片者标签。标签不确定性不进置信区间，区间会显得比实际更确定。

其四，纵向信息缺失。每人只取一次检查，无法回答生长速率一类问题。

其五，阈值数据不完整。七款仅两款给阈值，敏感度与特异度的比较只在两行上成立。

10.3 关于「AI 超过医师」的争论

论文的表述是克制的——「四款表现优于阅片者，其余无差异证据」——二次传播里却常变成「AI 打败了放射科医师」。判断这个说法成不成立，要拆成三个问题。

第一，比较的是什么？是独立运行性能，不是人机协同。真实场景里医师会用 AI 的提示，能力可能高于两者各自单独的表现，也可能因为过度依赖而下降。本研究没有测协同，因此不能回答「AI 能不能帮医师」。

第二，比较的基准是什么？是 17 名经验混合的阅片者在一项明确单一任务上的平均表现，不是放射科医师在完整临床场景中的判断。任务明确化会同时影响人和机器的表现，方向未必相同。

第三，差距有多大？AUC 相差 0.05 至 0.12，置信区间多数分离。这是稳定的差异，但换算成临床收益，需要落在具体阈值与具体人群上才有意义。

稳妥的表述是：在荷兰七家医院 386 例成人胸片、任务定义明确的条件下，四款产品对「有结节与无结节」的排序能力高于阅片者平均水平；此结论不涵盖人机协同，也不直接换算为临床收益。

10.4 使用建议

适合使用的情形：

• 做院内 AI 采购前的初筛，需要一份有第三方背书的产品清单；
• 设计本院验证方案，需要一份可直接改写的协议模板；
• 撰写综述或方法学论文，需要引用一份独立验证的实例；
• 教学场景，需要讲清「独立运行性能」与「临床效用」的区别。

不适合使用的情形：

• 需要训练数据或迁移学习语料；
• 需要病灶定位、分割或体积测量；
• 需要肺癌筛查人群的性能估计；
• 需要磨玻璃结节或微小结节的相关结论；
• 需要儿科、青年人群的结论；
• 需要在本地复现榜单成绩。

使用时必须同时写出的限定语：

规模上，386 例、144 例阳性、242 例对照，来自荷兰七家医院，采集于 2012 年至 2022 年。指标上，患者级受试者工作特征曲线下面积，不是检出率，不是敏感度。对象上，七款已获欧盟认证的商用产品，版本锁定在 2022 至 2023 年窗口。性质上，独立运行性能验证，不涵盖决策支持场景与工作流因素。

10.5 三句话总结

第一，它不是数据集，是一次产品横向评测：386 例保密影像、七款在售产品、17 名阅片者，产出是一张榜和一篇论文。

第二，它的核心结论可以概括为「多数产品与医师相当，四款略高」，且所有产品与医师在难例上一起掉分，这说明差距不在难例。

第三，它的用法是「读结论、抄协议、不下载」——真正可迁移的是那套让比较变公平的制度设计，而不是榜上的七个数字。

附录 A：关键数字速查

A.1 规模与构成

名称	数值	口径
初始采集	561 张	2012-01 至 2022-05，7 家荷兰中心
满足纳入	404 张	剔除 157 张，逐项未拆
公开子集	18 张	按中心分层，CC BY，不入分析
验证集	386 例	患者数等于影像数
结节病例	144 例	—
对照	242 例	—
附侧位片	383 例	3 例无
平均年龄	64 岁，标准差 11	成人
男性	223 例	—

A.2 产品与指标

名称	数值	口径
受邀厂商	14 家	胸片臂
参与厂商	7 家	参与率五成
阅片者	17 名	每人 140 例
阅片者均值 AUC	0.81	0.77 至 0.85
阅片者敏感度 / 特异度	71% / 80%	阈值统一为 50
最高 AUC	0.93	Lunit，0.91 至 0.96
最低 AUC	0.79	Infervision，0.74 至 0.84
优于阅片者	4 款	显著性检验成立
无差异证据	3 款	未拒绝零假设
结节纳入径线	5 至 30 毫米	CT 上实性成分

A.3 时间与许可

名称	取值
影像采集窗口	2012-01 至 2022-05
招募窗口	2022-06 至 2022-11
验证窗口	2022-06 至 2023-01
方案发布	2023-01-26，v3
论文发表	2024-01-09，Radiology 310(1)
方案许可	CC BY 4.0
样片许可	CC BY
验收集	保密

附录 B：术语表

缩写	英文	中文	在本语境中的含义
PAIR	Project AIR	AI 放射学项目	AIR 展开为 AI for Radiology
CXR	chest radiograph	胸片	检查模态
CT	computed tomography	计算机体层成像	参考标准的来源
PA	posteroanterior	后前位	胸片的投照方向
AUC	area under the ROC curve	受试者工作特征曲线下面积	主指标，患者级
ROC	receiver operating characteristic	受试者工作特征	衡量排序能力
MRMC	multi-reader multi-case	多阅片者多病例	读者研究的统计设计
iMRMC	—	多阅片者多病例分析软件	FDA 发布，v4.0.3
AMI	Amazon Machine Image	亚马逊机器镜像	一种算法交付方式
CE	Conformité Européenne	欧盟合格标志	产品准入条件
CI	confidence interval	置信区间	95% 水平
PACS	picture archiving and communication system	影像存档与通信系统	真实阅片环境
DICOM	—	医学数字成像与通信标准	文件格式
Fleischner	—	弗莱施纳学会	结节分类指南来源

附录 C：核对清单

使用或引用本基准前，逐条核对：

1. 是否写明了是胸片臂而非骨龄臂。
2. 规模是否写成 386 例，而不是 561 或 404。
3. 阳性例数是否写作 144，对照写作 242。
4. 指标是否写明为患者级 AUC，而非检出率或敏感度。
5. 是否带上了产品版本号。
6. 是否注明了 2022 至 2023 的验证窗口。
7. 涉及三款「无差异」产品时，措辞是否避开了「更差」。
8. 涉及第一名的成绩时，是否同时给出了它对应的置信区间。
9. 是否说明验收集保密、CC BY 只覆盖 18 张样片。
10. 是否点明结论仅限独立运行性能，不涵盖决策支持。

附录 D：常见检索模板

目的	检索式
找官方页	pairlungnodulexr22 grand-challenge
找论文	10.1148/radiol.230981
找方案	Project AIR lung nodule study protocol zenodo
找同类胸片基准	JSRT chest radiograph nodule database
找 CT 对照	LUNA16 / LIDC-IDRI / LNDb
找消歧对象	PAIR-BST pathology
找后续项目	Project AIRborne Radboudumc

检索时可加的两个限定词：stand-alone validation（区分于训练研究）、commercial AI（区分于学术模型横评）。

附录 E：DAIMS 评估

维度	评级	说明
数据标识	强	有独立 DOI、独立子站、版本化方案
数据质量	中	参考标准以 CT 为锚，但单阅片者、无一致性报告
数据可获取性	弱	验收集不公开，仅 18 张样片与聚合结果
数据互操作性	中	采用 DICOM 与通用统计口径，但无公共 schema
数据溯源	强	论文、方案、榜单三处互相印证，修订记录可查
数据治理	中	有伦理审查与匿名化声明，厂商无数据控制权，但参与名单不完整
元数据完整性	弱	分层数值多在补充材料，逐例字段不公开
可重复性	弱	榜单可读、结论可引，但无法本地复现
及时性	中	榜单可随新产品更新，论文版本为 2024 年快照
文档质量	强	方案篇幅短、条款具体，失败处理等细则写得明确

十项里三项强、三项弱，分布反映的是这类「保密验收集」的固有形态：文档与流程做得越细，可下载的部分就越少。

附录 F：常见问答

Q1：为什么要把 561 张筛到 386 例？

采集 561 张后，剔除不满足纳入条件者（无 3 个月内 CT、床旁片、质量不达标、弥漫性病变）剩 404 张，再留出 18 张作公开子集，余 386 例进入验证。

Q2：为什么只报告了两款产品的敏感度与特异度？

这两个指标需要阈值，方案把提供阈值设为厂商可选项，七款中只有两款给出。

Q3：这个基准与 LIDC-IDRI、LUNA16 有什么关系？

没有数据关系。那两个是 CT 上的结节级基准；这里用胸片、评患者级判断、数据保密。任务定义与模态都不同。

Q4：18 张 CC BY 样片可以商用吗？

许可允许，但只有 18 张且不入分析，实际用途仅限于跑通流程与核对格式。

Q5：上榜的七款是否就是市面上最好的七款？

不是。七款是自愿参与的结果，另有七家受邀未参加，榜单只构成参与者的成绩单。

Q6：如果本院要用这类产品，应该先做什么？

先明确需求偏向漏诊还是误报，再锁定产品版本，核对阈值下的敏感度与特异度，最后按本基准的协议做一次本地小规模验证。

编辑说明

核验时间与方式：2026-10-18。核验依据三类一手材料：Grand Challenge 官方子站首页（含摘要与标题）；《Radiology》论文全文（DOI 10.1148/radiol.230981，含方法段、结果段、讨论段与图注）；Zenodo 两份研究方案第三版（通用框架 10.5281/zenodo.7573175，胸片方案 10.5281/zenodo.7573186）。辅助材料为 Radboudumc 2023 年开放科学基金公告与一篇行业报道，仅用于补充项目演进与人物信息，不用于任何数字。

双口径冲突的处理：

1. 任务线索中的「2017 / 2022」在官方材料中对应骨龄臂的采集起止月份（2017 年 1 月至 2022 年 1 月），胸片臂为 2012 年 1 月至 2022 年 5 月。正文一律按胸片臂实际口径书写，未采用「2017 例 / 2022 例」的说法。
2. 显著度分级：方案第三版列五档（含「不可见」），论文正文列四档。正文按论文四档书写，并在陷阱部分注明方案多一档。
3. 阳性阴性比：方案预设一比二，实际为 144 比 242（约一比一点六八）。两处并列，未推断原因。
4. 厂商计数：论文摘要「九分之十七」为两臂合计（九个产品、八家厂商），胸片臂单独为七款、七家。VUNO 两臂均参加，是「产品数多于厂商数」的原因。

未覆盖内容：各产品逐款部署方式（本地或镜像）、显著度与大小分层的具体 AUC、X 线设备厂商分层数值、18 张样片的下载入口与文件清单、论文的开放获取条款、Project AIRborne 的具体上线时间与首批判测任务。以上均在正文中标注为「论文未披露」或列为疑点，未作推测性填充。

版本日志：本稿为首版，2026-10-18 定稿。

下次复核重点：榜单是否新增产品或新版本；Project AIRborne 是否发布新的验证结果；论文补充材料中的分层数值是否可获取。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• chexlocalize — 共享标签：医学影像 / X光影像 / 评测基准 / 肺癌
• cxr-lt — 共享标签：医学影像 / X光影像 / 评测基准 / 肺癌
• node21 — 共享标签：医学影像 / X光影像 / 评测基准 / 肺癌
• jsrt — 共享标签：医学影像 / X光影像 / 肺癌
• chexstruct-cxreasonbench — 共享标签：医学影像 / X光影像 / 评测基准
• rad-eval-x — 共享标签：医学影像 / X光影像 / 评测基准
• montgomery-tb — 共享标签：医学影像 / X光影像 / 评测基准
• icbhi-2017 — 共享标签：医学影像 / X光影像 / 评测基准
• pairboneage22 — 共享标签：医学影像 / X光影像 / 评测基准
• cariesxrays — 共享标签：医学影像 / X光影像 / 评测基准

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。