信息速览
PAIR 骨龄 2022 是荷兰 Project AIR 项目的骨龄臂，2022 年以 PairBoneAge22 之名在 Grand Challenge 平台上线，2024 年 1 月随《Radiology》论文正式公布结果。它从荷兰七家医院的常规检查中抽取 326 张 0 至 18 岁儿童左手 X 光片，让两款已经上市的商用骨龄软件独立出结果，再与 14 名医师读者的判读并排比较。验收集本身不公开，公开的是排行榜、方法细节与 18 张示例影像。
骨龄判读长期靠图谱比对，同一张片子换个医师就可能差出半年到一年。厂商在宣传材料里给的误差数字，多半出自自建数据集或自家标注，既缺外部监督，也难以横向对照。这个基准要补的正是这一环：把产品放进未参与开发的医院、未参与训练的人群、统一的参考标准之下，用同一把尺子量，并同时量一遍人类，给出一个可以复述的比较结论。
打算采购骨龄软件、或正在做儿科影像 AI 评测的团队，可以把它当作方法学模板来读：抽样怎么去偏、参考标准怎么合成、读者组怎么设计、指标怎么选。使用前需要记住两件事：其一，证据只覆盖两款产品与荷兰人群；其二，论文的结论是产品与医师持平，不是产品胜出。
§1 它是什么
1.1 一句话定义
PairBoneAge22 是一份产品级独立验证基准，而非影像图库。它的产出物是一份排行榜和一篇同行评议论文，主体是「若干商用骨龄算法在同一批未公开影像上的误差」，不是「一批可以被下载、被训练、被二次标注的影像」。这两类资产在数据集百科里常被混为一谈，但它们的可获取性、许可条款与使用方式几乎相反：图库开口子是「下载后怎么用」，基准开口子是「读完后怎么引」。
之所以要单独立条，是因为它的「数据」部分极薄而「评测协议」部分极厚。326 张片子、18 张示例、若干统计表，单看体量不值一提；但抽样如何从 1,050 张压出 350 张再压到 326 张、参考标准如何由三次读数变五次读数、读者组怎样分经验层级、产品如何在不接触数据的前提下出结果——这一整套流程才是资产的核心。
1.2 名称的三种写法
同一个对象在三个地方有三个名字，检索时容易漏：
| 出现位置 | 写法 | 说明 |
|---|---|---|
| Grand Challenge 子站域名 | pairboneage22.grand-challenge.org | 平台生成的 slug，小写无连字符 |
| 平台页面标题 | Project AIR - commercial AI for bone age prediction on hand XR | 描述性标题，含项目名与任务名 |
| 平台内部项目名 | PairBoneAge22（亦见 Pair Bone Age 2022） | 驼峰写法，站内导航与摘要使用 |
| 论文 | Comparison of Commercial AI Software Performance for Radiograph Lung Nodule Detection and Bone Age Prediction | 未在标题中单列骨龄臂，两任务合写 |
中文语境里常见三种指称：「PAIR 骨龄 2022」「Project AIR 骨龄验证」「PairBoneAge22」。三者等价。需要注意的是，PAIR 这个缩写在医学影像圈至少还有另一个所指——三星首尔医院发布的骨与软组织肿瘤病理数据集 PAIR-BST，两者毫无关系，且 PAIR-BST 中的 PAIR 是 Pathology AI Research 之意，与本项目的 AI for Radiology 不同源。检索时若只搜「PAIR」，两条结果会同时出现。
Project AIR 全称为 AI for Radiology，是一个持续运行的荷兰国家项目，官方定位是「对市售放射 AI 产品做客观比较」。骨龄只是其中一条臂，与它同期发布的还有胸片肺结节检测臂，后者在平台上单独占一个子站。项目方在 2024 年论文中把两条臂合并成一篇，因此论文标题里出现「lung nodule detection and bone age prediction」并列的两个任务；只做骨龄研究的团队检索时容易误以为论文不含骨龄内容。
1.3 项目背景与动因
论文引言给出的立项动因，可归为两条互相推动的事实。
其一是产品数量与证据数量的失衡。欧盟市场上的放射 AI 软件已超过 200 款，仅乳腺摄影恶性检出就有 12 款、脑区或病灶量化超过 30 款；而一项综述发现三分之二的 CE 认证产品找不到任何公开发表的性能证据，即便有，研究也常由厂商自己设计或资助。其二是协议不一致：不同研究的数据集、参考标准与纳入条件各不相同，两份白皮书放在一起读，差异可能全部来自设计而非产品。
第三条动因是「独立验证」的缺位。所谓 stand-alone validation，指产品在完全不接触验证数据的条件下运行——厂商看不到影像、拿不到标签、不能针对测试集调参，只在最后提交结果。这要求验证方自己掌握数据、自己定义参考标准、自己设计统计口径。Project AIR 的制度设计正围绕这三件事展开，其中统计方案预先注册一项，把「事后挑指标」的空间也一并关掉了。
1.4 与训练型数据集的根本区别
初学者最容易犯的错，是把它当作「又一个骨龄数据集」，进而问「在哪里下载」「有多少张」「能不能做迁移学习」。这三个问题在这个对象上都不成立。
| 维度 | 训练型骨龄数据集（如 RSNA 2017） | PairBoneAge22 |
|---|---|---|
| 主要用途 | 训练与评测模型 | 评测已上市产品 |
| 影像是否公开 | 公开下载 | 不公开（仅 18 张示例） |
| 标签形态 | 每例骨龄月数 + 性别 | 参考骨龄不逐例发布 |
| 体量逻辑 | 越大越好 | 够用即可，重在设计 |
| 交付物 | 影像压缩包 + CSV | 排行榜 + 论文 + 示例片 |
| 复现方式 | 本地跑模型对榜 | 无法本地复现，只能读结论 |
| 许可 | 多为开放或研究许可 | 论文版权 + 示例片 CC BY |
这张表解释了为什么「数据构成」一节读起来更像实验设计而不是数据字典：字典只有寥寥几个字段，且这些字段本身不对外。
1.5 时间线
| 时间 | 事件 |
|---|---|
| 2017 年 1 月 | 最早一批验证影像的采集起点 |
| 2022 年 1 月 | 最晚一批验证影像的采集终点 |
| 2022 年 6 月 | 验证实施窗口开始，九个产品陆续接入 |
| 2022 年前后 | Grand Challenge 子站 pairboneage22 上线，项目名定为 PairBoneAge22 |
| 2023 年 1 月 | 验证实施窗口结束 |
| 2023 年 1 月 31 日 | 研究方案在 Zenodo 预注册（骨龄臂单独一份） |
| 2023 年内 | 稿件投递与同行评议 |
| 2024 年 1 月 9 日 | 《Radiology》第 310 卷第 1 期以 e230981 号在线发表 |
| 2024 年 1 月 | 同期刊发评论文章，讨论该研究的证据价值 |
| 2024 年至今 | 排行榜在平台长期在线，供查阅 |
时间线里有两个错位。其一是「挑战赛」这个称谓与实际性质不符：它挂着 Grand Challenge 的名号，却没有开放的提交窗口、没有参赛队伍、没有赛后更新机制，更接近一次性完成的横向评测。其二是采集窗口与发表时间的间隔——影像截止 2022 年 1 月，论文 2024 年 1 月见刊，这两年里产品可能已发布新版本，而榜单锁定的是 2022 至 2023 年间送测的具体版本号。
1.6 版本与产品标识
基准本身没有 v1/v2 的迭代，是单次静态发布。但被评测的产品有明确的版本号：Visiana BoneXpert 为 v3.1.4，VUNO Med-BoneAge 为 v1.1。同类产品在两三年内完成主版本升级是常态，算法迭代后误差分布可能明显变化；若省略版本号，读者会把这个数字当成产品的恒定属性。
§2 数据构成
2.1 总体规格
验证集最终进入统计的是 326 张影像，对应 326 名儿童，每人一张，遵循「一名儿童只取一次检查」的原则。这个数字在论文的方法、结果与摘要三处一致，也与平台页摘要一致，是本对象最硬的一个数。
| 项目 | 规格 | 可靠性 |
|---|---|---|
| 患者数 / 影像数 | 326 / 326（一人一片） | 论文与平台双源一致 |
| 年龄范围 | 0 至 18 岁 | 论文纳入标准 |
| 平均年龄 | 10 岁，标准差 4 | 论文 |
| 性别 | 女 173，男 153 | 女数直接给出；男数为 326 减 173 推算 |
| 采集时间 | 2017 年 1 月至 2022 年 1 月 | 论文 |
| 医院 | 7 家（1 学术 + 5 教学 + 1 综合） | 论文 |
| 设备厂商 | Siemens、Philips、Canon | 论文 |
| 管电压 | 40 至 50 kV | 论文 |
| 曝光时间 | 3 至 17 毫秒 | 论文 |
| 体位 | 左手正位 | 论文纳入标准 |
| 公开示例 | 18 张，CC BY | 论文 |
这张表里唯一需要标注「推算」的是男性人数。论文摘要只写「173 female patients」，没有直接写男性数；326 减去 173 得 153，与平台摘要里的「153 males」吻合。两处独立表述互相印证，故可采信，但推导路径应当写明。
2.2 抽样链条
从临床库到 326 张，中间有四道减法，每一步都影响样本的代表性。第一步从七家医院汇总 1,050 张符合条件的手部 X 光片，条件是左手、正位、0 至 18 岁、每名儿童只取一张、质量可判读。第二步按中心等量抽样，每家随机抽 50 张，合计 350 张；等量抽样的用意是避免大医院主导样本，代价是抽到的片子未必与该院的真实年龄分布一致。第三步排除右手片 4 张与手部严重变形 2 张，右手混入多半是采集端标注失误，也提醒自建验证集必须单设左右手核查。第四步留出 18 张作为对外展示样本。
350 减 4 减 2 减 18 正好是 326，链条闭合。这个算术自洽性是判断二手转述是否准确的快捷检验：写成「330 张」「344 张」的说法，都是把某个中间状态当成了最终结果。
2.3 影像来源与设备特征
七家医院均位于荷兰，构成为一家学术医院、五家教学医院、一家综合医院。样本因此以「有儿科放射常规能力的二级以上医院」为主，不含基层诊所或独立影像中心，也不含发展中国家的设备条件。
设备厂商为西门子、飞利浦与佳能，管电压统一在 40 至 50 千伏，曝光时间 3 至 17 毫秒。这组参数是儿童手部摄影的常规设置，特点是低剂量、短曝光，代价是噪声相对较高；对依赖骨纹理细节判断成熟度的算法而言，噪声水平直接影响表现。在剂量显著更高或更低的设备上，误差分布可能不同，这是明确的适用边界。
影像格式与技术细节（位深、是否经厂商后处理、是否统一重采样）论文未逐项披露。这对复现构成实质障碍——即便拿到影像，若不知预处理链路，也难以判断误差差异有多少来自算法、多少来自图像处理。
2.4 参考标准的构造
参考标准不是医院报告里的现成结论，而是专为本研究重新判读的产物，构造过程分两层。
第一层是三名主读专家独立判读。三人都是儿科或肌骨方向的放射科医师，经验分别为 26 年、23 年与 11 年。判读方法为 Greulich-Pyle 图谱法，即把待判影像与标准图谱逐张比对，选出最接近的一张，取其对应骨龄。GP 法是骨龄判读的两大主流方法之一，另一主流为 Tanner-Whitehouse 评分法；前者快、依赖整体印象，后者细、需要逐骨打分。本研究选择 GP，与荷兰临床实践一致。
第二层是争议重读。若三名主读中任意两人的判读差值超过 2 年，该例转入复读环节，由另外两名资深专家（经验 24 年与 22 年）各判一次。触发这一条件的有 15 例。对这 15 例，最终参考值取五次读数的均值，而不是三名主读的均值。
第二次读数相差两年在成人看来很大，在儿童骨龄判读中却属常见分歧——青春期前后骨龄年增长可达一年以上，图谱比对时选错相邻一张就可能差出一年半。设两年阈值的效果是把明显不一致的个案挑出来交给更多专家仲裁，而不是把全部分歧都抹平。
论文没有单独报告三名主读的组内相关系数或一致性统计。这意味着参考标准自身的不确定度未被量化，无法计算产品误差中有多少来自参考标准噪声。稳妥的表述是：报告值是观测误差，可视为真实误差的上界。
2.5 读者对照组的构成
人类对照不是三名主读专家，而是一个独立的 14 人读者组。这一设计容易被忽略，但它是整个研究最关键的一个对照。
14 名读者每人从 326 张中随机抽取 95 张判读，条件与算法相同：只给影像，不给临床信息，输出骨龄年数。经验层级跨越住院医师到专科医师，具体分层人数论文未逐档列出。判读结果同样按 GP 法换算为年，与参考标准比较后计算 RMSE、相关系数与偏差。这种设计回答的是采购方最关心的问题：不用 AI 而让医生来读，误差是多少。算法误差若与医生相当，引入 AI 的价值主要在效率而非精度；若明显优于医生，才能在精度上主张增益。本研究的结论落在前一种情形。
读者组设计有两处需注意。其一，每人只读 95 张，约为验证集的三成，个体层面的区间较宽，论文因此只报组均值。其二，读者判读与参考标准使用同一套 GP 图谱，存在方法同源性——分歧主要来自个人经验而非方法差异；若换成 TW 评分法的读者，误差分布很可能不同。
2.6 字段表
从数据资产角度看，一条记录的字段极为精简：
| 字段 | 类型 | 含义 | 可靠性 |
|---|---|---|---|
| patient_id | 匿名标识 | 患者唯一编号，一人一条 | 依惯例推定，论文未列字段名 |
| image | DICOM / PNG | 左手正位 X 光片 | 论文 |
| chronological_age | 年（小数） | 实际年龄 | 论文 |
| sex | 男 / 女 | 性别 | 论文 |
| bone_age_reference | 年（小数） | 专家共识参考骨龄 | 论文 |
| reader_bone_age | 年（小数） | 14 名读者各自判读（仅 95 张子集） | 论文 |
| center | 1 至 7 | 采集医院编号 | 依论文描述推定 |
字段名是依通行做法拟定的示意，论文正文以自然语言描述，未给出正式的数据字典表。这一点在引用时应当说明：不能把上表的字段名当作官方字段名。
2.7 数据字典之外的三类缺失
第一类是标注过程记录。哪些例触发复读、五次读数分别是多少、各读者的经验年限分布，论文只给了触发例数，没有逐例明细。第二类是设备与预处理元数据。厂商、管电压、曝光时间有区间描述，但每张片子对应哪台机器、是否经过锐化或对比增强、是否重采样，均未披露；对于分析误差来源的研究（例如「算法在佳能设备上是否更差」），这些字段是必需的。第三类是读者与算法的配对情况，见上节。
2.8 与同类资产的结构对比
把 PairBoneAge22 放进骨龄资产的谱系，可以看出它占据一个特殊生态位。一端是公开训练库，如 RSNA 2017 儿科骨龄挑战赛数据集，体量上万张、标签为月龄、许可允许研究使用，是全世界的骨龄算法共同起点。另一端是各类单中心回顾性研究，用本院数据自建测试集，样本几十到几百张，结论只在本地成立。PairBoneAge22 处在两者之间偏评测的一侧：样本量接近单中心研究，但通过七中心等量抽样获得跨机构属性，通过产品送测获得外部效度，通过同行评议获得方法学背书。
这个位置决定了它的引用方式：不适合作为训练数据引用，适合作为「独立验证的参照标准」引用。撰写方法学章节时，它可以是「我们参照 Project AIR 的七中心等量抽样与五人共识参考标准设计验证集」这类句子的依据。
§3 怎么拿到
3.1 三层可获取性
PairBoneAge22 的可获取性要分三层来看，混在一起谈必定出错。
第一层，平台页面。pairboneage22.grand-challenge.org 完全公开，不需要注册、不需要申请，浏览器打开即读。页面上有项目简介、论文摘要、排行榜与联系信息。这一层无门槛。
第二层，方法学细节。以《Radiology》论文为准，通过 DOI 访问。论文是全文可读的，包含抽样流程、排除标准、参考标准构造、统计方法与全部结果表。这一层需要期刊访问权限，机构订阅或开放获取渠道均可。
第三层，影像数据。不公开。论文明确写出验证数据保持机密，且未向参与评测的厂商提供。公开的只有 18 张留出示例片，按 CC BY 许可发布。这一层对绝大多数使用者是关闭的。
三层分开看，结论就清楚了：这是一个可以读、可以引、但不能下载复算的基准。写进方法学综述没有障碍，当作自有模型的测试集则完全做不到。
3.2 平台页面怎么读
平台子站的页面结构在各类医学挑战赛里是统一的，本对象可用的信息块有三处。
顶部是项目标题与一句话定位，紧接一段加粗说明，指出这是 Project AIR 的排行榜，用于客观比较市售放射 AI。这段说明本身就是最重要的元信息——它把「排行榜」而非「数据集」放在首位，只看标题容易误判资产类型。
中部是论文摘要，与期刊正式摘要几乎逐字一致。平台写「mean age, 10 years±4 [SD]; 153 males」，期刊写「mean age, 10 years ± 4 [SD]; 173 female patients」，两处指同一批人，男女数互补。这种「同一摘要、两种性别口径」在转述中极易被当成数据打架，实际只是各自选择了不同的报告习惯。
末尾是排行榜区，以图形展示各产品的误差与置信区间。若只看到图形而无表格，需以论文结果表为准。
3.3 论文条目导览
论文是标准的原创研究格式，与本对象直接相关的是以下几处。
方法部分的第一小节交代研究设计与伦理审批，说明这是 Project AIR 框架下的回顾性研究，经 Radboudumc 研究伦理委员会审查，知情同意被豁免。这类豁免在回顾性影像研究里常见，前提是数据已匿名化且不影响患者权益。
方法部分随后分两块分别描述骨龄与肺结节。骨龄块包含：纳入排除标准、每中心抽样数量、排除数量、参考标准读者资历、复读触发条件、参与产品的选择与接入方式、人读者组的设计、统计指标。这一块是复现方法学的唯一依据，值得逐句读。
结果部分先报样本特征，再报两款产品与人读者的 RMSE、相关系数与偏差，然后按性别与年龄分层展开，最后是 Bland-Altman 分析的图示。图表部分包含误差随年龄变化的散点或曲线，是理解「误差在哪个年龄段最大」的关键。
讨论部分交代局限：样本量、单国人群、产品参与度、参考标准的主观性。
3.4 研究方案预注册
论文脚注给出了研究方案在 Zenodo 的存档编号，骨龄臂单独一份（10.5281/zenodo.7573224），另有总方案与肺结节臂方案各一份。预注册的意义在于：统计方法与主要终点在数据揭盲前就已固定，事后不能因为结果不理想而更换指标。对引用者而言，方案可用于核对论文报告的分析是否与最初设计一致——例如计划用哪些指标、是否计划做年龄分层、样本量如何确定。若论文增加了方案外的分析，通常在讨论中会标注为探索性。需要说明的是，Zenodo 上的方案是文档而非数据，不含影像，也不含逐例结果。
3.5 示例影像的许可边界
18 张示例影像标注为 CC BY 许可。这个许可允许复制、分发、改编，甚至商业使用，条件只是署名。从法务角度看，这 18 张是整份资产里唯一可以被自由使用的部分。
但从科研角度看，18 张几乎不能做任何事：不能训练（样本太少，且分布不代表全体），不能作为测试集（无统计功效），甚至不能用来做案例分析（论文未公布这 18 张对应的参考骨龄）。它们的实际用途是：让读者看清影像的设备风格、体位、曝光与后处理特征，判断自己的数据与之是否可比。
有一处常见的误读必须点出：CC BY 覆盖的是这 18 张，不是 326 张。看到「该数据集以 CC BY 发布」就认为整套可下载，是转述中最典型的错误。论文的表述是公开子集以 CC BY 发布，主语是「子集」，不是「数据集」。
3.6 论文本身的版权
《Radiology》由北美放射学会出版，论文版权归该学会所有，采用标准版权条款而非完全开放获取。这意味着可以引用、可以做摘要、可以在教学场合使用图表（通常受合理使用约束），但大规模转载全文或整表复制需要授权。
转述性写作的合理做法是引用结论与数字并标注 DOI，不整段复制论文正文；文中所有数字均可回原文逐节核对。
3.7 获取路径汇总
| 目标 | 路径 | 门槛 | 许可 |
|---|---|---|---|
| 看排行榜与方法概述 | 平台子站 | 无 | 平台条款 |
| 读完整方法与结果 | 论文 DOI | 期刊访问 | RSNA 版权 |
| 读研究方案 | Zenodo 存档 | 无 | 开放许可 |
| 取 18 张示例片 | 论文补充材料 / 平台 | 视发布渠道 | CC BY |
| 取 326 张验收集 | 无公开路径 | — | 不公开 |
| 复现榜单分数 | 无法复现 | — | — |
最后一行是整个资产最需要被反复强调的属性。任何声称「按论文方法复现了 BoneXpert 的 0.63」的说法都不成立，因为复现者拿不到那批影像。能够复现的只是统计方法，不是结果。
3.8 若要做类似验证该准备什么
许多团队读完论文后会动念做本地版本。除数据之外，还需四样安排。
数据治理方面，影像须留在能通过伦理审查的机构内，且事先说明「用于第三方产品评测」这一用途——多数医院的影像同意书并未涵盖此类二次使用，需单独申请豁免。厂商接入方面，需约定部署方式、运行环境、结果提交格式，以及最重要的一条：不允许厂商在看到结果后重新提交。人力方面，三名资深读片人加两名复读仲裁人，每人判读数百例，在临床排班里是实打实的工时。纪律方面，把抽样方案、参考标准构造、主要指标与分层维度写下来存档，才能在事后证明结论不是挑选出来的。
前三样是资源问题，第四样是纪律问题。资源可以靠合作解决，纪律只能靠自己。
§4 质量与已知问题
4.1 参考标准的可靠性
参考标准由 3 至 5 名资深专家用 GP 法判读得出，是本对象最强的质量保障，也是最主要的单点风险。
支持的一面：主读三人经验分别为 26 年、23 年、11 年，均为儿科或肌骨方向；对差异超过两年的 15 例增设两名 24 年与 22 年经验的专家复读，取五次均值；GP 法在荷兰临床是常规方法，与当地实践一致。
需要保留的一面：专家间一致性未被量化报告。骨龄判读的观察者间差异在文献中通常在 0.5 至 1 年量级，若本研究的主读间标准差接近这个量级，参考标准本身就带有不可忽略的噪声，而产品误差是叠加了这层噪声之后的观测值。换言之，产品的真实误差可能小于报告值，但小多少无法从论文中算出。
这一缺口的影响是方向性的：它会让所有被测对象（包括读者）的误差被系统性高估，且高估幅度大致相同。因此「产品与读者持平」这个相对结论不受影响，但「产品误差 0.57 年」这个绝对数值应被理解为上界。
4.2 样本量与统计功效
326 例对于估计 RMSE 是足够的，但对于分组比较则渐显不足。
整体比较上，BoneXpert 的 0.63（95% 置信区间 0.58 至 0.69）与读者的 0.68（0.64 至 0.73）区间重叠；VUNO 的 0.57（0.52 至 0.61）区间与读者区间仅边缘相接。论文的结论是两者与读者无差异，这个措辞是准确的——「无差异」指的是未能拒绝零假设，不等于证明相等。
分组比较上，按性别与年龄切成小块后，每块只剩几十例，置信区间明显变宽。例如 15 至 18 岁组的偏差，BoneXpert 为 −0.15 年，区间从 −0.30 到 0.01，横跨零点；VUNO 为 −0.24 年，区间 −0.35 至 −0.14，不横跨零点。两产品在同一分组上一个显著、一个不显著，这种差别很可能来自抽样波动，而非算法实质差异。引用分层结果时必须连同区间一起引，只引点估计会放大差异。
4.3 产品参与度
骨龄方向符合条件的产品有三家，最终两家参与，参与率三分之二，比肺结节臂的一半高，但仍意味着有产品缺席。缺席原因论文未逐家说明，通常包括商业意愿、法务顾虑、技术接入成本。
缺席带来的选择性偏差是明确的：愿意接受独立验证的厂商，往往对自家产品更有信心，其在榜表现可能系统性优于不参与者。因此榜单不能当作市场产品性能分布的抽样，只能当作自愿参与者性能的记录。写「市面上骨龄 AI 的误差约为 0.6 年」这样的概括，超出了这份证据的射程。
4.4 人群与地域
全部影像来自荷兰七家医院。荷兰儿童的身高与骨成熟节奏与西欧人群一致，但与东亚、南亚、非洲人群存在差异。骨龄判读的 GP 图谱本身基于上世纪美国中产儿童样本，跨人群应用时的偏差已有大量文献讨论。
这一限制在实践中的表现是：中国医院若直接引用 0.6 年这个数字作为预期误差，很可能偏乐观。原因有二。其一是本地儿童的骨成熟节奏与 GP 图谱的匹配度不同；其二是本地设备的曝光与后处理习惯不同。两项叠加，实际误差可能更大，也可能因本地医师判读习惯与图谱更贴近而更小，方向不确定，只能重新测。
4.5 时间跨度与产品漂移
影像采集跨越 2017 年 1 月至 2022 年 1 月，共五年。这五年里，医院的设备、采集协议与后处理软件都可能更新，早期片与晚期片的图像风格未必一致。论文未报告是否按年份做过敏感性分析。
更值得注意的是产品侧的时间漂移。产品在 2022 至 2023 年间送测，版本锁定为 BoneXpert v3.1.4 与 VUNO Med-BoneAge v1.1。这两个版本在 2026 年已非最新。若厂商在后续版本中改善了特定年龄段的偏差（例如 15 至 18 岁的低估），榜上数字就不再代表当前产品。
4.6 指标口径
主指标为 RMSE，选择它而非 MAE，意味着大偏差被平方放大，对少数离谱预测的惩罚更重。骨龄场景下这个选择有其道理：一次差三年的判读比三次差一年的判读危害更大，平方惩罚与之相符。
但这带来跨研究比较的困难。骨龄 AI 文献中 MAE 更常见，RSNA 2017 挑战赛的官方指标就是平均绝对距离（以月计）。两者之间的换算依赖误差分布，没有通用系数：若误差近似正态，RMSE 约为 MAE 的 1.25 倍，厚尾时倍数更大。看到「0.57 年」时，不能直接换算成月数再与 MAE 榜单排座次。
4.7 报告完整性
论文在以下几个方面未给出完整信息，影响二次分析的深度。
其一，Bland-Altman 一致性界限的具体数值。论文报告了偏差（平均误差）及其置信区间，但一致性界限（偏差 ± 1.96 倍标准差）的上下限数字未在正文列出，可能存在于图 2 或补充材料。一致性界限是临床使用者最关心的量——它回答「单次判读最坏可能差多少」，比 RMSE 更贴近决策场景。
其二，14 名读者的经验分层人数与各自的误差。论文只报组均值，未报分层结果。这使得「经验是否影响判读精度」这一问题无法从本研究回答。
其三，资助声明在抓取到的正文中不完整。已知的信息是厂商免费提供算法用于本研究，除此之外的资金来源未确认。
其四，18 张示例片的具体清单与对应参考值未在可获取文本中获得。
4.8 假设与证据对照
| 假设 | 支持证据 | 反对证据 | 结论强度 |
|---|---|---|---|
| 算法误差低于资深医师 | VUNO 点估计 0.57 低于读者 0.68 | 置信区间几乎重叠，论文措辞为无差异；读者只读 95 张，样本小 | B（方向可信，幅度不可信） |
| 算法在低龄段高估、高龄段低估 | 3 至 6 岁组两产品偏差均为正（0.26 与 0.25）；15 至 18 岁组均为负（−0.15 与 −0.24） | 高龄段读者偏差接近零（−0.02），说明不是参考标准的系统性问题；但分组样本小 | A（方向在三个独立分组上一致） |
| 算法与读者在性别上偏差方向相反 | 两产品男性为正、女性为负；读者男性接近零、女性为负 | 女性偏差在两产品与读者中均为负，符号一致，并非完全相反 | C（仅部分支持） |
| 基准可代表市场产品整体水平 | 两产品均为成熟商用系统，且经独立验证 | 参与率 67%，自愿参与存在选择偏差 | C（不宜外推） |
| 该结果可迁移至中国人群 | 方法学可迁移 | 人群、设备、判读习惯均不同，未做跨人群验证 | D（推断，无直接证据） |
4.9 质量小结
强项在参考标准的人力投入与产品接入的制度设计，弱项在参考标准不确定度未量化、验收集不可复现、参与产品有限。它适合被当作「独立验证该怎么做」的范例，不适合被当作「骨龄 AI 有多准」的最终答案。
§5 能做什么
5.1 五类可直接开展的工作
第一类，方法学移植。 这是最稳妥也最高价值的用法。做儿科影像 AI 验证的团队，可以逐节对照论文的方法，看自己的方案在哪些环节存在漏洞：抽样是否按中心分层、参考标准是否由多名专家共识、是否设了人类对照、是否预先注册、指标是否与临床决策对齐。论文的方法部分可以直接作为设计清单使用。
第二类，文献综述中的锚点。 在写骨龄 AI 综述时，这篇论文提供的是「2022 至 2023 年间，两款成熟商用产品在跨七中心临床数据上的表现」。它填补了「厂商白皮书之外有没有第三方数据」这一空白。引用位置通常在「商用产品的独立验证现状」小节。
第三类，采购评估的证据基线。 医院信息科或放射科在评估骨龄软件时，可以把 0.57 至 0.63 年作为市售产品大致水平的参照，用来判断厂商宣称的数字是否可信。若某厂商声称误差 0.2 年而方法学描述含混，这份基准就是一个合理的质疑起点。
第四类，跨任务类比。 同一套制度设计也被用于胸片肺结节、乳腺摄影等任务。做其他模态验证的团队可以从骨龄臂借鉴「产品看不到数据」这一核心约束的实现方式。
第五类，审稿与质询的工具。 为期刊审稿时，可以用这份基准提出的四个问题质询「某 AI 在骨龄上超越人类」的投稿：参考标准是谁定的、专家一致性有没有报、人类对照读了多少例、产品版本是否锁定。这四问能筛掉相当一部分证据薄弱的稿件。
5.2 最小可执行示例：搭一个本地对照表
即便拿不到影像，也可以用一个最小脚本把论文的关键数字整理成可比较的结构，供后续文献对照使用。下面这段代码不依赖任何外部数据，只把论文报告的点估计与置信区间写进一张表，并计算区间重叠情况。
results = { # rmse 为均方根误差，单位年
"BoneXpert v3.1.4": {"rmse": 0.63, "lo": 0.58, "hi": 0.69, "bias": 0.07},
"VUNO Med-BoneAge v1.1": {"rmse": 0.57, "lo": 0.52, "hi": 0.61, "bias": 0.01},
"human readers (n=14)": {"rmse": 0.68, "lo": 0.64, "hi": 0.73, "bias": -0.11},
}
def overlap(a, b):
"""返回两个 95% 置信区间的重叠长度；<=0 表示不重叠。"""
return min(a["hi"], b["hi"]) - max(a["lo"], b["lo"])
ref = results["human readers (n=14)"]
for name, r in results.items():
if name.startswith("human"):
continue
ov = overlap(r, ref)
print(f"{name:24s} RMSE={r['rmse']:.2f} "
f"[{r['lo']:.2f},{r['hi']:.2f}] "
f"与读者区间重叠={ov:+.2f} 年 "
f"点估计差={r['rmse'] - ref['rmse']:+.2f} 年")
输出会显示两款产品的区间与读者区间都有重叠，这与论文「无差异」的结论一致。把这段代码改成读 CSV，就可以把多篇文献并排比较，形成自己的证据表。
5.3 三个可以立即回答的问题
问题一：我的模型能不能在这个基准上打分？ 不能。没有公开提交接口，验收集不公开；若确需外部验证，只能自建集或用其他公开库。
问题二：能不能用它论证「AI 骨龄已可用于临床」？ 不能单独论证。它证明的是两款产品在荷兰数据上与医师持平，距离临床可用还差前瞻研究、工作流整合与本地人群验证三关。
问题三：能不能引用它的 0.57 年作为行业标杆？ 可以引用，但要连同产品名、版本号、指标名与验证人群一起写。剥离限定语后的引用都是断章。
5.4 不适用的场景
其一是训练数据扩充：326 张且不公开，构不成训练资源；若有人以「PAIR 骨龄数据」为名出售影像包，几乎可断定是伪造或拼凑。其二是排行榜竞赛：没有开放的测试服务器，无法提交与排名。其三是儿科内分泌的临床决策支持：本研究只评估数值误差，未评估骨龄在性早熟、矮小症诊疗路径中的增量价值，误差小不等于临床有用。其四是跨模态迁移：结论不能迁移到 MRI 或超声骨龄。
5.5 一个被低估的用法：校准产品宣称
厂商白皮书通常给出单一数字，例如「平均误差 0.3 年」，但不说明数据集来源、参考标准与人读者对照。评估者可以把白皮书数字与本基准并列，检查三件事：数据是不是自家标注、有没有人类对照、指标是 RMSE 还是 MAE。三项都过关的宣称才值得进一步核实。这个用法不需要数据访问权限，只需读懂两份文件；它也是本基准在采购场景里最实际的价值——不是给出答案，而是提供一套提问方式。
§6 常见误读与引用陷阱
误读表按「被误说成什么—实际口径是什么—证据在哪」三列排布，每一行对应一种在综述、公众号与产品宣讲里反复出现的错误。
| 常见说法 | 实际口径 | 证据位置 |
|---|---|---|
| 「这是 RSNA 儿童骨龄数据集的另一个版本」 | 两者无血缘关系。前者是 2017 年公开的训练用影像库，后者是 2024 年基于荷兰临床常规片的封闭验证集，仅共享主题 | 来源章节、§1.4 |
| 「有九个商用 AI 参加了骨龄评测」 | 九个是骨龄臂与肺结节臂合计；骨龄方向合格 3 家、实际参与 2 家 | 论文材料与方法、§4.3 |
| 「数据集以 CC BY 开放下载」 | CC BY 只覆盖 18 张留出示例片，326 张验收集不公开 | 论文数据共享说明、§3.5 |
| 「AI 骨龄误差 0.57 年，优于医师的 0.68 年」 | 点估计确实更低，但置信区间与读者重叠，论文结论是「无差异」；且 0.57 是均方根误差 | 论文结果、§4.2 |
| 「误差约半年」 | 半年是粗略换算，且混用了 RMSE 与 MAE 两套口径；换算成月后不能与以 MAE 为指标的榜单并列 | 论文结果、§4.6 |
| 「七家医院共 350 例」 | 350 是每院 50 张的抽样中间态，排除右手 4 张、变形 2 张、留出 18 张后才是 326 | 论文数据筛选流程、§2.2 |
| 「参考骨龄来自医院报告」 | 参考值由 3 名专家用 GP 法独立判读，争议例再经 2 名专家复读，取 5 次均值 | 论文参考标准小节、§2.4 |
| 「男 153 例」是论文直接给出的 | 论文摘要只给了女性 173 例；男性 153 由 326 减 173 推得，与平台摘要的写法吻合 | 期刊与平台两种摘要、§2.1 |
| 「读者组是三名主读专家」 | 三名主读只负责建参考标准；人类对照是另设的 14 人读者组，每人随机读 95 张 | 论文材料与方法、§2.5 |
| 「这是一个可以提交成绩的挑战赛」 | 是挂名于 Grand Challenge 平台的一次性横向评测，无开放提交窗口、无参赛队伍 | 平台页面、§1.5 |
| 「同一病灶在同一患者身上有多张片」 | 一人一片，纳入时即限定每名儿童只取一次检查 | 论文纳入标准、§2.1 |
| 「Bland-Altman 图给出了 95% 一致性界限」 | 论文正文只报偏差及其置信区间，一致性界限数值未列出 | 论文结果、§4.7 |
| 「骨龄与肺结节是两份独立研究」 | 同一批作者、同一研究框架、同一篇论文，只是两臂在平台上各有子站 | 论文标题与DOI、§1.2 |
参考标准与产品同源的可能。 BoneXpert 本身采用 GP 法的数字化实现，其判读逻辑与人类专家使用 GP 图谱存在方法上的亲缘性。这不构成数据泄漏（产品未见验证影像），但意味着该产品在「与 GP 共识一致性」这一指标上有天然适配优势；换用 TW 评分法做金标准，排序可能改变。论文未就此展开讨论，引用时宜自行标注。
单位换算的暗坑。 读者组的偏差 −0.11 年在论文里同时写作 −1.3 个月。若把 RMSE 0.57 年也乘 12 得 6.84 个月，再与以月计的 MAE 榜单比大小，就同时犯了口径混用与量纲混用两个错。
抽取窗口与发表窗口的时滞。 影像截止 2022 年 1 月，论文 2024 年 1 月见刊，产品在 2022 年 6 月至 2023 年 1 月间送测。三个时点不同，任何「2024 年产品水平」的概括都需注明版本锁定在 2023 年初。
中心数与作者单位数的错位。 论文作者单位列出八家以上机构，骨龄臂实际用七家中心，胸片臂另用七家（三家学术、三家教学、一家综合），两组并不完全重合。看到作者单位列表就写「八家医院参与骨龄验证」，会把两臂的中心混在一起。
两处易混淆之处。其一，平台上「商用 AI」指的是被评测对象是商用产品，不是指这份数据可以商用，两个「商用」在同一段话里出现时极易串味。其二，Project AIR 是长期运行的国别项目，覆盖多条臂；PairBoneAge22 只是其中一个子站。写「Project AIR 数据集」会让使用者以为存在一个统一的大型库，而各臂的数据独立、许可独立、可获取性各异。
§7 在生态中的位置
7.1 骨龄评估的技术谱系
骨龄评估的自动化尝试早于深度学习时代。第一代是规则化图像分析：分割手骨区域，再按 GP 图谱的骨化中心数量与形态逐项匹配。BoneXpert 的早期版本即属此类，其核心是把医师的图谱阅读过程编码为可计算模型。这一代可解释、误差稳定，劣势是对影像质量与体位敏感。
第二代是端到端深度学习。2017 年 RSNA 儿科骨龄挑战赛把万级影像与月龄标签公开，催生了大批回归网络方法。这一代把误差从「易受预处理影响」推向「依赖训练分布」，分布内表现优异，跨机构泛化成为新痛点。
第三代是通用影像基础模型加少量微调。这类方法在小样本任务上的表现依赖预训练语料的覆盖度，而骨龄作为手部平片任务，恰好落在多数胸部或全身预训练语料的边缘。
PairBoneAge22 不属于上述任何一代，它站在评估侧：回答的不是「哪种方法更好」，而是「已上市的方法在真实临床数据上究竟如何」。在技术谱系里，它是一把尺子，不是一个刻度。
7.2 与其他骨龄资产的对照
| 资产 | 性质 | 规模 | 可获取性 | 主要用途 |
|---|---|---|---|---|
| RSNA 儿科骨龄挑战赛数据集 | 训练用公开库 | 万余张 | 公开下载 | 训练与内部评测 |
| 各类单中心自建集 | 研究用测试集 | 数十至数百 | 一般不公开 | 单点验证 |
| PairBoneAge22 | 商用产品独立验证基准 | 326 张 | 不公开 | 横向比较与采购参考 |
| 数字手部骨龄图谱（GP / TW 标准图谱） | 参考标准源 | 按性别年龄分组 | 出版物 | 人工判读依据 |
| 公开的儿童手骨分割掩膜集 | 辅助标注 | 与 RSNA 库配套 | 受限申请 | 预处理研究 |
这张表的关键信息是：骨龄领域缺少的是「跨机构、独立、含人类对照」的评测，而不是影像。影像已有万级公开库，标注已有标准图谱，缺的是把两者组织成可信比较的那一层制度。PairBoneAge22 补的正是这一层，且以最精简的方式补——326 张就够，因为目标是估计误差，不是训练模型。
7.3 与 Project AIR 其他臂的关系
Project AIR 在 2024 年的论文里同时报告了两条臂。骨龄臂与肺结节臂在方法上共享同一套骨架：多中心抽样、专家共识参考标准、人类读者对照、产品送测、同一统计团队。差异在于任务性质与参考标准的构造难度。
肺结节臂的参考标准基于 CT，由一名有八年经验的放射科医师判定结节有无与大小，客观性较强；骨龄臂的参考标准是人脑对图谱的主观匹配，不确定性更大。正因如此，骨龄臂在方法上多设了复读环节，这是两条臂之间最实质的差异。
这种「同一骨架、按任务调整细节」的组织方式，是 Project AIR 可以被其他模态复制的原因。乳腺摄影、脑部量化等方向陆续有类似尝试，骨架基本沿袭。
7.4 在监管与准入语境中的位置
欧盟医疗器械法规要求高风险 AI 产品提供临床证据，但对证据的形式与来源规定较宽。厂商自建研究、回顾性单中心研究、前瞻多中心研究都可以作为证据，权重不同。独立第三方验证在这一谱系里处于较高权重的位置，因为它的利益冲突最小。
PairBoneAge22 的出现，为监管者与采购方提供了一个可参照的模板：什么样的验证才算「独立」。四个要件是：验证方掌握数据、厂商接触不到影像、参考标准独立于厂商、统计方案预先注册。缺任何一条，独立性都会打折。
需要说明的是，这份基准本身不是监管文件，不构成任何产品的准入结论。它只提供性能数据，不评价产品是否应当上市。
7.5 与库内条目的关系
在千方医数集的条目体系里，与本对象关系最近的是 RSNA 儿科骨龄数据集（记录编号 426）。两者是「训练侧与评测侧」的互补：前者提供全球骨龄算法共同的起点，后者提供这些算法商业化之后的第三方成绩。撰写骨龄相关综述时两条应并引，只引其一都会缺失一半图景。与库内 PAIR-BST（记录编号 965）则仅有缩写同名之巧合——后者是骨与软组织肿瘤的病理检索数据集，无内容交集，不宜互链。同属独立评测型资产的若干挑战赛条目在「不公开测试集、只公布榜单」这一点上与本对象同构，可在方法学讨论中并列引用。
7.6 生态位的三点判断
稀缺性来自制度而非数据。骨龄影像库不缺，缺的是让第三方在自己数据上评测商用产品的安排；这需要医院、项目方与厂商三方让渡部分控制权，建立成本高、复制速度慢。
时效性短于训练库。训练库能用五年十年，评测榜的数字随产品迭代迅速过期，引用价值集中在发表后三到五年内，之后主要作为方法学范例而非性能参照。
影响力主要在下游。直接使用它的人不会很多，但通过综述、监管讨论与采购文档的转引，它塑造了「骨龄 AI 应该被怎样评价」的共识，这种间接影响比榜单排名更持久。
§8 结果与方法细节
8.1 骨龄臂的主要结果
两款产品的表现高度接近，且均与读者组处于同一量级。
Visiana BoneXpert v3.1.4 的 RMSE 为 0.63 年，95% 置信区间 0.58 至 0.69；与参考标准的相关系数 0.987；平均偏差 0.07 年，区间 0.00 至 0.14，略偏高。VUNO Med-BoneAge v1.1 的 RMSE 为 0.57 年，区间 0.52 至 0.61；相关系数 0.989；平均偏差 0.01 年，区间 −0.05 至 0.07，几乎无系统性偏移。
14 名读者的组均值 RMSE 为 0.68 年，区间 0.64 至 0.73；平均相关系数 0.985；平均偏差 −0.11 年，区间 −0.19 至 −0.04，即在论文的换算里约为 −1.3 个月，方向为低估。
三个数字放在一起，形态很清楚：两款产品的点估计都低于读者，但区间与读者区间有重叠；VUNO 的偏差最小，几乎贴在零线上；读者的偏差最大且方向稳定为负。论文由此给出的结论是算法与读者之间未见 RMSE 差异。
8.2 相关系数的解读边界
r 值在 0.985 至 0.989 之间，看上去极高，但在骨龄场景里这个指标的信息量有限。原因是骨龄值本身跨度大（0 至 18 岁），任何能大致区分幼儿与青少年的方法都能获得 0.95 以上的相关系数。真正区分优劣的是同龄段内的小误差，而这一部分被大跨度的相关性掩盖了。
引用 r 值时应同时给出 RMSE，否则会给人「几乎完美」的错觉。相关系数回答的是「排序是否一致」，RMSE 回答的是「数值差多少」，后者才是临床关心的。
8.3 性别分层
分层结果揭示了一个在两款产品中都出现、且方向一致的模式：男性偏高、女性偏低。
BoneXpert 在男性上的偏差为 0.22 年（0.12 至 0.32），在女性上为 −0.06 年（−0.15 至 0.03）。VUNO 在男性上为 0.16 年（0.08 至 0.25），在女性上为 −0.13 年（−0.21 至 −0.04）。读者的模式则不同：男性 −0.03 年（−0.13 至 0.07），女性 −0.19 年（−0.26 至 −0.12）。
读者在女性上的低估比产品更明显，产品在男性上的高估比读者更明显。这说明性别偏差不是产品独有的缺陷，人类判读本身就有性别相关的系统偏移，只是方向与幅度不同。可能的机制是 GP 图谱按性别分册，判读时对两个性别的参照标准掌握程度不同。
RMSE 的性别分层则接近：BoneXpert 女性 0.60、男性 0.67；VUNO 女性 0.57、男性 0.56；读者女性 0.69、男性 0.67。三者的性别间差异都在 0.1 年以内，说明误差的绝对幅度基本不受性别影响，受影响的只是偏差方向。
8.4 年龄分层
年龄分层的图形呈现出一条常见的 U 形或前高后低曲线。
高估集中在低龄段。3 至 6 岁组的偏差，BoneXpert 为 0.26 年（0.12 至 0.41），VUNO 为 0.25 年（0.13 至 0.38），两款产品几乎相同。低龄儿童手骨骨化中心数量少、形态差异细微，判读本身困难，算法倾向于把不成熟的骨像读得更成熟一些。
低估集中在青春期末段。15 至 18 岁组的偏差，BoneXpert 为 −0.15 年（−0.30 至 0.01），VUNO 为 −0.24 年（−0.35 至 −0.14），读者仅 −0.02 年（−0.09 至 0.05）。这一段的生理特点是骨骺已基本融合，骨龄增长趋缓并逐渐封顶，算法的回归倾向使其向均值收缩，因而低估。读者在此段几乎无偏，说明人类判读对「接近成年」的形态判断更稳。
RMSE 最大的年龄段是 7 至 10 岁：BoneXpert 0.74 年（0.64 至 0.82），VUNO 0.67 年（0.60 至 0.75）。这一阶段恰好是骨化中心大量出现、形态变化最快的时期，也是临床上性早熟与矮小症最常被评估的窗口。误差峰值落在最需要精度的年龄段，是本结果里最具临床含义的一条。
8.5 与读者的比较方式
论文把算法结果与读者组结果分别与同一参考标准比较，再比较两条 RMSE 序列是否重叠。这是间接比较，不是逐例配对比较。
间接比较的优点是所有对象共用同一把尺子；缺点是读者只读了 95 张子集，其 RMSE 与算法在 326 张上的 RMSE 并非在同一批影像上计算，两者的抽样误差不能简单相加。逐例配对要求读者读全部 326 张，成本高但统计效率更好。论文采取了折中，使「持平」结论依赖子集与全集的分布可比性；若随机抽样执行严格，这一假设成立，而论文未报告子集的年龄性别分布核对结果。
8.6 统计软件与口径
论文说明统计使用 Python 3.7.6 环境，配合 SciPy 1.7.3 与 sklearn 0.23.2；肺结节臂的 ROC 比较另用美国食品药品监督管理局开发的 iMRMC 软件 4.0.3。骨龄臂的置信区间通过自助法或解析法计算，论文未逐项说明，但区间宽度与样本量匹配。
对二次使用者而言，重要的是知道 RMSE 的置信区间是按 326 例整体估计的，而分层结果（性别、年龄）的区间是在子样本内估计的，宽度差异大。把分层区间与整体区间放在同一张图上比较，会误导读者以为某个分组的差异更大。
8.7 结果的复述建议
若需要在中文材料里复述这组结果，建议采用如下完整句式，把限定条件一次说全：
「Project AIR 在荷兰七家医院 326 例 0 至 18 岁儿童的左手 X 光上，比较了两款商用骨龄算法与 14 名医师读者；BoneXpert v3.1.4 与 VUNO Med-BoneAge v1.1 的 RMSE 分别为 0.63 年与 0.57 年，读者为 0.68 年，三者未见统计学差异。」
这一句包含了机构、时间、人群、样本量、产品版本、指标与结论七要素，删去任何一项都会产生不同方向的误读。若篇幅受限必须压缩，优先保留产品版本、指标名与「无统计学差异」三项。
§9 参与方与背景
9.1 牵头机构
项目由荷兰奈梅亨的 Radboud 大学医学中心（Radboud University Medical Center，简称 Radboudumc）主导，具体依托其诊断影像分析组（Diagnostic Image Analysis Group，DIAG）。该组在欧洲医学影像分析领域有长期积累，早期以肺结节 CAD 与胸部影像分析起家，后扩展至乳腺、脑、骨肌等多个方向，也是多项医学影像挑战赛的组织方与评测基础设施维护者。
DIAG 承担的角色有三重：方法论设计、数据治理与统计实施。方法论设计体现在抽样与参考标准的构造上；数据治理体现在跨七家医院的数据协同与匿名化流程；统计实施体现在置信区间与分层分析的口径统一。三者由同一团队完成，好处是标准一致，风险是缺乏外部方法学审计。
9.2 论文作者结构
论文署名为 Project AIR 工作组集体署名，第一作者为 Kicky G. van Leeuwen，通讯与资深作者包括 Steven Schalekamp、Mathias Prokop（以 Schaefer-Prokop 署名）、Bram van Ginneken 等。作者名单长达四十余人，覆盖两臂各中心的放射科医师、影像分析研究者与统计人员。名单之所以长，是因为多中心回顾研究的数据获取本身就是分布式劳动，各中心负责本院影像的筛选、匿名化、伦理对接与部分判读。
van Leeuwen 此前已发表关于放射 AI 产品证据状况的综述，指出大量 CE 认证产品缺乏公开性能证据，是本项目立项的直接推力之一。van Ginneken 长期从事胸部影像的计算机辅助诊断研究，其团队是多项公开数据集的发布方。Prokop 与 Schalekamp 是胸部影像方向的资深医师，在读者研究与参考标准设计上有丰富经验。
9.3 七家参与医院
骨龄臂使用七家荷兰医院的数据，构成为一家学术医院、五家教学医院、一家综合医院。从论文作者单位可以辨认出的机构包括：Radboudumc（奈梅亨）、Catharina 医院（埃因霍温）、Haaglanden 医学中心（海牙）、阿姆斯特丹大学医学中心、Rijnstate（阿纳姆）、St Antonius 医院（尼沃海恩）、Isala（兹沃勒）、Groene Hart 医院（豪达）。
这份名单与「七家」的对应需要谨慎。论文作者单位覆盖两臂全部中心，部分机构只参与胸片臂，部分只参与骨龄臂。因此不能简单地把作者单位列表当作骨龄臂的中心清单。稳妥的表述是「论文列出的合作机构覆盖荷兰多地的学术、教学与综合医院，骨龄臂从中选取七家」。
9.4 参考标准读者
建参考标准的三名主读是 M.J.C.M. Rutten、J.I.M.L. Verbeke 与 M. Vermeulen，经验分别为 26 年、23 年与 11 年，均为儿科或肌骨方向的放射科医师。争议复读由 B. Meakin（24 年）与 C.F. van Dijke（22 年）承担。
五人合计经验超过百年，这个配置在骨龄研究中属于上限水平。多数单中心研究的参考标准由一至两名医师给出，本研究的人力投入是其参考标准可信度高于同类研究的直接原因。
人类对照组的 14 名读者未在摘要中逐一列名，其经验分层与所属机构也未逐档披露。这组读者的意义在于提供一个「一般临床水平」的参照，而非「专家上限」的参照。若换成十四名骨龄专科专家，读者的误差可能低于产品。
9.5 送测产品
BoneXpert 是丹麦 Visiana 公司的产品，在欧洲多国临床使用，技术路线基于手骨特征的规则化建模，早期版本在 2009 年前后即已发表验证研究，输出骨龄的同时给出骨健康指数。Med-BoneAge 是韩国 VUNO 公司的产品，属深度学习路线，在韩国与部分亚洲市场有部署。两款分别代表规则化与端到端两种技术代际，在同一基准上比较，构成一次跨代对照；结果显示两者误差接近，说明在骨龄这个任务上，深度学习并未带来相对传统方法的明显优势。
需强调这一观察只覆盖两款产品的一次比较，不足以支撑「深度学习在骨龄上无增益」的一般结论。规则化方法本身经过十余年打磨，BoneXpert 的规则正是从大量专家判读中提炼；深度学习方法的上限则可能受训练数据规模限制。
9.6 厂商的参与条件
论文说明厂商免费提供算法用于本研究，且仅限本研究用途。这一安排排除了购买成本对研究设计的干扰，也排除了厂商以商务条件影响结果的可能。
与之配套的是数据隔离：验证影像不提供给厂商，厂商在看不到数据的情况下部署产品或提交结果。这一约束是整个「独立验证」的核心，也是最难落实的一环——产品通常需要本地部署或远程接口，任何部署方式都存在接触数据的可能。论文未详细描述隔离的技术实现，这是方法学复现时的一个信息缺口。
9.7 资助与利益冲突
资助声明在可获取的正文中不完整，已知信息是厂商免费提供软件，其余资金来源未能确认。通讯作者与部分合作者与影像 AI 产业界有合作关系，具体声明需查阅原文的利益冲突段落。
利益冲突的影响被三处机制削弱：数据由验证方掌握、参考标准由独立专家给出、统计方案预注册。但这三处都不能完全消除「选择哪些产品送测」这一环节的自主性。
9.8 同一工作组的其他产出
工作组同期还发表了与 AI 产品证据状况相关的研究，主题包括 CE 认证与公开证据的匹配度、性能声称的验证方式、影像 AI 的落地障碍。这些研究与骨龄臂共享同一问题意识，即市场扩张速度快于证据积累速度。骨龄臂给出一个具体任务的答案，综述类研究给出整个领域的结构性判断，两者互为背景。
§10 局限、争议与使用建议
10.1 五条核心局限
局限一，验收集不可公开，结论无法本地复现。 这是最根本的限制。所有数字只能被引用，不能被重算。若对论文的统计口径有疑问，唯一可行的路径是向作者索取方法细节，而非自行复现。
局限二，参与产品有限。 骨龄方向两家参与，合格三家。榜上成绩不能代表市场产品整体。若某家医院正在评估的产品不在榜上，这份基准无法提供直接参照。
局限三，参考标准的不确定度未量化。 三名主读的组间一致性、五名专家在 15 例争议案上的分歧程度，都未报告。参考标准本身的噪声混在产品误差里，无法分离。
局限四，人群与地域单一。 荷兰七家医院、西欧儿童、GP 图谱判读。跨人群、跨判读体系的迁移需重新验证。
局限五，时点性。 产品版本锁定在 2022 至 2023 年，影像采集截至 2022 年 1 月。产品迭代替换后，数字的代表性随时间衰减。
10.2 三处方法学争议
争议一，间接比较的统计效力。 算法在 326 例上评估，读者在 95 例子集上评估，两者的 RMSE 不是在同一批影像上计算的。严格说，这是两个独立估计的比较，而非配对比较。若读者组与算法组的子集分布存在差异，比较结果会被扭曲。论文未报告子集的分布核对。
争议二，「无差异」的措辞与效应方向。 两款产品的点估计都低于读者，VUNO 的区间甚至与读者区间几乎不重叠。在这种情况下使用「无差异」的措辞，是保守的统计学表述（基于显著性检验），但可能低估了实际存在的效应。反之，若改用「优于」，则超出了显著性检验能支撑的范围。两种措辞各有代价，论文选择了保守一侧。
争议三，GP 法作为唯一参考标准。 GP 法与 TW 评分法在骨龄判读上各有拥趸，两者的人群基准与判读逻辑不同。以 GP 为金标准，对同样采用 GP 逻辑的产品（如 BoneXpert）天然有利。论文未设 TW 法的平行参考标准，因此无法回答「换一种金标准，排序是否改变」。
10.3 使用建议分层
按使用目的分四档，从最稳妥到最需谨慎。
第一档，方法学引用——可直接使用。 引用抽样策略、参考标准构造、读者组设计与预注册做法，风险极低，也是该资产最稳固的用途。
第二档，性能参照——需带全限定语。 引用 RMSE 时必须连同产品名、版本、指标名、样本量、人群与时间窗一起写，缺项即失真。
第三档，采购决策——仅作起点。 可当作市售产品大致水平的参照，但本地采购仍需本地数据验证。
第四档，临床效能主张——不宜使用。 本研究只评估数值误差，未评估临床结局；「提升诊断效率」「改善患儿预后」之类的说法都超出证据。
10.4 三个需要自行追问的问题
若打算在正式材料里引用这份基准，建议先自问三题。
第一，引用的是结论还是数字。结论是「产品与医师持平」，数字是「0.57 与 0.63」。政策层面的判断引结论；技术对标引数字并补全限定。
第二，场景与荷兰七家医院差多远。若本地使用不同厂商设备、不同曝光协议，或患者以特定病种为主（如全部为性早熟转诊），误差分布很可能不同。
第三，是否在同一份材料里混用了 RMSE 与 MAE。这是最常见的隐性错误，混用后所有横向比较都失去意义。
10.5 对后续研究的启示
三个可延展的方向：跨人群扩展，在东亚、南亚、非洲人群中重复同一设计，可回答「GP 图谱的人群偏差有多少体现在算法误差里」；平行金标准，同时用 GP 与 TW 两套参考标准，检验排序的稳健性；纵向观察，对同一批产品在不同年份重复验证，量化产品迭代带来的误差变化。最后一个方向对采购方最实用，但目前尚无公开的连续多年榜单。
10.6 一句话总结
这是一份以制度设计取胜、以数据体量取胜不了的基准：它证明了独立验证可以做到什么程度，也暴露了独立验证在数据封闭条件下难以自证的一面。
附录 A：关键数字速查
| 名称 | 数值 | 口径 |
|---|---|---|
| 验证影像数 | 326 | 一人一片 |
| 汇集候选片 | 1,050 | 七院汇总 |
| 每院抽取 | 50 | 等量抽样 |
| 抽样后合计 | 350 | 七院 × 50 |
| 排除右手 | 4 | 采集端标注错误 |
| 排除变形 | 2 | 手部严重变形 |
| 留出示例 | 18 | CC BY |
| 采集窗口 | 2017-01 至 2022-01 | 五年 |
| 平均年龄 | 10 岁 ± 4 | 标准差 |
| 女性 | 173 | 论文直接给出 |
| 男性 | 153 | 推算 |
| 人类读者 | 14 名 | 各读 95 张 |
| 参考标准主读 | 3 名 | 26 / 23 / 11 年经验 |
| 争议复读 | 2 名 | 24 / 22 年经验 |
| 复读触发例数 | 15 | 差值 > 2 年 |
| 骨龄合格产品 | 3 家 | 实际参与 2 家 |
| 两臂合格产品 | 17 个 | 实际参与 9 个 |
| 参与率（骨龄） | 67% | 2 / 3 |
| 参与率（两臂） | 53% | 9 / 17 |
附录 B：术语表
| 术语 | 英文 | 含义 |
|---|---|---|
| 骨龄 | bone age | 以骨骼成熟度表示的生理年龄 |
| GP 图谱法 | Greulich-Pyle method | 与标准图谱比对取最相近年龄 |
| TW 评分法 | Tanner-Whitehouse method | 对 20 块手骨逐项评分累加 |
| 均方根误差 | RMSE | 误差平方均值的平方根，重罚大偏差 |
| 平均绝对误差 | MAE | 误差绝对值的均值 |
| 平均偏差 | bias / mean error | 预测减参考值的均值，反映系统偏移 |
| 一致性界限 | limits of agreement | 偏差 ± 1.96 倍标准差 |
| 相关系数 | Pearson r | 线性相关强度 |
| 独立验证 | stand-alone validation | 产品未接触验证数据的评测 |
| 留出示例 | held-out sample | 从验收集抽出的公开示例 |
| 阅片者研究 | reader study | 以人类判读为对照的研究设计 |
| 预注册 | pre-registration | 分析前存档方案以免事后挑选 |
附录 C：复现与核对清单
若要基于此基准开展同类工作，可逐项核对以下十五点。
- 抽样是否按中心等量，每中心样本量是否与中心规模脱钩。
- 是否限定每人一次检查，避免同一患者多片重复计入。
- 是否单独核查左右手，排除右手片混入。
- 是否排除严重变形、明显运动伪影的影像。
- 是否保留一部分影像作为公开示例，且明确其许可范围。
- 参考标准是否由多名专家独立判读，而非取单份报告。
- 是否设定争议阈值并安排复读，复读人数是否足够。
- 是否报告参考标准的组间一致性统计。
- 是否设置独立的人类对照组，人数与经验层级是否说明。
- 人类对照组读片条件是否与算法一致（同样的信息、同样的输出格式）。
- 产品是否在接触不到验证数据的前提下运行，隔离机制是否有记录。
- 产品版本号是否逐个记录。
- 统计指标是否预先明确，RMSE 与 MAE 不得混用。
- 是否给出偏差与一致性界限，而不仅是一个误差数字。
- 研究方案是否在数据揭盲前存档。
附录 D：常见检索模板
在文献库里检索相关工作时，以下四组检索式覆盖度较高。
- 骨龄算法与商用产品：
("bone age" OR "skeletal maturity") AND ("commercial" OR "CE-marked" OR "stand-alone") - 独立验证方法学：
("stand-alone validation" OR "independent validation") AND ("radiology" OR "radiograph") AND ("reader study") - 该基准的引用：
REFERENCES("10.1148/radiol.230981") - 同期异构基准：
("Project AIR" OR "AI for Radiology") AND ("Netherlands" OR "Dutch")
附录 E：DAIMS 评估
| 维度 | 评分 | 说明 |
|---|---|---|
| 目的与范围 | 8.5 | 目标明确为商用产品的独立验证，边界清晰；不适用于训练与本地复现 |
| 数据来源 | 8.0 | 七家荷兰医院五年常规片，含学术、教学与综合医院；地域与人群单一 |
| 数据质量 | 7.5 | 影像经质量筛选并排除变形与右手；预处理链路未披露 |
| 标注质量 | 7.0 | 三主读加两复读共五人共识，经验充分；专家间一致性未量化 |
| 可复现性 | 3.5 | 验收集不公开，榜上数字无法本地复算，只有方法可复现 |
| 可获取性 | 3.0 | 仅 18 张示例片与排行榜公开，主体数据无获取路径 |
| 文档完备 | 8.0 | 论文方法详实，方案预注册，平台页面有摘要；字段表与预处理元数据缺位 |
| 伦理合规 | 8.5 | 经伦理委员会审查并豁免同意，数据匿名；资助声明不完整 |
| 综合 | 6.75 | 方法学价值高，可获取性与可复现性是主要扣分项 |
维度说明：DAIMS 为数据资产信息成熟度评分，各维度 0 至 10 分，综合分为等权平均。对封闭式评测基准而言，可复现性与可获取性天然偏低，该两项低分反映的是资产类型的固有限制，而非执行缺陷。
附录 F：常见问答
Q1：PairBoneAge22 和 RSNA 儿童骨龄数据集是同一份数据吗？
不是。RSNA 2017 挑战赛数据集是万级训练用影像加月龄标签，公开可下载；PairBoneAge22 是 2024 年发表的商用产品横向评测，用荷兰七家医院 2017 至 2022 年的临床常规片，不公开、不用于训练。两者只共享「手部 X 光骨龄」这一主题。
Q2：这个基准一共测了几款骨龄 AI？
两款。骨龄方向共有三家产品符合条件，最终两家参与，即 Visiana BoneXpert 与 VUNO Med-BoneAge。论文摘要里的九个产品是骨龄与肺结节两臂合计，不能当作骨龄产品数。
Q3：RMSE 0.57 年是什么概念，能直接和 MAE 比吗？
0.57 年是均方根误差，对大偏差的惩罚比平均绝对误差重。RSNA 2017 等赛事的榜单多用 MAE（以月计），数值天然更小。两套口径不可横向比较，引用时必须连同指标名一起写明。
Q4：公开的示例影像可以拿来训练模型吗？
可以按 CC BY 使用，但只有十八张，远不足以训练。它们的作用是让外部研究者看清影像来源、设备与预处理风格，而不是构成可用的训练集。
Q5：为什么说这个基准没有证明 AI 比医生强？
论文结论是与医师读者相比，两款产品的 RMSE 没有统计学差异。效应方向偏向产品一侧，但置信区间与读者重叠，措辞是「无差异」。把它写成「超越人类」属于越读。
Q6：读者组的 0.68 年是否代表医师的真实水平？
不能全等。读者每人只读 95 张，经验层级混合，且金标准本身由三名专家判读得出，读者与金标准同源会带来相关性偏乐观。它可以作参照线，不能当作医师能力的上限或下限。
Q7：两次读数差多少会触发专家重读？
三名主读中任意两人差异超过两年即触发，共十五例。触发后由另外两名资深专家各读一次，最终参考值取全部五次读数的均值，而非三人均值。
Q8：这套结果能直接用于国内医院选型吗？
只能作为方法学参照。数据来自荷兰儿童，骨龄判读依赖 GP 图谱与当地人群的成熟节奏；设备、曝光参数与预处理也固定为三家厂商的常规设置。跨人群、跨设备的结论需重新验证。
Q9：验收集既已封闭，那这份研究的价值在哪里？
在制度示范。它证明了一条可操作的路径：医院保留数据、专家独立定标准、厂商在隔离条件下送测、统计方案预先注册。这条路径可以被任何模态复制，而其中的每一个环节都不依赖数据公开。
Q10：为什么用年度误差而非月份？
骨龄的临床判断单位常以年计，性早熟的干预阈值也以年为单位（如骨龄超前一年以上）。用年可让数字直接对接临床语义，避免月份换算带来的量纲疲劳。这与 RSNA 挑战赛用月不同，比较时必须换算。
编辑说明
核验时间：2026 年 10 月 18 日。核验方式：抓取 Grand Challenge 子站 pairboneage22.grand-challenge.org 页面（项目定位、论文摘要、排行榜说明），抓取《Radiology》正式全文页（DOI 10.1148/radiol.230981，含方法、结果、图表说明），抓取 Radboud 大学知识库的出版商版本元数据（hdl.handle.net/2066/305374）作第三方交叉，另以 PubMed 转引页核对摘要措辞。三源在患者数、影像数、时间窗、两款产品名称与 RMSE 数值上完全一致。
双口径与冲突条目：
- 性别计数。平台摘要写「153 males」，期刊摘要写「173 female patients」。326 减 173 得 153，两者互补，非矛盾。正文以女性 173 为主口径，男性标注为推算。
- 产品数量。摘要「Nine of 17 eligible AI products」为两臂合计；骨龄臂合格 3 家、参与 2 家。正文在两处分别写明，避免合并。
- 医院数量。骨龄臂 7 家（1 学术 + 5 教学 + 1 综合），胸片臂 7 家（3 学术 + 3 教学 + 1 综合），两组中心不完全重合。作者单位列表覆盖两臂，不可直接当作骨龄臂清单。
- 单位。RMSE 与偏差以年计；读者偏差同时给出「−1.3 个月」的换算表述。正文保留年为主、月为注。
- 抽取链条。1,050 → 350 → 326，中间排除右手 4 张、变形 2 张、留出 18 张。350 为中间态，不是最终样本量。
未覆盖内容与遗留疑点：
- Bland-Altman 一致性界限的具体数值未在可获取正文中出现，可能位于图 2 或补充材料，正文只报偏差与置信区间。
- 资助声明在抓取文本中被截断，除「厂商免费提供算法」外，其余资金来源未确认。
- 18 张留出示例片的文件名清单与对应参考值未获得。
- 14 名读者的经验分层人数、各自误差与所读子集的具体编号未披露。
- 三名主读之间的组间一致性统计（ICC 或类似）未报告。
- 平台排行榜是否在论文发表后追加新产品，页面无更新时间戳，未能核实。
- 产品隔离部署的技术实现细节未描述。
版本日志：2026-10-18 首版，基于上述三源成稿，未作后续修订。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：
- fracatlas — 共享标签：医学影像 / X光影像 / 骨骼肌肉影像
- rsna-bone-age — 共享标签：医学影像 / X光影像 / 骨骼肌肉影像
- under5-pneumonia-nig — 共享标签：医学影像 / X光影像 / 评测基准 / 儿科
- mura — 共享标签：医学影像 / X光影像 / 骨骼肌肉影像
- grazpedwri-dx — 共享标签：医学影像 / X光影像 / 骨骼肌肉影像
- chexstruct-cxreasonbench — 共享标签：医学影像 / X光影像 / 评测基准
- cariesxrays — 共享标签：医学影像 / X光影像 / 评测基准
- pairlungnodulexr22 — 共享标签：医学影像 / X光影像 / 评测基准
- rad-eval-x — 共享标签：医学影像 / X光影像 / 评测基准
- montgomery-tb — 共享标签：医学影像 / X光影像 / 评测基准
导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。
