信息速览
KNOAP2020 是「KNee OsteoArthritis Prediction」的缩写,即膝关节骨关节炎预测挑战赛,由荷兰鹿特丹 Erasmus MC 医学中心主办,2020 年集中运行。它的数据来自荷兰 PROOF 随机对照试验:从 407 名超重或肥胖中年女性中筛出 453 个基线无病的膝关节,其中 423 膝作为盲测集、30 膝作为带结局标签的训练集。每膝附半屈位后前位数字化 X 线、两套低场 MRI 序列与 13 项临床危险因素,任务是在 78 个月内判断哪一膝会发展成有症状的放射学膝骨关节炎。
它要补的是一个具体空缺。膝骨关节炎的发病预测长期缺乏可比基准:各团队在自有数据上报告 AUC,样本、随访长度、结局定义各不相同,跨研究比较几乎无意义;公开的 OAI 队列虽大,却被反复当作训练集,很难充当独立测试场。KNOAP2020 的做法是拿一个此前很少被影像 AI 使用的欧洲预防试验队列做盲测,结局由主办方单独持有,参赛者可自由用 OAI 等外部数据训练。
适用者分三类:想验证发病预测模型能否跨队列迁移的团队、想做临床与影像特征融合的研究者、需要 2021 年前后膝 OA 预测基准坐标的综述作者。动手前先确认两件事:数据为协议制且挑战赛已关闭,获取要走主办方审核;测试集结局标签从未公开,任何声称在该测试集上复现排名的说法都需额外说明依据。
§1 它是什么:一份预防试验队列切片出的盲测基准
1.1 名称、主办方与身份边界
KNOAP2020 的完整名称是 KNee OsteoArthritis Prediction challenge 2020,中文可直译为「膝关节骨关节炎预测挑战赛」。名称中的 KNOAP 不是现有任何医学缩写体系的成员,而是组织者自行取的英文词首拼接:KNee + OsteoArthritis + Prediction。这一点在检索时很关键,因为以 KNOAP 为关键词的结果大多指向挑战赛本身,而不会像 MRI、CT 这类通用缩写那样被大量无关条目淹没。
主办方是荷兰鹿特丹的 Erasmus MC 大学医学中心,具体涉及全科医学系与放射学系两个部门。论文作者名单里既有影像方法学者(Stefan Klein 所在的 Biomedical Imaging Group Rotterdam),也有骨关节炎流行病学团队(Sita Bierma-Zeinstra、Jos Runhaar),还有放射科医师 Edwin Oei 与 Jukka Hirvasniemi。这种组合决定了挑战赛的两条主线:一条是把影像特征工程与深度学习放在同一个盲测集上比较,另一条是回答「临床危险因素之外,影像到底还能补充多少信息」。
需要划清三条身份边界。第一,它不是影像分割数据集,不提供软骨、半月板、骨赘的逐像素标注;竞赛的全部输出是每个膝关节一个发病概率。第二,它不是 OAI 的派生集或子集,两者在受试者、国家、设计、年龄构成上完全不同。第三,它不是一份可以随取随用的开放数据,挑战赛在 2021 年结束后为关闭状态,数据获取须经主办方审核,这一点在后文许可一节展开。
1.2 它为什么在 2020 年出现
把这个挑战赛放回 2018–2020 年的语境里,它回应的是三个同时存在的问题。
一是结局定义混乱。膝骨关节炎的「发病」至少有三种常见口径:单纯放射学进展(KL 分级升高)、单纯症状出现、以及症状与放射学同时满足。三者的发病率相差数倍,直接决定了模型的学习难度与可达到的 AUC 上限。KNOAP2020 选择了最严格的一种,即症状性放射学膝骨关节炎(symptomatic radiographic knee osteoarthritis,SROA),并要求受试者在基线时确实没有这一状态。
二是训练数据被少数几个公开队列垄断。OAI 自 2004 年起公开,到 2020 年已经成为几乎所有膝 OA 影像研究的事实训练集。用 OAI 训练、用 OAI 的另一部分测试,很容易高估模型能力。挑战赛的组织者显然注意到这一点,在论文中反复比较各队在自己 OAI 验证集上的表现与在 KNOAP 测试集上的表现,并明确指出前者普遍高于后者。
三是「多模态到底有没有用」缺乏统一评估。MRI 在理论上能更早看到软骨与骨髓的形态改变,但成本高、扫描时间长;X 线便宜、普及,却只反映骨性结构。此前没有一份数据能让两种模态在同一批受试者、同一个结局、同一套评分下直接对撞。
1.3 挑战赛的组织形态
KNOAP2020 采用医学影像领域常见的 grand challenge 模式:主办方在固定日期一次性放出测试集,参赛者在截止日期前通过网页提交预测结果,主办方在盲测标签上统一评分并公布排行榜。这套模式的优点是排名可审计,缺点是它天然制造了「一次性」的数据使用窗口。
具体安排是:2020 年 2 月 17 日发布挑战赛公告,7 月 16 日开放注册,8 月 17 日放出测试集,10 月 1 日开放提交系统,原定 2020 年 11 月 30 日截止,后两次延期至 2021 年 1 月 11 日;结果于 2021 年 2 月 25 日的网络研讨会公布,并在同年 7 月的 IWOAI(International Workshop on Osteoarthritis Imaging)研讨会上报告。数据论文于 2022 年 10 月 12 日发表在 Osteoarthritis and Cartilage。
奖励方面,荷兰关节炎基金会 ReumaNederland 于 2020 年 12 月 1 日宣布成为奖金赞助方。与许多把奖金直接发给排名第一的挑战赛不同,KNOAP2020 对参赛者的实际激励更多来自论文共同署名:站点写明,主办方会与提供充分方法信息的活跃参赛者共同撰写结果论文。这在论文作者名单里可以直接看到,7 支提交队伍中有 6 支的成员出现在了作者列表中。
1.4 与同类资源的定位差异
在膝骨关节炎相关数据资源里,KNOAP2020 的位置相当特殊。它既不是最大的,也不是标注最细的,但它可能是唯一一个「结局由主办方封闭持有、测试集人群与主流训练集不同源」的发病预测基准。
与 OAI 相比,它小两个数量级,但它的价值不在规模而在独立性:OAI 的受试者已经被反复用于训练,任何在 OAI 上报告的提升都难以排除过拟合;KNOAP 的受试者是荷兰预防试验人群,此前几乎没有被影像 AI 社区触碰。
与影像分割类数据集相比,它不提供结构标注,因此不能直接用于训练软骨分割网络;它的标签只有一个二值结局,每个膝关节对应一个时间窗内的发病与否。这种「低标签密度、高临床意义」的组合,正是发病预测任务的真实形态:临床上没有人会为每个膝关节逐层勾画软骨,能拿到的只有随访结束时的一个诊断。
与近年的多模态基础模型评测集相比,它规模小、模态少,但提供了一个难得的「外部验证」参照:当一个模型在 OAI 上把 AUC 做到 0.75,在 KNOAP 上却只有 0.6,这个落差本身就是信息。
§2 数据构成:453 膝的横截面
2.1 规模与拆分
KNOAP2020 的样本来自 PROOF 研究(Prevention of Knee Osteoarthritis in Overweight Females,超重女性膝骨关节炎预防研究),这是一项在荷兰开展的随机对照试验,注册号 ISRCTN 42823086。该试验在基线纳入 407 名中年、超重或肥胖女性,随机分入饮食与运动干预组或对照组,随访至 6.5 年。
挑战赛从这一队列中筛选出符合条件的膝关节,筛选规则有三条:基线时不存在症状性放射学膝骨关节炎(按 ACR 临床加放射学联合标准);基线 KL 分级不超过 1;具备基线 X 线、基线 MRI,以及 2.5 年和(或)6.5 年随访数据。此外,在最后随访前退出且此前未发病的受试者被排除,因为无法判定结局。
筛选结果是 453 个膝关节,来自 242 名受试者。这个数字比队列总人数对应的膝关节数要少,原因一是部分受试者没有完成全部影像采集,二是部分受试者在基线就已有症状性放射学 OA 被排除。453 膝被拆成两半用途不同的集合:423 膝构成测试集,30 膝构成训练集。
| 集合 | 膝数 | 结局标签 | 用途 |
|---|---|---|---|
| 测试集 | 423 | 不公开 | 评分,决定性排名 |
| 训练集 | 30 | 公开(5 膝发病) | 微调、流程验证 |
| 合计 | 453 | 仅训练集公开 | — |
这个拆分比例值得注意:训练集只占 6.6%,且其中只有 5 个阳性样本。任何试图仅用这 30 膝从头训练深度网络的尝试都会立即过拟合。主办方在站点上把这一点讲得很直白:训练集「用于微调」,算法可以在任何合适的数据上训练和调参,例如 OAI。
2.2 影像数据:X 线与 MRI
X 线部分采纳的是半屈位后前位(posteroanterior,PA)投照,摆位遵循跖趾关节(metatarsophalangeal,MTP)协议。这一协议把 X 射线束对准膝关节后方的关节间隙,使胫股关节在负重屈曲约 20–30 度时成像,比传统的站立位伸直投照更容易显示关节间隙狭窄,是欧洲骨关节炎影像研究常用的标准摆位。
设备来自两套系统,参数并不统一:
| 设备 | 管电压 | 曝光量 | 像素尺寸 |
|---|---|---|---|
| Swissray ddR Compact(瑞士 Hochdorf) | 60 kVp | 10 mAs | 0.104 mm × 0.104 mm |
| GE Thunder Platform(美国 Waukesha) | 60–70 kVp | 3–5 mAs | 0.190–0.192 mm × 0.190–0.192 mm |
两套设备的像素尺寸相差接近一倍,换算成实际视场,同一解剖结构在两类图像中的像素数并不相同。主办方把设备厂商、管电压、曝光量、像素尺寸作为元数据一并提供,这意味着研究者可以显式地把设备差异纳入模型,也可以用它做设备偏倚的敏感性分析。对于任何要把 X 线模型产品化的团队,这份元数据比图像本身更值得先看一遍。
MRI 部分来自三台扫描仪:1.0T Philips Intera(荷兰 Eindhoven)、1.5T Siemens Symphony(德国 Erlangen)、1.5T Siemens Magnetom Essenza(德国 Erlangen)。场强为 1.0T 与 1.5T,低于当代肌骨 MRI 常用的 3T。序列只有两套:
一套是冠状位的 2D 质子密度(proton density,PD)加权序列,主要用于观察内外侧胫股关节间隙、软骨轮廓与半月板信号;另一套是矢状位的 3D 水激发(water excitation)序列,通过选择性激发水信号抑制脂肪,使软骨与骨髓水肿在低信号背景上更易辨识。
两套序列的组合覆盖了膝 OA 影像评估最常用的两个视角,但它并不是完整的肌骨 MRI 协议:没有 T2 定量序列,没有骨髓水肿专用的脂肪抑制序列(除 3D 水激发外),也没有矢状位之外的冠状多层 T2 mapping。这一点直接限制了研究者的任务范围,凡是需要 T2 relaxation time 或需要逐层定量软骨成分的方案,在这份数据上都无法实施。
主办方同样提供了扫描仪厂商、重复时间(TR)、回波时间(TE)、翻转角、层厚与层间距、体素尺寸等参数。提供这些参数的动机与 X 线一致:低场 MRI 的图像质量与序列差异显著,若不告知,参赛者会让模型隐式地学到「哪台机器的图长什么样」,而不是学到疾病本身。
全部影像统一转换为 NIfTI 格式(Neuroimaging Informatics Technology Initiative),这是一种在神经影像领域最通用的三维体数据格式,一个文件包含完整的体积数据与仿射变换信息。对机器学习流程而言,NIfTI 的好处是可以直接用 nibabel 或 SimpleITK 读取;代价是 DICOM 头中的部分元数据在转换时会丢失,如果研究者需要原始采集参数,仍需回到 XNAT 平台查元数据表。
2.3 临床变量:13 项的构成与语义
临床变量是 KNOAP2020 与纯影像数据集最大的区别。站点与论文给出的变量清单如下:
| 变量 | 含义与取值 | 备注 |
|---|---|---|
| 受试者编号 | 匿名 ID | 用于关联影像与随访 |
| 年龄 | 岁,连续 | 测试集均值 55.7,标准差 3.2 |
| BMI | kg/m²,连续 | 测试集均值 31.7,标准差 3.7 |
| 侧别 | 左/右 | 同一受试者可有两个膝 |
| 基线 KL 分级 | 0 或 1 | 因排除 KL > 1,实际为二值 |
| 膝损伤史 | 无/有 | 定义为是否曾因膝伤就医 |
| 轻度症状 | 无/有 | 过去 12 个月内膝部或膝周是否疼痛 |
| 内翻畸形 | 无/有 | 站立位下肢力线评估 |
| Heberden 结节 | 无/有 | 远端指间关节骨性结节,OA 的全身性标志 |
| 关节线压痛 | 无/有 | 体检项目 |
| 骨摩擦音 | 无/有 | 主动屈伸膝时触诊 |
| 晨僵 | 无/有 | 与 ACR 标准中的「< 30 分钟」相关 |
| 绝经状态 | 已绝经/否 | 全部为女性受试者 |
这份清单的设计与 ACR 膝 OA 分类标准高度呼应。ACR 1986 年标准要求膝痛加上放射学骨赘,再从年龄、晨僵、骨摩擦音、关节线压痛、关节肿胀等条件中满足若干项。KNOAP2020 的变量集几乎逐条覆盖了这些临床要素,再加上全身性标志(Heberden 结节)与力学因素(内翻畸形),构成一个相当完整的表型描述。
与此同时,这份清单有明显缺口。它没有影像学之外的生物标志物,没有血清或尿液指标,没有遗传信息,也没有疼痛强度量表(如 WOMAC 或 KOOS)。论文在讨论中明确把「纳入遗传学等其他模态」列为未来方向,说明组织者清楚这些缺口的存在。
2.4 结局标签的判定方式
结局是症状性放射学膝骨关节炎,判定要同时满足两条:膝关节疼痛,且同一膝关节存在明确的胫股骨赘。疼痛通过问卷获取,原文表述为「过去一个月的大多数日子里,是否感到左膝、右膝或双膝疼痛」。骨赘由放射科医师在随访 X 线上判读。
论文对判定逻辑有一段容易被误读的说明:满足上述定义者同时也满足 ACR 联合标准(膝痛加明确骨赘,再加上年龄大于 50 岁、晨僵少于 30 分钟、骨摩擦音三者之一),因为测试集全部受试者在基线时已超过 50 岁。这句话的意思是,ACR 标准在这里并不提供额外的排除力,判断实际只落在「疼痛」与「骨赘」两项上。
发病的时间窗取 2.5 年与 6.5 年两个随访时点。基线阴性,而 2.5 年或 6.5 年任一时点阳性,即判为发生。这个「任一」的设计扩大了可判定的人群,因为部分受试者只完成了其中一个时点的随访;代价是不同阳性样本的观察时长不一致,一个在 2.5 年发病的膝与一个在 6.5 年发病的膝被当作同一类结局处理。
事件率方面,训练集 30 膝中 5 膝发病(16.7%),测试集 423 膝中 70 膝发病(16.5%)。两个比例高度接近,说明随机拆分是平衡的。对建模而言,16.5% 的正例率意味着随机猜全阴性能得到 83.5% 的准确率,这就是为什么挑战赛没有用准确率作为指标,而用 ROCAUC 与平衡准确率(BACC)。
2.5 人群特征与代表性
测试集的年龄均值 55.7 岁(标准差 3.2),BMI 均值 31.7(标准差 3.7);训练集年龄均值 56.0 岁(标准差 2.8),BMI 均值 32.4(标准差 3.7)。两组在年龄与 BMI 上几乎无差异,再次说明拆分的随机性。
这组数字放在膝 OA 流行病学里有什么含义?首先,全部受试者为女性,且全部超重或肥胖(入组要求 BMI 不低于 27),这对应的是膝 OA 的一个高风险亚群,而不是一般人群。其次,年龄跨度窄,集中在 50–62 岁之间,这个区间恰好是 OA 发病率快速上升的阶段,但不足以支撑年龄效应的建模——在一个 12 岁的跨度内,年龄作为连续变量的信息量有限。第三,基线 KL 分级被限制在 0 或 1,意味着研究的是「影像学尚属正常或仅可疑」的膝关节,这与临床上常见的「已有明显骨赘的患者随访进展」是两种不同的问题。
论文在局限部分明确承认:测试集人群为 50–62 岁超重女性,年龄与性别的预测力受限,泛化性不明。这句话的实际含义是,如果把这个数据集上得到的模型直接用于 40 岁正常体重男性,模型可能退化为一个「年龄 + BMI」的线性打分器。
2.6 每个膝关节实际能拿到什么
把上述内容按受试者视角整理,一个膝关节的数据包包含:
- 一张半屈位后前位 X 线(可能来自两套设备之一,像素尺寸不同);
- 一套冠状位 2D PD MRI;
- 一套矢状位 3D 水激发 MRI;
- 一份 DICOM 转 NIfTI 后的元数据表(设备、TR、TE、翻转角、层厚、体素尺寸);
- 13 项临床与背景变量;
- 若是训练集,还有 2.5 年与 6.5 年的结局标签。
没有的东西同样重要:没有软骨分割、没有骨赘位置标注、没有骨髓水肿的三维勾画、没有 KL 分级的逐年序列(只有基线值)、没有 WOMAC 疼痛评分的变化轨迹、没有随访影像。这意味着研究者无法做「影像变化预测影像变化」的任务,只能做「基线的静态影像预测未来的诊断事件」。
§3 怎么拿到:协议制获取与许可解读
3.1 获取路径的历史与现状
KNOAP2020 的数据获取走的是「挑战赛注册 + 数据使用协议」双闸门。原流程分为四步:在挑战赛网站注册团队,填写真实姓名、单位与机构邮箱;下载数据使用协议模板,签署后发到主办方指定的 Gmail 邮箱;主办方审核通过后,在 Health-RI XNAT 平台上开通账号;从 XNAT 下载影像与变量表。
这三步中有两步已经失效。第一,挑战赛详情页现在明确写着「本挑战赛现已关闭」,注册通道关闭。第二,站点对数据用途的限定是「所提供数据仅可用于准备提交给本挑战赛的作品」,而挑战赛已经结束,这一限定在字面上不再有对应的合法用途。因此当前的现实是:没有公开的持续下载入口,任何新的使用都需要向主办方单独申请并说明用途。
这对不同使用者的影响完全不同。对于只想「看看数据长什么样」的探索者,这是一道硬门槛;对于有明确研究计划、能够提供机构伦理审批的研究团队,通过邮件联系通讯作者(论文标注通讯作者为 Stefan Klein 与 Edwin Oei,另有挑战赛专用邮箱)通常是可以走通的,但这属于主办方逐案裁量,不存在自动化通道。
3.2 许可条款的实际含义
严格来说,KNOAP2020 没有「许可证」。许可证(license)是一份事先拟定的、任何人满足条件即可使用的授权文本,例如 CC BY 4.0 允许在署名前提下商用。KNOAP2020 采用的是数据使用协议(data use agreement,DUA),这是一份需要逐份签署、限定具体用途的合同。
两者的法律后果差别很大:
| 维度 | CC 类开放许可 | KNOAP2020 的 DUA |
|---|---|---|
| 授权对象 | 不特定公众 | 签署方 |
| 授权范围 | 许可文本规定 | 协议逐条约定 |
| 用途限制 | 通常仅要求署名 | 限定为挑战赛提交 |
| 再分发 | 视条款而定 | 通常禁止 |
| 商用 | CC BY 允许 | 未授权 |
| 有效期 | 永久 | 随用途终止 |
站点原文的那句限定值得逐字看:「所提供数据仅可用于准备提交给本挑战赛的作品。」这句话在 2020–2021 年是合理的,因为挑战赛需要防止参赛者用测试集做半监督训练或反复调参。但在挑战赛结束后,它变成了一句悬置的条款:数据已经分发到参赛者手中,用途却已经终结。实践中的处理方式是:参赛者手头的数据一般不会再分发,新用户需要重新申请并约定新的用途。
对产品团队而言,这里的结论很直接:不能把 KNOAP2020 当作可商用数据源。即使通过申请拿到了数据,也应默认授权范围限于学术研究,商用需要单独谈判。
3.3 上游 PROOF 研究带来的额外约束
KNOAP2020 的数据不是为挑战赛专门采集的,而是 PROOF 试验的二手使用。这带来三层额外的约束。
第一层是伦理。PROOF 研究由 Erasmus MC 医学伦理委员会批准,受试者签署了书面知情同意。挑战赛对数据的使用属于二次利用,通常需要在原始同意范围内,或经伦理委员会另行批准。研究者若在自己的机构做二次分析,一般也需要本地伦理审查(IRB 或同等机构)的豁免或批准。
第二层是随机对照试验的原始设计。PROOF 是一项干预试验,受试者被随机分配至饮食与运动干预组或对照组。挑战赛的论文没有把干预分组作为变量提供,也没有说明测试集中两组的比例。这意味着如果干预确实影响了发病风险,那么 KNOAP2020 的结局分布是「干预后的混合分布」,与自然人群的发病率不完全可比。
第三层是随访完整性。论文提到,在最后随访前退出且此前未发病的受试者被排除。这是生存分析中典型的「完整病例」处理,会引入选择偏倚:能够完成 6.5 年随访的人,往往比失访者更健康或更有依从性,因此观察到的发病率可能偏低。
3.4 影像层面的技术准备
拿到数据后,第一步不是训练模型,而是把 NIfTI 文件与临床变量表对齐。这一步有三个常见坑。
坑之一是文件命名。不同受试者的左右膝在同一受试者下有独立编号,但 X 线与 MRI 的文件命名规则并不总是一致;如果按文件名排序后直接 zip 两个列表,很容易把左膝的 X 线与右膝的 MRI 配到一起。稳妥做法是用受试者编号加侧别作为主键,逐条比对。
坑之二是 NIfTI 的方向。医学影像的 NIfTI 文件携带 qform 与 sform 两套仿射矩阵,不同工具链(nibabel、SimpleITK、FSL)对方向的解释略有差异。在冠状位与矢状位序列上,如果方向搞反,模型学到的「内侧」与「外侧」会互换,而内外侧在膝 OA 中恰恰是不对称的(内侧间室受累更常见)。
坑之三是层厚与层间距。矢状位 3D 序列是各向同性或近各向同性的,冠状位 2D PD 则层厚较大。若把两者简单堆叠成多通道输入,需要先重采样到统一体素尺寸;重采样方法(线性、样条、最近邻)会显著影响软骨边界的锐利度。
3.5 与 OAI 配合使用的实际做法
几乎所有参赛队伍都用 OAI 训练模型,因此 OAI 与 KNOAP 的协议配准是无法回避的问题。
OAI 的 MRI 协议包括矢状位 3D DESS(dual-echo in steady state,双回波稳态)加选择性水激发,以及冠状位 2D 中间加权快速自旋回波(TSE IW)。KNOAP 的序列是冠状位 2D PD 与矢状位 3D 水激发,场强为 1.0T 与 1.5T,而 OAI 为 3T。
结果是,即便解剖部位相同,两类图像在对比度、信噪比、部分容积效应上都有明显差异。直接拿 OAI 训练的模型在 KNOAP 上测试,性能下降几乎是必然的。参赛队伍中表现较好的做法包括:用 OAI 训练后在 KNOAP 的 30 膝训练集上做微调;或者干脆放弃 MRI,只用 X 线与临床变量训练,X 线在不同队列之间的差异相对小得多。
论文对此有一段直接的观察:多数算法在 OAI 验证子集上的 ROCAUC 高于在 KNOAP 测试集上的 ROCAUC,作者把这一现象解读为「可能存在对 OAI 的过拟合与数据集间的分布偏移」。这句话几乎是给所有「在 OAI 上刷高分」的研究的提醒。
§4 挑战赛设计与评分:盲测集上的七队对撞
4.1 参赛流程的规则细节
KNOAP2020 的提交规则比一般挑战赛更细,原因在于主办方要控制统计比较中的多重比较问题。
第一条规则是提交格式固定。参赛者需按模板提交一个表格,每行对应一个膝关节,三列:膝关节编号(形如 KNOAP_test001_L)、对照概率、发病概率。模板格式禁止改动,因为评分是自动化的。这里有一个容易忽略的细节:提交的是两个概率而不是一个,这使得评分时既能用发病概率算 ROCAUC,也能在需要时用一个阈值把两列拼成硬分类。
第二条规则是每名参赛者最多五份提交。主办方给出的理由是减少多重比较带来的统计问题。在 423 个样本、70 个阳性的测试集上,多投几次总会碰运气拿到一个较高的 AUC,因此限制提交次数是必要的。同时,主办方也预见到了「拆组刷榜」的风险,写明如果不同组提交的方法足够相似,可能要求其合并。
第三条规则是每份提交须附一份不超过四页 A4 的方法说明,页面参数也有明确规定(1 cm 页边距、11 磅 Times New Roman)。说明必须覆盖六项内容:训练数据集及其在训练/验证集上的 ROCAUC 与 BACC、使用的影像模态与序列、所用特征的数量与来源(自动或手工)、缺失值处理方式、单个膝关节的平均预测耗时与训练算力、方法的完整描述。
这六项要求实际上构成了一个轻量的可复现性清单。与很多只要求写一段简介的挑战赛相比,KNOAP2020 的方法说明迫使参赛者披露训练数据来源,这正是后来能比较「OAI 训练 vs 其他训练」的基础。
4.2 评分指标:ROCAUC 与 BACC
挑战赛用两个指标:ROC 曲线下面积(ROCAUC)作为主指标,平衡准确率(balanced accuracy,BACC)作为次要指标。论文另报了 PR AUC(precision-recall curve 下面积)作为补充,但不用于排名。
ROCAUC 的优点是阈值无关,衡量的是模型对正负样本的排序能力;在正例率 16.5% 的情形下,它比准确率稳定得多。BACC 的定义是灵敏度与特异度的算术平均,等价于在阈值处对两类样本各自计算召回率再平均,它的存在是为了防止模型把所有人都判为阴性——因为那样会得到很高的准确率,但灵敏度为零。
两个指标给出的排名并不一致,这一点被论文拿来作为局限之一。以最优的几份提交为例,Inbetweeners-1 的 ROCAUC 最高(0.636),但 BACC 只有 0.549;OuluMIPT-3 的 ROCAUC 排第二(0.624),BACC 却是全场最高(0.587)。如果以 BACC 排名,冠军会换人。这意味着「KNOAP2020 冠军」这个说法必须附带指标限定,否则会产生歧义。
置信区间用自助法(bootstrap)估计,论文中的 95% CI 宽度普遍在 0.11–0.14 之间。以冠军的 0.636(0.571–0.699)为例,其下限 0.571 已经落入了多份其他提交的 CI 范围。主办方因此在论文中明确写道:排名需谨慎解读。
4.3 全部提交的结果
23 份提交中,18 份参与排名,5 份为参考提交(不参与排名)。按 ROCAUC 排序的完整结果如下:
| 排名 | 提交 | 模态 | ROCAUC (95% CI) | BACC (95% CI) | PR AUC | 训练数据 |
|---|---|---|---|---|---|---|
| 1 | Inbetweeners-1 | X 线 + 临床 | 0.636 (0.571–0.699) | 0.549 (0.507–0.592) | 0.245 | OAI 1,581 膝 |
| 2 | OuluMIPT-3 | X 线 + MRI + 临床 | 0.624 (0.546–0.692) | 0.587 (0.520–0.648) | 0.254 | OAI 432 膝 |
| 3 | OuluMIPT-5 | X 线 + MRI + 临床 | 0.621 (0.539–0.690) | 0.562 (0.501–0.616) | 0.271 | OAI 432 膝 |
| 4 | Inbetweeners-5 | X 线 + 临床 | 0.614 (0.546–0.675) | 0.531 (0.472–0.585) | 0.227 | OAI 1,581 膝 |
| 5 | CCF-MR | MRI + 临床 | 0.612 (0.546–0.679) | 0.553 (0.493–0.617) | 0.237 | OAI 427 膝 + 训练集 30 膝 |
| 6 | OuluMIPT-4 | X 线 + 临床 | 0.602 (0.524–0.670) | 0.579 (0.512–0.639) | 0.237 | OAI 432 膝 |
| 7 | Inbetweeners-3 | X 线 + 临床 | 0.598 (0.524–0.665) | 0.541 (0.489–0.592) | 0.222 | OAI 1,581 膝 |
| 8 | CCF-Xray | X 线 + 临床 | 0.595 (0.521–0.658) | 0.571 (0.504–0.629) | 0.239 | OAI 427 膝 |
| 9 | OuluMIPT-1 | X 线 + MRI + 临床 | 0.594 (0.512–0.662) | 0.578 (0.506–0.639) | 0.229 | OAI 432 膝 |
| — | EMC-4(参考) | 仅临床 | 0.592 (0.519–0.656) | 0.506 (0.479–0.534) | 0.224 | OAI 432 膝 |
| 10 | Akousist | X 线 + MRI + 临床 | 0.592 (0.515–0.661) | 0.550 (0.485–0.610) | 0.216 | OAI 3,654 膝 |
| — | EMC-3(参考) | 仅临床 | 0.585 (0.505–0.655) | 0.500 (0.500–0.500) | 0.244 | OAI 432 膝 |
| 11 | TheRollingPebbles-Filtered | X 线 + MRI + 临床 | 0.574 (0.505–0.637) | 0.560 (0.494–0.615) | 0.198 | OAI 3,654 膝 |
| 12 | OuluMIPT-2 | 仅 X 线 | 0.570 (0.484–0.645) | 0.547 (0.481–0.605) | 0.276 | OAI 432 膝 |
| 13 | Inbetweeners-2 | X 线 + 临床 | 0.569 (0.495–0.636) | 0.512 (0.490–0.539) | 0.225 | OAI 1,767 膝 |
| 14 | Inbetweeners-4 | X 线 + 临床 | 0.567 (0.490–0.636) | 0.522 (0.493–0.553) | 0.210 | OAI 1,581 膝 |
| — | EMC-2(参考) | 仅临床 | 0.551 (0.465–0.621) | 0.500 (0.500–0.500) | 0.221 | OAI 432 膝 |
| — | EMC-1(参考) | 仅临床 | 0.550 (0.462–0.620) | 0.500 (0.500–0.500) | 0.223 | OAI 432 膝 |
| — | UC-MRI(参考) | 仅 MRI | 0.537 (0.467–0.604) | 0.506 (0.477–0.542) | 0.177 | 训练集 30 膝 |
| 15 | TheRollingPebbles-Full | X 线 + MRI + 临床 | 0.530 (0.456–0.601) | 0.527 (0.469–0.581) | 0.175 | OAI 3,654 膝 |
| 16 | TheRollingPebbles-Ensemble | X 线 + MRI + 临床 | 0.528 (0.454–0.596) | 0.515 (0.449–0.578) | 0.178 | OAI 3,654 膝 |
| 17 | TheRollingPebbles-0 | X 线 + 临床 | 0.506 (0.427–0.578) | 0.479 (0.413–0.536) | 0.171 | OAI 3,654 膝 |
| 18 | TheRollingPebbles-1 | X 线 + MRI + 临床 | 0.501 (0.423–0.568) | 0.504 (0.434–0.562) | 0.167 | OAI 3,654 膝 |
几点值得注意的结构性事实。
第一,全部 18 份排名提交的 ROCAUC 落在 0.501 至 0.636 之间。即使是表现最差的提交,也没有显著低于随机水平,但整套分布的整体位置很低——0.6 附近是上限,而临床上一般认为 AUC 至少要到 0.7 才具备分诊价值。
第二,PR AUC 的第一名是 OuluMIPT-2(0.276,仅用 X 线),而它的 ROCAUC 只排第 12。PR AUC 在正例稀少时对高精度区间更敏感,这一背离说明不同评分口径会选出不同的「最佳」模型。论文没有把 PR AUC 纳入排名,但把它列为补充报告,这是一个相对诚实的处理。
第三,参考提交提供了一个关键的下界参照。EMC 系列四个纯临床变量模型(EMC-1 至 EMC-4)的 ROCAUC 在 0.550–0.592 之间,BACC 固定在 0.500 附近——BACC 恰好 0.500 是因为这些模型输出的是一个固定概率,没有可调阈值,任何阈值下灵敏度与特异度互补。换句话说,仅凭 13 项临床变量,就能拿到接近 0.6 的 ROCAUC;影像特征在这个基础上只能再加不到 0.05。
第四,UC-MRI 是唯一一个纯 MRI 模型,ROCAUC 0.537,是全部提交中最低的几个之一。它只用 30 膝训练集训练,这既说明了 MRI 信息的独立预测力弱,也说明了训练样本量对结果的影响——这个模型的说服力受限于样本量,不能单独作为「MRI 无用」的证据。
4.4 冠军模型的构造
Inbetweeners-1 的做法相对朴素:用预训练的 ResNet34 从 X 线图像提取特征,再把年龄、BMI、基线 KL 分级作为额外输入,送入逻辑回归做二分类。训练数据是 OAI 的 1,581 个膝关节样本,没有使用 KNOAP 的 30 膝训练集,也没有使用 MRI。
它的成功说明两点。其一,在样本量有限、跨队列的设定下,浅层分类器加预训练特征的组合比端到端训练更稳。其二,X 线在膝 OA 发病预测中携带的信息量并不比 MRI 少——至少在 6.5 年这个时间尺度上,X 线上能看到的关节间隙、骨赘、软骨下骨硬化,已经包含了相当一部分预测信号。
不过要注意,逻辑回归的可解释性在这里未必是优点:模型学到的权重是在 OAI 上拟合的,迁移到 KNOAP 时,各特征的尺度与分布都发生了变化,没有做任何校准。ROCAUC 是排序指标,不受校准影响;但若要把它当作概率用于临床决策,必须先做校准。
4.5 最高 BACC 模型的构造
OuluMIPT-3 走的是集成路线:把三个子模型的高斯朴素贝叶斯输出融合。三个子模型分别基于 ResNet18 提取的 X 线特征加关节形状-关节间隙(joint shape and joint space,JS2)特征、从 MRI 自动提取的软骨形态特征、以及临床变量。训练数据是 OAI 的 432 膝。
这个模型选择融合而非单模型,反映出团队对任务难度的判断:没有任何单一信号足够强,只能靠组合把不同来源的弱信号叠加起来。BACC 最高(0.587)说明它在灵敏度与特异度之间找到了较平衡的阈值,这恰恰是临床筛查场景更关心的性质。
但融合也带来了一个解释上的问题:朴素贝叶斯假设各特征条件独立,而 X 线特征、MRI 特征与临床变量显然不独立(BMI 与关节间隙狭窄相关,年龄与骨赘相关)。在 423 个样本的测试集上,这一假设的违反对排序的影响难以量化。
4.6 OuluMIPT 团队的五份提交说明了什么
OuluMIPT 一家提交了五份,覆盖不同的模态组合:-1(三模态)、-2(仅 X 线)、-3(三模态,最高 BACC)、-4(X 线 + 临床)、-5(三模态)。这构成了一个天然的消融实验。
按 ROCAUC 看,三模态的 -3(0.624)与 -5(0.621)略高于 X 线加临床的 -4(0.602),仅 X 线的 -2(0.570)最低。按 BACC 看,-4(0.579)反而高于 -5(0.562)。
这组数字有两个解读方向。乐观的解读是:加入 MRI 能带来约 0.02 的 ROCAUC 提升,虽然小但方向一致。悲观的解读是:0.02 的提升落在置信区间内,且不同指标下排序翻转,不足以支撑「MRI 有独立价值」的结论。论文作者倾向于后者,他们在讨论中写道,由于训练集(3T)与测试集(1.0/1.5T)的 MRI 协议差异显著,存在分布偏移,难以就 MRI 的作用下结论。
4.7 被论文单独点出的过拟合现象
结果讨论中有一段观察值得单列:多数模型在 OAI 验证子集上的表现优于在 KNOAP 测试集上。OAI 的验证子集由主办方提供,108 膝,年龄、BMI、性别与 KNOAP 测试集匹配。
这个落差的方向是一致的,而非个别现象。论文把原因归结为两点:一是模型在训练过程中已经以某种方式接触过 OAI 的分布(即使是不同的划分子集,同一队列的图像风格、设备、协议是一致的);二是队列之间的真实差异,包括国家、年龄构成、扫描仪场强。
对使用者的实际含义是:如果一篇论文报告在 OAI 上做了交叉验证并得到 0.72 的 AUC,那么这个数字不能直接与 KNOAP2020 的 0.636 比较,两者衡量的不是同一件事。跨队列的 AUC 通常会比同队列交叉验证低 0.08–0.12,这个量级与 KNOAP 论文中观察到的落差相符。
§5 质量与已知问题:能信到什么程度
5.1 数据质量的正面事实
先说可靠的部分。KNOAP2020 的影像不是网络上抓来的,而是临床试验按协议采集、由研究护士与放射技师在固定设备上完成,采集参数有完整记录。这在影像数据集里属于较高标准:大多数公开数据集只有图像,没有设备与序列参数;KNOAP 提供了厂商、管电压、曝光量、像素尺寸、TR、TE、翻转角、层厚与层间距、体素尺寸。
结局标签的质量同样值得肯定。症状性放射学膝骨关节炎的判定需要两个来源:问卷(疼痛)与放射科医师读片(骨赘)。前者在 PROOF 试验里有统一的问卷流程,后者由中心化读片完成。这比「用 ICD 编码反推诊断」的做法可靠得多。
临床变量的采集也遵循试验标准操作规程。13 项变量里,BMI、年龄、绝经状态是客观测量;膝损伤史、轻度症状来自问卷;内翻畸形、Heberden 结节、关节线压痛、骨摩擦音、晨僵来自体格检查。后一组依赖检查者的经验,存在观察者间变异,但这是临床数据无法避免的属性。
5.2 样本量与统计功效
423 个测试样本、70 个阳性事件,这个规模在小样本医学影像研究里不算罕见,但它决定了结果的不确定性。
以 ROCAUC 的标准误估算,在正例 70、负例 353 的设定下,AUC 约 0.64 时的标准误大致在 0.03–0.04 之间,95% CI 半宽约 0.06–0.08。这与论文报告的 CI(0.571–0.699,半宽 0.064)一致。换句话说,冠军的 0.636 与第 5 名的 0.612 之间,差距完全在噪声范围内。
样本量的另一个后果是排名的不稳定性。论文做了敏感性分析,把双膝受试者随机取一膝,以消除双膝相关性带来的方差低估。结果是绝对指标略有上升,但置信区间变宽。这个方向符合预期:去相关后有效样本量下降,估计更不确定。
5.3 双膝相关性问题
多数受试者双膝均入选,242 人贡献 453 膝,平均每人 1.87 膝。这意味着同一受试者的两个膝关节在年龄、BMI、激素状态、遗传背景上完全共享,其结局也不是独立的——如果一个人的一侧膝发病,另一侧膝的发病概率也会升高。
标准做法有两种:按受试者聚类稳健标准误,或按受试者拆分训练/测试。挑战赛在拆分时做了后者吗?论文没有明确说明测试集与训练集是否按受试者拆分。这是一个信息缺口。如果拆分是按膝随机,同一受试者的两膝可能一在训练集、一在测试集,那就存在轻微的信息泄漏(模型可以从训练集中的一侧膝推断测试集中另一侧膝的表型)。考虑到训练集只有 30 膝,这一泄漏的实际影响有限,但研究者应当知道这个不确定性。
论文自己的处理是在事后做敏感性分析,而不是在设计阶段就按受试者拆分。这一顺序说明了挑战赛组织的一个常见取舍:为了最大化测试集规模,牺牲了独立性假设的严格性。
5.4 随访与失访
PROOF 试验的随访设计是 2.5 年与 6.5 年两个时点。挑战赛的结局取「任一时点阳性」,这意味着两个时点的数据被合并。
问题在于,不同受试者的观察时长并不相同。一个在 2.5 年时发病的膝,随即被判定为阳性;一个在 2.5 年时阴性、但未参加 6.5 年随访的受试者,其结局只能依据 2.5 年的数据,观察窗短了 4 年。论文对被排除者的描述是「在最后随访前退出且此前未发病的受试者被排除」,这解决了「结局未知」的问题,但没有解决「观察时长不等」的问题。
在生存分析框架下,正确的处理是时间到事件(time-to-event)建模,用删失(censoring)处理不同观察时长;而挑战赛把它简化成了二分类,所有阳性样本被等同对待,所有阴性样本也被等同对待。这一简化的代价是丢失了时间信息:一个 2 年发病的膝比一个 6 年发病的膝风险更高,但模型不需要区分它们。
5.5 人群外的泛化风险
人群单一这一点已经反复提及,这里要具体说明它会怎样影响模型。
第一,年龄的方差极小。测试集年龄均值 55.7、标准差 3.2,意味着 95% 的受试者落在 49.4 至 62.0 岁之间。在一个方差如此小的变量上,模型很难学到「年龄越大风险越高」的稳定关系;即使学到了,外推到 70 岁人群时,线性假设是否成立完全无法验证。
第二,性别完全缺失。男性膝 OA 的发病年龄分布、与肥胖的关联强度、影像表现(如骨赘更明显、软骨丢失相对慢)都与女性不同。一个只在女性上验证过的模型,用于男性时的表现未知。
第三,BMI 全在 27 以上。这意味着模型没有见过「正常体重」的膝关节,而正常体重人群的发病机制可能更依赖创伤、力线异常、遗传,而非代谢负荷。
第四,种族与地域单一。PROOF 是荷兰单国试验,受试者几乎全为白人。影像设备也集中于欧洲常见的两个品牌(Swissray、GE、Philips、Siemens),若用于亚洲或非洲人群,图像风格与解剖比例都可能有系统差异。
5.6 假设—支持—反对三列评估
对于几项关键判断,把「已知」与「未知」拆成三列更清楚:
| 假设 | 支持证据 | 反对证据或保留 |
|---|---|---|
| MRI 对发病预测有独立价值 | OuluMIPT 三模态模型的 ROCAUC 略高于 X 线加临床模型;MRI 理论上能更早看到软骨形态改变 | 冠军模型未用 MRI;纯 MRI 参考模型 ROCAUC 0.537;提升量落在 CI 内;训练/测试 MRI 协议不同源 |
| 该数据集能代表自然人群的膝 OA 发病风险 | 来自随机对照试验,采集协议标准,结局判定严格 | 仅 50–62 岁超重女性;干预组与对照组混合;完整病例分析排除了失访者 |
| 训练集可用于微调 | 主办方明确说明 30 膝带标签是为了微调 | 仅 5 个阳性样本,微调容易过拟合;30 膝不足以做交叉验证 |
| 提交结果可用于跨研究比较 | 盲测集统一、评分指标公开、方法说明强制披露训练数据 | 测试集标签未公开,第三方无法重算;不同提交的 CI 重叠严重 |
| 数据仍可获取 | 主办方有专用联系邮箱,学术申请有先例 | 站点标注挑战赛已关闭;DUA 限定用途为挑战赛提交;无自动化通道 |
5.7 论文自述的六条局限
论文在讨论部分列出了六条局限,按原文顺序:
第一,可用训练数据有限。要判定发病结局,需要基线与随访的临床加影像评估,成本高、周期长,因此带标签的样本天然稀缺。这不是 KNOAP 一家的问题,而是整个 OA 预测领域的结构性问题。
第二,未提供预计算特征、分割结果或预处理后的图像。参赛者需要自己完成配准、分割、特征提取,工作量大。主办方的考虑是避免把某一种预处理方式强加给参赛者,但代价是门槛提高,部分潜在参与者因此退出。
第三,多数参与者贡献了双膝,可能引入分析偏倚。这一条即上文讨论的相关性问题。
第四,测试集人群单一,年龄与性别的预测力受限,泛化性不明。
第五,置信区间较宽,最终排名依赖所选指标,ROCAUC 与 BACC 的排序不一致,排名需谨慎解读。
第六,随访期内的敏感度范围 0.00–0.757、特异度范围 0.297–1.00,变异极大。这意味着不同提交在实际阈值下的临床表现差异远比 AUC 显示的大:有的模型几乎不报警(敏感度 0),有的模型把三分之一健康膝判为高风险(特异度 0.297)。
这六条局限的坦白程度在挑战赛论文里属于中上。值得注意的是,论文没有提到的一条是:测试集标签从未公开,这直接限制了数据集的长期学术价值——它只能作为一次性基准,无法作为可持续的外部验证集。
转述时须区分两层可靠性:采集、变量、结局定义的描述属 A 级(多方一致、可追溯);「MRI 相对 X 线有多少增量价值」的判断属 C 级(单篇论文、单一测试集、效应量在置信区间内)。
5.8 与 OAI 对照时的已知偏差
由于几乎所有参赛者都用 OAI 训练,OAI 与 KNOAP 之间的系统差异会以「模型性能下降」的形式表现出来,而这一下降容易被误读为「模型不行」。
已知的差异至少有四项。场强:OAI 为 3T,KNOAP 为 1.0T 与 1.5T。序列:OAI 用矢状位 3D DESS 加冠状位 2D TSE IW,KNOAP 用冠状位 2D PD 加矢状位 3D 水激发。发病定义:OAI 的 72 个月发病变量由主办方为参赛者提供,其定义与 KNOAP 的 SROA 未必逐字一致,论文只说「提供了一个 OAI 72 个月发病变量」,没有展开其判定细节。人群:OAI 为 45–79 岁男女混合,KNOAP 为 50–62 岁超重女性。
这四项差异中,任何一项都足以造成显著的分布偏移。因此,把 KNOAP 上的低分直接解读为「方法不好」,是把数据差异误当成了方法缺陷。
§6 能做什么:任务清单与最小可执行示例
6.1 任务清单
KNOAP2020 支持的任务类型由它的标签结构决定:每个膝关节一个二值结局,一个随访时间窗。由此可以展开出以下几类任务。
| 任务 | 输入 | 输出 | 可行性判断 |
|---|---|---|---|
| 发病二分类预测 | 基线 X 线 / MRI / 临床变量 | 6.5 年内是否发病 | 核心任务,挑战赛已跑通 |
| 跨队列泛化评估 | OAI 训练的模型 + KNOAP 测试集 | 泛化性能落差 | 可行,但需申请测试集标签 |
| 模态消融 | 不同模态组合 | 各模态边际贡献 | 可行,OuluMIPT 五份提交即范例 |
| 临床变量基线建模 | 13 项变量 | 发病概率 | 可行,EMC 参考提交即范例 |
| 影像组学特征探索 | MRI 软骨形态、X 线关节间隙 | 特征与结局的关联 | 可行,样本量限制结论强度 |
| 分割或检测 | — | 软骨、骨赘掩码 | 不可行,无结构标注 |
| 时间到事件建模 | 基线 + 两个随访时点 | 发病时间分布 | 部分可行,2.5 年阳性者可视为早期事件,但时点粗 |
上表第七行的可行性判断需要展开。挑战赛把结局化简为二分类,但原始随访数据其实保留了两个时点。如果主办方在重新申请时愿意提供「每一膝在哪一个时点转阳」,就可以构造离散时间生存模型;若只能拿到合并后的二分类标签,那么时间到事件建模只能停留在理论层面。这一点在申请数据时就应当问清楚,因为两种数据形态决定了后续整个建模路线。
第六行「分割或检测不可行」也有一个例外值得说明:研究者完全可以自己在 KNOAP 的 MRI 上标注软骨,用于训练分割网络,再用分割结果派生定量指标(如软骨厚度、T2 值)去预测结局。这条路在方法学上成立,但它已经超出了「使用 KNOAP2020 数据集」的范畴,变成了「以 KNOAP 影像为素材自建标注集」。若走这条路,标注质量与可重复性由研究者自己负责,不能援引挑战赛的公正性。
第三行的模态消融是最有分析价值的用法。挑战赛本身就提供了一组准消融结果:同一团队、同一训练集、不同模态组合的五份提交,可以直接读出各模态的边际贡献。
6.2 最小可执行示例:仅用临床变量的基线模型
这段示例的目的不是拿高分,而是建立一条可复现的下界。任何影像模型若不能显著超过它,就不值得部署。
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.metrics import roc_auc_score, balanced_accuracy_score
df = pd.read_csv("clinical.csv") # 列含 age / bmi / kl_grade / 七项二值体征 / label
feats = ["age", "bmi", "kl_grade", "injury", "mild_symptoms", "varus",
"heberden", "joint_line_tenderness", "crepitus",
"morning_stiffness", "menopause"]
X = df[feats].values
y = df["label"].values # 1 = 6.5 年内新发 SROA(1 阳性,0 阴性)
pipe = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000, class_weight="balanced"))
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
auc = cross_val_score(pipe, X, y, cv=cv, scoring="roc_auc")
print("ROCAUC 均值 %.3f 标准差 %.3f" % (auc.mean(), auc.std()))
pipe.fit(X, y)
p = pipe.predict_proba(X)[:, 1]
print("BACC(阈值 0.5)%.3f" % balanced_accuracy_score(y, (p >= 0.5).astype(int)))
三点使用说明。第一,这段代码跑在训练集(30 膝)上意义不大,5 个阳性样本连交叉验证都做不了;它的实际用途是在自己的外部数据(例如 OAI 子集)上建立基线,再到 KNOAP 测试集上验证。第二,class_weight="balanced" 是必要的,否则逻辑回归会偏向多数类,BACC 会掉到 0.5 附近。第三,这个模型的系数可以直接解释,在论文的 Limitations 里写「我们的影像模型仅比临床基线高 0.03 AUC」时,这个基线就是参照点。
6.3 影像分支的最小示例
影像分支的关键不是网络结构,而是把三个异质来源(X 线、两套 MRI、临床表)对齐到同一行索引。
import glob, os
from pathlib import Path
import numpy as np
import nibabel as nib
def load_nifti(path):
img = nib.load(str(path))
arr = img.get_fdata(dtype=np.float32)
# 统一到 RAS 方向,避免左右翻转:膝 OA 内外侧不对称,翻错方向会毁掉特征
arr = nib.as_closest_canonical(img).get_fdata(dtype=np.float32)
return arr
root = Path("KNOAP")
rows = []
for xray in sorted(glob.glob(str(root / "xray" / "*.nii*"))):
stem = Path(xray).stem.split(".")[0] # 形如 KNOAP_test001_L
mri_pd = root / "mri" / "pd" / (stem + ".nii.gz")
mri_we = root / "mri" / "we" / (stem + ".nii.gz")
if not (mri_pd.exists() and mri_we.exists()):
continue # 缺序列的膝要单独记录,不要静默丢弃
rows.append(dict(knee=stem, xray=xray, pd=str(mri_pd), we=str(mri_we)))
print("对齐成功 %d 个膝关节" % len(rows))
这段代码省略了重采样与强度归一化,因为那一步取决于具体方法。但两个细节必须保留:as_closest_canonical 解决方向问题,stem.split(".")[0] 解决 .nii.gz 双扩展名导致的键不匹配。后者看似琐碎,实际是跨模态对齐最常见的失败点。
6.4 一个完整的实验设计模板
如果目标是写一篇「在 KNOAP 上评估某方法」的论文,建议的实验矩阵如下:
| 实验 | 训练数据 | 测试数据 | 报告指标 |
|---|---|---|---|
| 同队列交叉验证 | OAI 训练折 | OAI 验证折 | ROCAUC、BACC |
| 跨队列直接迁移 | OAI 全量 | KNOAP 测试集 | ROCAUC、BACC、校准误差 |
| 微调后迁移 | OAI + KNOAP 30 膝 | KNOAP 测试集 | 同上 |
| 临床基线 | 同上 | 同上 | 同上 |
| 模态消融 | 同迁移设置 | 同上 | 同上 |
这个五行的设计能回答三个问题:方法在熟悉分布上有多强、迁移到新队列后掉多少、掉的部分能否被微调补回。它与 KNOAP 论文的分析框架基本一致,可以直接对照。
6.5 适合与不适合的用法
适合的用法包括:把 KNOAP 当作外部验证集检验模型的跨队列稳健性;用 13 项临床变量构建低成本的风险分层工具原型;把 OuluMIPT 的五份提交当作模态消融的对照基准;研究小样本下特征工程与深度学习的相对优势。
不适合的用法包括:把 KNOAP 当作训练数据的主力来源(30 膝远不够);用它训练软骨分割或骨赘检测(没有结构标注);把最佳 AUC 0.64 当作「AI 可以预测膝 OA」的证据(论文自己的结论是这个问题尚未解决);把测试集上的排名直接写进产品宣传(样本量不足以支撑排名差异)。
§7 常见误读与引用陷阱
下表把误读说法、实际口径与证据位置并列。
| 常见说法 | 实际口径 | 证据位置 |
|---|---|---|
| KNOAP 是膝骨关节炎分割挑战赛 | 是发病预测挑战赛,无任何分割标签,输出为每膝一个概率 | 站点 Details 页提交模板;论文 Results |
| KNOAP2020 有几千个膝关节 | 453 膝(242 人),测试集 423、训练集 30 | 论文 Methods;站点 Home |
| 训练集足够训练一个深度网络 | 30 膝,其中 5 个阳性,只能微调 | 站点 Home「a small set of data (30 knees)」 |
| 数据可以像 OAI 一样自由下载 | DUA 制,挑战赛已关闭,需向主办方申请 | 站点 Details:数据仅可用于本挑战赛提交 |
| 它是 OAI 的荷兰子集 | 完全独立的 PROOF 试验(ISRCTN 42823086) | 论文 Methods;PROOF 试验注册号 |
| 冠军模型用了 MRI 所以 MRI 有用 | 冠军 Inbetweeners-1 只用 X 线与临床;纯 MRI 参考仅 0.537 | 论文 Table II |
| 最佳成绩 AUC 0.64 说明方法有效 | 论文结论为「复杂且尚未解决」,0.64 距临床可用仍有距离 | 论文 Abstract 与 Conclusion |
| 测试集标签可以申请获得 | 论文与站点均未声明测试集标签在赛后开放 | 站点无后续发布公告 |
| 6.5 年随访意味着每个膝都随访了 6.5 年 | 结局取 2.5 年或 6.5 年任一时点,观察时长不等 | 论文 Methods 结局定义 |
| 13 项临床变量含 WOMAC 疼痛评分 | 不含任何量表评分,疼痛只有二值问卷 | 站点 Details 变量清单 |
| KL 分级是 0–4 的完整量表 | 因排除 KL > 1,实际只有 0 与 1 两个值 | 论文 Methods 纳入标准 |
| 数据是 3T MRI | 1.0T 与 1.5T 三台扫描仪,无 3T | 论文 Methods 影像采集 |
| 主办方提供分割好的软骨掩码 | 论文明确写入局限:未提供预计算特征或分割 | 论文 Limitations 第 2 条 |
7.2 技术陷阱
陷阱一:把「242 人 453 膝」当成 453 个独立样本。
双膝相关性会使标准误被低估。任何重算置信区间的分析都应按受试者聚类,或采用每受试者随机取一膝的敏感性分析。论文自己做了后者,报告绝对指标略升、CI 变宽。
陷阱二:把基线 KL 分级当作连续变量。
由于纳入标准排除了 KL > 1,这个变量在数据里只有 0 和 1。若按 0–4 量表处理(例如做 five-grade 的相关分析),会得出错误结论。同理,若把「KL 分级」写进方法描述为「Kellgren-Lawrence 分级」,应注明是截断版本。
陷阱三:混用「放射学 OA」「症状性 OA」「SROA」三个词。
放射学 OA 只看骨赘与关节间隙(KL 分级);症状性 OA 要求疼痛存在;SROA 要求两者同时满足于同一膝。KNOAP 的结局是第三种。文献转述时若把 KNOAP 写成「预测放射学 OA 进展」,是把结局口径扩大了一层——本研究的人群基线 KL 不超过 1,讨论的不是「已确诊患者的进展」。
陷阱四:把 OAI 的数字直接与 KNOAP 的数字并列比较。
在 OAI 上做五折交叉验证得到的 AUC,与在 KNOAP 独立测试集上得到的 AUC,是两个不同的估计量。前者是同一分布内的泛化,后者是跨分布的迁移。两者相差 0.08–0.12 是正常现象,不应被解读为方法退化。
陷阱五:忽略 X 线设备的像素尺寸差异。
两套设备的像素尺寸分别为 0.104 mm 与 0.190–0.192 mm,相差近一倍。若把图像统一 resize 到固定尺寸(例如 512×512),那么同一解剖结构在两套设备上的实际采样率不同,模型可能学到「设备指纹」而非解剖特征。正确做法是先把像素尺寸归一化到物理尺度,再做重采样。
陷阱六:把「训练集 30 膝」当作验证集使用。
30 膝里只有 5 个阳性,任何在它上面计算的 AUC 都有极大方差。若一定要用,应当做留一法而非单次划分,并报告完整的置信区间。更稳妥的做法是把它只用于超参数的最后确认,主验证放在 OAI 上。
陷阱七:认为「提交了 23 份」等于「23 个独立方法」。
7 支队伍提交 23 份,其中 OuluMIPT 一家提交 5 份、Inbetweeners 一家 5 份、TheRollingPebbles 一家 5 份。排名的实际差异更多反映同一团队内部的参数选择,而非 23 种独立思路的对决。引用时写「7 支队伍 23 份提交」比写「23 种方法」准确。
7.3 引用时的建议写法
若要在论文中引用 KNOAP2020,比较稳妥的表述是:引用数据论文本身(Hirvasniemi 等,Osteoarthritis and Cartilage,2022),说明其为 PROOF 队列的 423 膝盲测集与 30 膝训练集;报告成绩时同时给出 ROCAUC 与 BACC,并注明各自的最优者不同;在提及 MRI 作用时,引用论文中关于协议差异与分布偏移的讨论,而不是仅引用单份提交的数字。
不推荐的写法包括:把 KNOAP 称为「最大的膝 OA 预测数据集」(它不是);把它与 OAI 并列为「两个公开基准」(它不是公开的,是协议制);把 0.636 写成「AUC 达到 0.64 的 SOTA」(在 2022 年之后已有其他研究在更大队列上报告更高的数字,但这个数字不能与之直接比较)。
§8 在生态中的位置
8.1 上游:PROOF 试验
KNOAP2020 的上游是 PROOF 研究,一项在荷兰开展的随机对照试验,考察饮食与运动干预能否预防超重女性发生膝骨关节炎。试验在基线纳入 407 名 BMI 不低于 27 的中年女性,随机分组后随访至 6.5 年,注册号 ISRCTN 42823086。
PROOF 本身的研究成果在骨关节炎预防领域有独立影响,KNOAP2020 只是它的影像数据在机器学习社区的一次再利用。理解这层关系有助于判断数据的性质:它不是为 AI 采集的,而是临床试验的副产品,因此它的标签定义、随访结构、伦理框架都服从临床试验的逻辑,而不是竞赛的逻辑。
这种「副产品」身份带来一个具体后果:影像采集方案在试验设计阶段就固定了,挑战赛组织者无法为了 AI 任务而增加序列或提高场强。KNOAP 只有两套 MRI 序列、场强停在 1.0T/1.5T,并不是组织者的技术判断,而是 2005 年前后荷兰临床试验的常规配置。反过来,这一约束也保证了数据的真实性——没有为了「更适合深度学习」而重新扫描或统一设备,设备异质性被原样保留下来,这在方法学上是优点,在使用上则是负担。
8.2 平级:OAI 与其他膝 OA 队列
Osteoarthritis Initiative(OAI)是膝骨关节炎研究中最常被引用的公开资源,由美国国立卫生研究院资助,2004 年起纳入 4,796 名 45–79 岁男女受试者,随访 9 年,包含临床、影像、生物样本三类数据。OAI 的规模、模态丰富度、随访长度都远超 KNOAP2020。
KNOAP2020 与 OAI 的关系不是竞争,而是互补:OAI 适合训练与内部验证,KNOAP 适合外部盲测。KNOAP 论文自己就建议参赛者用 OAI 训练,并提供了一个 OAI 的 72 个月发病变量与 108 膝验证子集。
除 OAI 外,MOST(Multicenter Osteoarthritis Study)与 CHECK(Cohort Hip and Cohort Knee)也是常见的膝 OA 队列,两者的影像与临床数据获取方式各不相同,多数需要单独申请。KNOAP2020 在其中的位置是「规模最小、但测试集封闭」的那一个。
8.3 下游:在 KNOAP 之后出现的相关研究
KNOAP2020 于 2021 年发表结果,此后膝 OA 预测领域在几个方向上继续推进:一是更大队列的外部验证,二是多模态基础模型在肌骨影像上的应用,三是把时间到事件建模引入 OA 预测。
KNOAP2020 的直接引用多出现在三类文献中:综述类文章把它列为「膝 OA 影像 AI 的早期基准」;方法类文章把它用作外部验证集;少量文章把它作为「为什么需要更大标注数据」的论据。由于测试集标签未公开,它没有被广泛用作持续基准,这也是它影响力受限的原因之一。
8.4 库内可互链条目
以下条目与 KNOAP2020 在疾病、模态或设计上有实质关联,可作为参见:
| 条目 | record_id | 关联点 |
|---|---|---|
| OAI(骨关节炎倡议) | 391 | 最常被用作 KNOAP 训练数据的上游队列,模态与人群相近,两者应成对引用 |
| 3DReasonKnee | 728 | 同样基于 OAI 膝关节 MRI,但任务是 3D 定位推理与 MOAKS 分级,属「读图分级」而非「预测发病」 |
| MRNet | 381 | 膝关节 MRI 异常检测(半月板撕裂、前交叉韧带撕裂),同一解剖部位的不同任务 |
| RSNA Knee Abnormality Detection 2026 | 973 | 膝关节 MRI 多类异常检测挑战赛,规模与标签体系均不同,可作为「同期膝部影像挑战赛」对照 |
与这四个条目并列时,需要强调任务的差异:KNOAP2020 是纵向预测(基线影像预测未来诊断),其余三条主要是横截面判读(单次影像判读当前状态)。两者不可直接比较性能,但可比较数据组织方式与标签成本。
8.5 在方法学谱系中的位置
从方法学看,KNOAP2020 属于「小型盲测基准」这一类。这类基准的共同特征是:样本量中等(数百),结局由主办方封闭,挑战赛结束后不再更新,论文成为永久记录。它们在 2015–2022 年间的医学影像领域非常流行,因为组织成本低、能快速形成社区关注。
这类基准的局限也相似:一次性、标签不公开、难以复现排名、样本量不足以发现小效应。近年的趋势是转向更大规模的持续基准(例如把测试集标签公开、允许补交),或转向多任务基准。KNOAP2020 是这一转变之前的典型产物,理解它的局限,也就理解了那一代挑战赛的共同边界。
§9 总结与应用建议
9.1 三句话概括
KNOAP2020 是 Erasmus MC 基于荷兰 PROOF 预防试验队列构建的膝骨关节炎发病预测挑战赛,423 膝盲测集加 30 膝带标签训练集,含半屈位 PA X 线、两套低场 MRI 与 13 项临床危险因素。
7 支队伍提交 23 份结果,最佳 ROCAUC 为 0.636(X 线加临床),最佳 BACC 为 0.587(三模态融合),纯 MRI 参考模型仅 0.537,论文结论是发病预测仍是未解决的问题。
数据为协议制、挑战赛已关闭、测试集标签未公开,适合作为外部验证或跨队列泛化研究的参照,不适合作为训练数据主力,也不适合商用。
9.2 适用判断
| 使用场景 | 是否适用 | 理由 |
|---|---|---|
| 检验模型跨队列泛化 | 适用 | 人群与主流训练队列不同源,是天然的外部测试场 |
| 构建低成本风险分层原型 | 适用 | 13 项临床变量加 X 线即可,成本低 |
| 模态贡献的准消融研究 | 适用 | OuluMIPT 五份提交提供了现成的对照结构 |
| 综述与教学中的基准案例 | 适用 | 结果清晰、局限自述充分 |
| 训练软骨分割或骨赘检测 | 不适用 | 无结构标注 |
| 作为深度网络的主训练集 | 不适用 | 30 膝、5 个阳性 |
| 产品化与商用 | 不适用 | DUA 限定用途,未授权商用 |
| 复现挑战赛排名 | 受限 | 测试集标签未公开,只能复现方法不能复现分数 |
9.3 DAIMS 评估
DAIMS(Data and AI Maturity/Readiness 框架)从数据可用性、可获取性、可理解性、可维护性等维度评估数据集的 AI 就绪程度。以下评分基于公开信息,满分 5 分。
| 维度 | 评分 | 依据 |
|---|---|---|
| 数据文档完备度 | 4 | 论文与站点对采集参数、变量、结局定义披露充分;缺欠测试集人群构成的逐年分布 |
| 数据可获取性 | 2 | DUA 制、挑战赛已关闭、无自动化通道,需逐案申请 |
| 标签质量 | 4 | 结局判定有问卷与读片双来源,训练集标签公开;测试集标签封闭 |
| 标注粒度 | 1 | 仅膝级二值结局,无结构标注、无位置标注 |
| 模态丰富度 | 3 | X 线加 MRI 加临床变量,但 MRI 序列只有两套、场强低 |
| 规模 | 2 | 453 膝,与当代深度学习需求相比偏小 |
| 可复现性 | 2 | 方法可复现,排名不可复现(标签封闭) |
| 许可清晰度 | 2 | 明确是协议制、明确限制用途,但缺少后续使用的标准化路径 |
| 综合 | 2.5 | 适合做外部验证与教学案例,不适合作为主训练资源 |
9.4 使用前的三件事
第一件,先确认能否合法拿到数据。写邮件说明研究目的、机构、伦理审批状态,比直接索要数据更容易通过。若只是想做方法对比,考虑用 OAI 的公开部分做替代实验,把 KNOAP 作为最后的验证环节。
第二件,先建立临床变量基线。在动手做影像模型之前,用 13 项变量跑一个逻辑回归,得到 ROCAUC。这个数字通常会落在 0.55–0.59 之间,它是影像模型必须超越的参照线。没有这条线,任何「影像提升了 AUC」的说法都缺乏依据。
第三件,先想清楚要报告什么指标。ROCAUC 与 BACC 在这份数据上会给出不同的排序,PR AUC 又会给出第三套排序。如果目标是临床筛查(关心灵敏度与特异度的平衡),BACC 更贴近需求;如果目标是排序与风险分层,ROCAUC 更合适。论文里同时报告三者的,比只报一个的更可信。
§10 检索与引用实操
10.1 检索关键词组合
KNOAP2020 的检索难点在于名称短、易与无关内容混淆。以下关键词组合按用途分组,可直接用于文献库或搜索引擎。
| 用途 | 关键词组合 |
|---|---|
| 找一手论文 | “KNOAP2020” AND (Osteoarthritis OR “knee osteoarthritis”) |
| 找数据页 | “knoap2020” site:grand-challenge.org |
| 找上游试验 | “PROOF study” AND (knee OR osteoarthritis) AND Runhaar |
| 找训练队列 | “Osteoarthritis Initiative” AND “incident” AND “symptomatic radiographic” |
| 找结局定义 | “symptomatic radiographic knee osteoarthritis” AND “ACR criteria” AND “definite osteophyte” |
| 找方法类似研究 | “knee osteoarthritis” AND (“incident” OR “prediction”) AND “external validation” |
| 找引用它的文章 | 引用检索:DOI 10.1016/j.joca.2022.10.001 的被引文献 |
若以「KNOAP」单独检索,结果中会混入若干拼写相近但无关的条目;建议始终带上 “knee” 或 “osteoarthritis” 之一。
10.2 关键标识符
| 标识符类型 | 值 |
|---|---|
| DOI(论文) | 10.1016/j.joca.2022.10.001 |
| PMID | 36243308 |
| PMCID | PMC10323696 |
| NIHMSID | NIHMS1905689 |
| 挑战赛站点 | knoap2020.grand-challenge.org |
| 上游试验注册号 | ISRCTN 42823086 |
| 数据平台 | Health-RI XNAT(health-ri.nl/services/xnat) |
注意 PMID 与 PMCID 的区分:前者用于 PubMed 检索,后者用于 PMC 全文访问。论文在 PMC 上是作者手稿版(author manuscript),其排版与 Elsevier 正式版存在差异,页码与图表编号可能不同。引用具体页码时,应以正式出版版为准。
10.3 常见检索误区
误区一:用「KNOAP」作为唯一关键词。KNOAP 不是通用词,但拼写相似的其他缩写会带来噪声。
误区二:把论文标题中的 “KNee OsteoArthritis Prediction” 当作数据集全名。数据集没有独立的名称,挑战赛名即数据集名。
误区三:搜索 「KNOAP dataset download」期望找到直接链接。站点不提供公开下载链接,所有路径都要经过注册与协议。
误区四:把 PMID 36243308 与 PMC10323696 混用。前者是 PubMed 记录号,后者是 PMC 全文号,两者不能互换。
10.4 引用格式建议
期刊论文引用:
Hirvasniemi J, Runhaar J, van der Heijden RA, et al. The KNee OsteoArthritis Prediction (KNOAP2020) challenge: An image analysis challenge to predict incident symptomatic radiographic knee osteoarthritis from MRI and X-ray images. Osteoarthritis Cartilage. 2023;31(1):115-125. doi:10.1016/j.joca.2022.10.001
数据集引用(若期刊要求单独引用数据):
KNOAP2020 Challenge. KNee OsteoArthritis Prediction challenge dataset (PROOF cohort) [Data set]. Erasmus MC. https://knoap2020.grand-challenge.org/
第二行的卷期页码以正式出版版为准;若无法确认,可只写年份与 DOI,避免页码错误。
附录
附录 A 关键数字速查
| 项目 | 数值 |
|---|---|
| 入选膝关节 | 453(242 人) |
| 测试集 | 423 膝 |
| 训练集 | 30 膝(5 膝发病) |
| 上游试验受试者 | 407 名超重/肥胖女性 |
| 测试集发病率 | 16.5%(70/423) |
| 训练集发病率 | 16.7%(5/30) |
| 测试集年龄均值(标准差) | 55.7(3.2)岁 |
| 测试集 BMI 均值(标准差) | 31.7(3.7)kg/m² |
| 训练集年龄均值(标准差) | 56.0(2.8)岁 |
| 训练集 BMI 均值(标准差) | 32.4(3.7)kg/m² |
| 注册团队 | 15 |
| 提交团队 | 7 |
| 有效提交 | 23(18 份排名 + 5 份参考) |
| 最佳 ROCAUC | 0.636(0.571–0.699) |
| 最佳 BACC | 0.587(0.520–0.648) |
| 纯 MRI 参考 ROCAUC | 0.537(0.467–0.604) |
| 纯临床参考 ROCAUC 范围 | 0.550–0.592 |
| 随访时间窗 | 78 个月(2.5 年 / 6.5 年) |
附录 B 缩写表
| 缩写 | 英文全称 | 中文 |
|---|---|---|
| KNOAP | KNee OsteoArthritis Prediction | 膝关节骨关节炎预测 |
| OA | Osteoarthritis | 骨关节炎 |
| SROA | Symptomatic Radiographic Osteoarthritis | 症状性放射学骨关节炎 |
| PROOF | Prevention of Knee Osteoarthritis in Overweight Females | 超重女性膝骨关节炎预防研究 |
| OAI | Osteoarthritis Initiative | 骨关节炎倡议 |
| KL | Kellgren-Lawrence | 凯尔格伦-劳伦斯分级 |
| ACR | American College of Rheumatology | 美国风湿病学会 |
| PA | Posteroanterior | 后前位 |
| MTP | Metatarsophalangeal | 跖趾(关节) |
| PD | Proton Density | 质子密度 |
| TR | Repetition Time | 重复时间 |
| TE | Echo Time | 回波时间 |
| DESS | Dual-Echo in Steady State | 双回波稳态 |
| TSE | Turbo Spin Echo | 快速自旋回波 |
| IW | Intermediate Weighted | 中间加权 |
| NIfTI | Neuroimaging Informatics Technology Initiative | 神经影像信息技术倡议格式 |
| XNAT | Extensible Neuroimaging Archive Toolkit | 可扩展神经影像归档工具包 |
| ROCAUC | Area Under the Receiver Operating Characteristic Curve | 受试者工作特征曲线下面积 |
| BACC | Balanced Accuracy | 平衡准确率 |
| PR AUC | Area Under the Precision-Recall Curve | 精确率-召回率曲线下面积 |
| CI | Confidence Interval | 置信区间 |
| DUA | Data Use Agreement | 数据使用协议 |
| IWOAI | International Workshop on Osteoarthritis Imaging | 国际骨关节炎影像研讨会 |
| JS2 | Joint Shape and Joint Space | 关节形状与关节间隙特征 |
| BMI | Body Mass Index | 体质指数 |
| ISRCTN | International Standard Randomised Controlled Trial Number | 国际标准随机对照试验注册号 |
附录 C 使用前检查清单
- 是否已向主办方申请并取得书面使用许可?
- 是否确认授权范围覆盖自己的研究目的(学术、商用、再分发)?
- 是否已取得本地伦理审查的豁免或批准?
- 是否确认测试集标签确实不可得,并据此调整了实验设计?
- 是否用受试者编号加侧别作为主键,核对了影像与临床表的一一对应?
- 是否检查了 NIfTI 的方向(qform/sform),确保内外侧未被翻转?
- 是否按物理像素尺寸归一化了 X 线,而非直接 resize?
- 是否建立了仅用临床变量的基线模型?
- 是否同时报告了 ROCAUC 与 BACC,并说明二者排序可能不一致?
- 是否在论文中写明该数据为协议制、测试集标签封闭?
附录 D 未覆盖与待核内容
以下内容在公开资料中未找到明确说明,使用时需要自行核实或标注为未知:
- 测试集与训练集的拆分是否按受试者进行。论文只说明 453 膝拆为 423 与 30,未说明同一受试者的两膝是否可能分属两集。
- PROOF 试验的干预组与对照组在 453 膝中的比例。论文未报告,干预是否影响结局分布因而无法判断。
- 测试集发病膝中,2.5 年转阳与 6.5 年转阳各占多少。论文合并报告,未拆分。
- 各影像的设备来源分布。论文给出了三台 MRI 与两套 X 线设备,但未报告测试集中各设备的样本量。
- 挑战赛结束后是否有任何机构获得过测试集标签。站点无相关公告。
- 数据的后续版本或更新。
附录 E 常见提问与简短回答
能否只用 X 线做这个任务? 能,而且冠军模型就是这么做的。X 线加临床变量的 ROCAUC 为 0.636,是全部提交中最高的。
MRI 是不是完全没用? 不能这么说。三模态模型在 ROCAUC 上比纯 X 线模型略高,但提升量在置信区间内;纯 MRI 模型表现最弱,但只用了 30 膝训练,样本量是主要限制。
能否把 KNOAP 的数据与 OAI 合并训练? 技术上可以,但要先解决协议差异(场强、序列、摆位)与许可差异(OAI 有独立的数据使用协议)。合并后的模型在 KNOAP 上评估时,存在训练集包含测试分布的风险。
这个数据集适合做本科教学吗? 适合做方法教学(小样本、类别不平衡、盲测评分),但数据获取有门槛,教学使用需先解决许可问题。
如果只用临床变量,能达到什么水平? 参考提交显示 ROCAUC 在 0.550–0.592 之间,BACC 固定在 0.500 附近(因为输出固定概率,无可调阈值)。
编辑说明
本节非正文,记录事实来源、核验方式与遗留问题。
- 核验时间:2026-10-18。
- 核验方式:挑战赛站点三个页面(Home、Details、About)直抓;数据论文 PMC 全文(PMC10323696)直抓;PubMed 摘要页;Grand Challenge 平台页面。三方对核心数字(423 膝、30 膝、453 膝、242 人、70 膝发病)一致。
- 名称核验:KNOAP 经站点首页与论文标题双重确认为 KNee OsteoArthritis Prediction,非膝关节骨关节炎影像分割、非任何厂商膝关节测量工具。任务头未给出全称,此处以官方页为准。
- 规模核验:任务头未提供规模数字,正文全部规模数字取自论文 Methods 与站点 Home。站点写「423 膝测试集」「30 膝训练集」,论文写「453 膝(242 人)入选」,两者不冲突(453 = 423 + 30)。
- 双口径存照:
- 摘要写「最高 ROCAUC 0.64(95% CI 0.57–0.70)」与「最高 BACC 0.59(0.52–0.65)」,为四舍五入值;论文结果表给出 0.636(0.571–0.699)与 0.587(0.520–0.648)。正文采用结果表的精确值,并注明摘要为取整。
- 站点写「6.5 年随访」,论文写「78 个月」,两者等价。
- 站点写测试集 MRI 为「1.5 Tesla」,论文 Methods 写三台扫描仪含 1.0T Philips Intera。正文按论文写「1.0T 与 1.5T」,站点表述视为简化。
- 论文标题在不同数据库收录的年份标注不一致(部分数据库标 2022,卷期可能为 2023),引用时以 DOI 为准。
- 未覆盖:测试集与训练集是否按受试者拆分、干预组比例、2.5 年与 6.5 年阳性各占多少、各设备样本分布,论文均未说明,已列入附录 D。
- 版本日志:v1(2026-10-18)首发。
- 下次复核建议:2027-10,关注主办方是否发布测试集标签或数据再分发方案。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- rsna-knee-2026 — 共享标签:医学影像 / MRI / 骨骼肌肉影像 / 挑战赛数据集
- copdgene — 共享标签:医学影像 / X光影像 / 队列研究
- oai — 共享标签:医学影像 / 骨骼肌肉影像 / 队列研究
- chest-imagenome — 共享标签:医学影像 / X光影像 / 队列研究
- spider — 共享标签:医学影像 / MRI / 骨骼肌肉影像 / 挑战赛数据集
- fracatlas — 共享标签:医学影像 / X光影像 / 骨骼肌肉影像
- rsna-bone-age — 共享标签:医学影像 / X光影像 / 骨骼肌肉影像
- rsna-series — 共享标签:医学影像 / X光影像 / 挑战赛数据集
- mura — 共享标签:医学影像 / X光影像 / 骨骼肌肉影像
- grazpedwri-dx — 共享标签:医学影像 / X光影像 / 骨骼肌肉影像
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

