信息速览
自动生成的影像报告好不好，靠什么判断。BLEU 比字面重合，BERTScore 比语义相似，CheXbert 比临床观察项，RadGraph 比实体关系，RadCliQ 把这几个揉在一起。这些指标都在用，但它们与放射科医师的判断到底有多接近，一直缺少直接的实证。
这套数据把两件事放在一起：一百份报告对的逐条错误计数，和五百九十份报告的六项自动指标。前者由两名放射科医师讨论后给出，按八个类别分开，再按临床显著与不显著分两套；后者是现成指标的分数。两份材料用同一个报告编号关联，可以直接算「指标高的报告，专家判的错误是不是真的少」。
规模很小，只有百份标注样本，且只涉及一个模型、一个数据源。它的价值不在覆盖面，而在于把「人评」与「机评」摆在同一张桌上，让对齐度这个抽象问题变成可以逐行计算的数。
§1 它是什么：一份把错误分类学落到实处的评测集
1.1 一句话定义与三条边界
这是一套以错误计数为标注形式、以指标对齐为研究目的、以极小规模换取标注深度的影像报告评测资源。
「以错误计数为标注形式」意味着标注不是给报告打一个总分，而是按类别数错误。这个选择的直接好处是可分解——能看出一个模型是爱虚构还是爱遗漏，而不是只知道它「不太好」。代价是标注成本高，一百份已经接近人力上限。
「以指标对齐为研究目的」意味着它的用途是检验指标，而不是检验模型。拿它去排名不同的生成模型，样本量不够；拿它去问「BLEU 是否可靠」，样本量刚好够支撑一个方向性的结论。
「以极小规模换取标注深度」是它的取舍。五百九十份报告有自动指标，一百份有人工错误计数。这个比例说明作者把预算压在了标注质量上，而不是覆盖面。
1.2 八个错误类别
类别体系是这套数据的骨架，值得逐一列出。
| 序号 | 类别 | 具体含义 | 是否作者新增 |
|---|---|---|---|
| 1 | 虚构发现 | 生成报告写了金标准里没有的异常 | 否 |
| 2 | 遗漏发现 | 金标准里有异常，生成报告没写 | 否 |
| 3 | 位置错误 | 异常写了但部位或侧别说错 | 否 |
| 4 | 严重程度错误 | 异常的轻重描述不符 | 否 |
| 5 | 多提对照 | 提到与既往对比，但参考报告里没有这项对比 | 否 |
| 6 | 漏提对照 | 参考报告里描述了与既往的变化，生成报告没提 | 否 |
| 7 | 多提不确定性 | 加了参考报告里没有的「可能」「不除外」 | 是 |
| 8 | 漏提不确定性 | 参考报告里的模糊措辞被写成确定结论 | 是 |
前六类沿用已有工作的分类，后两类是作者补的。补的理由在条目页没有明说，但从临床角度看很清楚：影像报告里「可能」「建议随访」这类措辞直接决定处置强度，把它写没了比写错一个形容词严重得多。
值得注意的是第 5 与第 6 类都是关于「对照」的。影像报告常有「与某年某月片相比，病灶缩小」这样的句子，生成模型容易凭空造出对比，也容易把已有的对比丢掉。这两类在通用自然语言生成的评价体系里完全没有对应物，是影像报告特有的错误形态。
1.3 两个显著性层级为什么必须分开
同一份报告的错误，按临床后果可以分成两档。
显著错误指的是会影响处置的：漏掉一处需要抗感染治疗的实变、把左侧写成右侧、把「大量积液」写成「少量」。这类错误在真实场景里可能导致延误或误治。
不显著错误指的是措辞层面的：把「心影不大」写成「心影大小正常」、把「双肺清晰」写成「双肺未见明显异常」。这些差异在语义上接近，在临床上无实质影响。
把两者混在一起计数，会得到一个既不能反映安全风险、也不能反映语言质量的混合分数。分开计数的直接好处是能看出一个指标偏向哪一边：若某指标与不显著错误相关而与显著错误无关，说明它在测措辞相似度而非临床正确性。
这套数据的两张表就是按这个分法组织的，行序完全一致，同一报告编号在两表各占一行。这个设计让对比变得直接——把两表的同一行并排看，就知道这份报告的错误里有多少要紧。
1.4 与 ReXVal 的关系
条目页明确说，本数据集的构建方式与 ReXVal 类似。
相似之处有三点：都是请放射科医师对生成报告的错误计数、都沿用同一套错误类别、都以「指标与专家判断的对齐度」为研究问题。
差异有两点，且都很关键。第一，数据源不同：ReXVal 基于 MIMIC-CXR，这套基于 IU-Xray。前者的报告更长、更结构化，后者的报告更短。第二，模型数量不同：这套只用了一个模型 M2Tr，ReXVal 覆盖多个。
这两点差异决定了数字不可跨数据集比较。「在 ReXVal 上某指标相关零点几」与「在 RadEvalX 上相关零点几」是两个不同实验的结果，样本、报告长度、模型能力都不同，放在一起比没有意义。
1.5 一个模型的选择及其后果
只用 M2Tr 一个模型，是这个设计里最需要留意的取舍。
好处是标注预算集中。一百份样本全部来自同一个模型，错误结构相对同质，医师的判读标准容易保持一致。
坏处是结论的适用范围被锁死。一个指标在这个模型上的表现，未必能推广到别的模型。特别是若 M2Tr 恰好有某种系统性缺陷（比如总是漏掉某类发现），那么指标与错误的相关系数会反映这个缺陷，而不反映指标的普遍性质。
要判断一个指标好不好，理想的做法是在多个能力不同的模型上分别算，看相关系数是否稳定。单模型设计做不到这一点，这是复现研究时必须补的一环。
1.6 规模的三个口径
同一套数据在三个位置出现三个数字，指的不是同一件事。
第一，一百份是标注样本数，即有人工错误计数的报告对数。
第二，两百行是标注表的总行数，因为每份报告在显著表与不显著表各占一行。
第三，五百九十份是指标表覆盖的报告数，是有自动指标但无人评的那一批的全集。
三者的关系是包含：一百份标注样本从五百九十份里筛出。引用时若只写「一百份」，读者不会知道指标表其实有近六百行；只写「五百九十份」，又会误以为全部有人评。准确说法是把两个数字分开讲。
第四个常被混淆的数字是「报告」这个词本身。一份报告对应一次影像检查的读片文本，可能包含多处发现。一百份报告里共数出一百五十一处显著错误与一百一十一处不显著错误，平均每份两处多。若把「错误数」与「报告数」混着说，会得到「平均错误率 151%」这种荒谬表述。
第五个是词数。金标准报告平均三十六点六个词，生成报告平均三十点二个词。这类短报告在影像领域很典型——IU-Xray 的报告多为几句话的结论段，不含完整的检查所见与操作描述。这个长度特征直接影响了错误的结构：短报告能容纳的发现少，遗漏的概率天然更高，虚构的机会天然更少。本表里遗漏与虚构的比例是一百零五比十九，与这个长度特征一致。
理解了这五个口径，才谈得上判断这套数据能支撑什么结论。一百份、两百行、五百九十份、两百六十二处错误、三十余词，五个数字各自对应一个不同的问题，混用会让任何比较失去意义。
§2 数据构成：四个文件的实际内容
2.1 显著错误表
一百行，十一列。
前三列是标识与文本：报告编号、金标准报告原文、M2Tr 生成的报告原文。后八列是第 1 至第 8 类错误的计数，列名就是数字。
这里有一处设计上的不便：列名用纯数字，与类别含义的映射只写在条目页的说明里，没有随文件给出。下载者若只读文件，无法知道「2」代表遗漏还是位置错误。稳妥做法是自己先按条目页的顺序建一张映射表，写进代码常量，避免后续混淆。
计数列的取值是整数，零表示该类没有错误。整表没有缺失值，每格都有数。这一点比多数人工标注数据干净。
2.2 不显著错误表
一百行，十一列，结构与前表完全相同。行序也与前表一致，同一行的报告编号相同。
两表的差别只在于计数所依据的显著性判断。同一份报告可以有显著错误也可以有不显著错误，两表并存不互斥。实际统计里，三十三份同时在两表有非零计数，三十八份显著表全零，三十九份不显著表全零。
这个分布本身说明一件事：过半的报告在某一层级上完全没错。做相关性分析时，这些零值行会主导结果——它们让「错误数」这个变量的分布严重偏态，用皮尔逊相关会失真，必须用秩相关或分成「有错/无错」的二分类。
2.3 指标表
五百九十行，八列。
前两列是报告编号与一个序号，后六列是六项指标：四元 BLEU、二元 BLEU、BERTScore、CheXbert、RadGraph F1、RadCliQ。
六项指标的量纲不同，不能直接平均。BLEU 在零到一之间，多数值接近零（本表均值约零点零七）；BERTScore 也在零到一，但集中在零点四到零点五；CheXbert 在负零点零一到一之间；RadGraph F1 在零到一，均值约零点二六；RadCliQ 的范围是负值到三左右，方向与其他五项相反——越低越好。
最后这一点极易被忽略。若把六项指标放进同一张图看「谁更高」，RadCliQ 会被摆在末尾，看起来最差，实际它是最优的那个方向。使用前必须先把 RadCliQ 反号或明确标注方向。
文件名本身也有一处拼写问题：metrcis 应为 metrics。这不影响数据，但会影响所有按路径取文件的脚本。
2.4 许可文件
一个空的 LICENSE.txt，零字节。
对应的许可是知识共享署名-非商业-相同方式共享 4.0。文件为空，说明许可文本没有随包给出，只能按条目页的链接去找。
零字节的许可文件带来一个实际问题：完整性校验时它的 SHA256 是全零哈希（空文件的哈希值），看起来像是文件损坏。核对哈希的人如果不知道这一点，会误判下载失败。
顺带说一个常被问到的合规细节：知识共享的非商业条款如何界定「商业」。许可文本的正式表述是「不得主要用于商业优势或金钱报酬」。学术研究、教学、非营利机构的内部评估通常不构成商业使用；把评估结果用于产品宣传、或把数据用于训练一个对外收费的模型，则大概率构成。边界模糊的情形（比如企业研究院的公开论文）需要逐案判断，稳妥做法是在论文里声明使用性质，或先向权利人问询。
还有一处容易忽略的义务：相同方式共享。这条要求衍生作品以同一许可发布，但「衍生作品」的界定在数据场景下比在文本场景下模糊。若只是把两表连接、算出相关系数、发表数字，通常不构成衍生作品（这是使用，不是改编）。若重整了错误类别、补标了新样本、或把数据嵌进另一个数据集发布，就构成衍生，必须以同一许可放出。
把这些讲清楚，是因为开放许可常被误读成「随便用」。它确实比凭证式访问宽松得多，但宽松的是获取门槛，不是使用边界。三条义务里最容易被违反的是署名——尤其是漏掉 IU-Xray 那一重引用。
2.5 校验清单
SHA256SUMS.txt 列出四个文件的哈希，共四行。
建议下载后先跑一遍校验。这套数据的文件都很小，校验成本极低，而一旦文件在下游分析中被误改，结论会无声地错掉。特别是两个错误标注表，行数相同、列名相同，若不校验，把两个文件弄反了都难以察觉。
区分两表的唯一可靠办法是看文件名，而文件名只差一个词：clinically_significant 与 clinically_insignificant。这两个词在视觉上极为相近，写脚本时尤其容易看错。建议在代码里用显式的常量定义路径，而不是在别处拼接字符串。
§3 怎么拿到：开放获取与它的义务
3.1 获取路径
这是 PhysioNet 上少见的完全开放条目。
访问策略写的是「任何人只要遵守指定许可即可访问」。没有凭证要求、没有数据使用协议、没有强制培训。压缩包四十二千字节，解压后一百四十四千字节，用一条下载命令即可取全。
四条下载方式都可用：网页点选、递归抓取、命令行工具同步、对象存储同步。对自动化流水线来说，第二种最方便——它保留了目录结构，且支持断点续传。
3.2 开放不等于无约束
知识共享许可的核心义务有三条。
署名：使用与再分发时必须标明原作者。条目页给出了标准引用格式，含版本号、PhysioNet 作为发布平台、RRID 与 DOI。
非商业：不得用于商业目的。这一条比 PhysioNet 多数凭证式条目更严——那些条目通常只约束再分发，不约束商业用途。若要把这套数据用于产品评估，需要单独取得授权。
相同方式共享：若基于它做了衍生作品（比如重新标注、扩充类别），衍生物必须以同一许可发布。这一条对学术研究影响不大，但对想要保留专有改进的团队是实质约束。
三条叠加的结果是：可以自由研究、可以自由再分发，但不能商用、不能把改进藏起来。
3.3 与上游数据的关系
条目页列明，这套数据派生自 IU-Xray。
使用它时的引用义务因此是双重的：既要引用本数据集，也要引用 IU-Xray 的原始论文。条目页把「任何使用都必须引用 IU-Xray 论文」写进了使用说明，这不是建议而是条件。
实践中容易漏掉的是第二重引用。因为数据包里不含 IU-Xray 的影像，只含报告文本，使用者容易以为只引本数据集就够了。
上游依赖还有一层技术含义。IU-Xray 的报告编号是这套数据的连接键——两张错误表与指标表都用它关联。若上游数据修订了编号体系，本数据的所有编号都会失效，连接随之断裂。这不是理论风险：影像数据集的编号在不同发布渠道之间常有不一致（有的带前导零、有的去掉、有的加前缀）。
稳妥做法是下载后先把编号列读成字符串、检查是否有前导零、统计长度分布，再与指标表的编号做一次匹配率抽查。本页核对的结果是一百个标注编号全部能在指标表里找到，匹配率百分之百，说明这次的编号体系是自洽的。但这个结论只对 v1.0.0 有效。
还有一处：IU-Xray 的原始报告是半结构化的，含「检查所见」与「结论」两段。本数据只保留了一段文本（列名为 ground_truth），未说明是拼接还是只取了其中一段。从平均三十六点六个词的长度看，更像只取了结论段或压缩后的版本。若要追到原文的完整结构，需要另取 IU-Xray。
3.4 版本与 DOI
| 类型 | DOI |
|---|---|
| 版本 DOI（v1.0.0） | 10.13026/tp88-q278 |
| 最新版 DOI | 10.13026/72dp-f846 |
只有一个版本，发布于 2024 年 6 月 18 日，此后无更新。版本号写作 v1.0.0，与多数 PhysioNet 条目一致。
§4 质量与已知问题
4.1 官方披露的四项
条目页在「伦理」一节列了局限，但那一节主要讨论的是标注伦理，不是数据局限。真正的局限散落在方法与使用说明里，需要自己拼。
可归为四项：样本量小（一百份配对）、单一模型（仅 M2Tr）、单一数据源（仅 IU-Xray）、错误类别在部分项上样本极稀。
第四项是我逐列统计后才看清的，条目页没有提。
4.2 八类错误的实际分布
把显著表的八列各自求和，结果很不对等。
| 类别 | 显著计数合计 | 占比 |
|---|---|---|
| 1 虚构发现 | 19 | 12.6% |
| 2 遗漏发现 | 105 | 69.5% |
| 3 位置错误 | 1 | 0.7% |
| 4 严重程度错误 | 0 | 0% |
| 5 多提对照 | 2 | 1.3% |
| 6 漏提对照 | 20 | 13.2% |
| 7 多提不确定性 | 1 | 0.7% |
| 8 漏提不确定性 | 3 | 2.0% |
一百五十一处显著错误里，近七成是遗漏。这个分布与直觉一致：生成模型倾向于少说，而不是多说。但它同时意味着八类里只有两类（遗漏与虚构）有足够样本做统计，第 3、5、7 类合计只有四处，第 4 类为零。
不显著表的分布稍均衡一些，但同样集中在少数几类：第 1 类二十一处，第 2 类六十六处，第 6 类九处，其余各类都是个位数或零。
这个偏斜对研究设计有直接后果。任何「按类别分析」的计划，在四类以上都做不动。可行的切口只有两三个：遗漏与虚构的对比、显著与不显著的对比、以及「有没有错」这个二分类。
4.3 零值主导与相关分析的口径
一百份里三十八份显著错误为零。这意味着「显著错误总数」这个变量的中位数是一，均值是一点五一，分布长尾。
在这种分布上算皮尔逊相关，结果会被少数高值行拉扯。正确的做法是用斯皮尔曼秩相关，或把问题改成「是否存在显著错误」的二分类，用点二列相关或直接算 AUC。
按秩相关算，六项指标与显著错误总数的相关系数如下（本页自行计算，非官方数字）：
| 指标 | 斯皮尔曼相关 | 方向解读 |
|---|---|---|
| CheXbert | 约 −0.41 | 越高错误越少，方向正确且最强 |
| RadCliQ | 约 +0.19 | 方向反常（该指标越低越好，正相关意味着越低错误越多，尚可解释） |
| BERTScore | 约 −0.20 | 方向正确但很弱 |
| BLEU-2 | 约 −0.16 | 弱 |
| RadGraph F1 | 约 −0.16 | 弱 |
| BLEU-4 | 约 −0.14 | 最弱 |
这张表要谨慎读。百份样本上算出的相关系数，置信区间极宽；零点二左右的系数在统计上通常不显著。真正值得说的是两件事：一是五项指标的相关都在零点二以下，说明它们与「临床显著错误」的关系很松；二是 CheXbert 明显高于其余五项，这与它的构造方式一致——它直接比对十四条观察项的标签，而不是比字面或语义。
RadCliQ 的表现尤其值得注意。它是复合指标，本应综合各分量之长，实际却只与错误数弱相关。可能的解释有两条：其一，它的四个分量里有三个基于字面或嵌入相似度，对临床显著性的区分力有限；其二，它是按本表的分位切点做采样均衡的依据，用它当采样标准再拿它做评估，存在循环性——采样的均衡化会压缩它在样本内的方差。
4.4 指标表里的五行异常
逐行核对指标表时发现一处可疑。
有五行的四元 BLEU 恰为 1.0，二元 BLEU 也是 1.0，BERTScore 在零点九九九以上，RadCliQ 同为全表最小值。四元 BLEU 等于一意味着生成文本与参考文本在四元组层面完全重合，这在真实模型输出里几乎不可能出现五次。
一个合理的解释是：这五行是「金标准报告与自身比对」的对照行，用于标定各指标在完全一致时的取值。若确实如此，它们不是模型输出，混在五百九十行里会抬高各项指标的均值。
这个判断未经作者确认。使用者应当自行检查：取出这五行，看它们的报告编号是否与标注表里的某些编号重合，或看是否有其他字段能区分。在没有确认前，稳妥做法是做两遍分析，一遍含这五行、一遍剔除，看结论是否变化。
4.5 标注者间信度缺失
条目页描述的过程是：两名放射科医师先各自独立从金标准报告里抽取阳性发现并判定显著性，再与生成报告比对计数，最后讨论达成共识。
流程本身规范。但数据里只有共识结果，没有任何一致性系数——没有 Kappa，没有 ICC，没有分歧率。
这个缺失的影响是实质的。若两人的独立判断高度一致，共识结果可信；若分歧很大、靠讨论勉强统一，那么共识结果反映的可能是一方的说服力而非真实错误数。没有系数就无法区分这两种情况。
要补这一环，只能向作者索取独立标注的原始版本，或自己做一次双人复标。
4.6 样本筛选的可复现性
采样流程写了五步：按 RadCliQ 三分位切低中高三组、各随机抽一百五十份、按 mesh 列过滤正常与异常、按 IMPRESSION 列剔除含「no acute findings」的报告、得到八十九十的分布（实为八十与二十）。
这里有两处不可复现的地方。
第一，随机抽样的种子未给。一百五十乘三等于四百五十，从四百五十里筛出一百，筛选规则是确定性的，但抽样不是。不同种子会得到不同的样本集合。
第二，筛选规则的细节只在作者的另一篇论文里给出（条目页引作参考十一），本页没有完整列出。这意味着仅凭本数据集无法独立复现筛选过程。
这两点合起来，使得「换一批人按同样流程重做」会得到不同的一百份。对评测资源来说，这是可接受的（标注本身是新增价值），但对「复现作者的结论」是障碍。
4.7 数据不匹配的一处
标注表的一百个报告编号都能在指标表里找到，但指标表的五百九十行里只有一百行属于标注样本。
这意味着做联合分析时的连接必须是内连接，且连完之后只有一百行。若有人误以为是同一批数据的两张视图，用外连接或按位置对齐，会得到大量空值或错位的行。
这一点在文件里没有任何提示，只能靠实际核对发现。
§5 能做什么：五类任务与实现要点
5.1 任务一：指标与专家判断的对齐度检验
这是最核心的用法。
流程分四步。第一，把两表按报告编号内连接，得到一百行含错误计数与六项指标的表。第二，把八列错误按显著性加总，得到两个总量变量。第三，对每个指标算与两个总量的秩相关。第四，做分层的补充分析：按「是否为零错误」二分类算 AUC，看指标能否区分「有错」与「无错」。
第三步的结果前面已给。第四步通常比第三步更有信息量，因为零值太多时连续相关会被压平。一个指标若有实用价值，至少应当能把「有明显错误」与「完全正确」分开。
还要报一项容易被忽略的：指标之间的相关。若六项指标彼此高度相关，说明它们测的是同一件事，多算几个没有增量。本表里六项的量纲与构造都不同，实际相关性需要自己算。
5.2 任务二：错误类型的可预测性
给定一份报告对，能否预测它有几处遗漏、几处虚构。
这是一个比「总分相关性」更细的问题，也更接近实用——临床上真正关心的是「这个系统会不会漏诊」，而不是「它的综合分是多少」。
做法是把第 1 类与第 2 类各自作为因变量，用指标的各个分量做自变量，看哪一项能预测遗漏、哪一项能预测虚构。预期是 RadGraph F1 对遗漏更敏感（它比的是实体关系覆盖），CheXbert 对两者都较敏感（它比的是观察项标签）。
样本只有一百份，做多变量模型容易过拟合。稳妥做法是单变量加分层，或直接用秩相关看不加权的关联。
5.3 任务三：复合指标的拆解诊断
RadCliQ 是四分量复合，本可以用来诊断「哪个分量拖了后腿」。
做法是把四个分量分别与错误数算相关，看哪一个与临床显著错误的关系最弱。弱的那一项，就是复合指标里应当降权或替换的部分。
这个分析不需要额外数据，用指标表就能做——只要四个分量在表里都有。表里给的是 bleu4、bleu_2、bertscore、CheXbert、radgraph_f1 与 radcliq 六列，看起来正是 RadCliQ 的组成项加总。若如此，可以自己按不同权重重组，看能否得到比原版更贴近专家判断的复合分。
这是一个成本低、产出明确的小实验，适合作为方法学练习。
5.4 任务四：显著与不显著的分离能力
一个指标的理想性质是：与显著错误强相关，与不显著错误弱相关。这表示它能区分「要紧的错」与「不要紧的错」。
本数据的两张表正好能做这个检验。对每个指标算两个相关系数，若两者接近，说明该指标不能区分显著性层级；若前者明显强于后者，说明它有临床敏感度。
这个分析的价值在于它给出了一个可操作的评价标准，而不只是「相关性多高」。一个与总错误数相关零点五但两层级不分的指标，实际不如一个相关零点四但只对显著错误敏感的指标。
5.5 任务五：中文报告生成的评测设计
这套数据最可迁移的是方法，不是内容。
移植到中文影像报告，需要重建四样东西：错误类别（中文报告的措辞习惯不同，「建议随访」的表述方式更多样）、显著性判定标准（需要中文临床共识）、标注流程（双人独立加共识的流程可照搬）、以及一套中文的自动指标基线。
其中最难的是显著性标准。英文的「significant」在影像报告语境里有相对明确的操作定义，中文则常混在「有临床意义」「需处理」「需随访」等表述里，需要先做一轮术语澄清。
5.6 可复现的最小路径
按官方材料，复现对齐度分析只需四步：
- 下载四个文件
- 校验 SHA256
- 把两张错误表按报告编号与指标表内连接
- 计算八列合计与六项指标的秩相关
不需要凭证，不需要培训，不需要申请。这是它相对同类资源的显著优势——把复现门槛降到了几乎为零。
唯一需要注意的是文件名的大小写与拼写：两表一个用下划线连接（RadEval_clinically_significant_errors.csv），另一个用连字符（RadEval-clinically_insignificant_errors.csv）。这种不一致在手工下载时无所谓，在脚本里拼接路径时会出错。
四步之外，实际做分析时还有三件事要加进去，否则结论会被质疑。
第一，报效应量而不只报相关系数。 相关系数零点二在百份样本上通常不显著，但「不显著」不等于「无关系」，只是样本量不足以判定。更稳妥的做法是把指标按三分位分组，看最高组与最低组的平均显著错误数差多少。这个差值有直接的临床含义——「指标最高的三分之一的报告，平均少错多少处」，比一个抽象的系数好解释。
第二，做一次留一法或自助法的稳健性检查。 百份样本里，单行的影响可能很大，尤其那几行错误数特别高的。做法是每次剔除一行重算相关，看系数在什么范围波动；或用自助法抽一千次，给相关系数配一个区间。若区间跨零，就明确说「方向不确定」。
第三，把显著性两层的分析并列呈现。 一个指标若与显著错误相关零点四、与不显著错误也相关零点四，说明它区分不了要紧与不要紧，实用价值有限。只有当前者明显强于后者，才能说它有临床敏感度。这个对比在这套数据上做起来很便宜，却是最容易被跳过的一步。
还有一处工程上的便利：数据量小到可以把三张表全部读进内存，反复试不同的口径。这意味着稳健性检查的边际成本极低——换一种统计方法重跑只要几秒。既然如此，就没有理由只报一个口径的结果。
若要把这套分析扩展成一篇方法学论文，缺的不是计算而是标注。最直接的扩展是再找一个模型（比如基于 transformer 的报告生成模型），用同样的流程标注一百份，然后看六项指标在第二个模型上的排序是否一致。排序一致，说明指标有跨模型的稳定性；排序翻转，说明指标只在特定模型上有效。这一个实验就能把结论从「在某模型上」提升到「在某一类模型上」。
5.7 DAIMS 24 项检查
| 维度 | 项 | 判定 |
|---|---|---|
| 文档 | 数据字典 | 部分（列名含义写在条目页，未随包给字典） |
| 文档 | 采集协议 | 是（采样与标注流程逐步说明） |
| 文档 | 设备规格 | 不适用（无影像） |
| 文档 | 标注规范 | 是（八类定义与前置指令来源明确） |
| 文档 | 版本历史 | 部分（仅一版，无变更记录） |
| 文档 | 许可说明 | 是（但许可文件为空，需外链查） |
| 文档 | 引用格式 | 是 |
| 文档 | 局限披露 | 部分（散落各处，未集中列出） |
| 质量 | 缺失披露 | 是（表中无缺失值，可比对得出） |
| 质量 | 信号质量说明 | 不适用 |
| 质量 | 一致性检验 | 否（未报标注者间一致性系数） |
| 质量 | 金标准对照 | 是（IU-Xray 报告作为金标准） |
| 质量 | 异常值处理 | 否（未讨论 Bleu4 为一的可疑行） |
| 质量 | 隐私处理 | 是（IU-Xray 已去标识，无 PHI） |
| 可得性 | 开放程度 | 是（完全开放） |
| 可得性 | 下载方式 | 是（四种） |
| 可得性 | 文件校验 | 是（提供 SHA256 清单） |
| 可得性 | 数据体量 | 是（压缩与解压后体积都给出） |
| 可得性 | 格式说明 | 是（CSV，列义说明） |
| 可得性 | 工具支持 | 否（无代码、无基线脚本） |
| 伦理 | 伦理批准 | 部分（条目页提伦理讨论，未给批号） |
| 伦理 | 知情同意 | 是（依赖上游数据的既有豁免） |
| 伦理 | 试验注册 | 不适用（非临床试验） |
| 伦理 | 去标识化说明 | 是（说明沿用上游去标识） |
二十四项中「是」十三项、「部分」五项、「否」五项、不适用空一项（实际不适用三项，其中两项已在表中标为不适用）。
未通过的五项集中在质量与工具：没有一致性系数、没有异常值讨论、没有代码。这三项都不影响数据可用，但都影响结论的可信度与复现的便利性。
§6 常见误读与引用陷阱
6.1 误读一：把一百份当一百个独立结论
一百份里三十八份零错误，三十三份两表都有错。真正有区分度的样本远少于一百。
任何「某指标与某类错误相关」的结论，其有效样本要按参与计算的非零行数算，而不是行数总和。相关分析里若有大半是零值，相关系数会被压向零。
6.2 误读二：认为 RadCliQ 差是因为它不好
RadCliQ 在本表里与显著错误的相关只有零点二左右，低于 CheXbert。
这不等于 RadCliQ 设计失败。它在本表里的低相关有两种解释，且都不是「设计不好」：一是样本太小、相关性估计不稳；二是本样本按 RadCliQ 的分位均衡采样，方差被压缩，相关系数被系统性压低。
要公平评价 RadCliQ，应当在不经分位采样的全量五百九十份上算，而错误标注只有一百份。这个循环性是该数据的结构性限制，作者没有讨论。
6.3 误读三：把错误计数当错误率的分子
计数是绝对数，不是比例。一份报告里遗漏三处与遗漏一处，在计数上差三，在严重程度上未必差三倍——三处小遗漏可能不如一处漏掉大病灶。
若要做严重程度的加权，需要额外的权重方案，而数据里没有给。直接计数等于假定所有同类错误等重，这个假定应当在使用时说明。
6.4 误读四：忽略报告长度的差异
金标准报告平均三十六个词，生成报告平均三十个词。生成报告系统性更短。
更短的报告天然少虚构、多遗漏。本表里遗漏是一百零五处、虚构十九处，这个比例与长度差一致。评价一个模型时，若不控制长度，短报告会因为少说而显得「更安全」，实际可能是漏得更多。
这是一个在报告生成评测里普遍存在、却常被忽略的混杂因素。
6.5 误读五：认为共识等于正确
两名医师讨论达成的共识，是两人意见的交集，不必然是正确答案。
若两人都漏看了某一处发现，共识结果里也不会出现这个遗漏。共识能消除随机分歧，不能消除系统性盲区。要评估后者，需要有第三人或更细的金标准。
6.6 引用时必须写清的五件事
规模：一百份配对标注，五百九十份有自动指标。
模型：仅 M2Tr 一个，不外推。
数据源：IU-Xray，与基于 MIMIC-CXR 的同类工作不可比。
统计口径：秩相关还是皮尔逊、是否剔除零值行、是否剔除可疑的五行为一的行。
方向：RadCliQ 越低越好，其余越高越好，混在一张表里必须标注方向。
§7 在生态中的位置
7.1 报告生成评测的三条路线
第一条是纯自动指标。BLEU、METEOR、ROUGE 这些来自机器翻译，在影像报告上一直被批评与临床判断脱节。
第二条是临床感知指标。CheXbert 把报告映射到十四条观察项标签再比，RadGraph 比实体关系图，RadCliQ 把两者与嵌入相似度复合。
第三条是人评。让放射科医师读报告、判错误、打分。
这套数据处在第二与第三之间：它用第三方的产物（人评错误计数）去检验第二条路线的产物（自动指标）。这个位置使它成为少数能直接回答「自动指标靠不靠谱」的资源之一。
7.2 与中文同类工作的关系
中文的影像报告生成研究不少，但公开的、带专家错误标注的评测资源几乎没有。
多数中文工作报的是 BLEU 与 ROUGE，少数加了基于实体匹配的指标。这些指标在中文上的表现如何，与临床判断的对齐度如何，目前没有实证。
这套数据的方法可以直接借用：找一位或两位放射科医师，对百余份生成报告按类别数错误，再与指标算相关。成本不高，产出明确，是中文领域最值得先补的一块。
借用时有三处需要重新设计，直接照搬会出问题。
第一处，错误类别的措辞要按中文报告的习惯改。 英文报告里的「no acute findings」是一种固定的结句套话，中文对应的是「未见明显异常」「未见活动性病变」「心肺未见著变」等多种写法，且不同医院、不同年代差异很大。若照搬「剔除含 no acute findings 的报告」这一条，中文要先建立一个等价表述的清单，否则过滤规则会漏掉大半。
第二处，不确定性的表达方式不同。 英文用 may、cannot exclude、suggestive of 这一组词，中文用「可能」「不除外」「考虑」「符合」「待排」「建议随访」。「待排」在中文里比英文的任何单一词都更不确定，而「符合」几乎等于确定。第 7 与第 8 类错误在中文上的判定需要重新锚定，不能直接译。
第三处，对照的表述习惯不同。 中文报告里「与某年某月片比较」常见，且时间信息常被省略成「与既往片比较」。第 5 与第 6 类关于对照的错误，在中文上要处理「既往」这种模糊指代——生成模型写「与既往相比病灶增大」而金标准只写「病灶增大」，这算不算多提对照，需要事先约定。
三处之外，还有一条现实约束：中文影像报告的长度普遍比英文短，很多只有一两句结论。这意味着遗漏与虚构的比例会更极端——报告越短，能装的发现越少，遗漏越多、虚构越少。用同一套阈值去判断「错误多的报告」，在中文上可能全部落到「遗漏多」这一侧。
这些调整做完，实验设计的骨架仍然可用：模板配对、错误分类计数、显著与不显著分开、与指标算秩相关。方法的价值就在这里——它规定了「要比什么」，而不规定「用什么语言比」。
7.3 长期可用性判断
完全开放、许可宽松、体积很小，这三点决定了它的长期可用性很好。
风险主要在两处。第一是无更新：2024 年发布后没有新版本，而报告生成模型在这一年多里迭代很快，用新模型重做一遍的结论可能与原结论不同。第二是上游依赖：引用义务里包含 IU-Xray，若上游条款变化，本数据的使用也会受影响。
7.4 适合谁用
| 使用者 | 适合做的事 | 不适合做的事 |
|---|---|---|
| 指标研究者 | 检验指标与专家判断的对齐度 | 提出新指标后直接宣称更优（需自采数据） |
| 报告生成开发者 | 诊断自家模型在错误类别上的分布 | 用它排名不同模型（样本太小） |
| 临床质控人员 | 理解自动指标的能力边界 | 把它当质控标准 |
| 方法学者 | 移植人评流程到其他语言 | 用它训练模型 |
§8 总结
这套数据的价值在于它给出了一个可计算的答案，回答了一个长期靠直觉的问题：自动指标到底测到了什么。
三件事决定了它的用法。第一，规模极小，一百份标注样本、一个模型、一个数据源，任何结论都只能作方向性参考。第二，错误分布严重偏斜，八类里只有遗漏与虚构有足够样本，四类合计不足十处，按类别分析做不动。第三，指标与专家判断的相关普遍很弱，唯一明显偏高的是 CheXbert，这与它直接比对临床观察项的构造方式一致。
使用时守住三条：按秩相关而非皮尔逊算、把 RadCliQ 的方向反过来读、剔除或单独处理那五行四元 BLEU 为一的可疑数据。
它留下的最大空缺不是数据量，而是标注者间信度。共识结果没有一致性系数，就无法判断这份金标准本身有多硬。补上这一项，才是它真正需要的下一版。
再往前一步，这项研究真正想回答的问题还没有被完整回答。「自动指标是否可信」这句话其实包含两个子问题：指标能不能排出模型的优劣顺序，指标能不能指出一份报告错在哪。这套数据主要回答后者——它给了逐类错误的计数，所以能看出某个指标对遗漏敏感还是对虚构敏感。前者需要一个多模型、同一批金标准的对照实验，不是一百份样本能胜任的。
把这两个子问题分开看，会得到不同的用法建议。关心排序（比如选模型上线），应当用多模型在同一测试集上的指标分数做一致性检验，而不是靠这套数据；关心诊断（比如定位某个模型为什么被指标高估），这套数据正好合用。混淆两者，就会用一个小样本的诊断集去做它支撑不起的排名结论。
还有一层现实含义。即便某项指标与专家判断的相关只有零点二，它仍可能有用——只要它在不同模型之间的排序与专家排序一致。相关性衡量的是逐份对齐，排序一致性衡量的是相对位置，后者对模型选择更关键而要求更低。这一点在文献里常被混为一谈，也是这套数据最有价值的引申：它提醒我们，评价一个指标要看它被用来做什么，而不是只看一个相关系数。
§9 术语与口径速查
| 术语 | 全称 | 本文口径 |
|---|---|---|
| IU-Xray | Indiana University Chest X-ray | 金标准报告来源，美国印第安纳大学医院 |
| M2Tr | — | 被评估的报告生成模型，条目页未展开全称 |
| BLEU-4 | Bilingual Evaluation Understudy (4-gram) | 四元组层面的字面重合度，越高越好 |
| BLEU-2 | 同上（2-gram） | 二元组层面，通常高于四元 |
| BERTScore | — | 基于上下文嵌入的语义相似度，越高越好 |
| CheXbert | — | 把报告映射为十四条观察项标签后比对，越高越好 |
| RadGraph F1 | — | 基于实体关系图的 F1，越高越好 |
| RadCliQ | Radiology Report Quality | 复合指标，越低越好 |
| 临床显著错误 | clinically significant error | 会影响处置的错误 |
| 临床不显著错误 | clinically insignificant error | 措辞层面、无实质影响的错误 |
| 遗漏 | omission | 金标准有异常，生成报告未提 |
| 虚构 | false prediction | 生成报告写了金标准没有的异常 |
| 对照 | comparison | 与既往影像的对比描述 |
| 不确定性 | uncertainty | 「可能」「不除外」「建议随访」一类措辞 |
§10 事实清单与附录
10.1 核心事实
| 项 | 值 |
|---|---|
| 标注样本 | 100 份报告对 |
| 正常与异常比例 | 20 比 80 |
| 显著错误表行数 | 100 |
| 不显著错误表行数 | 100 |
| 指标表行数 | 590 |
| 错误类别数 | 8（其中 2 类为作者新增） |
| 显著错误总数 | 151 处 |
| 不显著错误总数 | 111 处 |
| 显著表零错误行 | 38 |
| 不显著表零错误行 | 39 |
| 两表均有错的行 | 33 |
| 标注医师 | 2 名，委员会认证 |
| 生成模型 | M2Tr |
| 金标准来源 | IU-Xray |
| 压缩包体积 | 42.2 KB |
| 解压后体积 | 143.9 KB |
| 发布日期 | 2024-06-18 |
| DOI（v1.0.0） | 10.13026/tp88-q278 |
| DOI（latest） | 10.13026/72dp-f846 |
| 访问等级 | 开放 |
| 许可 | CC BY-NC-SA 4.0 |
10.2 八类错误的分布
| 类别 | 显著 | 不显著 |
|---|---|---|
| 1 虚构发现 | 19 | 21 |
| 2 遗漏发现 | 105 | 66 |
| 3 位置错误 | 1 | 0 |
| 4 严重程度错误 | 0 | 1 |
| 5 多提对照 | 2 | 3 |
| 6 漏提对照 | 20 | 9 |
| 7 多提不确定性 | 1 | 2 |
| 8 漏提不确定性 | 3 | 9 |
| 合计 | 151 | 111 |
第 4 类在显著表全零而在不显著表有一处，第 3 类相反。两表加起来，八类里只有第 1、2、6 类达到两位数。
10.3 六项指标的分布与相关
| 指标 | 均值 | 标准差 | 最小值 | 最大值 | 与显著错误总数的秩相关 |
|---|---|---|---|---|---|
| BLEU-4 | 0.0704 | 0.1326 | 0 | 1.0 | 约 −0.14 |
| BLEU-2 | 0.1960 | 0.1389 | 0.0039 | 1.0 | 约 −0.16 |
| BERTScore | 0.4592 | 0.1231 | 0.163 | 1.0006 | 约 −0.20 |
| CheXbert | 0.5301 | 0.2053 | −0.01 | 1.0 | 约 −0.41 |
| RadGraph F1 | 0.2630 | 0.1666 | 0 | 1.0 | 约 −0.16 |
| RadCliQ | 2.6191 | 0.5096 | −0.1551 | 3.4323 | 约 +0.19 |
相关系数为本页在百份标注样本上自行计算，非官方数字。样本量小，置信区间宽，不宜作为定论引用。
10.4 附录 A：做一次对齐分析的最短脚本
以下步骤按官方文件结构写，列名按实际文件。
import pandas as pd
sig = pd.read_csv('RadEval_clinically_significant_errors.csv')
ins = pd.read_csv('RadEval-clinically_insignificant_errors.csv')
met = pd.read_csv('metrcis_scores_m2tr.csv')
-- 第一步 确认两表行序一致，这是后续并排比较的前提
assert list(sig.report_id) == list(ins.report_id)
-- 第二步 八列错误加总，得到两个总量
cols = [str(i) for i in range(1, 9)]
sig['total_sig'] = sig[cols].sum(axis=1)
ins['total_ins'] = ins[cols].sum(axis=1)
-- 第三步 内连接指标表，注意不能用外连接
met['rid'] = met.report_id.astype(str)
sig['rid'] = sig.report_id.astype(str)
df = sig.merge(met[['rid', 'bleu4', 'bleu_2', 'bertscore',
'CheXbert', 'radgraph_f1', 'radcliq']], on='rid', how='inner')
-- 第四步 秩相关，不要用皮尔逊
for c in ['bleu4', 'bleu_2', 'bertscore', 'CheXbert', 'radgraph_f1', 'radcliq']:
print(c, round(df['total_sig'].corr(df[c], method='spearman'), 4))
这段代码有三个前提，不成立就要改。
第一，报告编号在两表里的类型必须统一成字符串。若一边读成整数、一边读成字符串，连接会全部失败，得到零行。
第二，八列的列名是字符串形式的数字，不是整数。用 range(1,9) 生成后必须转成字符串，否则取不到列。
第三，内连接后应当检查行数是否等于一百。若少于一百，说明有编号对不上，需要先排查编号的格式差异（前导零、空格）。
10.5 附录 B：六个可立即验证的疑问
- 指标表里四元 BLEU 为一的那五行，是不是金标准与自身比对的对照行？
- 两名医师独立标注的一致率是多少，有无留存原始版本？
- 第 4 类错误在显著表全零，是真的没出现，还是标注时未单独判？
- 采样用的随机种子是多少，能否复现那一百份？
- 五百九十份生成报告对应多少个不同的影像检查？
- RadCliQ 的复合权重是多少，表里六列是否就是它的全部分量？
这六个问题在条目页均无答案。第一个与第五个对结论的影响最大。
10.6 附录 C：证据链
本文数字分两类。
条目页直接给出：一百份配对样本、八十比二十的正常异常比、八类错误定义与其中两类的来源、两名委员会认证医师、M2Tr 与 IU-Xray 的身份、五百九十份生成报告的规模、四项自动指标的名单、许可类型、两个 DOI、发布日、文件体积、四种下载方式、引用义务包含 IU-Xray。
本页自行核对数据文件得出：两表各一百行且行序一致、八类错误的逐类计数、两表零值行数、两表均有错的行数、六项指标的均值与分布、六项指标与显著错误总数的秩相关、五行四元 BLEU 为一的异常、金标准与生成报告的平均词数、报告编号的可连接性。
凡本文提及而条目页与数据文件均未给出的（医师一致率、随机种子、RadCliQ 权重、五行异常的性质），均标注为待核实，未作推断性填充。
编辑说明
核验时点：2026 年 10 月 19 日，依据 PhysioNet 条目页 v1.0.0，并下载全部四个数据文件做逐行核对。
核验方式：条目页逐段读，重点核对样本筛选流程、八类错误定义、标注流程、许可与引用义务。数据文件全部下载后校验 SHA256，用 pandas 读入并统计行数、列名、逐类计数、零值分布、指标均值与标准差、指标与错误总数的秩相关。所有自行计算的数字在正文与附录中均标注为「本页计算」。
口径处理：三个规模数字（一百份标注、两百行、五百九十份指标）分开表述，不用单一数字概括。RadCliQ 的方向在术语表与多处正文中反复标注为「越低越好」。相关系数一律用秩相关并注明样本量小、不宜作定论。遗漏与虚构的计数差异与报告长度差一并说明，避免被读成单纯的能力差异。
未覆盖内容：两名医师的独立标注一致率、随机抽样种子、RadCliQ 的复合权重、五行四元 BLEU 为一的性质、五百九十份报告对应的检查数，条目页与数据文件均未提供，本文标注为待核实。伦理批号未在条目页给出，未代为补充。上游 IU-Xray 的原始论文内容未逐条核对。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：
- rexgradient-160k — 共享标签：医学影像 / 影像-文本对齐 / 评测基准 / X光影像
- ms-cxr-t — 共享标签：医学影像 / 影像-文本对齐 / 评测基准 / X光影像
- ms-cxr — 共享标签：医学影像 / 影像-文本对齐 / X光影像
- chexstruct-cxreasonbench — 共享标签：医学影像 / 评测基准 / X光影像
- pairlungnodulexr22 — 共享标签：医学影像 / 评测基准 / X光影像
- refisco — 共享标签：医学影像 / 影像-文本对齐 / 评测基准
- rexval — 共享标签：医学影像 / 影像-文本对齐 / 评测基准
- icbhi-2017 — 共享标签：医学影像 / 评测基准 / X光影像
- med-mim — 共享标签：医学影像 / 影像-文本对齐 / 评测基准
- pairboneage22 — 共享标签：医学影像 / 评测基准 / X光影像
导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。
