信息速览

数据集名称ReXVal：放射报告六类错误的医师计数标注

数据类型胸部X光,报告生成,错误标注,多标注者,人工评测

规模50

接入方式MIMIC-CXR（BIDMC，贝斯以色列女执事医疗中心）

AI 就绪度

自动指标与人类判断的错位，在这份数据里被拆到了最细的一层：不是问「这份报告好不好」，而是问「它错了几处、错在哪类、这处错要不要紧」。这个拆法带来一个直接好处——错误可以被加总、被分类、被画成向量。也带来一个直接代价——每份报告都要医师逐条数，做不大。

它的构造方式也值得注意：四份候选报告不是随便挑的，而是分别按四项自动指标在训练集里筛最高分。这意味着每一份候选都是某个指标的「优等生」。用这样的样本去检验指标与人类判断的一致性，等于让每个指标带着自己的最佳作品上场，是一种对指标相当客气的设计。

下面按结构、取用、质量、用法、误读的顺序展开，重点讲清六类错误的定义边界、计数标注该怎么聚合、以及这份数据与同期同类工作（尤其是 RadEvalX 那类错误谱数据集）的分工差别。

§1 它是什么：把报告错误拆成六格计数

1.1 一句话定义与三条边界

ReXVal 是一份放射报告错误的医师标注集：从 MIMIC-CXR 测试集里取五十项检查，每项一份金标准报告加四份候选报告，共两百对，由六位执业放射科医生在不知道候选来源的条件下，按六类错误分别数出临床显著与临床不显著的错误数量。

三条边界先划清。

第一，候选报告不是生成模型写的。它们是从 MIMIC-CXR 训练集里检索出来的真实报告，只是按不同指标挑的最相似者。这一点决定了这份数据测的不是「生成质量」，而是「检索式替代的质量」。

第二，标注的是错误数量，不是错误位置。医师数出「漏了三处」这样的数，但不逐处指认是哪三处。这一点与逐处定位的标注方式有本质区别，后面 §4.5 会展开。

第三，参考系是金标准报告，不是影像。医师比对的是候选报告与金标准报告之间的差异，影像只作为判断依据之一。因此标注反映的是「文本对文本」的差异，不是「文本对影像」的偏差。

1.2 六类错误的定义与边界

六类错误固定如下：错误预测了不存在的发现、遗漏了发现、发现的位置或部位写错、发现的严重程度写错、提到了参考报告中不存在的对比、遗漏了描述与既往相比变化的对比。

前三类与后三类的性质不同。前三类围绕「发现」本身：有没有、在不在对的地方、程度对不对。后三类里，第四类仍属发现维度，第五与第六类专指「对比」这一件特殊的事——模型的报告里凭空多了与既往比较的句子，或者金标准里有而候选漏掉了。

第五类与第六类值得单独说。胸部 X 光报告里，「与既往片相比，心影增大」这类句子很常见。若金标准没写比较而候选写了，属于第五类（凭空比较）。若金标准写了比较而候选没写，属于第六类（漏掉比较）。这两类错误的临床意义不对称——凭空比较会让读者以为有既往片可查，实际可能没有；漏掉比较则丢失了「变化」这个关键信息，而变化的临床价值往往高于单次状态。

六类之外还有大量情形无法表达。举例来说，报告逻辑自相矛盾（前面说正常，后面说异常），六类里没有对应格。报告的段落顺序错乱，也没有对应格。语言的流畅性问题，更没有。这是分类体系的固有取舍，用之前要知道它漏了什么。

1.3 临床显著与不显著的两分

每一类下面再分两档：临床显著、临床不显著。

这个二分是全套设计的核心。同样一处漏诊，漏掉一个临床不显著的偶发钙化，与漏掉一个气胸，错误类别相同（都是遗漏），但后果天差地别。若不分档，两类错误在统计上会被混在一起，模型之间的真实差距就被抹平。

分档的判断权在医师。数据里没有给「显著」的判定标准，只给了任务说明。这意味着分档的边界由每位医师自行掌握，跨医师的一致性问题由此产生。

从评测设计看，这个二分是必要的妥协。更细的分级（比如三档或五档）会提高区分度，但会大幅降低医师间一致性，反而让数据更噪。两档是在区分度与一致性之间的折中。

1.4 候选报告的构造：四个指标各出一份

每项检查的四份候选报告，分别对应四项自动指标：BLEU、BERTScore、CheXbert 向量相似度、RadGraph 实体关系 F1。

构造方式是：拿金标准报告，在 MIMIC-CXR 训练集里找该项指标分数最高的那份报告，作为候选。四份候选因此代表四个指标眼中的「最佳匹配」。

这个设计有一个重要的含义需要说清：四份候选不是四个模型生成的，而是同一批训练数据被四种检索准则挑出的四个结果。所以比较它们之间的差异，测的是「检索准则的差异」，不是「生成架构的差异」。

这个设计的好处是控制了变量。若用四个生成模型产出的报告，质量差异可能来自架构、训练数据、解码策略等一堆因素，无法归因。用检索替代，变量只剩下指标本身。代价是候选报告都是真实人类写的，语言质量天然过关，不会有语法错乱、重复生成这类生成模型的典型病灶。

1.5 六位医师与标注的组织方式

六位执业放射科医生参与。

每份调查页面上，金标准报告放在顶部，四份候选报告按随机顺序排在下面。医师对每份候选逐一标注。候选的来源对医师隐藏——医师不知道哪一份是按 BLEU 挑的、哪一份是按 RadGraph 挑的。

随机打乱顺序这一点很关键。若固定顺序，医师可能形成习惯，对第一份更严格或更宽松。随机顺序消除了位置效应，但也带来一个副作用——同一位医师对四项指标的标注不是跨样本可比的，因为顺序不同。

六位医师的标注并不完全覆盖。标注矩阵是稀疏的：并非每位医师都评了全部两百对，也并非每对都被六位医师评过。这一点在分析时会造成麻烦，§4.3 会具体说明。

稀疏之外还有一个没被记录的因素，就是标注的时间序列。医师是按什么顺序评这五十项检查的，数据里没有记录。这件事重要，因为判读任务有疲劳与学习效应。

疲劳效应表现为后期标注变松：前面的检查看得细，越到后面越粗略，数出的错误数下降。学习效应方向相反：前面不熟悉任务，边做边建立判定标准，后面反而更准更细。两种效应叠加，最终的顺序效应方向不确定，但一定存在。

若这个效应显著，而六位医师的标注顺序又不同，那么医师之间的差异就部分来自顺序而非严格程度。§4.2 讨论的一致性分析会被这个因素干扰。

缓解办法在数据层面做不到，因为顺序没记录。只能在设计新标注时补上——记录每条标注的时间戳与在会话中的位置，分析时把位置作为协变量。这是一个低成本的改进，却很少有标注项目做。

1.6 与同期同类工作的位置

同一时期有几份相关数据集，容易混。

一份是 ReFiSco，评三来源报告的错误严重度，用的是五级量表加逐行改写，量的是「多严重」。一份是 RadEvalX，量的是错误谱在八类上的分布，量的是「错在哪类、多频繁」。这份 ReXVal 量的是六类错误的计数加临床显著性，量的是「错几处、要不要紧」。

三者互补而非替代。ReFiSco 的强项是严重度分级细，RadEvalX 的强项是样本大、可复算，ReXVal 的强项是能把错误拆成向量并直接对应到四个自动指标的筛选逻辑。

选择哪一份取决于问题。要研究「指标是否与人类判断对齐」，用 ReXVal 最直接，因为四个候选本身就是指标挑的。要研究「错误类型分布」，RadEvalX 样本更大。要研究「严重度」，ReFiSco 的量表更细。

§2 数据构成：两张表与稀疏矩阵

2.1 三个文件

数据集含三个文件。

50_samples_gt_and_candidates.csv        金标准与四份候选
6_valid_raters_per_rater_error_categories.csv   逐条标注
data_analysis.ipynb                     示例分析笔记本

第一个文件五十行，一行一项检查。第二个文件是长表，一行一次标注。第三个是示范代码。

2.2 两张表怎么连

两张表靠两个键连接。

第一张表的行索引（从零开始）对应第二张表的 study_number 字段。注意索引是行序而非 study_id，因此读入时不能跳行、不能排序，必须保持原始顺序，否则连接会错位。

第二张表的 candidate_type 字段取值是 bleu、bertscore、s_emb、radgraph 四个字符串，对应第一张表的四个列名。连接时应按列名取值，不要按列位置取，因为列顺序在文件里可能变化。

这个两表结构看起来简单，实际有一个陷阱：第二张表里每一行只对应一个错误类别。也就是说，一次「医师看了某份候选报告」这件事，在第二张表里会被拆成最多十二条记录（六类乘以两档显著性）。若直接数第二张表的行数当作标注次数，会高估六到十二倍。

2.3 标注矩阵的稀疏性

按设计，完整标注应该是五十项乘以四候选乘以六医师，共一千二百条「报告级评阅」，每条再展开成十二行（六类两档），共一万四千四百行。

实际数据远少于此。原因有两个：并非每份候选都被每位医师评过，也并非每次评阅都填满十二格。多数格是零，而零在计数型标注里既可能表示「数了，是零」，也可能表示「没评」，两者在数据里长得一样。

这个歧义是这份数据最大的解析难点。若把缺失当零，会系统性低估错误数量；若把零当缺失，会丢掉大量真实信息。数据本身没有区分标记，只能靠推断——若某医师对某项检查的某候选有任一非零记录，说明他评过这份，那么同组其他格为零应当视为「数了，是零」；若整组都是零，则可能是没评。

这个推断不完美，但在实务上是唯一可行的办法。

2.4 计数而非标记的含义

num_errors 是计数，不是布尔。

这意味着同一类别下，一份报告可能被数出三处遗漏。计数带来信息量，也带来麻烦——不同医师的计数基准不同。有人倾向把同一处问题数成一，有人倾向按句子拆成多处。这种基准差异会让计数不可直接比较。

处理方法有几种。最保守的是二值化：把大于零都当一。这会丢信息，但消除了计数基准差异。居中做法是取对数后比较，压缩大计数的影响。最激进的是直接用原计数并做医师固定效应校正，即把每位医师的计数减去其个人均值。三种处理适合不同问题：做「有没有错」的判断用二值化，做「错误密度」的比较用对数，做「医师严格程度」的研究用固定效应。

2.5 四个候选列的实际质量

四列候选报告的质量差异，是这份数据的隐藏看点。

按指标挑出的候选，质量未必都高。BLEU 偏好 n-gram 重合，挑出的报告可能句子结构相似但临床内容有偏差。RadGraph F1 偏好实体关系一致，挑出的报告在关键发现上更贴近。这两者的取径不同，挑出的文本read起来的感觉也不同。

数据里没有给每份候选的指标得分，只给了文本。若要复算指标分数，需要自己跑对应实现，且要用与原作者一致的版本——BLEU 的分词方式、BERTScore 的模型版本、CheXbert 的权重，任何一处不同都会导致分数不可复现。

还有一个不明显的效应值得单独说：长度。四项指标对长度的敏感度不同。

BLEU 有简短惩罚，倾向给短报告高分。BERTScore 是逐词匹配后取平均，长报告更容易摊薄错误，但也更容易出偏差。CheXbert 向量相似度只比较十四个观察标签的有无，与长度几乎无关。RadGraph F1 按实体关系计，实体越多分母越大，长报告可能反而吃亏。

这意味着四份候选在长度上可能有系统性差异，而这个差异本身不是质量问题，是指标的偏好。若某位医师在标注时对长报告更严格（长报告更容易被找出错），那么长度的效应就会混进「哪个指标更好」的结论里。

检查方法是把候选长度作为协变量放进模型。若加入长度后四组差异消失，说明原来的差异主要来自长度而非指标质量。这个检验成本很低，值得做。

2.6 缺失的影像

数据不含影像。

这一点需要特别提醒。标注是医师比对两份文本做出的，但医师在标注时可以调阅影像（流程上允许），数据本身却不含影像。因此别人拿到数据只能看到文本对，无法重现医师当时的完整判断依据。

若想研究「医师的判断是否受影像影响」，这份数据做不到。若想在文本层面复现标注，可以做到，但会有一部分判断无法解释——某些标注只能靠影像才能理解为什么算显著。

这个缺失还带来一个实际操作上的困难：无法用自动方法复核标注。若有影像，可以训练一个视觉模型去检验「医师说漏了一处积液，影像上真的有吗」。没有影像，这一步做不了，标注的可信度只能靠医师的资质与流程来保证。

这对想用这份数据做弱监督训练的人影响最大。弱监督的常见做法是拿人工标注当目标，训练模型拟合。若标注有噪声而无法复核，模型学到的可能是噪声。在有影像的情形下，至少可以做「影像一致性」的自动筛查；这里没有这个手段。

一个替代办法是用结构化标注做交叉检验。CXRGraph 一类数据集对 MIMIC-CXR 的报告做过实体关系抽取，可以用它来检查「医师所数的遗漏，在结构化图上是否真的存在对应的差异」。若某个声称的遗漏在结构化图上找不到依据，就值得怀疑。这种交叉检验不完美，因为结构化抽取本身有误差，但比完全没有检验好。

§3 怎么拿到：凭证式与它的实际门槛

3.1 获取路径

凭证式访问，四道手续：注册账号、完成 CITI 培训、提交凭证申请、签署数据使用协议。

与受限式相比多出培训与审核。这份数据派生于 MIMIC-CXR，继承了上游的保护等级，因此门槛与 MIMIC-CXR 一致。

3.2 区域限制

PhysioNet 对部分数据设有地域限制，具体是否适用于所在地区，需在文件区确认。

这一点是前置条件。若文件区显示不可用，后续手续都无意义。合规的做法是通过有合作关系的机构账号，或在协议框架下通过受控环境访问。

3.3 版本与 DOI

版本 1.0.0，发布于 2023 年 6 月 20 日。DOI 为 10.13026/2fp8-qr71。

引用时应写版本号，因为这个 DOI 指向的是具体版本。若将来发布 1.1.0，应改用新 DOI。

3.4 三层上游依赖

最底层是 MIMIC-CXR 的影像与报告，需单独凭证。中间层是这份标注表。最上层是四项自动指标的实现代码，其中 RadGraph 与 CheXbert 需要单独获取权重。

三层里最容易卡住的是最上层。RadGraph 的模型权重有独立的使用条款，CheXbert 的权重也需要从其发布页面获取。若只想用标注数据做分析，不跑指标，可以跳过最上层。

三层之间的版本对齐是另一个隐藏门槛。MIMIC-CXR 有多个版本，报告文本在不同版本间有过修订。这份标注是基于哪个版本的金标准报告做的，公开材料没有明确写。若研究者用的是另一个版本，可能遇到 study_id 对得上但报告文本不同的情况。这种不一致会直接污染分析——医师评的是旧文本，你算的是新文本，两者比出来的差异无法解释。

处理办法是检查候选报告与金标准报告的风格是否与手上版本一致。一个具体的信号是看报告是否含被后来的清洗流程去掉的固定套话。若手上的版本已经删掉了某段模板文字而数据里还有，说明版本不同。发现版本不一致时，最稳妥的做法是从原始版本重新取文本，而不是用新版本的。

指标实现的版本差异同样需要注意。BLEU 有多种实现，平滑方式不同，结果差别不小。BERTScore 依赖预训练模型版本。RadGraph 有两代，F1 的计算方式改过。四项指标中任何一项用了不同实现，候选的选取顺序就可能变，虽然这份数据已经定好了候选，但若你想在它的基础上做扩展实验，实现一致性就成了必须解决的问题。

3.5 加载与连接的注意点

读两张表时，第一张表要用 index_col=False 保留默认整数索引，不要指定某列为索引——因为 study_number 指向的是行序，不是 study_id。

第二张表的 clinically_significant 列是字符串 TRUE/FALSE，读入后需显式转换，不要依赖自动推断，否则可能被读成字符串导致聚合出错。

连接时建议先构造一个以 (study_number, candidate_type, error_category, rater_index, clinically_significant) 为键的宽表，把 num_errors 填进去，缺失补零前先做 §2.3 的存在性判断。

§4 质量与已知问题

4.1 候选质量偏高带来的天花板效应

四份候选都是按某指标最高分挑的，质量天然在上游。

这个设计对研究「指标与人类判断的对齐」是有利的——若候选质量参差，指标分低可能只是因为报告太差，看不出指标的辨别力。把候选都拉到高分区间，反而更容易看出「高分报告之间，人类判断与指标判断是否一致」。

但它带来一个副作用：错误总数偏少。一份质量很高的候选报告，医师数得出的显著错误可能只有一两处，甚至零处。当多数样本的错误数接近零时，不同指标之间的差异被压缩，统计上难以分辨。

这个问题与匹配样本量叠加后更严重。五十项检查、四候选，若按候选类型分组，每组只有五十个观测点；再按错误类别细分，每格只剩不到十个。这个量级做显著性检验，功效极低。

一个可行的补救是不按类别细分，只按候选类型看总数，这样每组五十个观测，勉强够用。若一定要按类别看，应当报告置信区间并明确说明这是探索性分析。

4.2 六位医师的一致性没有公开

数据里有多位医师对同一份候选的标注，理论上可以算一致性。

但公开材料没有给一致性数字。使用者需要自己算，而算之前要处理稀疏问题——两人评过同一份候选的样本量可能很小，算出的 kappa 方差极大。

更麻烦的是，一致性指标的选择本身就是问题。计数型标注算一致性，用加权 kappa 还是组内相关系数，结论会不同。加权 kappa 需要定义权重矩阵（差一处算多大分歧），这个定义没有标准答案。组内相关系数假设等距，而错误计数的间距未必等距。

一个更朴素的替代是看医师之间的排序一致性：对同一批候选，六位医师排出的「谁更差」顺序是否一致。这个量用 Kendall 系数算，不涉及计数基准，鲁棒性更好。做一致性分析时，这个指标比 kappa 更能说明问题。

4.3 稀疏矩阵与「零」的歧义

前面提过，零可能是「数了是零」也可能是「没评」。

这个歧义对结论的影响是系统性的。若真实情况是「评了但没发现错误」，而处理时当缺失丢弃，会高估错误密度，因为被丢弃的恰恰是「干净」的样本。反之若当零保留，而实际是没评，会低估错误密度。

判断的依据只能是同一组内是否有非零记录。这个规则在多数情况下有效，但有一个反例：某医师评了某份候选，且确实认为六类全部为零。这时整组都是零，规则会误判为「没评」，从而丢掉一个真实的「完全正确」样本。

这个误判的比例无法从数据估计。保守做法是做两套分析：一套把整组零当缺失，一套当零，比较两套结论是否一致。若一致，说明结论稳健；若不一致，就要在论文里说明这个不确定性。

4.4 临床显著性的判定没有细则

「显著」与「不显著」的边界由医师自行判断。

任务说明里应该给了大致方向，但公开材料没有给出可操作的判定规则。这意味着两件事。

第一，跨医师的分歧会集中在这一维。同一处遗漏，一位医师认为显著，另一位认为不显著，这类分歧在数据里表现为同一格的两条记录取不同值。这部分分歧不是错误，是判断差异，但会稀释信号。

第二，跨研究的可比性受损。别人重复这个实验，用自己的医师、自己的判定标准，得出的显著错误率可能完全不同，而这个差异反映的是标准不同，不是报告质量不同。

缓解办法是在报告结果时同时给「总错误数」与「显著错误数」两个量。总错误数受显著性判定影响小，更稳。显著错误数更能反映临床风险，但噪声更大。两个都报，读者可以自己判断。

这一维的分歧在具体病种上表现得不均匀，值得再往下一层看。有些错误的显著性判定几乎没有争议：漏掉气胸、把大量积液写成少量、把左侧写成右侧，这些在任何医师眼里都属于显著。另一些则争议很大：把「轻度肺淤血」写成「肺淤血」，把「考虑」写成「符合」，把「建议随访」写了但没给随访间隔，这类偏差是否影响临床处理，取决于具体情境与医师习惯。

因此若要提高显著性的可靠性，可行的做法不是写更细的通用细则，而是按错误类别分别定锚。遗漏与凭空预测这两类，锚点可以定得很硬——漏掉的必须是在读片上明确可见且有处理意义的发现，才算显著。位置与程度这两类，锚点要依赖具体发现，无法用一条通用规则覆盖，只能给示例集。这样分类处理比试图用一套统一标准管六类，可操作性高得多。

还有一处容易被忽略：显著性的判定与「这份报告会不会被采信」相关。一份报告若错误很多但都属不显著，临床医生读了可能仍然照用；一份报告只有一处显著错误，却可能改变整个处理。这个非线性关系意味着「总错误数」与「临床风险」不是简单的线性对应。做评测时应把两者当作两个维度分别报，不要试图合成一个分数。

4.5 计数标注丢失了位置信息

医师数出「漏了三处」，但没说漏在哪。

这个取舍有得有失。得在标注成本——逐处指认需要点选文本片段，工作量是纯计数的数倍。失在分析深度——无法研究「错误集中在报告的哪个部分」，也无法做「同一处错误被多位医师共同发现」的分析。

对于研究指标对齐，计数够用。对于研究错误的具体形态，计数不够。这也是它与 RadEvalX 这类逐处标注数据集的分工所在——后者记录了每处错误的编号，可以做位置分析。

若要把计数标注升级为位置标注，只能重标。没有从计数反推位置的算法，因为这个映射不是一一的。

4.6 检索替代生成的设计局限

四份候选来自检索，不是生成。

这个选择控制了变量，但也限制了结论的外推。真实的报告生成模型会犯检索不会犯的错：句子重复、逻辑断裂、把两段拼接在一起、生成长度异常。这些错误在六类里没有对应格，也无法从这份数据观察到。

因此「某指标与人类判断对齐良好」这个结论，只在「候选都是高质量真实报告」的条件下成立。换到生成模型的输出上，指标的排序可能完全不同。

引用这份数据的结论时，必须带上这个限定。写成「RadGraph F1 与人类判断对齐最好」是过度推广；写成「在检索式候选上，RadGraph F1 与人类判断的对齐优于其他三项」是准确的。

4.7 五十项检查的选取

五十项从 MIMIC-CXR 测试集里随机选。

随机是好的，但样本量小的随机不等于代表性。五十项检查覆盖的病种有限，罕见病几乎不会出现。若某项指标恰好在常见病上表现好、在罕见病上表现差，这个样本会系统性高估它。

要判断代表性，可以看这五十项检查的发现分布是否接近 MIMIC-CXR 整体的分布。这个核对官方没做，使用者可以用金标准报告做粗略统计——数一下多少份含心脏增大、多少份含积液、多少份正常，与整体比一比。若偏差大，就要在结论里加限定。

抽样还有一个更细的问题：五十项检查是按什么抽的。若是在测试集里均匀随机抽，那么病种分布会自然跟随测试集；若做了任何筛选（比如只要含至少一个发现的），分布就会偏。

这个区别对「错误计数」的影响很直接。一份完全正常的报告，金标准里只有「心肺未见异常」这类句子，候选就算写得不完全一样，能被数出的错误也极少。一份有多发异常的报告，候选稍有偏差就是好几处错误。若样本里正常报告占比高，整体错误计数会被压低，指标之间的差异也随之变小；若异常报告占比高，则相反。

因此使用这份数据时，第一个该做的统计不是别的，就是数一遍这五十项检查里「金标准含几个发现」。这个数能告诉你样本的难度构成，也能解释为什么某些结论看起来比预期弱。若发现异常报告占比明显高于或低于 MIMIC-CXR 整体，就应当在报告结论时说明这个偏差的方向。

§5 能做什么：五类用法

5.1 用法一：检验四项指标的对齐程度

这是设计时的首要用途。

做法是：对每个候选类型，算该类型下的平均显著错误数、平均总错误数，比较四者。错误数少者，说明该指标挑出的报告更接近人类判断。

结果大概率是 RadGraph F1 与 CheXbert 相似度表现较好，BLEU 较差。这个结论在多项工作中被重复观察到，不算意外。有意思的是差异的幅度与稳定性——若四者的差距小于置信区间，那结论就是「四项指标在这批样本上无显著差异」，这同样是有价值的结论。

实现要点是按候选类型分组后报告均值加置信区间，并做多重比较校正。四组两两比较有六对，不做校正会把偶然差异当显著。

5.2 用法二：分析六类错误的相对频率

把六类错误的计数汇总，能看出一份「典型报告」最容易犯哪类错。

按临床经验，遗漏应当是最常见的——报告生成时容易少说，不容易多说。但这份数据里，候选是检索得到的真实报告，冗余错误可能比生成场景少。

这个分析的产出是一张类别分布图：六类各占多少比例，显著与不显著各占多少。这张图可以直接指导指标设计——若某类错误占了三分之一，而现有指标完全捕捉不到这类，那就是指标的盲区。

官方论文里用这张图论证了「单一指标无法覆盖全部错误类型」，进而提出复合指标。这个论证路径值得学习：先看错误谱，再看指标覆盖，最后设计复合。

六类里第五与第六类特别值得单独统计。这两类都关于「既往比较」，方向相反——一类是凭空多出比较，一类是漏掉比较。它们的存在让这份数据的错误谱比一般评测更细，因为多数自动指标对「比较」这件事几乎无感。

BLEU 会把「与既往相比」当成普通词组，算进 n-gram 重合，但它不区分这句话是真是假。BERTScore 同理。CheXbert 的十四个标签里不含「比较」这一维，完全看不到。RadGraph 因为抽实体关系，能把比较句抽成结构，但它的评价方式是比对两边的图，若候选多了个比较句，图上会多一个子图，F1 会降——这是四项里唯一对第五类有反应的方式。

因此一个直接的检验是：看第五类错误的计数在四个候选类型之间是否有差异。若有差异，且差异方向符合上面的推演（radgraph 组最低），说明这个设计确实捕捉到了指标的差异化能力。这个检验只需分组均值，成本极低，官方却没做。

5.3 用法三：构建复合指标的权重

复合指标（如 RadCliQ）的做法是把多个单项指标加权组合。

权重从哪来？一个自然的来源就是这份数据——用回归拟合「人类显著错误数」对四个单项指标的系数，系数即权重。

这个做法有两个技术难点。第一，错误数是计数，应该用泊松或负二项回归，不用线性回归。第二，四个指标之间高度相关，直接回归会有共线性，系数不稳定。可用岭回归或主成分回归缓解。

更根本的难点在样本量。五十项检查乘四候选是两百个观测，拟合四个系数勉强够，但若要做交叉验证或分类型拟合，就不够了。因此用这份数据定权重，只能得到一个粗略的初值，精调需要更大的数据。

5.4 用法四：作为报告质量评估器的测试集

想训一个自动打分器，需要有错误标注的样本做测试。

这份数据的优势是标注维度明确——不是笼统的好坏，而是六类错误的具体计数。评估一个打分器时，可以分别看它对每一类错误的预测能力，而不只是一个总分的相关系数。

这个分析的信息量远大于单一相关系数。若打分器在遗漏类上预测准、在位置类上完全无能力，这个信息对改进模型极有价值，而单看总分完全看不出。

实现时要注意，评估器的输出通常是一个连续分数，要与计数比，需先把计数二值化或用秩相关。前者丢信息但简单，后者保留排序信息，推荐用后者。

5.5 用法五：方法学模板

这份数据的标注设计本身可复用。

它示范了几个做法：用指标筛出的高分样本构成对照（控制质量变量）、六类错误加两档显著性的分类框架、盲评加随机顺序、计数而非标记的标注方式。

想设计一个新的报告评测标注，可以照这个骨架改。需要改的地方是：加逐处定位（补 §4.5 的缺失）、加判定细则（补 §4.4 的缺失）、扩大样本（补 §4.1 的天花板）。

还有一个做法值得学，就是「用指标构造对照」。多数评测数据集的做法是收集一堆模型输出，然后请专家评。这份数据反过来了：先定要比较的四个维度（四个指标），再按每个维度各自筛出最优样本，让医师评同一批金标准下的四份候选。

这个反向设计的好处是每组样本的构成可控。坏处是它构造出了一个现实中不存在的场景——真实部署时不会有人拿四个指标各挑一份报告给人看，也不会保证每份都是高分。所以它的结论适用于「诊断指标的辨别力」，不适用于「估计真实世界错误率」。

这个区分在引用时经常被忽略。想清楚这两件事的差别，就知道什么时候该用它、什么时候该换一份数据。

5.6 DAIMS 24 项检查

维度	项	判定
文档	数据字典	是（两表字段逐一说明，含取值范围）
文档	采集协议	是（选样、候选构造、盲法、随机顺序均写明）
文档	设备规格	不适用（无影像随发）
文档	标注规范	部分（六类定义列出，显著性判定无细则）
文档	版本历史	部分（有版本号，无变更记录）
文档	许可说明	是
文档	引用格式	是（含 DOI 与 RRID）
文档	局限披露	部分（说明候选构造，未讨论后果）
质量	缺失披露	否（稀疏性未说明，零的歧义未澄清）
质量	信号质量说明	不适用
质量	一致性检验	否（未给医师间一致性）
质量	标注错误率	否（未报告）
质量	位置信息	否（仅计数，无位置）
质量	抽样代表性	否（未与整体分布比对）
公平	人群构成	否（未给患者人口学分布）
公平	机构来源	是（单一机构）
公平	亚组表现	部分（可按错误类别分）
公平	偏倚讨论	否（候选筛选偏倚未讨论）
可复现	代码可用	是（笔记本含加载与分析）
可复现	环境说明	是
可复现	随机种子	否（候选顺序打乱未说明种子）
可复现	结果可重算	是（两张表公开，可自行聚合）
治理	伦理审批	是（MIMIC-CXR 体系下）
治理	再分发约束	是（凭证式协议禁止转发）

统计：是 8 项，部分 5 项，否 9 项，不适用 2 项。

九项「否」里，最要紧的是三项：缺失披露（零的歧义直接影响每个结论）、一致性检验（决定标注噪声的量级）、位置信息（决定能做什么分析）。这三项都不是小瑕疵，而是使用前必须自己补的功课。

§6 常见误读与引用陷阱

6.1 误读一：把候选当生成模型输出

最常见的误读。

四份候选报告都是 MIMIC-CXR 训练集里的真实人类报告，只是按不同指标检索出来的。它们没有经过任何生成模型。

把这份数据的结论写成「某生成模型的错误分布如此」，是彻底的误用。数据里没有任何一份报告是模型写的。

正确表述是「在按某指标检索得到的高分候选上」。这个限定不能省。

6.2 误读二：把错误计数当错误数

num_errors 是医师数出来的数，不是客观的错误数。

同一份报告，换一位医师可能数出不同的数。计数基准的差异来源有两个：一是对「一处错误」的粒度理解不同，整句算一处还是分句算多处；二是发现错误的能力不同，经验丰富的医师能看出更多。

因此「平均每份报告有三点二处显著错误」这句话，严格说是「六位医师平均每人每份数出三点二处」。这两个表述的差别在跨研究比较时凸显——不同研究的医师团队不同，绝对数不可比。

6.3 误读三：把六类当穷尽

六类错误不覆盖所有情形。

逻辑矛盾、段落错序、语言不通顺、指代不明，这些都不在六类内。数据里没有这些错误的记录，不代表它们不重要，只代表这个分类框架没有给它们位置。

用一个模型在这六类上表现好，去论证「这个模型生成的报告质量高」，是逻辑跳跃。它只证明在这六个维度上没问题。

6.4 误读四：以为临床显著是客观分级

显著性分级由医师判断，不是由某个客观标准计算得出。

有人会以为「显著」对应某个临床后果的阈值，比如「会导致处理改变」。实际的任务说明可能更宽松，医师凭经验判断。

这意味着不同研究报出的「显著错误率」不可直接比。引用时应说明判定主体与判定依据。

6.5 误读五：把两百对当两百个独立样本

两百对报告不是两百个独立观测。

同一项检查的四份候选共享同一份金标准，它们之间的差异因此不是独立的——金标准难，四份候选的错误都多；金标准简单，四份都少。这个相关性会压缩组间差异的方差估计。

严格做法是用混合效应模型，把检查编号作为随机截距，这样才不低估标准误。直接用普通方差分析，会得到过窄的置信区间，把不显著的差异报成显著。

这个错误在用小样本做多组比较时非常普遍，审稿时也常被漏掉。

6.6 引用时必须写清的五件事

候选来源：检索自训练集，非生成模型产出。

指标绑定：每份候选对应一个自动指标，不可混淆。

标注类型：六类计数，非逐处定位。

显著性判定：由医师主观分级，非客观阈值。

样本量：五十项检查、两百对，四个候选类型各五十。

§7 在生态中的位置

7.1 与 ReFiSco 的分工

ReFiSco 量的是「多严重」，用五级量表加逐行改写。ReXVal 量的是「有几处、哪类」，用六类计数加显著性二分。

两者的信息维度不同。ReFiSco 能给出严重度分布，适合研究「模型的错误有多危险」。ReXVal 能给出类别分布，适合研究「模型的错误是什么类型」。

两者都用 MIMIC-CXR，都有多位医师，都是小样本。差别在标注范式：一个是量表评级，一个是分类计数。这两种范式在心理测量学里对应不同的测量水平——顺序量表与计数，分析方法也不同。

7.2 与 RadEvalX 的分工

RadEvalX 也是错误谱数据集，但它记录每处错误的编号与类别，样本规模更大，且完全开放下载。

ReXVal 的优势是有多位医师、有临床显著性分级、候选与指标绑定。RadEvalX 的优势是样本大、可复算、可做位置分析。

研究「指标对齐」用 ReXVal，因为候选是指标挑的。研究「错误分布」用 RadEvalX，因为样本量大到能看分布形状。

7.3 与 CXRGraph 一类结构化标注的分工

结构化标注把报告抽成实体关系图，给出的是「内容对不对」的细粒度判断。

ReXVal 给的是「错了几处、哪类」，粒度粗但带临床意义判断。结构化标注给的是精确的位置与关系，但不知道这些差异临床上要不要紧。

理想组合是：用结构化标注定位差异点，用 ReXVal 式的量表和显著性判断给每个差异点定权重。目前没有公开数据集这么做，这是一个明确的方法学缺口。

7.4 规模上的定位

五十项检查、两百对，这个规模在同类里偏小。

小样本的定位应当是校准集不是基准集。它的作用是给大规模自动评测提供一个人工锚点——先用它标定指标的相对可靠性，再用可靠指标去评大量模型输出。

反过来用，把它当排行榜，会得出不稳定的结论。五十项检查的抽样波动足以让两个模型的名次互换。

7.5 适合谁用

适合三类人。研究自动指标与人类判断对齐的研究者，这是核心用户。设计复合指标、需要定权重初值的人。想学一套报告错误标注流程的团队。

不适合两类人。想要生成模型错误谱的人——这份数据没有生成模型输出。想做大样本统计的人——规模不够。

§8 误读的成因与自查清单

前面列了五条误读。这些误读为什么反复出现，值得单独想一想，因为看懂成因比记住结论更有用。

第一条误读（把候选当生成输出）的成因在名字。数据集叫「专家评估」，不叫「检索候选评估」，光看标题很容易以为被评的是模型生成。加上同期确实有大量报告生成评测数据集，混淆几乎是必然的。自查办法很简单：读候选报告的最后一句，若句子完整、语气自然、没有拼接痕迹，大概就是人写的。

第二条误读（把计数当客观数）的成因在数字的外观。一个整数看起来比一个评分更客观，使用时容易忘记它是人判出来的。自查时问一句：换个医师会不会得到不同的数。答案必然是会。

第三条误读（把六类当穷尽）的成因在表格的完整性。六类列得整齐，会让人以为覆盖了全部。实际任何分类体系都有边界，只是边界常被表格的形式感遮住。

第四条误读（把显著当客观分级）的成因在词义。「显著」在统计语境里是个有精确定义的词，人们会不自觉地把统计学含义带进来。这里的显著是临床意义上的，没有数值阈值。

第五条误读（把两百对当独立样本）的成因在计数的方便。两百是个整齐的数，直接当样本量代入公式很顺手，而检查编号带来的相关性是隐形的。

按这五条自查一遍，能挡掉大多数误用。

§9 术语与口径速查

术语	含义
金标准报告	gt_report，该检查的原始人工报告
候选报告	按某指标从训练集检索得到的报告
临床显著	clinically_significant 为 TRUE，指影响临床判断的错误
临床不显著	指有偏差但不影响判断的错误
错误类别	1–6，六个固定类别
标注稀疏	并非每位医师评过每份候选，矩阵有大量空位
检索替代	用检索训练集报告代替生成模型输出，以控制变量
固定效应校正	减去每位医师的个人均值，消除严格程度差异

三个口径要分清。

「对」指一份候选与一份金标准的配对，共两百对。

「条」指一次标注记录，即某医师在某候选上某类别某显著性的计数，数量远多于两百。

「项」指检查，共五十。

§10 事实清单与附录

10.1 核心事实

项	值
全名	Radiology Report Expert Evaluation (ReXVal) Dataset
版本	1.0.0
发布日期	2023-06-20
DOI	10.13026/2fp8-qr71
RRID	SCR_007345
访问等级	Credentialed Access
上游	MIMIC-CXR
检查数	50
候选类型数	4（bleu / bertscore / s_emb / radgraph）
报告对数	200
医师数	6
错误类别数	6
显著性档数	2
文件数	3（两表 + 笔记本）
数据规模	约 7 MB 量级（公开描述）

10.2 六类错误

类别	英文	中文	判定要点
1	False prediction of finding	错误预测发现	报告中出现金标准没有的发现
2	Omission of finding	遗漏发现	金标准有而报告未提
3	Incorrect location/position	位置错误	发现写对但部位或侧别错
4	Incorrect severity	程度错误	发现写对但轻重描述错
5	Mention of comparison not present	凭空比较	报告写了金标准没有的既往比较
6	Omission of comparison	遗漏比较	金标准有变化描述而报告未提

10.3 四个候选类型与对应指标

candidate_type	指标	偏好什么
bleu	BLEU	n-gram 重合，表层相似
bertscore	BERTScore	上下文嵌入相似
s_emb	CheXbert 向量相似度	14 类观察标签的语义一致
radgraph	RadGraph 实体关系 F1	实体与关系结构一致

10.4 附录 A：连接两张表的最短代码

import pandas as pd

samples = pd.read_csv("50_samples_gt_and_candidates.csv", index_col=False)
errs = pd.read_csv("6_valid_raters_per_rater_error_categories.csv")

-- study_number 指向 samples 的行序，直接按位置取
-- 不要用 merge on study_id，因为 errs 里没有 study_id
errs["study_id"] = errs["study_number"].map(samples["study_id"])

-- 布尔列显式转换
errs["sig"] = errs["clinically_significant"].astype(str).str.upper().eq("TRUE")

-- 一次「评阅」= study_number + candidate_type + rater_index
errs["review_key"] = (
    errs["study_number"].astype(str) + "|" +
    errs["candidate_type"] + "|" +
    errs["rater_index"].astype(str)
)

-- 判断某次评阅是否真实存在：组内是否有非零记录
exists = errs.groupby("review_key")["num_errors"].transform("sum") > 0
errs["review_exists"] = exists

-- 只保留确实评过的
kept = errs[errs["review_exists"]]

-- 按候选类型看平均显著错误数
sig_only = kept[kept["sig"]]
print(sig_only.groupby("candidate_type")["num_errors"].mean())

三处容易出错。

第一处，index_col=False 必须加。默认情况下 pandas 会把第一列当索引，导致 study_number 与行序错位。

第二处，不能按 study_id 连接。errs 表里只有 study_number（行索引），没有 study_id，必须先映射。

第三处，review_exists 的判断会误杀「六类全为零」的真实评阅。若要保守处理，应同时报告两套结果（当缺失 / 当零）。

10.5 附录 B：六个可立即验证的疑问

一、标注矩阵的填充率是多少。按 review_key 去重后计数，与理论值一千二百比。

二、六位医师的平均计数是否有系统性差异。按 rater_index 分组算均值，看离散程度。

三、四类候选在显著错误数上是否有显著差异。用混合效应模型，检查编号作随机截距。

四、六类错误的相对频率分布。哪一类最多，哪一类最少。

五、第五类（凭空比较）的计数是否集中在某一候选类型上。这能反映哪项指标对「幻觉式比较」最不敏感。

六、把计数二值化后，结论是否改变。这是稳健性检验。

10.6 附录 C：证据链

事实	来源	核对方式
五十项、四候选、两百对	PhysioNet 页面	直接读取
六位医师	PhysioNet 页面	直接读取
六类错误定义	PhysioNet 页面	直接读取
两表字段结构	PhysioNet 页面	直接读取
DOI 10.13026/2fp8-qr71	论文数据可得性声明	交叉核对
凭证式访问	PhysioNet 页面	直接读取
与 RadCliQ 的关系	论文使用说明	直接读取

编辑说明

本页基于 PhysioNet 官方条目页（2026-10-19 取）与配套论文《Evaluating progress in automatic chest X-ray radiology report generation》（Patterns，2023）的数据可得性声明写成。两处材料在规模、医师数、错误类别定义上一致。

未覆盖部分：数据文件本身未取得（凭证式访问），因此本页不含任何实测统计量。§4 与 §9.5 中的所有推断均为基于结构的分析，非实测结论，取数后需逐条验证。

凡属分析性判断的段落（§4.1 天花板效应、§4.2 一致性指标选择、§4.3 零的歧义处理、§4.6 检索替代的局限、§6.5 非独立样本）均为基于公开材料的方法学讨论。引用时请注明是二次解读，并核对自己取数后的实际情形。