信息速览
一个胸片分类模型在输出肺炎的同时,究竟"看"了哪里?这个问题在过去十年几乎无法回答。模型的注意力是训练目标反向逼出来的副产品,而人类专家的注意力——那串决定了他最终写下什么的空间扫描顺序——在他坐下来读片的半小时里自然发生,又在他离开阅片室的一瞬间彻底消失。要重建它,就得让人戴着仪器重读一遍:不仅要有仪器、要有愿意配合的医生,还要有一批本身就被允许公开、本身就有完整报告与临床结局的影像。三个条件同时成立的机会很少,于是它长期停留在少数几所大学的实验室内部:后来的人只能读到关于注意力的结论,拿不到支撑结论的原始材料。
EGD-CXR 把这件事做了一次完整的公开,因此它常被称作 EGD-CXR 胸片眼动库。IBM Research、Northwell Health 与 Emory University 的一组研究者请来一名经美国放射学会(American Board of Radiology, ABR)认证、有五年以上主治经验的放射科医生,让他在 Gazepoint GP3 HD 眼动仪前、对着一块 1920×1080 的显示器,读完 1,083 张取自 MIMIC-CXR 的胸部 X 线片。每一次读片都不打断他的日常流程:他照常盯着片子、照常对着麦克风口述报告。于是机器同时记下了三件过去从不同时被记下来的事——眼睛在图像上的落点与次序、声音里说出的每一句话、以及这两者在时间轴上的对应关系。
它的代价同样白纸黑字写在同一个页面上:只有一名读片人,图像本体不在下载包里(只有一串指向 MIMIC-CXR 的 DICOM 编号),最终留下来的是一个人的阅片习惯而不是多名专家的共同判读。它不是可以拿来训练大规模分类器的粮仓,是一把标定"人类注意力长什么样"的尺子。一屏速览见下表。
| 维度 | 内容 |
|---|---|
| 全名 | Eye Gaze Data for Chest X-rays |
| 发布方 | PhysioNet(原始数据由 IBM Research、Northwell Health、Emory University 联合贡献) |
| 首次发布 | 2020 年 9 月 12 日,版本 1.0.0,至今唯一版本 |
| 最近改动 | 无修订记录,版本说明仅为 Initial upload of dataset |
| 影像数 | 1,083 张胸片,按正常 / 肺炎 / 充血性心力衰竭三类均衡抽取 |
| 受检者数 | 1,038 名(女性 495、男性 543),年龄 20–80 岁 |
| 读片人 | 1 名 ABR 认证放射科医生,主治经历 5 年以上 |
| 采集周期 | 2020 年 3 月至 5 月,分批完成,每批 30 例 |
| 模态 | 注视点坐标表、口述音频(wav / mp3)、带时间戳的转录文本(json)、图像(经 DICOM 编号引用) |
| 眼动设备 | Gazepoint GP3 HD 眼动仪与 Gazepoint Analysis UX Edition 软件,1920×1080 显示器(Dell S2719DGF) |
| 文件构成 | 4 个 CSV、1 个可选准则输出目录、1 个按病例组织的音频与掩码与转录目录 |
| 空间粒度 | 屏幕归一化坐标(0–1)与原始 DICOM 像素坐标(X_ORIGINAL / Y_ORIGINAL)并存 |
| 时间粒度 | TIME 为自上次校准起的秒数;转录为每短语 begin_time / end_time 秒级区间 |
| 解剖基准 | 每图 17 个解剖区矩形框与 4 张掩码(左肺、右肺、纵隔、主动脉结) |
| 标签来源 | CheXpert 报告标签器、IBM 内部报告标签器、MIMIC-IV 急诊出院 ICD-9 诊断 |
| 许可 | PhysioNet Credentialed Health Data License 1.5.0,须凭证化访问与 CITI 培训并签署 DUA |
| 典型用途 | 可解释性的人眼对照、眼动热图作为注意力监督、多模态融合、报告生成、阅片人因研究 |
§1 它要解决的具体麻烦
1.1 模型的注意力是学出来的,医生的注意力是没记下来的
深度学习给放射学带来的最大效率提升,与它带来的最大信任危机来自同一处:特征与决策都是自己长出来的。多数公开胸片库给的是整幅图像级别的标签——这张片子肺炎、那张片子正常——至于肺炎到底在左肺下野还是右肺门旁,标准答案并不存在。于是模型被默认"应该自己发现病灶位置",而这件事有没有真的发生,只能事后用热力图去猜。
更麻烦的是,猜出来的热力图没有对照物。没有人在读同一张片子时留下他眼睛去过哪里的记录,模型的热力图就既无法被验证,也无法被纠正。这就是 EGD-CXR 对准的缺口:它不提供一套新标签体系,它提供人类专家在同一批图像上的注意力轨迹,让"模型究竟在看哪里"这件事第一次有了一个可以对读的文本。
1.2 三条常见的错误期待
第一条,期待它是"更大版本的胸片训练库"。它只有 1,083 张图,而且是刻意均衡成的三组疾病,不是自然分布。拿它做骨干网络的预训练,数据量与多样性都远远比不上同门的规模化胸片库。
第二条,期待下载包里有片子。官方使用说明的第一句就写明了:使用这份数据集需要访问 MIMIC-CXR 才能拿到原始图像。包内只给 DICOM 编号与在 MIMIC 目录里的相对路径,图像要按官方页面的要求另行申请。
第三条,期待它是"多名专家的共识标注"。全程只有一名读片人,官方方法段落写得很清楚。它不是一致性研究材料,而是一个个体的、高质量的、时间与空间都对齐的行为样本。
1.3 它能给到的与给不到的
| 你的需求 | 它给的 | 够不够 |
|---|---|---|
| 模型热力图的人眼对照基准 | 每图有序列化的注视点,可直接转成热图 | 够,且这正是替代品最稀缺的用途 |
| 眼动监督下的病灶定位训练 | 注视点坐标加 17 个解剖区框,可判定"看的解剖区" | 够做监督,但只是单人行为样本 |
| 带时间信息的报告生成 | 口述音频、逐短语时间戳、报告标签与检查适应症 | 够,且同时给出"说到哪句时眼睛在哪里" |
| 大规模胸片分类预训练 | 1,083 张、三疾病均衡、单人完成 | 不够,规模与自然分布都不足 |
| 病变位置的像素级真值 | 有 4 张解剖掩码,但没有病灶勾勒 | 不够,掩码是解剖结构不是病变 |
| 多名医生的读片一致性研究 | 单人单例 | 完全不够,设计上就无法支持 |
| 医学教育与差错归因研究 | 完整行为序列加转录文本与时间对齐 | 够做一个人的精细案例研究 |
| 监管意义上的算法评测基准 | 无锁定测试集、无监管背书 | 不够,它不承担这一角色 |
1.4 你的处境与它能帮到的事
| 你的处境 | 它能帮你什么 | 下一步该做什么 |
|---|---|---|
| 你训了一个胸片分类器,说不清它看哪里 | 把人眼注视热图作为可解释性对照,量一量模型与人关注区的重合 | 先用 §5.5 的流程把注视点转热图,再与类激活图方法做相关性对比 |
| 你想用注视点做弱监督定位 | 注视点加 bounding_boxes.csv 可算出"注视落在哪个解剖区" | 按 DICOM 编号连接两表,用矩形包含判定,注意坐标系差异(§5.6) |
| 你在做眼动辅助的报告生成 | 逐短语时间戳让"说到某句时看的位置"可定位 | 用 begin_time 与 end_time 对 TIME 切窗口,再聚合该窗口内的注视点 |
| 你在做多模态融合 | 同一份素材里有图像、音频、文本、坐标四类信号且时间对齐 | 先定对齐粒度到逐短语而非整段,再选融合层 |
| 你在研究阅片疲劳或搜索模式 | 眨眼的 BKID 与 BKDUR 与 BKPMIN、扫视的 SACCADE-MAG 与 SACCADE-DIR 都留着 | 从 eye_gaze.csv 而非 fixations.csv 取数,后者是扫视压缩后的结果 |
| 你只需要向量化的标签 | master_sheet.csv 已给出两套标签器结果与 ICD-9 | 直接把它当主表连接,不必再跑一遍自然语言处理流程 |
1.5 一句话判断
它不适合当"更多的训练数据",而适合当"稀缺的注意力真值来源":在这一千多张片子上,人类专家的目光第一次有了可供比对的数字轨迹。
1.6 不适合谁:四条边界
不适合拿来做多名读片人的一致性或共识研究。 全程一名医生。任何"专家之间差异有多大"的问题在这里都问不出来,能回答的只有"这位专家怎么看"。
不适合拿来做病灶级别的分割监督。 提供的是四种解剖结构的掩码(左肺、右肺、纵隔、主动脉结),均由自动分割后经读片医生手工复核得到,勾勒的是解剖结构而非病灶。
不适合拿来评估算法在真实阅片流中的增益。 采集场景是一台固定显示器上的静态阅片,与列表式、可回溯的真实工作站工作流不同,也没有追问、中断与临床沟通的记录。
不适合拿来直接对外分发原始数据。 许可为 PhysioNet Credentialed Health Data License 1.5.0,要求凭证化访问、完成 CITI 培训并签署数据使用协议;图像本体另行受 MIMIC-CXR 的协议约束。
§2 数据构成与规格
2.1 四份表格、一个文件夹,与一颗贯穿全库的主键
整个下载包的分工非常清晰:四个 CSV 描述"这一千多个病例是什么",一个文件夹按病例存放"这些病例被怎么读"。前者是表格式的、可以直接读进数据框的;后者是目录树式的,每个 DICOM 编号一个子目录。连接两者的钥匙只有一个——MIMIC-CXR 的原始 DICOM 编号。
| 文件与目录 | 形态 | 角色 | 粒度 |
|---|---|---|---|
master_sheet.csv |
CSV | 主登记表:编号、人口学、标签、适应症、显示填充参数 | 每行一个病例 |
fixations.csv |
CSV | 扫视压缩后的注视事件 | 每次注视一行,一病例多行 |
eye_gaze.csv |
CSV | 眼动仪输出的原始采样信号 | 每采样一行,一病例行数不定 |
bounding_boxes.csv |
CSV | 解剖区矩形框 | 每图多个解剖区,每行一个框 |
inclusion_exclusion_criteria_outputs/ |
目录,3 个表格 | 生成主表所依据的筛选中间结果 | 可选,为可复现而附 |
audio_segmentation_transcripts/<DICOM_ID>/ |
目录 | 该病例的音频、转录、掩码 | 每病例一个目录 |
table_descriptions.pdf |
各表字段的官方详解 | 说明文档 |
值得专门强调的是中间那个可选目录。多数同类资源不给出"这批图是怎么挑出来的"中间产物,而它把纳排准则执行后的三张中间表原样放着,配合官方代码仓库里的脚本可以重跑一遍主表的生成过程。想质疑抽样是否均衡,可以从源头验一遍——这在同类资源里相当少见。
2.2 master_sheet.csv 的字段字典
主表把"这张片子是谁的、报告怎么说、出院诊断是什么、当时是怎么显示出来的"压在同一行里。下表按官方字段定义整理,列名保持原样,因为下游脚本绝大多数直接引用这些名字。
| 列名 | 含义 | 取值形态 | 使用注意 |
|---|---|---|---|
dicom-id |
MIMIC-CXR 原始图像编号 | 字符串编号 | 全库主键,与其余各表及目录名通用 |
path |
该图像在 MIMIC-CXR 内的相对路径 | 路径串 | 取图时直接拼接使用 |
study-id |
MIMIC-CXR 的检查编号 | 编号 | 一个检查可含多张图 |
patient-id |
MIMIC-CXR 的患者编号 | 编号 | 按人划分数据集的唯一依据 |
stay-id |
MIMIC 的就诊编号 | 编号 | 与 MIMIC-IV 急诊模块连接时使用 |
gender |
性别 | F / M | 来自 MIMIC 原始数据 |
anchor-age |
年龄区间 | 区间值 | MIMIC 对高龄做了年龄锚定处理 |
image-top-pad |
上侧填充像素数 | 整数 | 见 §5.6 的坐标系说明 |
image-bottom-pad |
下侧填充像素数 | 整数 | 同上 |
image-left-pad |
左侧填充像素数 | 整数 | 同上 |
image-right-pad |
右侧填充像素数 | 整数 | 同上 |
normal-reports |
内部标签器未从报告中提取到异常标签 | 二元 | 只反映报告文本是否含异常描述 |
Normal |
正常类 | 二元 | 需同时满足急诊 ICD-9 无胸部相关诊断且 normal-reports 成立 |
CHF |
充血性心力衰竭类 | 二元 | 由急诊出院 ICD-9 得出 |
Pneumonia |
肺炎类 | 二元 | 由急诊出院 ICD-9 得出 |
dx1 – dx9 |
该次急诊就诊的出院诊断名称 | 自由文本 | 最多九条,用于确定三类标签 |
dx1-icd – dx9-icd |
对应的 ICD-9 编码 | 编码串 | 与名称列一一对应 |
| 内部标签器的 12 个列 | IBM 内部报告标签器输出 | 0 阴性 / 1 阳性 | 整张片子级别的弱标签 |
| CheXpert 的 14 个列 | CheXpert 自然语言处理输出的发现标签 | 0 阴性 / 1 阳性 / −1 不确定 | −1 不等于阴性,务必单独处理 |
cxr_exam_indication |
检查缘由句子 | 自由文本 | 截自 MIMIC-CXR 报告的适应症章节 |
内部标签器的 12 个列名是 consolidation、enlarged-cardiac-silhouette、linear-patchy-atelectasis、lobar-segmental-collapse、not-otherwise-specified-opacity、pleural-parenchymal-opacity、pleural-effusion-or-thickening、pulmonary-edema-hazy-opacity、normal-anatomically、elevated-hemidiaphragm、hyperaeration、vascular-redistribution。CheXpert 的 14 个列名是 atelectasis-chx、cardiomegaly-chx、consolidation-chx、edema-chx、enlarged-cardiomediastinum-chx、fracture-chx、lung-lesion-chx、lung-opacity-chx、no-finding-chx、pleural-effusion-chx、pleural-other-chx、pneumonia-chx、pneumothorax-chx、support-devices-chx。两套并存不是冗余:一套是学界通用的开放工具,一套是贡献机构自己的产品线抽出,两者对"不确定"的处理不同,交叉使用时应先统一口径。
最后一列的检查缘由常被忽略,却是报告生成与视觉问答任务里信息密度最高的一列。它在 MIMIC-CXR 报告的适应症章节里,往往交代了为什么要拍这张片子、患者此前做过什么——这些信息图像本身一点也提供不了。
2.3 fixations.csv 与 eye_gaze.csv:同一套 34 列,两种密度
这两个表结构完全相同,区别只在行数。按官方定义:eye_gaze.csv 里眼动仪每采集一个数据样本就写一行;fixations.csv 是软件对前者做"扫视合并"的结果——把属于同一注视的一簇样本归并成一个代表点,检测到扫视就停止,于是每次注视只留一行。官方明确建议:一般实验用 fixations.csv,要原始信号才动 eye_gaze.csv。
| 列名 | 含义 | 一句话用法 |
|---|---|---|
DICOM-ID |
对应的 MIMIC-CXR 图像编号 | 全库连接键 |
CNT |
服务器每发送一条记录就加一的计数器 | 检查丢包:连续即完整 |
TIME(秒) |
自上次系统初始化或校准起经过的秒数 | 单张图内的时间轴,起点常接近 0 |
TIMETICK(f=10000000) |
中央处理器高精度时间计数,64 位带符号整数 | 与在同一台机器上采集的其他信号做同步 |
FPOGX |
注视点 X,屏幕宽度的比例值 | 0 左、0.5 中、1 右 |
FPOGY |
注视点 Y,屏幕高度的比例值 | 0 上、0.5 中、1 下 |
FPOGS |
该次注视开始的秒数 | 与转录时间戳配合可切出注视区间 |
FPOGD |
该次注视持续的秒数 | 官方直接给出,不必自己差分 |
FPOGID |
注视编号 | 同一样本内唯一,可用于计数 |
FPOGV |
注视数据有效标志 | 1 有效;眨眼、无人脸、扫视中为 0,务必过滤 |
BPOGX / BPOGY |
较优眼的注视点比例坐标 | 双眼数据均有效时与 FPOG 相近 |
BPOGV |
较优眼的有效标志 | 过滤用 |
LPCX / LPCY |
左眼瞳孔在相机画面内的比例位置 | 用于反推头部姿态,不是图像坐标 |
LPD |
左眼瞳孔直径(像素) | 瞳孔测量类研究的原始量 |
LPS |
左眼瞳孔尺度因子 | 等于 1 表示处于校准距离 |
LPV |
左眼数据有效标志 | 过滤用 |
RPCX / RPCY |
右眼瞳孔在相机画面内的比例位置 | 含义同左眼 |
RPD |
右眼瞳孔直径(像素) | 含义同左眼 |
RPS |
右眼瞳孔尺度因子 | 含义同左眼 |
RPV |
右眼数据有效标志 | 过滤用 |
BKID |
眨眼编号,未检出眨眼的行记为 0 | 统计眨眼次数时用它去重 |
BKDUR |
前一次眨眼的持续秒数 | 疲劳与注意力相关研究可用 |
BKPMIN |
前 60 秒内的眨眼次数 | 软件给出的滑动窗口计数 |
LPMM / RPMM |
左右瞳孔直径(毫米) | 已由像素换算,可直接比较 |
LPMMV / RPMMV |
毫米值的有效标志 | 过滤用 |
SACCADE-MAG |
相邻注视之间的距离(像素) | 描述扫视跨度 |
SACCADE-DIR |
相对于水平线的夹角(度) | 描述扫视方向 |
X_ORIGINAL |
注视点在原图像上的 X 像素坐标 | 叠加热图时的推荐坐标 |
Y_ORIGINAL |
注视点在原图像上的 Y 像素坐标 | 同上 |
这张表里最容易被误用的是那几个"算起来很方便"的列。因为有 FPOGD 与 SACCADE-MAG,很容易想去统计"平均注视时长""扫视跨度在什么范围"这类自制指标。这类数字官方页面从未给出,也不属于规模、结构、边界中的任何一类;更重要的是,这里只有一个读片人,任何这类统计描述的都只是这一个人的习惯,而不是"放射科医生"这个群体。本文一律不列,也不建议据此下结论。
2.4 一个病例的完整解剖
以某个 DICOM 编号为例,audio_segmentation_transcripts/<DICOM_ID>/ 下固定放着七个文件:
| 文件 | 格式 | 内容 | 说明 |
|---|---|---|---|
audio.wav |
音频 | 完整口述录音 | 说话人即那名读片医生 |
audio.mp3 |
音频 | 同一份录音的压缩版 | 两者内容一致,取其一即可 |
transcript.json |
JSON | 转录文本与逐短语时间戳 | 结构见下方 |
left_lung.png |
图像 | 左肺掩码 | 前景 255、背景 0 |
right_lung.png |
图像 | 右肺掩码 | 同上 |
mediastinum.png |
图像 | 纵隔掩码 | 同上 |
aortic_knob.png |
图像 | 主动脉结掩码 | 同上 |
转录文件只有两层:full_text 是整段文本,time_stamped_text 是一个数组,每个元素含 phrase、begin_time、end_time 三个键,后两者是说话起止的秒数。这个结构把语义与时间绑在一起:既可以做整篇的报告生成与文本建模,也可以做"说到某句时眼睛在哪里"的时间切片分析。转录由机器初转、再由三名成员人工校正并经读片医生确认,属于自带质量承诺的一层。
四张掩码的性质要说清:它们不是病灶,而是解剖结构;像素值只有 255 与 0 两种;由内部模型自动分割后经读片医生手工修正。因此它们既可以直接当肺野分割的训练或验证数据,也可以当"眼动是否落在肺野内"的判定基准——后一种用法在眼动与解剖结构的相关性分析里非常好用。
| 解剖区矩形框(bounding_boxes.csv,每图最多 17 个) | 说明 |
|---|---|
right lung / left lung |
左右肺整体 |
right upper/mid/lower lung zone |
右肺上中下野 |
left upper/mid/lower lung zone |
左肺上中下野 |
right hilar structures / left hilar structures |
左右肺门结构 |
upper mediastinum / cardiac silhouette |
上纵隔与心影 |
trachea |
气管 |
right costophrenic angle / left costophrenic angle |
左右肋膈角 |
right clavicle / left clavicle |
左右锁骨,用于判断是否旋转体位 |
矩形框的坐标系官方写得很明确:左上角为 x1、y1,右下角为 x2、y2,均落在原始图像的像素坐标系内——与 X_ORIGINAL、Y_ORIGINAL 同一坐标空间。官方同时提示,如果某一结构被视野裁掉,相应矩形框可能缺席;因此按"每图必有 17 个框"去写断言的代码会报错。
2.5 四种模态是怎么对齐的
| 对齐轴 | 依据 | 由谁提供 | 注意事项 |
|---|---|---|---|
| 身份 | DICOM-ID 与 dicom-id |
四份 CSV 与目录名共用 | 大小写统一后再连接 |
| 空间(推荐) | X_ORIGINAL / Y_ORIGINAL |
眼动 CSV | 已在原图像像素坐标系内,可直接叠加 |
| 空间(备份) | FPOGX / FPOGY |
眼动 CSV | 屏幕比例值,需减填充再缩放才能还原 |
| 时间(阅片内) | TIME / FPOGS / FPOGD |
眼动 CSV | 自上次校准起算,每张图基本重新开始 |
| 时间(语言) | begin_time / end_time |
转录 JSON | 与 TIME 同为秒,可直接切窗口 |
| 临床语义 | study-id / stay-id / 各标签列 |
主表 | 连接 MIMIC-IV 急诊模块的临床结局 |
| 图像本体 | path |
主表 | 需在 MIMIC-CXR 权限内自行取图 |
用一句话概括这套设计:DICOM 编号是横向连接的主键,秒级时间戳是纵向切片的刀刃。 主表告诉你这张片子是什么,两个眼动表告诉你眼睛在时间轴上做了什么,转录文件告诉你嘴里在同一段时间内说了什么,而 path 与 MIMIC 权限让你把这一切重新放回图像上看。相比之下,多数做"人类注意力"的资源只给静态热图,把语言与眼动的先后关系牺牲掉了。
2.6 与相邻资源在字段层面的差异
| 维度 | EGD-CXR | 库内 REFLACX | 库内 MIMIC-Eye |
|---|---|---|---|
| 记录形式 | 逐采样与逐注视两层 CSV | 以异常区域的注视定位为主 | 以整合多家资源的统一入口为主 |
| 语言模态 | 医生本人的口述录音与带时间戳的转录 | 有口述音频与转录 | 随源资源而定 |
| 解剖基准 | 17 个矩形框加 4 张掩码 | 以病灶级框为主 | 不统一 |
| 标签来源 | 两套自然语言处理标签器加 ICD-9 | 随源资源而定 | 随源资源而定 |
| 图像本体 | 不打包,以 DICOM 编号引用 | 同样需权限的源库 | 同样依赖源库 |
| 适用问题 | 人眼注意力如何作为可比对的行为真值 | 病灶定位与解释一致性 | 多源数据的一次性检索 |
§3 它是谁的数据
3.1 贡献者与机构分工
官方署名共十一人,来自三家机构:IBM Research(含 IBM 本体与 Almaden 研究院)承担了绝大部分工程与算法工作,Northwell Health 提供临床侧的支持,Emory University 的 Elizabeth Krupinski 是医学影像感知领域的资深研究者——她的参与解释了为什么这份数据在人因维度的设计相当克制而完整,而不是单纯把仪器数据倒出来。
| 机构 | 角色 | 在数据中留下的痕迹 |
|---|---|---|
| IBM Research | 方案设计、采集、转录、解剖分割、模型实验 | 采集硬件、内部报告标签器、自动分割掩码、官方代码仓库 |
| Northwell Health | 临床场景与读片医生的组织 | 读片流程、资质描述 |
| Emory University | 医学影像感知与人因设计 | 校验图像、统计分析与人因实验设计 |
| MIMIC 团队 | 上游数据提供方 | 图像本体、原始报告、急诊模块的临床结局 |
3.2 时间线
| 时间 | 事件 | 出处层级 |
|---|---|---|
| 2020 年 3 月 | 阅片采集开始 | 官方方法段落 |
| 2020 年 3 月至 5 月 | 分批完成全部阅片,每批 30 例 | 官方方法段落 |
| 2020 年 9 月 12 日 | 版本 1.0.0 在 PhysioNet 上线 | 官方页面版本历史 |
| 2020 年 9 月 | 官方代码仓库开放 | 代码仓库的创建时间 |
| 2021 年 | 方法论文在 Scientific Data 发表 | 论文页面 |
| 至今 | 无修订版本,Release Notes 仍为初始上传 | 官方页面版本历史 |
一个容易被忽略的细节:论文发表于 2021 年、数据发布于 2020 年 9 月,两者相差约一年。这意味着论文里描述的数据结构与官方发布的 1.0.0 可能有细微出入;遇到不一致时,以官方页面的文件清单为准。
3.3 采集场景
采集环境的每一个参数都被写进了方法段落,这对复现至关重要。
| 要素 | 具体设定 | 为什么重要 |
|---|---|---|
| 眼动仪 | Gazepoint GP3 HD Eye Tracker | 决定了原始列的命名与语义 |
| 采集软件 | Gazepoint Analysis UX Edition | 决定了"注视"如何被定义与合并 |
| 显示器 | Dell S2719DGF,1920×1080 | 归一化坐标与实际像素的换算基准 |
| 录音 | 头戴式麦克风 | 决定了音频里只有读片人本人的语音 |
| 阅片人 | 1 名 ABR 认证放射科医生,主治经历 5 年以上 | 决定了这份数据的行为解释力与适用边界 |
| 组织方式 | 分批进行,每批 30 例 | 决定了疲劳、校准漂移等因素的可能存在 |
| 时长跨度 | 约 2 个月 | 长时间跨度下的校准一致性需要留意 |
| 读片方式 | 不打断日常流程,看着片子口述报告 | 保证了行为数据的生态效度 |
最后一行是这份数据最有方法论价值的地方。很多眼动实验会让受试者"看这张图三十秒然后按键",而这里读片人做的是他每天都做的事:盯着片子、说出所见、写进报告。因此它的注视序列不是被迫的注意力,而是真实的注意力。代价是节奏完全由他掌控,不同病例的注视密度与时长差别可能很大——这一点官方没有约束,也不该被认为是缺陷。
3.4 三层来源,不能混为一谈
| 层级 | 内容 | 谁授权 | 是否有变动 |
|---|---|---|---|
| 第一层:上游资源 | MIMIC-CXR 的图像与报告、MIMIC-IV 急诊模块的临床结局 | MIMIC 相关协议 | 随上游版本变动 |
| 第二层:本次采集 | 注视点、口述音频、转录文本 | 本数据集的许可 | 固定,无修订版 |
| 第三层:加工产物 | 17 个解剖矩形框、4 张解剖掩码、两套标签器结果 | 随其二一并授权 | 固定 |
官方 Parent Projects 明确写着它派生自 MIMIC-CXR Database v1.0.0 与 MIMIC-IV v0.4,并要求引用时一并致谢。这里有一个实务上的坑:官方代码仓库的下载指令指向 MIMIC-CXR 的 2.0.0 版本,而页面上的父子关系写的是 v1.0.0。两个版本号不一致,本文采取的做法是——以页面上的父子关系为准做说明,实际取图时以你手上已获得授权、且能覆盖这批 DICOM 编号的 MIMIC-CXR 版本为准,并在论文里写清版本号。
§4 它最独特的东西
4.1 稀缺性:胸部 X 线方向上第一个公开的眼动资源
官方背景段落把这件事说得相当直白:“Currently, there is a lack of public datasets that capture eye gaze data in CXR space”——在胸部 X 线这个方向上,缺少记录了人眼注视的公开数据集。它因此宣称自己是这个方向上的第一个。这个说法在时间上是否需要更精确的限定,取决于你如何界定"公开"与" CXR 阅片";但至少有一点确定:它把这个方向的门打开了,此后出现的同类眼动资源大多以它为参照。
稀缺本身不等于不可替代。真正让它难以被复制的是采集成本:一名有资质的放射科医生、一套校准过的设备、跨越两个月的分批阅片、人工校正的转录、逐个复核的分割掩码。这些元素里没有一个可以用众包或自动化取代。
4.2 差异化的三处证据
第一处,原始信号与压缩信号同时给出。多数眼动资源只发布一层:要么只给原始采样,让用户自己判断什么是注视;要么只给软件处理过的注视事件,无法回溯。它把两层都给了,而且官方明说二者列结构相同、后者由前者合并而成。这让"注视"的定义第一次可以被替换——你可以不认同它的合并阈值,回去自己重算。
第二处,时间轴没有被丢掉。静态注意力热图是很多资源的终点,这里只是中间产物。TIME 与转录的 begin_time、end_time 使用同一个秒为单位的时间轴,于是"在第 12 秒到第 15 秒说到心影增大,而同一时刻眼睛停在心脏轮廓上"这类联合陈述可以被验证。这在报告生成的注意力监督里是不可替代的。
第三处,附带解剖基准。17 个矩形框与 4 张掩码本身不是直接可用的监督信号,却把"注意力落在哪个解剖结构上"变成了一个可以计算的问题。官方自己就把这个查询写进了使用建议:眼动与解剖结构的相关分析。
4.3 一个具体案例:从一行 CSV 到一句话
假设主表里某一行的 dicom-id 为 d1,cxr_exam_indication 写着"发热伴咳嗽,需排除肺炎",Pneumonia 列为 1,内部标签器给 consolidation 打了 1,CheXpert 列里 pneumonia-chx 为 1。
| 步骤 | 动作 | 用哪一列 |
|---|---|---|
| 1 | 用 path 从已获得授权的 MIMIC-CXR 目录里取出原图 |
path |
| 2 | 从 audio_segmentation_transcripts/d1/transcript.json 取出 full_text 与短语时间戳 |
phrase、begin_time、end_time |
| 3 | 从 fixations.csv 筛出该病例的全部行,按 TIME 排序 |
TIME、FPOGV |
| 4 | 把 begin_time 到 end_time 窗口内的注视点挑出来 |
X_ORIGINAL、Y_ORIGINAL |
| 5 | 用这些坐标做高斯平滑后叠加,生成该短语对应的注意力图 | 无 |
| 6 | 用 bounding_boxes.csv 判定这些点落在哪个解剖区 |
bbox_name、x1、y1、x2、y2 |
走完这六步,你就得到了一个别处几乎拿不到的三元组:(这句话在时间窗说了什么)→(眼睛当时在图像哪个位置)→(那个位置属于哪个解剖结构)。这是它作为数据集的最小完整价值单元。
4.4 三层粒度叠加
| 粒度层级 | 载体 | 分辨率 | 典型用法 |
|---|---|---|---|
| 空间粗粒度 | 17 个矩形框 | 解剖区 | 判断注意力落在哪个区 |
| 空间中粒度 | 4 张掩码 | 像素级解剖 | 判断注意力在不在肺野、纵隔 |
| 空间细粒度 | 注视点坐标 | 原图像像素 | 生成热图、弱监督分割 |
| 时间粗粒度 | full_text |
整例 | 报告生成、文本建模 |
| 时间中粒度 | 短语与 begin_time、end_time |
秒级 | 语言与注意力的对齐 |
| 时间细粒度 | TIME、FPOGS、FPOGD |
自校准起秒 | 注视序列建模、搜索模式分析 |
六种粒度共用同一颗主键、同一套秒级时间轴,这在设计上比"每种模态各自一套索引"省心得多,代价是几乎所有查询都要先做一次连接。
4.5 边界条件:它是在什么条件下成立的
| 条件 | 官方给出的限定 | 影响 |
|---|---|---|
| 阅片人 | 单人 | 不能做跨阅片人比较 |
| 显示条件 | 固定显示器、1920×1080、实验室环境 | 与真实工作站不同,窗口布局效应未覆盖 |
| 图像来源 | MIMIC-CXR,且经开箱筛选 | 不能代表其他设备与其他人群 |
| 三类疾病 | 正常、肺炎、充血性心力衰竭 | 其他疾病的注意力模式基本未被覆盖 |
| 视图 | 方法段落聚焦于正位胸片 | 侧位与卧位片不在范围内 |
| 转录 | 机器初转加人工校正,校正者三人并经阅片医生确认 | 残留误差无法完全排除 |
§5 怎么拿到
5.1 目录结构
下载页跟着 DUA 走,典型的拓扑如下(目录名以官方文件浏览器所见为准):
egd-cxr/1.0.0/
├── master_sheet.csv
├── fixations.csv
├── eye_gaze.csv
├── bounding_boxes.csv
├── table_descriptions.pdf
├── inclusion_exclusion_criteria_outputs/
│ ├── <筛选中间结果 1>.csv
│ ├── <筛选中间结果 2>.csv
│ └── <筛选中间结果 3>.csv
└── audio_segmentation_transcripts/
└── <DICOM_ID>/
├── audio.wav
├── audio.mp3
├── transcript.json
├── left_lung.png
├── right_lung.png
├── mediastinum.png
└── aortic_knob.png
四个 CSV 位于根目录的用意很明确:主表、注视表、原始表、框表各自成一摊,按 DICOM 编号互连。 audio_segmentation_transcripts 目录下的子目录数量应与主表行数同数量级,这一点也是校验下载完整性最省事的手段(§5.6)。
5.2 批量下载:要走凭证,不是匿名递归
对于凭证化加数据使用协议这类受控项目,下载的常规做法是带账号的递归抓取:
wget -r -N -c -np --user 你的用户名 --ask-password \
https://physionet.org/files/egd-cxr/1.0.0/
两个前提必须先确认:一是在完成 PhysioNet 凭证化认证、签署数据使用协议并完成 CITI 培训之后才取得抓取权限;二是随后还要单独取得 MIMIC-CXR 的访问权,否则只能拿到四个 CSV 与一堆指向不存在图像的路径。在协作场景下建议两份协议同时递交申请,因为两者的审批用时通常并不一致。
5.3 最小可用读取
不需要下载图像也能先把表格读起来并做任何只需要 CSV 的分析:
import pandas as pd
#-- 主表:一行一个病例,列含人口学、标签、适应症、填充参数
ms = pd.read_csv('master_sheet.csv')
print(ms.shape, ms.columns[:8].tolist())
#-- 注视表:每次注视一行;FPOGV==1 才是有效注视
fx = pd.read_csv('fixations.csv')
fxv = fx[fx['FPOGV'] == 1]
print(fxv.shape, fxv[['DICOM-ID', 'TIME', 'FPOGD', 'X_ORIGINAL', 'Y_ORIGINAL']].head())
#-- 原始表与注视表同列,行数更多,取胜在可回溯
eg = pd.read_csv('eye_gaze.csv')
print(eg.shape, eg.columns[:6].tolist())
过滤时有两个约定要守住:FPOGV 为 0 的行代表眨眼、丢失人脸或处于扫视中,绝不能当作"注视点在某个位置"来用;X_ORIGINAL 与 Y_ORIGINAL 已经是原图像坐标,不必再做屏幕比例换算,而 FPOGX、FPOGY 恰恰相反。
5.4 与 MIMIC-CXR 图像拼接
import os
import pydicom
import pandas as pd
MIMIC_ROOT = '/path/to/mimic-cxr/2.0.0' #-- 换成你本地的实际目录
row = ms.iloc[0]
img_path = os.path.join(MIMIC_ROOT, row['path'])
dcm = pydicom.dcmread(img_path)
print(dcm.pixel_array.shape) #-- 原图像素坐标所在的矩阵
gid = row['dicom-id']
fx_one = fxv[fxv['DICOM-ID'] == gid]
print(gid, len(fx_one)) #-- 该病例的有效注视数
path 列的价值就在这一行代码里——它把"有一个编号"变成"能打开这张图"。要注意的是,DICOM 读入后的图像分辨率并非对所有病例都相同;稳妥的做法是每次读取后都用 pixel_array.shape 去规范坐标范围,而不是在代码里硬编码某个固定边长。
5.5 眼动热图:三种粒度对应三种走法
import numpy as np
import cv2
#-- 取某一个病例的有效注视点
pts = fxv[fxv['DICOM-ID'] == gid][['X_ORIGINAL', 'Y_ORIGINAL']].to_numpy()
H, W = int(dcm.pixel_array.shape[0]), int(dcm.pixel_array.shape[1])
#-- 走法一:直接落点,最粗糙
dots = np.zeros((H, W), np.float32)
for x, y in np.round(pts).astype(int):
if 0 <= x < W and 0 <= y < H:
dots[y, x] += 1.0
#-- 走法二:以注视时长加权,更贴近"停留多久"
w = fxv[fxv['DICOM-ID'] == gid]['FPOGD'].to_numpy()
dur = np.zeros((H, W), np.float32)
for (x, y), d in zip(np.round(pts).astype(int), w):
if 0 <= x < W and 0 <= y < H:
dur[y, x] += d
#-- 走法三:按短语时间窗切片,得到"说到这句时的注意力"
tr = pd.read_json(f'audio_segmentation_transcripts/{gid}/transcript.json')
phrases = tr['time_stamped_text'].iloc[0]
win = phrases[0]
left = fxv['TIME'].between(win['begin_time'], win['end_time'])
seg = fxv[fxv['DICOM-ID'] == gid][left[left].index]
print(win['phrase'], seg.shape[0])
5.6 五个坑
| 坑 | 表现 | 怎么避开 |
|---|---|---|
| 把这当匿名数据集 | 递归下载返回登录页而不是 CSV | 先完成凭证化、CITI、DUA 与 MIMIC-CXR 授权 |
用 FPOGX、FPOGY 直接叠加到 DICOM 上 |
热图整体上移或偏一侧 | 用 X_ORIGINAL、Y_ORIGINAL,或减掉主表的四列填充后再缩放 |
把 FPOGV 为 0 的行当注视用 |
眨眼段被当成"盯着某处看了很久" | 过滤 FPOGV == 1 |
| 假设每张图必有 17 个矩形框 | 连接后行数对不上、断言失败 | 用左连接并容忍缺失,按 bbox_name 聚合 |
| 把 CheXpert 的 −1 当阴性 | 不确定样本被当反例吃掉 | 三值单独处理,或明确写清归并策略 |
§6 与库内条目的关系
6.1 关系图谱
| 站内条目 | 与本词条的关系 | 什么时候该换用它 |
|---|---|---|
| reflacx-xray-localization | 同一方向的另一种眼动定位方案,关注病灶区域 | 你的目标是把注视绑到病灶而非解剖结构 |
| mimic-eye-multimodal-datasets | 把多份含眼动的资源整合成统一入口 | 你想一次拿到多个眼动资源的索引 |
| mimic-cxr-jpg | 本词条的图像来源,规模大得多 | 你需要几十万张级别的训练或评测底座 |
| eye-tracking-ecg | 同为"判读过程 + 眼动",但场景是心电图 | 你研究的是心电判读而非影像判读 |
| chest-imagenome | 同为胸片的人工标注层,给的是场景图 | 你需要句子级与解剖结构的显式关系 |
| heart-lung-segmentations-data | 同类的手工心肺分割金标准 | 你需要更严格的分割真值做评测 |
| cxr-lt | 同为胸片标签型资源,面向长尾 | 你关心的是疾病类别的不均衡 |
| latte-cxr | 同为局部图文对齐的可解释性资源 | 你要的是文本与区域的对齐而非人眼轨迹 |
6.2 检索路径
三条主要入口:从数据形态进来的人,通常先着陆在某个更常见的生理信号眼动资源上,再横向过来;从任务进来的人,多半沿着"可解释性"或"报告生成"两条主线走到这里;从来源库进来的人,则几乎一定是从 MIMIC-CXR 的下游派生一路找过来的。三条路径最终指向的都是同一个问题:在这批 MIMIC-CXR 的片子上,人类的注意力有没有留下数字轨迹。
6.3 分工判据
| 你想做的事 | 用它 | 换用别的 |
|---|---|---|
| 拿人眼注意力当监督信号 | 是 | 无 |
| 拿病灶级的人工注视当金标准 | 否 | REFLACX |
| 需要几十万张胸片做预训练 | 否 | MIMIC-CXR-JPG |
| 研究判读行为本身 | 是,唯一来源 | 无 |
| 研究图像层面的病灶分割 | 否 | 心肺分割金标准 |
| 研究胸片报告的生成 | 是,因为同时有口述与标签 | 也可看报告类资源 |
§7 质量评估与局限性
7.0 前置校正:它的标注不是金标准,是行为记录
在评价它之前要先做一个口径校正:它的标注层(注视点、转录、掩码)描述的是一个人的行为,不是疾病的客观真值。 因此"标注质量"这个词在这里有两层意思——语法层(转录有没有歧义、坐标有没有走样)与语义层(这个注视是否代表那个病灶)。官方只对前者给出了明确的验证,后者留给用户去判断。
7.1 五维评分
| 维度 | 评价 | 理由 |
|---|---|---|
| 采集规范性 | 高 | 硬件、显示分辨率、批次安排、行为流程全部写明 |
| 结构清晰度 | 高 | 四表一目录、主键唯一、官方字段详解文档齐备 |
| 质量自检 | 中高 | 官方给了校准图像与转录校正的证据,但逐条层面的校验未展开 |
| 规模 | 低 | 1,083 张、1 名阅片人,与其母体数十万张形成鲜明对比 |
| 可获得性 | 中低 | 双重凭证要求,且图像本体需另行申请 |
7.2 两层质量,各自被验到了什么程度
官方对自己的数据做了两类验证,都写在方法论文里,也都有对应的脚本在代码仓库。
第一层是眼动坐标的精度。官方在读片过程里随机插入了专门的校准图像,采集全程共呈现 59 张,并以每张校准图像上最后一次停留的注视点计算偏差。给出的结果是:横轴偏差均值为 0.0089、纵轴为 0.0504(屏幕比例单位),对应标准差分别为 0.0065 与 0.0347;换成 1920×1080 屏幕上的像素,均值约为横 17.04 像素、纵 54.39 像素,标准差分别约 12.55 与 37.43 像素。
这组数字要怎么读?它意味着纵向偏差明显大于横向,且偏差的离散程度不小。因此把单个注视点当作"精确停在某个像素上"是站不住的;把它当作"停在这个解剖区内"则要稳得多。这解释了为什么官方要附 17 个矩形框——在做监督时真正需要的是一个有容错能力的空间容器,而不是一个点。
第二层是转录的准确性。官方把机器转写产生的差错分成两类:某一时间戳的单词识别错误,以及整句短语被整段漏掉。前者与后者都由三名成员逐条人工校正,并经那位读片医生确认。官方报告的总短语数为 19,499,其中单词级短语 18,434,多词短语 1,065,由此得到第二类差错的占比约为 5.46%。这是一个被量化并承认的误差,而不是被掩盖的误差——对使用者而言,这比"我们用高质量转录"这类形容词有用得多。
7.3 可枚举的偏差
| 偏差来源 | 机制 | 谁会受影响 |
|---|---|---|
| 单人样本 | 只有一个个体的搜索策略 | 任何试图把结论推广到"放射科医生"的研究 |
| 三类均衡 | 按三大类均衡抽取,非自然分布 | 任何试图估计先验或做校准的研究 |
| 上游人口 | 全部来自同一家医疗机构体系 | 外部泛化评估 |
| 阅片环境 | 固定显示器与实验室阅读 | 真实工作站条件下的结论迁移 |
| 显示缩放 | 图像被缩放到 1920×1080 并加黑边 | 坐标换算、热图分辨率的计算 |
| 眼动仪误差 | 纵向偏差大于横向,且离散不小 | 逐点层面的精细分析 |
| 转录残差 | 承认存在第两类差错并给出占比 | 逐短语级别的精确对齐任务 |
7.4 外部验证:作者的实验说明了什么
官方在自己的论文里做了两组实验,用来证明这份数据"有用":一是把注视的热图当作额外的监督与对照组比较,二是用注视-解剖区的统计检验说明病理注意力分布在不同疾病之间有显著性差异。前者是对使用者最有参考价值的一条:它证明了把人眼轨迹加进模型能带来可测的性能变化,这个结论足以支撑别人立项;但它选用的只是作者自己挑定的几种架构,不能读作穷尽搜索后的最优结论。
7.5 它为什么还在
第一个理由是不可替代性。对着诊断级影像做一遍完整的、同时带录像与医生语言的采集,这件事在今天仍然贵得离谱,也没有第二个团队在同一批影像上给出过同样完整的公开版本。第二个理由是结构友好:主键唯一、列义明确、同仓脚本可跑。第三个理由最实际——它落在 MIMIC-CXR 这个最大的公开底座上,任何已经拿到 MIMIC-CXR 授权的人,几乎没有理由不去同时使用这份来源于同一批图像的附加层。
§8 生态位与历史
8.1 沿革:从影像感知研究到深度学习时代
眼动在放射学里不是新技术。按照官方参考文献,它最早被系统地用于教育、感知理解与疲劳测量。研究者用注视路径解释专家与新手的差别、解释为什么同一片子上病灶被漏看、解释长达数小时的阅片如何使注意力下降。这些工作在很长时间里与机器学习是两条平行线:前者关心人,后者关心数据。
转折发生在有人意识到"专家的注视"可以当作监督信号喂给模型之后。CT 方向先有了若干尝试——用注视改进分割、改进分类。但胸部 X 线方向上始终缺一块可以拿来就用且允许他人复用的材料,因为它既要求量大到足以训练模型,又要求采集过程足够规整。EGD-CXR 的定位就在这两条要求的不相交处:它用 MIMIC-CXR 解决了量的继承,用一批规范采集解决了过程的可信度。
8.2 与挑战赛的关系
官方页面没有显示它与任何挑战赛的隶属关系,也没有作为赛题发布——这一点与一批典型的"赛题数据集"不同。它的定位是资源而非赛题,因此没有锁定测试集、没有排行榜、也没有官方基线之外的评价协议。好处是用起来自由;代价是你拿它做的任何评测都缺少一个外部可比的基准线。
8.3 生态位
| 邻近生态位 | 谁占着 | 它的位置 |
|---|---|---|
| 大规模胸片标签 | MIMIC-CXR 及其派生 | 下游小宗配合者 |
| 病灶级人工注视 | 其他眼动追踪资源 | 平行且互补 |
| 报告结构/语义标注 | 场景图与报告纠错类资源 | 提供额外的时间轴 |
| 分割真值 | 心肺分割金标准 | 提供解剖掩码但不替代 |
| 人因/教育 | 传统眼动实验 | 提供可复用的公开样本 |
8.4 谁在用
官方给自己列的主题标签很能说明它的受众方向:卷积网络热力图、眼动追踪、可解释性、音频、胸部 X 线、多模态、深度学习。这七个标签合起来几乎就是它的受众画像:想给模型热力图找对照的人、想把眼动喂进多模态模型的人、想用语音与文本做生成的人。贡献方在论文里也明确表示欢迎同行联系共同扩展数据集——这是一个开放边界的信号。
§9 使用指引
9.1 三种角色的路径
| 角色 | 最短路径 | 第一步做什么 | 最该小心的坑 |
|---|---|---|---|
| 可解释性研究者 | 主表 → 注视表 → 转热图 | 用 X_ORIGINAL、Y_ORIGINAL 生成与人对应的热图 |
别用屏幕归一化坐标去叠加(§5.6) |
| 多模态建模者 | 转录 JSON → 时间窗 → 注视切片 | 按 begin_time、end_time 切窗口 |
注意两类转录差错的存在(§7.2) |
| 人因/教育研究者 | 原始表 → 瞳孔与眨眼列 → 扫视列 | 从 eye_gaze.csv 而非合并后的表取数 |
别把单人的习惯当作群体常数 |
9.2 最短流程(半天能跑通版)
- 完成 PhysioNet 凭证化、CITI 与 DUA,同时发起 MIMIC-CXR 授权申请。
- 用带账号的递归命令拉取
egd-cxr/1.0.0,随后核对子目录数量与主表行数是否同数量级。 - 读
master_sheet.csv,确认你要的三类标签与检查适应症列在位。 - 读
fixations.csv,先按FPOGV过滤,再看某一个病例的TIME序列。 - 打开该病例的
transcript.json,挑一个短语窗口,把窗口内的注视点叠到原图上。 - 用
bounding_boxes.csv判定这些点落在哪个解剖区,得到第一张三元组图。
9.3 引用方式
| 引用对象 | 官方要求 | 备注 |
|---|---|---|
| 本数据集 | 官方页面 Cite 按钮给出的 BibTeX,含版本 1.0.0 与 DOI 10.13026/qfdz-zr67 | 版本号不要省 |
| PhysioNet 平台 | 官方要求另加一条平台综述文献 | 与数据集引用并列 |
| MIMIC-CXR | 强制:作为父项目需一并致谢 | 上游许可同时适用 |
| MIMIC-IV | 强制:作为父项目需一并致谢 | 用于纳排准则的临床结局 |
| 方法论文 | 可选但建议:2021 年 Scientific Data 版本 | 描述细节时的可靠出处 |
| 官方代码仓库 | 复现实验时应给出链接 | 包含脚本与示例 |
§10 AI 使用声明
| 项目 | 声明 |
|---|---|
| 文本生成 | 本文由 AI 辅助撰写,编辑把关结构与事实 |
| 数字来源 | 规模、结构、边界三类数字来自 PhysioNet 官方页面的摘要与方法、数据描述、使用说明段落 |
| 文件核验 | 由于所在网络环境被区域策略拦截,官方 /files/ 目录与 table_descriptions.pdf 返回 “Data Not Available”,未能直接列目录;文件构成改以官方数据描述段逐条列明的清单为准 |
| 出处交叉 | 字段字典与部分验证数字取自论文的官方字段表;与页面描述冲突时以页面为准 |
| 论文信息 | 参考了 2021 年 Scientific Data 论文的在线全文,仅用于补充字段定义与验证数字 |
| 未核验内容 | 眼动仪的实际采样帧率(字段说明里提到 60 Hz 相机,但未见针对本设备的明确值)、总音频时长、各 CSV 的确切行数与数据集体积 |
| 图像 | 无配图;封面为生成式提示词,不含真实影像 |
| 免责 | 本文不构成临床建议;数据使用须同时遵守本数据集与 MIMIC-CXR 的许可要求 |
常见误读(避坑清单)
| 说法 | 实际 | 证据 |
|---|---|---|
| 「下载包里有一千多张胸片」 | 包里没有片子,只有 DICOM 编号与相对路径 | 官方使用说明第一句要求自行访问 MIMIC-CXR |
| 「这是多名放射科医生共同读的」 | 全程一名 ABR 认证医生,主治经历 5 年以上 | 官方方法与摘要段均为单数表述 |
| 「它是公开下载,不用签字」 | 需凭证化访问、CITI 培训与签署 DUA | 官方许可栏写明 Credentialed Health Data License 1.5.0 |
| 「fixations.csv 和 eye_gaze.csv 内容差不多」 | 列相同但密度不同:前者每次注视一行,后者每采样一行 | 官方数据描述段对二者关系的说明 |
| 「用 FPOGX、FPOGY 就能叠加到原图」 | 那是屏幕比例值;应优先用 X_ORIGINAL、Y_ORIGINAL | 官方字段定义;主表提供四列填充像素数 |
| 「转录是机器自动转的,误差未知」 | 误差被量化:机器初转后由三人校正并经阅片医生确认 | 论文给出了短语总数与漏转短语的占比 |
| 「每一点注视都很准」 | 官方用 59 张校准图像测出纵横偏差均值,纵向明显更大 | 论文的技术验证段落 |
| 「它是监管意义上的算法评测集」 | 无锁定测试集、无排行榜、无监管背书 | 官方页面无挑战赛隶属信息 |
| 「标签都是统一的」 | 同一维度有两套标签器结果,取值含 0、1、−1 三态 | 主表字段表对两类标签列的说明 |
| 「每张图一定有 17 个解剖框」 | 结构被视野裁掉时对应的框可能缺席 | 官方对 bbox_name 的说明 |
FAQ
Q1:为什么我用标准递归下载命令拿到的是一张登录页?
因为它不是匿名开放项目。官方许可栏写明需要凭证化用户签署数据使用协议后才能访问文件;同时要对 CITI 的指定课程完成培训。取得权限后再带用户名递归下载即可,命令形态与普通的 PhysioNet 受控项目相同。若你已经有 MIMIC-CXR 的授权,务必注意两个权限是分别生效的:取得本数据集的下载权,不等于同时取得图像部分的下载权,图像部分仍受 MIMIC-CXR 自身的协议约束。
Q2:到底该用 fixations.csv 还是 eye_gaze.csv?
看你要多细。若只需要"某一时刻眼睛停在哪里",官方明确建议用 fixations.csv——它是软件对原始信号做扫视合并后的结果,每次注视一行,行数可控、干净。若你要做瞳孔直径、眨眼、扫视幅度这类分析,或者不认同软件判定注视的阈值,那就用 eye_gaze.csv 自己重算。两份表列结构相同,切换成本只是把文件名换掉,不必重写解析逻辑。
Q3:我手上已有 MIMIC-CXR,能不能立刻用起来?
可以,而且这是最经济的使用姿势。拿到本数据集后,先用主表的 path 列定位你本地 MIMIC-CXR 目录里的图像,再用 dicom-id 把两张 CSV 与七个文件的那个目录连起来。要注意的是父子版本号不一致:页面上写的是 MIMIC-CXR v1.0.0,官方代码仓库的下载指令却指向 2.0.0。做法是看哪个版本能覆盖你要的那些 DICOM 编号就用哪个,并在论文里写清版本号。
Q4:它能用来证明一个可解释性方法优于另一个吗?
能做对照,但不能做终审。它提供了人类的注视轨迹,可以拿来算模型热力图与人眼热图之间的重合度,这是过去没法算的一个量。但它只有一个阅片人、只在一台显示器上、只针对三种疾病;因此用它得出的"某方法更接近人类"只能表述为"在这批数据、这位阅片人、这个显示条件下更接近",不能泛化为"更符合放射科医生的视觉策略"。
Q5:论文里的字段表和<|hy_place▁holder▁no▁813|>下载后的 CSV 不一致怎么办?
以页面上的文件清单与实际打开的 CSV 表头为准。原因是数据先在 2020 年 9 月发布,论文在 2021 年才见刊,两者之间的一些细节变化可能没有完全对齐。遇到列名差异,先用 columns 打一遍实际表头,再去对照官方的字段详解文档。
术语表
| 术语 | 解释 |
|---|---|
| 眼动追踪 | 用红外相机记录眼球位置与瞳孔,推算视线落在屏幕哪里 |
| 注视 | 视线在某一位置连续停留的一段时间,是与"扫视"相对的概念 |
| 扫视 | 两次注视之间眼球的快速跳跃,此期间的坐标通常无效 |
| POG | Point of Gaze,视线在屏幕上的落点,通常以归一化坐标表示 |
| 校准 | 让受试者看向已知点以建立视线与屏幕坐标映射的过程 |
| 归一化坐标 | 以屏幕宽高为 1 的坐标,左上为 (0,0)、右下为 (1,1) |
| 原始像素坐标 | 直接落在图像矩阵里的坐标,此处为 X_ORIGINAL 与 Y_ORIGINAL |
| 热图 | 把离散注视点平滑成连续强度图后的可视化表示 |
| 矩形框 | 用一个矩形框住某个解剖结构的弱标注方式 |
| 分割掩码 | 与图像同尺寸的二值图,前景标 255、背景标 0 |
| DICOM | 医学数字成像与通信标准,此处指 MIMIC-CXR 的原始影像文件 |
| CheXpert | 从放射报告文本中抽取疾病标签的自然语言处理工具 |
| ICD-9 | 第九版国际疾病分类编码,此处用于确定三类出院诊断 |
| NLP 标签器 | 从自由文本报告抽取结构化标签的程序 |
| 多模态 | 同一对象上同时存在的多种信号形态,此处含图像、音频、文本、坐标 |
| 生态效度 | 实验情境多大程度上贴近真实任务情境 |
| DUA | Data Use Agreement,数据使用协议,受控数据集的法律前提 |
| CITI | 研究伦理与合规培训的线上课程体系 |
| 凭证化访问 | 经审核后取得下载受控数据集资格的机制 |
| 主键 | 此处指贯穿各表与各目录的 DICOM 编号 |
附录 A:核心数字核对表
| 项 | 值 | 来源层级 |
|---|---|---|
| 影像数 | 1,083 张 | 官方摘要段 |
| 受检者数 | 1,038 名(女性 495、男性 543) | 官方摘要段 |
| 年龄范围 | 20–80 岁 | 官方摘要段 |
| 阅片人 | 1 名 ABR 认证放射科医生,主治经历 5 年以上 | 官方方法与摘要段 |
| 采集周期 | 2020 年 3 月至 5 月 | 官方方法段 |
| 每批例数 | 30 例 | 官方方法段 |
| 显示分辨率 | 1920×1080(Dell S2719DGF) | 官方方法段 |
| 疾病三类 | 正常、肺炎、充血性心力衰竭 | 官方摘要与方法段 |
| 主表列数(去重) | 约 60 列,含两套标签、九个诊断名称与九个编码 | 官方字段表 |
| 内部标签器列数 | 12 个发现标签列 | 官方字段表 |
| CheXpert 列数 | 14 个发现标签列,取值 0 / 1 / −1 | 官方字段表 |
| 眼动表列数 | 34 列,两张表列名相同 | 官方字段表 |
| 解剖矩形框 | 每图最多 17 个 | 官方数据描述段 |
| 解剖掩码 | 每图 4 张:左肺、右肺、纵隔、主动脉结 | 官方数据描述段 |
| 每个病例目录文件数 | 7 个(wav、mp3、json、四张 png) | 官方数据描述段 |
| 转录短语总数 | 19,499 | 论文技术验证段 |
| 单短语数与多词短语数 | 18,434 与 1,065 | 论文技术验证段 |
| 第二类转录差错占比 | 约 5.46% | 论文技术验证段 |
| 校准图像 | 采集全程共 59 张 | 论文技术验证段 |
| 注视偏差均值(归一化) | 横 0.0089、纵 0.0504 | 论文技术验证段 |
| 注视偏差均值(像素) | 横约 17.04、纵约 54.39 | 论文技术验证段 |
| 版本 | 1.0.0,发布日 2020-09-12 | 官方页面版本历史 |
| DOI | 10.13026/qfdz-zr67 | 官方页面发现区 |
| 许可 | PhysioNet Credentialed Health Data License 1.5.0 | 官方页面许可栏 |
| 所需培训 | CITI Data or Specimens Only Research | 官方页面培训要求 |
| 父项目 | MIMIC-CXR Database v1.0.0、MIMIC-IV v0.4 | 官方页面父子关系区 |
| 项目浏览量 | 316(当前版本与全部版本同值) | 官方页面统计数据 |
附录 B:数字的来源分层
第一层:官方页面。 影像数、受检者数与性别构成、年龄范围、三类疾病、采集设备与显示分辨率、每批例数、采集周期、四类数据文档的名称与内含文件、解剖矩形框与掩码的数量、许可与培训要求、版本号与发布日期、父项目。这些写在 PhysioNet 项目页面的摘要、方法、数据描述与使用说明里,可直接引用。
第二层:论文的方法与字段表。 各表逐列的字段名与含义、两张眼动表的合并关系、17 个解剖区的具体名称、转录 JSON 的内部结构、以及技术验证段给出的校准图像数量与注视偏差。此层用来解释"这一列为什么存在",不与页面冲突。
第三层:未核验。 由于所在网络环境下的区域策略,官方文件浏览器返回不可用,因此 CSV 的确切行数、音频的总时长、数据集的实际体积、眼动仪的实际采样帧率均未能核对。涉及这些的地方本文一律定性表述,不给数字。
附录 C:完整参考文献
| 编号 | 文献 | 链接 | 用途 |
|---|---|---|---|
| 1 | Karargyris A, 等. Eye Gaze Data for Chest X-rays, version 1.0.0 | https://physionet.org/content/egd-cxr/1.0.0/ | 全部规模、结构、边界数据的首要来源 |
| 2 | 同项目的文件目录 | https://physionet.org/files/egd-cxr/1.0.0/ | 受区域策略限制,本次未能列出 |
| 3 | Karargyris A, 等. Creation and validation of a chest X-ray dataset with eye-tracking and report dictation for AI development. Scientific Data 8:92 (2021) | https://doi.org/10.1038/s41597-021-00863-5 | 字段字典与技术验证数字 |
| 4 | 官方使用示例与脚本仓库 | https://github.com/cxr-eye-gaze/eye-gaze-dataset | 下载方式、后处理与复现流程 |
| 5 | Johnson A, 等. MIMIC-CXR Database | https://physionet.org/content/mimic-cxr/2.0.0/ | 图像本体与原始报告的来源 |
| 6 | Johnson A, 等. MIMIC-IV | https://physionet.org/content/mimiciv/0.4/ | 纳排准则所依据的临床结局 |
| 7 | PhysioNet 平台综述(Nature Health, 2026) | https://doi.org/10.1038/s44360-026-00096-z | 托管模式与引用规范 |
| 8 | CheXpert 论文 | https://arxiv.org/abs/1901.07031 | 标签列取值语义 |
编辑说明
本文的核验时间为 2026 年 10 月 28 日。核对方式包括直接访问 PhysioNet 项目页(摘要、背景、方法、数据描述、使用说明、版本历史、许可与父子关系各段)与 2021 年 Scientific Data 论文全文(含四张官方字段表),以及官方代码仓库的说明文件。未能核对的部分是官方文件目录本身:所在网络访问 /files/egd-cxr/1.0.0/ 时返回区域限制提示,table_descriptions.pdf 同样不可达,因此文件构成以官方数据描述段逐条列明的清单为准,逐表行数与总音频时长留空而不做估计。
另有一处需要提请注意的版本不一致:页面上标注的父项目是 MIMIC-CXR Database v1.0.0,而官方代码仓库给出的下载指令指向 v1.0.0 之外的版本。本文的处理方式是说明两者并存,并建议以你实际取得授权且能覆盖这批 DICOM 编号的版本为准。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本数据集共享多个主题标签的相关数据集,按相关度降序排列:
- reflacx-xray-localization—共享标签:医学影像 / 胸部放射 / 多模态数据集 / 可解释性
- mimic-eye-multimodal-datasets—共享标签:医学影像 / 胸部放射 / 多模态数据集
- mimic-cxr-jpg—共享标签:医学影像 / 胸部放射 / 多模态数据集
- eye-tracking-ecg—共享标签:多模态数据集 / 可解释性
- chest-imagenome—共享标签:医学影像 / 胸部放射 / 可解释性
- cxrgraph—共享标签:医学影像 / 胸部放射 / 多模态数据集
- openi-iu-xray—共享标签:医学影像 / 胸部放射 / 多模态数据集
- cxr-pro—共享标签:医学影像 / 胸部放射 / 多模态数据集
- latte-cxr—共享标签:医学影像 / 胸部放射 / 可解释性
- heart-lung-segmentations-data—共享标签:医学影像 / 胸部放射
- mimic-cxr-ext-mimic-cxr-db—共享标签:医学影像 / 胸部放射 / 多模态数据集
- cxr-lt—共享标签:医学影像 / 胸部放射
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

