信息速览
EMBED 是美国埃默里大学医学院健康创新与转化信息学实验室(HITI Lab)牵头构建的大规模乳腺影像库,取自 2013 年至 2020 年间埃默里医疗系统四家医院的常规诊疗。全库登记了约 36.5 万次乳腺钼靶检查、338 万幅图像与 11.6 万名受检者,是当前公开可查的、规模最大的单中心群乳腺影像集合之一。
它之所以在乳腺影像公开数据集里占据独特位置,并不只是因为体量。绝大多数公开钼靶库要么规模有限(数千例量级),要么只给疾病标签而不给放射科医生的结构化判读语言。EMBED 同时做三件事:把十余万受检者的影像聚合到一处;让非裔与白人受检者数量接近持平;把每一处影像发现的肿块形态、边缘、钙化类型等 BI-RADS 描述词逐条录入,并回溯挂上病理金标准。
因此需要在一开始就把边界说清楚:官方标题里的「338 万幅」描述的是全库,AWS 开放桶当前可下载的只是其中约两成的 2D 与 C-view 子集,约 48 万幅图像、7.6 万次检查。这两个数字相差约七倍,是所有使用决策的前提。一屏速览见下表。
| 速览项 | 内容 |
|---|---|
| 全称 | EMory BrEast Imaging Dataset(EMBED) |
| 构建机构 | Emory University School of Medicine, HITI Lab |
| 采集时间 | 2013-01 至 2020-12 |
| 采集地点 | 美国佐治亚州亚特兰大,埃默里医疗系统四家医院 |
| 全库规模 | 约 36.5 万次检查 / 约 338 万幅图像 / 约 11.6 万名受检者 |
| 开放规模 | 约 7.6 万次检查 / 约 48 万幅图像 / 约 2.2 万名受检者 |
| 影像模态 | 2D FFDM 与 C-view(合成二维);DBT、超声、MRI 暂不开放 |
| 标签体系 | BI-RADS 判读 + 结构化描述词 + 病理严重度六组 |
| 获取方式 | HITI Lab 数据门户注册申请,审批后发放临时 AWS 凭证 |
| 许可类型 | 埃默里自定义研究使用协议,学术非商业 |
§1 它是什么
1.1 一句话定义
EMBED 是一份带人口学分层与放射科结构化描述词的回顾性乳腺影像队列。它的基本单位不是图像,而是「影像发现」(finding):一次检查里放射科医生报告的每一处可疑之处构成一行临床记录,该行承载 BI-RADS 判读、肿块与钙化的描述词、后续活检或手术的病理结果,以及受检者的种族、族裔、年龄等人口学属性。
图像与该记录之间不是一一对应的。一次双侧检查会产生四幅标准视图(左右各 CC 与 MLO),一次发现可能落在其中一幅或两幅上,也可能在多处影像上都能看到。连接两侧的钥匙是患者键、检查键与侧别三者的组合,而不是文件名。
1.2 它解决的具体问题
在 EMBED 出现之前,想研究「乳腺 AI 模型在不同种族人群上的表现是否一致」的研究者,基本没有可用的素材。原因很朴素:公开钼靶数据集的种族标签大多缺失,有标签的样本量又太小,小到无法支撑分层误差估计。美国筛查人群中非裔女性乳腺癌死亡率显著高于白人女性,这个差距长期被归因于就诊时机、保险覆盖与生物学差异,但缺少足够大的影像队列去检验影像层面的解释。
EMBED 的设计目标正是补这一块:让非裔受检者占到全库四成以上,与白人受检者数量持平,并且在开放子集里保留同样的比例。这使得「同一模型在两组人群上的灵敏度差异」第一次可以用数万例量级的数据去估计,而不是几百例。
第二个不可替代之处是描述词。多数公开库只回答「这块是不是癌」,EMBED 还回答「放射科医生当时看到了什么」:肿块是圆形、卵形还是不规则形;边缘是清楚、模糊、毛刺还是遮蔽;钙化是点状、无定形、粗糙不均质还是细线分支状;分布是弥漫、区域、成簇还是线样。这些词是 BI-RADS 词典的正式词项,也是放射科医生形成判断的中间语言。有了它们,模型可以学「描述词预测」,也可以学到比二分类更细的中间表示。
1.3 它不是什么
三件事常被误认为是 EMBED 的属性,值得提前划清。
它不是「带全量标注的影像集」。全库标注的病灶以万计,图片以百万计,两者的量级差两个数量级。绝大多数影像没有任何病灶框,只有检查级的判读与病理结局。因此它更接近一份「影像 + 报告 + 病理」的完整诊疗记录,而不是一份精心挑选的病灶切片集。
它也不是为竞赛设计的基准。官方没有划分训练集与测试集,没有公布排行榜,也没有给出标准的评价协议。划分方式留给使用者自己决定,好处是灵活,坏处是不同论文的数字之间不可直接比较。若要做横向对比,必须显式说明自己用的队列划分与标签定义。
它更不是一份可以随意再分发的资源。许可把分发权收归埃默里,任何形式的转发、公开镜像、机构内共享都违反协议。这一点在 AWS 开放数据项目里属于少数派——多数项目只要求署名,不限制再分发。
1.4 决策卡:你的处境与它能帮什么
拿到一份数据集之前,先把它和自己手上的问题对齐,比读十页文档更省时间。下表按「你正要做什么」排列,左列是处境,右列是这份数据能提供的支撑,末列是必须先接受的代价。
| 你的处境 | 它能帮什么 | 必须先接受的代价 |
|---|---|---|
| 要评估模型在不同种族人群上的表现差异 | 非裔与白人受检者规模相当,可分层的样本量足够 | 人群来自美国东南部单一医疗系统,结论不能自动推广到亚洲或欧洲 |
| 要训练病灶检测或分类模型 | 矩形框坐标与图像类型标记齐备,可直接构造检测样本 | 框来自阅片圈画,边界偏保守,不是逐像素的精确轮廓 |
| 要做 BI-RADS 描述词预测 | 形态、边缘、密度、钙化类型与分布五列逐条可查 | 描述词由原始报告结构化,缺失值不随机,需显式建模 |
| 要把筛查与诊断连成完整流程 | 同一受检者跨年多次检查可串联 | 仅覆盖在本系统内完成的就诊路径 |
| 要做大规模自监督预训练 | 数十万幅未标注影像本身就够用 | 仅限学术用途,模型权重不得公开发布 |
| 要做跨人群外部验证 | 可作为非亚洲队列的对照方 | 不能作为全球代表样本 |
1.5 命名与谱系
EMBED 这个名字来自全称首字母的组合。论文发表时使用了「3.4 Million」作为标题口径,仓库与文档则常说「364,000 exams for 110,000 patients」,两组数字都是取整值,精确值见下一节的统计表。这种多处取整并存的现象在大型影像库里很常见,引用时应注明来源页面。
它与 CBIS-DDSM 构成一组有意思的对照:后者是把上世纪胶片数字化后的小规模(2,620 幅扫描件)精标注集,前者是全视野数字摄影时代的原始影像,两者的像素统计特性不通用——用胶片扫描数据训练的模型很难直接迁移到数字钼靶上,反之亦然。官方论文专门点明了这一点,作为构建 EMBED 的动机之一。
§2 规模、结构与边界
这一节只放三类数字:规模(多大)、结构(怎么组织)、边界(哪里不到)。分布类统计不在本节展开,避免把词条写成数据画像报告。
2.1 规模:全库三个口径
官方对全库给出了三套口径,彼此不矛盾但也不完全对齐,原因在于统计对象不同。
| 口径 | 数值 | 出处 | 说明 |
|---|---|---|---|
| 检查数 | 364,896 次 | 论文正文统计 | 筛查与诊断两类合计 |
| 图像数 | 3,383,659 幅 | 论文要点 | 含 2D、DBT、C-view 与各类重排视图 |
| 受检者数 | 115,910 名 | 论文正文统计 | 18 岁以上女性,至少一次钼靶 |
| 总数据量 | 16.0 TB | 论文正文 | 含未开放的 DBT 与屏幕截图 |
仓库与门户页面习惯把这三者写成「364,000 次检查、110,000 名患者、8 年跨度」,都是向下的取整。撰写方法学段落时,建议引用精确值并标注来自论文正文统计表,而不是来自首页摘要。
2.2 规模:开放子集另有四个口径
开放子集是全库的随机两成,但「两成」不是按图像严格切分的比例数,而是按患者队列切的:全库患者被随机分成十个规模相近的队列,开放版只放出前两个。这两个队列各约 1.1 万名患者。
| 口径 | 开放版数值 | 出处 |
|---|---|---|
| 受检者数 | 22,382 名 | 官方仓库 README |
| 检查数 | 76,373 次 | 官方仓库 README |
| 图像数 | 480,323 幅 | 官方仓库 README |
| 磁盘体积 | 约 2.5 TB | 官方下载文档 |
对比全库与开放版的两个关键比值,可以看到落差的性质:检查数之比约为 20.9%,图像数之比约为 14.2%。图像比例低于检查比例,因为全库的图像计数包含 DBT 断层序列与屏幕截图,而这两类在开放版中一概缺席。所以「两成」更准确的读法是按患者队列的两成,落到图像上只剩一成四。
2.3 落差是怎么形成的
理解落差的成因,比记住落差的倍数更有用。它来自两道互不重叠的筛子。
第一道筛子是患者级的等分。全库受检者被随机分成十个队列,每队列约一万一千人,队列之间患者与检查均无重叠。开放版只取其中两个。这一步按人切,不按检查切、也不按图像切,因此每个人的历史厚度被完整保留——一位在本系统连续筛查八年的受检者,她的全部检查都落在同一个队列里,不会出现「前几年的影像在开放版、后几年不在」的情况。这个设计对纵向研究是好事,对「开放版是否代表全库」则提出了一个隐含要求:只有当各队列的患者构成相近时,前两个队列才是全库的无偏缩影。官方对队列构造的表述是随机划分,未说明是否按人口学分层配平,所以严格来说这是一份随机样本,而不是分层样本。
第二道筛子是模态级的下架。即便在同一队列里,DBT 断层序列也被整体排除。全库中约有四成检查采用了二维加断层的组合,这些检查在开放版里只保留其二维与合成二维的部分,断层本身不在。屏幕圈画图同理。两道筛子叠加的结果,就是检查剩下两成、图像只剩一成四这个缺口。
这个缺口在数字上有具体的形态:按检查数折算,开放版对应全库约五分之一;按图像折算,则只剩约七分之一。二者的差额,全部由断层序列与屏幕截图贡献。
2.4 容易混淆的三组数
同一份数据在文献里会以三种面貌出现,写作时需要分清:全库(338 万幅,需机构审查批准后按个案申请)、开放版两队列(48 万幅,AWS 桶内)、开放版中你实际下载的子集(按你的筛选条件决定)。论文里若只写「使用了 EMBED」,审稿人无法判断是哪一种,必须写明层级。
2.5 规模:标注与分级
官方对标注量的表述是「约六万处标注病灶,关联结构化影像描述词与病理金标准,归入六个严重度类别」。论文正文给出的 ROI 数量表述为四万处,两处口径的差别在于是否计入了未能自动链接到具体发现的模糊病例(论文自陈约两成病灶属此类)。引用时建议写「官方称六万,论文正文列四万」,并说明差别来源,而不是二选一。
严重度分组以六类为主口径:浸润性癌、原位癌、高危病变、交界性病变、良性病变、非乳腺癌。官方文档的字段说明表中另有一个「阴性/正常乳腺组织」的第 0 号之外的取值,导致实际列出的组数在不同页面呈现为六组或七组。这是词条中需要明确提示的一处口径分歧,使用 path_severity 字段做标签时必须以实际取值分布为准,不能照抄文档里的组数。
2.6 结构:三层主键
数据组织成三层,每一层有一种键。
患者层(empi_anon):同一名受检者的全部检查共享一个匿名化主索引键。时间信息在这一层做处理——日期按患者整体平移,患者内部的先后顺序保留,跨患者的绝对日期不可比。这个设计使得「同一人多次检查的间隔」仍然可算,「不同人同一天」则无意义。
检查层(acc_anon):一次检查对应一个登记号,该检查下的全部图像与全部发现都挂在这个键上。同一患者的不同年份检查是不同的检查键。
发现层(numfind):一次检查内的发现按序号编号。这一层是临床表的行粒度。需要注意,同一次检查内若同一处发现先后经历了活检与切除两次手术、且两次病理报告不同,该发现会被复制成两行,仅手术详情不同。判断「唯一发现」必须用 acc_anon 加 numfind 的组合,不能直接数行。
图像侧的表是另一种粒度:一行一幅 DICOM 文件。患者键与检查键在两侧都存在,但侧别字段名不同——临床表叫 side,图像表叫 ImageLateralityFinal。这一处命名不一致是绝大多数合并错误的源头,后文会反复提到。
2.7 结构:目录与文件
开放桶的根目录只有两个子目录:tables/ 与 images/。
#-- 桶内顶层结构(依官方下载文档)
s3://embed-dataset-open/
├── tables/
│ ├── EMBED_OpenData_clinical.csv
│ ├── EMBED_OpenData_clinical_reduced.csv
│ ├── EMBED_OpenData_metadata.csv
│ ├── EMBED_OpenData_metadata_reduced.csv
│ ├── AWS_Open_Data_Clinical_Legend.csv
│ └── pathology_legend.csv
└── images/
└── EMBED001/
└── <patient_ID>/
└── <study_ID>/
└── <SOPInstanceUID>.dcm
图像按「队列—患者—检查—实例」四级目录组织。队列目录取名为 EMBED001 这一形态,队列内的患者目录保留全部检查,检查目录内的文件名就是 DICOM 的 SOP 实例 UID。这套目录有两层含义:其一,路径本身已经编码了层级关系,不必解压即可按患者分批下载;其二,路径不可当作主键使用,因为临床表与元数据表里另有一套 anon_dicom_path 字段记录相对路径,两者应当一致但以元数据表为准。
_reduced 后缀的两个表是精简版,只保留最常用字段,适合初学者快速上手;完整版包含全部 DICOM 属性与派生列。临床表与元数据表各有一个配套的图例文件(legend),说明字段取值的含义——这一点比很多数据集做得好,但也意味着字段的可读性依赖图例,不看图例会误读取值编码。
2.8 边界:什么不在开放版里
这一小节是整篇词条中最需要记住的部分。
DBT 不在。 数字乳腺断层合成是全库中占比可观的一部分,检查层面约四成检查采用 2D 与 DBT 的组合。官方明确说明 3D 图像被锁定在专有容器内,不属于 AWS 开放数据的发布范围,计划在后续版本加入。开放版只有 2D FFDM 与由 DBT 重建出的合成二维图(C-view)。
屏幕截图不在。 阅片时医生圈画的屏幕截图(Screening Save)在原 PACS 中作为独立图像存在,开放版不发布这些图,而是把其上的圈画轮廓换算成矩形框,写进元数据表的坐标列。这意味着研究者拿到的是坐标,不是带圈的原图副本,需要自己把框画回影像上验证。
超声与 MRI 不在。 官方说这两类检查会在后续添加,但未给时间表。
全量数据的取用路径不同。 全库余下的八成不通过 AWS 分发,需要走埃默里大学的机构审查委员会批准后按个案申请。这属于另一条获取链路,不是开放数据的一部分。
2.9 边界:全库本身的限定
即便拿到全量,仍有几处结构性限定值得记住。
受检者仅限 18 岁以上女性,无男性乳腺影像。影像来自单一医疗系统的四家医院,地理上集中于亚特兰大都会区,不存在跨地域的外部可比队列。设备上以一家厂商为主,另外两家厂商的样本占比很小,这限制了对设备差异的建模能力。病理金标准只覆盖在埃默里完成标本处理的病例,若患者在外部机构确诊,库中该发现会被记为阴性——这是论文自陈的局限,也是任何以病理为金标准的乳腺队列共有的问题。
2.10 边界:三个不可跨越的推论
由上面两条边界,可以推出三条使用上的硬约束,它们不是建议,而是推论。
第一,任何用这份数据报告的绝对规模,都必须说明层级。 写「EMBED 有三百余万幅图像」在事实上没错,但如果下文用的样本只有几千幅,这句话就在误导。反过来,写「EMBED 只有四十八万幅」也不准确,因为全库确实更大,只是没开放。稳妥的写法是把两个数字并列,并说明自己实际用了哪一层。
第二,任何涉及断层的任务都不能指望这份数据集。 三维检测、断层重建、切片间的空间一致性建模,都需要断层序列本身。合成二维图虽然由断层重建而来,但它已经塌缩成一幅二维投影,丢失了深度方向的信息。用它训练的三维模型不会学到任何有用的东西。
第三,任何跨人群结论都需要另一份数据佐证。 单中心单地域的队列无法自证泛化性。若要论证「某模型在非裔人群上表现良好」,必须再找一份非裔占比高、且地理来源不同的数据做外部验证,否则结论只在亚特兰大成立。
§3 怎样取得
3.1 三层门
取得 EMBED 不是一次下载动作,而是三道门的串联。
| 门 | 动作 | 通过标准 | 有效期 |
|---|---|---|---|
| 第一道 | 在 HITI Lab 数据门户用邮箱注册账号 | 邮箱可接收验证 | 长期 |
| 第二道 | 阅读并同意研究使用协议,提交开放数据申请 | 申请人陈述的用途符合学术非商业范围 | 按申请 |
| 第三道 | 审批通过后接收 AWS 访问密钥 | 密钥由埃默里方签发,无需自备 AWS 账号 | 90 天 |
三道门的顺序不可调换。审批方可能直接批准、要求补充说明后重新提交,也可能拒绝。90 天的访问期一旦届满,密钥失效,需要重新申请或续期,这一点在计划数据下载周期时要预留时间。
3.2 为什么不是「点击下载」
AWS Open Data 项目里,多数数据集的桶是公开可读的,匿名 aws s3 ls 即可列目录。EMBED 是例外:桶需要凭据访问,凭据只发给通过审批的申请人。这是自定义许可的直接后果——协议第 6 条明确禁止把下载链接转给他人,同机构的其他使用者必须各自注册。
因此,「AWS 托管」与「公开可下载」在这份数据上不是同义词。前者说的是存储与带宽由 AWS 承担,后者是访问控制层面的属性。词条中把 EMBED 归入「注册申请后开放」档,而不是「完全开放」档。
3.3 下载路径与体积
配置好 AWS CLI 后,列出根目录、拉取表格、再按需拉取影像是标准流程。表格体积很小,可以整个目录递归拉取;影像约 2.5 TB,建议先拉表格、在本地筛选出目标队列,再按清单逐文件下载。
官方推荐用 sync 而非 cp 做整目录下载,理由是 sync 可以断点续传:网络中断后重跑同一条命令会从断点继续,而 cp 的递归模式不具备同样的续传能力。对 2.5 TB 量级的下载,这个差别很实际。
若只要某个子集,官方给出的做法是自己写脚本按 anon_dicom_path 列逐条下载。文档附带了一段使用 boto3 与 pandas 的示例脚本,遍历筛选后的表格并逐个文件下载,自动建目录。这种做法比整目录下载省得多,代价是需要自己处理失败重试。
3.4 配置与最小可行下载
凭据到手之后,配置环节只有四个输入项:访问密钥、密钥口令、默认区域、输出格式。区域按官方建议填 us-east-1,格式填 json。密钥口令应写进本地配置而不是代码仓库,协议对转发链接的禁令同样适用于泄露密钥。
最小可行下载只需要三条命令,全部针对表格,不碰影像:
#-- 先确认路径清单:两个子目录,一个存表,一个存图
aws s3 ls s3://embed-dataset-open/
#-- 表格很小,整个目录递归拉取即可
aws s3 cp s3://embed-dataset-open/tables/ ./tables/ --recursive
#-- 影像按需拉取,此处以只取一个队列目录为例
aws s3 sync s3://embed-dataset-open/images/EMBED001/ ./images/EMBED001/
三条命令的用途各不相同。第一条是核验桶是否可达、凭据是否有效,不产生下载流量;第二条把全部临床与元数据表拉到本地,体积以兆字节计;第三条只同步一个队列目录,避免整桶 2.5 TB 的下载。
若只想要部分影像,推荐的做法是先在本地把表格筛成一份清单,再按清单逐条下载。文档提供的示例脚本以 boto3 客户端为核心,遍历表格的路径列、自动创建目录、逐文件拉取。这种写法的好处是可以精确控制范围,坏处是并发与重试要自己加——单线程逐条下载两万幅影像会相当慢,建议按队列目录分段并行,并给每次调用加超时与重试上限。
3.5 下载规划的经验值
按 2.5 TB 的体积与常见的家庭或实验室带宽估算,整桶下载属于多日量级的工作,不适合在访问凭证只剩几天时启动。比较稳妥的顺序是:拿到凭证的第一天先把表格下完并完成筛选,第二天起按筛选结果分批下载影像,把最需要的子集排在最前。若凭证到期时影像没下完,已下载的部分仍在本地可用,续期后从断点继续即可。
本地存储方面,除影像本身外还要预留解压与缓存空间。DICOM 文件通常以压缩态存储,解压后的像素数组会放大数倍;把整批影像一次性读进内存做预处理,在中低端工作站上很容易触发内存不足。按患者分批流式处理是更合适的做法。
3.6 与原论文数据的对应关系
开放版的每一行都能追溯到论文中描述的全库结构:队列编号、患者键、检查键、发现序号都是全库体系中的子集,不是为开放版另造的一套编号。这意味着基于开放版写的代码,在获得全量数据批准后基本不需要改写,只需把数据路径指向新的桶或本地挂载点。
3.7 引用与署名
官方要求在使用时注明「于某日从 Open Data Registry 页面获取」,并引用论文。数据集本身没有独立的 DOI,标识符挂在论文上(10.1148/ryai.220047)。引用时应把「获取日期」写进方法段落,因为数据集按年增量发布,不同时间的同一份桶内容可能不同。
§4 核心结构与字段
4.1 两张表的职责
临床表一行是一处影像发现,元数据表一行是一幅图像文件。官方文档反复强调:不要在流程一开始就把两张表合并。理由很简单,合并会立刻产生多对多膨胀——一处发现在四幅影像上可见就变成四行,四个发现在两幅影像上是八行,去重逻辑一旦写错,标签就会在图像之间泄漏。
官方推荐的处理顺序是:先在临床表里按检查与侧别聚合出标签,把一处检查的同一侧压缩成恰好一行;再在元数据表里按需要的图像类型筛选;最后按检查键加侧别合并,并显式去重。
4.2 临床表关键字段
| 字段 | 含义 | 取值要点 |
|---|---|---|
empi_anon |
匿名患者键 | 同一人全部检查共用 |
acc_anon |
匿名检查键 | 一次检查共用 |
study_date_anon |
报告签署日期(已平移) | 与元数据表的采集日期可能相差数日 |
desc |
检查描述 | 筛查 / 诊断 |
tissueden |
乳腺密度分级 | 1 至 4 对应 A 至 D,另有男性取值 |
asses |
BI-RADS 判读 | 以字母 A/N/B/P/S/M/K 编码,非数字 |
numfind |
发现序号 | 检查内从 1 起编 |
side |
发现侧别 | L / R / B,可为空 |
massshape |
肿块形态 | BI-RADS 词典词项 |
massmargin |
肿块边缘 | BI-RADS 词典词项 |
massdens |
肿块密度 | BI-RADS 词典词项 |
calcfind |
钙化类型 | BI-RADS 词典词项 |
calcdistri |
钙化分布 | BI-RADS 词典词项 |
total_l_find / total_r_find |
该检查左右侧发现总数 | 用于判断多发现情形 |
bside |
病理侧别 | 与发现侧别可能不一致 |
type |
标本类型 | 活检、细针穿刺、肿块切除等 |
path1 至 path10 |
病理诊断分项 | 最多十条,取值见病理图例 |
path_severity |
最严重病理组 | 0 至 6,见 §4.4 |
RACE_DESC |
受检者种族 | 自报 |
ETHNIC_GROUP_DESC |
受检者族裔 | 自报 |
值得单独提醒的是 asses 的取值。多数人凭直觉写 asses == 4 去筛可疑病例,实际该字段存的是字母,四个数字对应的是别的含义。正确写法是 asses == 'S',或先按图例映射再比较。
4.3 元数据表关键字段
| 字段 | 含义 | 取值要点 |
|---|---|---|
empi_anon |
匿名患者键 | 与临床表同名同义 |
acc_anon |
匿名检查键 | 与临床表同名同义 |
anon_dicom_path |
桶内相对路径 | 下载时直接用 |
study_date_anon |
采集日期(已平移) | 与临床表签署日期可能不同 |
StudyDescription |
检查类型 | 偶与临床表不一致 |
SeriesDescription |
序列描述 | 通常含视图与侧别信息 |
FinalImageType |
图像类型 | 2D / 3D / C-view / 两类 ROI 截图 |
ImageLateralityFinal |
图像侧别 | L / R |
ViewPosition |
视图体位 | CC / MLO 等 |
spot_mag |
是否点压或放大视图 | 0 为常规全视野,1 为特殊视图 |
num_ROI |
该幅影像上的框数 | 与坐标列表长度一致 |
ROI_coords |
矩形框坐标列表 | 字符串形式,每项为 ymin,xmin,ymax,xmax |
ROI_frames |
DBT 帧索引列表 | 仅 3D 行填充,开放版用不到 |
ROI_coords 与 ROI_frames 都是序列化后的字符串,不是数组列。读入后需要用 ast.literal_eval 解析,不能当作 JSON 直接用 json.loads。坐标的顺序是左上右下(y 在前),与常见的 x-y 惯例相反,画框时容易画反。
4.4 病理严重度的编码方向
path_severity 的数值方向与直觉相反:数值越小,病情越重。0 是浸润性癌,1 是原位癌,2 是高危病变,3 是交界性病变,4 是良性病变,5 是非乳腺癌(指乳腺以外的原发,非阴性)。
写筛选条件时若按「小于等于 1 为阳性」是正确思路,若按「大于等于 4 为阳性」就完全反了。官方下载文档给出的示例恰好是 isin([0.0, 1.0]),就是从这条规则出发的。
字段说明表中另给出第 6 档「非乳腺癌」(non-breast cancer),而标签分配文档只列到第 5 档且把 5 定义为非乳腺癌。两处页面在档位编号上不统一,实际取值以临床表内出现过的数值为准,用 value_counts() 先看一眼再写筛选条件。
4.5 标签怎么从字段拼出来
官方提供的标签分配思路有两条主线。
第一条走 BI-RADS 判读。筛查检查中约九成给出阴性或良性,约一成给出「需补充评估」;诊断检查中约三分之二判为阴性或良性,约三分之一判为可疑或高度提示恶性并进入活检;活检里约三分之二为良性、约三分之一为恶性。这条链路描述的是临床流程,不是标签定义,但能帮助理解为什么阳性率天然很低。
第二条走病理组。凡是有活检或手术标本的发现,都有 path_severity;把它按侧别聚合(取该侧最严重值),就得到侧别级的金标准标签。没有标本的发现缺少这一列,不能当作阴性处理,只能当作「未知」。若把未知并入阴性,阳性率会被系统性低估,模型学到的判别阈值也随之偏移。
4.6 从表格到训练集的最小代码
下面的片段只依赖 pandas,演示官方推荐顺序的前三步:按侧别聚合标签、按图像类型筛选、双键合并后去重。
#-- 只依赖 pandas;两次读取都显式指定低内存模式,避免宽表吃满内存
import pandas as pd
clinical = pd.read_csv("tables/EMBED_OpenData_clinical.csv", low_memory=False)
metadata = pd.read_csv("tables/EMBED_OpenData_metadata.csv", low_memory=False)
#-- 第一步:侧别级标签。同一侧取最严重的病理组,数值越小越重
clinical["side_key"] = clinical["side"].fillna("B")
side_label = (
clinical.groupby(["acc_anon", "side_key"], dropna=False)["path_severity"]
.min()
.reset_index()
)
#-- 第二步:只保留合成二维图,排除点压与放大等特殊视图
meta = metadata[
(metadata["FinalImageType"] == "C-view")
& (metadata["spot_mag"] == 0)
].copy()
#-- 第三步:按检查键与图像侧别双键合并,单侧发现不落到对侧影像上
merged = meta.merge(
side_label,
left_on=["acc_anon", "ImageLateralityFinal"],
right_on=["acc_anon", "side_key"],
how="inner",
)
merged = merged.drop_duplicates(subset=["anon_dicom_path"])
print(merged["path_severity"].value_counts(dropna=False))
代码里有两处值得注意。min() 而不是 max(),因为严重度编码方向相反;fillna("B") 把未标侧别的发现当作双侧处理,这是官方合并规则给出的做法,若你的任务只需单侧样本,改成丢弃这些行更合适。
drop_duplicates 放在合并之后而不是之前,是为了让同一幅影像在多个发现下重复出现的行塌缩成一行。若先合并再去重,被塌缩掉的可能不是重复,而是两处不同病灶;若后合并去重,则是一处病灶对应一幅影像只留一行,符合图像级分类的粒度。这两种粒度对应两种任务,别混用。
§5 时间、版本与增量
5.1 采集期
影像采集期为 2013 年 1 月至 2020 年 12 月,共八年。这个窗口横跨了乳腺摄影技术的一次换挡:数字摄影早已普及,断层合成在窗口后半段逐渐进入常规筛查,合成二维图随之出现。全库中同时存在 2D 与 C-view 两类图像,正是这一换挡的痕迹。
5.2 发布节奏
官方给出的更新频率是「每年新增数据」。这意味着桶内容会随时间变化,但没有类似「v1.2」这样的明确版本号,也没有 changelog 页面。对于需要长期复现的研究,建议在首次下载后对表格文件做哈希留存,并在方法段落写明获取日期,否则后续复现时可能面对不同的表内容。
5.3 「按年增量」的实际含义
这里的增量指的是队列逐步放出,不是把已有队列的数据补齐。全库的十个队列是一次性划分好的,开放版按批次放出前一批或前两批。因此不存在「昨天下的数据今天有新增行」的情况,只可能是「今天多了一个队列目录」。这一点对下载策略有影响:如果只需要第一队列,重新下载时可以只拉第一队列目录,不必整桶同步。
5.4 时间字段的处理
两个 study_date_anon 字段承载不同的语义:临床表的那个是报告签署日期,元数据表的那个是影像采集日期。两者相差一天到数天属正常。做时序建模时用哪一个取决于问题——预测「这次检查是否会导致活检」用采集日期更贴切,回看「报告何时定稿」用签署日期。
日期按患者整体平移,患者内部间隔保留。这意味着可以算「同一人两次筛查间隔多少月」,但不能算「某年某月的检查量」。季节性与年度趋势分析在这份数据上不可行,这是匿名化设计的必然代价。
5.5 与论文时间线的错位
论文发表于 2023 年初,描述的采集窗口截至 2020 年底。从采集结束到首发之间有两到三年的处理期,期间完成了去标识化、ROI 提取、描述词结构化与病理链接。这段处理期不在数据的 temporalCoverage 里,但在解释「为什么 2020 年之后没有新病例」时是必要的背景。
5.6 复现留痕的四个动作
没有版本号的数据集,复现的责任落到使用者身上。四个动作成本很低,但在返工时价值很高。
第一个是记录获取日期。写进方法段落,格式到日即可,不必到分秒。桶内容按年变化,日期是唯一能区分两次快照的线索。
第二个是对表文件做哈希。临床表与元数据表的体积都在兆字节量级,算一次 SHA-256 耗时不到一秒,把摘要写进项目 README 就够了。日后若发现表内容变了,能否对齐到原始版本全靠这个摘要。
第三个是固化筛选条件。把用的图像类型、视图体位、特殊视图排除规则、标签聚合方式写成一个脚本文件而不是交互式会话里的临时命令,并把这个脚本与它的输出行数一起存下来。
第四个是记录实际计数。筛完之后临床表剩多少行、元数据表剩多少行、两者合并后去重剩多少行,这三个数字写进论文的样本描述段落,是审稿人判断流程是否正确的依据。
§6 能做什么
6.1 你的处境与它能帮什么
| 你的处境 | 它能帮什么 | 需要接受的代价 |
|---|---|---|
| 要检验模型在不同种族人群上的公平性 | 提供非裔与白人数量接近的大型单中心队列 | 只有美国东南部一家医疗系统,跨洲泛化仍需外部验证 |
| 要训练病灶检测器 | 有矩形框坐标与图像类型标记 | 框来自阅片圈画而非独立复核,形状偏保守 |
| 要预测 BI-RADS 描述词 | 五个描述词字段逐条可查 | 描述词由原始报告结构化,缺失值非随机 |
| 要做筛查到诊断的流程建模 | 同一患者跨年的多次检查可串联 | 只覆盖在本系统内就诊的完整路径 |
| 要做自监督预训练 | 数十万幅未标注影像可用 | 只能用于学术,不得公开模型权重 |
| 要在小语种或非美人群上做迁移 | 不适合作为主训练集 | 需另找亚洲或欧洲队列做外部验证 |
6.2 明确不适合的用法
不适合做商用产品开发。 协议第 1 条只授予学术非商业研究权,第 5 条进一步禁止公开发布或商业化基于该数据训练、预训练或微调的模型、权重与嵌入空间。这意味着即便是学术论文,公开模型权重也需要事先取得书面许可。
不适合当作疾病筛查的临床依据。 数据未经美国食品药品监督管理局审评,协议第 8 条要求仅用于非临床研究。
不适合拿开放子集的数字去对比全库的宣称规模。 用「338 万幅」写进论文的数据描述段落,而实际只用了 48 万幅,审稿人一旦核对就会指出。
不适合做人群患病率估计。 这是筛查队列,阳性率远低于诊断人群,且来源单一人群,不能外推为一般人群的流行病学参数。
6.3 适合的第一个实验
若要在一周内跑通一个基线,最省事的路径是:只下临床表与元数据表(几 MB),在临床表里按检查键加侧别聚合出 path_severity 最严重值,在元数据表里筛出 FinalImageType 为 C-view 的行,按检查键与侧别内连接,得到一张侧别级的标注表;再从这张表里挑几百行,按 anon_dicom_path 下载对应影像,跑一个二分类器。这条路不碰整桶下载,也不碰三维重排,能在很低的存储成本下验证整条链路是否通。
6.4 三条常见的任务设计
侧别级二分类。 把一侧乳腺在某一时点的全部影像作为一个样本,标签是该侧的最严重病理组是否为癌。这种设计的样本量最充裕,也最接近临床阅片的工作单位,适合做筛查辅助工具的可行性验证。代价是丢失了病灶的空间信息,模型只能给出「这一侧有癌」的判断,不能指出在哪。
影像级多标签描述词预测。 每幅影像对应一组描述词取值,模型同时预测形态、边缘、钙化等标签。这类任务不需要病理金标准,只依赖报告结构化结果,能用的样本量几乎覆盖全库。它适合作为预训练任务,也适合单独评估模型是否学到了放射科医生的判读中间表示。
病灶级检测。 只保留有框的影像,框作正样本,训练检测器。这种设计的样本量与整库相比很小,且框的质量受圈画习惯影响,在报告 mAP 时必须说明框的构造方式,否则与其他数据集的数字没有可比性。
三种设计对数据的要求不同,混用会出问题。例如把侧别级标签硬套到影像级,同一侧的多幅影像会被赋予相同标签,模型很容易学到「同一患者的两幅影像应该给出相同的答案」这种影像外的捷径。
6.5 一条不建议的路径
把 EMBED 的开放部分与其它公开钼靶库拼在一起训练,看起来能扩大样本,实际上容易引入两类问题。其一是像素域差异:不同年代、不同厂商、不同处理流程得到的乳腺影像,其灰度分布与噪声特性差别很大,直接拼接会让模型把「来自哪个库」当成一条有用的线索。其二是标签语义差异:有的库用病理作为金标准,有的库只到 BI-RADS 判读,有的库在阴性样本的定义上就不同。拼接前必须做统一的标签映射与灰度归一化,并在报告里写清映射规则,否则模型性能的提升可能只是标签泄漏的结果。
§7 质量评估与 DAIMS
7.0 读这一节前先纠正一个默认假设
多数人拿到影像数据集时,默认「库里的东西是完整的」。EMBED 不是。它是一份正在分批放出的队列,开放版只是一次快照。所有关于「规模」的判断,都要先问一句:说的是全库,还是说的是我手上这份?
第二个默认假设是「标注是独立的」。EMBED 的框来自放射科医生阅片时在原图上圈画,不是由另一个团队事后独立复标的标注。它的价值在于反映了真实的临床判读行为,代价是没有双人独立判读的一致性统计可供参考。
7.1 结构与层级一致性
层级主键在两张表之间的命名并不统一:患者键与检查键同名,侧别字段在两侧不同名(side 与 ImageLateralityFinal)。这不算错误,但要求在合并时显式写明映射关系,否则按检查键单键合并会把单侧发现错误地分派到双侧图像上。
队列划分在患者级完成,队列之间无患者重叠,也无检查重叠。这保证了「用第一队列训练、第二队列测试」是一种合法的跨队列划分,不会因同一患者出现在两侧而泄漏。
7.2 文档完备度
官方文档覆盖了概览、结构、标签分配、ROI 用法、开放数据问答、下载说明六个页面,另有仓库内的字段图例与示例笔记本。这在同类数据集中属于文档较完备的一档。缺口在于:开放版的精确检查数与图像数只出现在仓库 README 而非文档站;病理严重度的档位编号在不同页面不统一;人群构成的统计只出现在论文而不在文档站。
7.3 标注是怎么来的,能信到什么程度
框的来源值得单独说明,因为它决定了这些标注能支持什么、不能支持什么。
放射科医生在阅片工作站上发现可疑之处时,会在影像上圈出一个椭圆范围并保存。这个动作是临床流程的一部分,不是为了构建数据集而额外做的标注工作。系统在后台把这些圈画保存成独立的屏幕截图存进影像归档,同时也可能留下不含像素、只含坐标的注记对象。构建方从这两个来源回收圈画,把椭圆换算成外接矩形,再按结构相似度或实例号把截图与原始影像对上。
这条链路有两个后果。其一,框的边界来自医生的主观圈选,并且是外接矩形,因此一定大于真实病灶,框内会混入正常腺体。训练检测器时若按精确边界框的惯例去要求模型,会系统性地低估定位误差。其二,框只出现在医生觉得需要标记的地方,筛查阴性或良性的检查大多没有框,所以**「没有框」不等于「没有病变」**,不能当作检测任务的负样本来源。负样本应来自按检查级标签筛出的阴性检查,而不是从有框影像里取无框区域。
7.4 病理链接的可靠性
病理金标准的可靠性受两个环节影响。
第一个环节是标本的归属。病理结果由管理员事后录入,并归属到当初导致活检的那处发现。在只有一处发现的乳腺上,这个归属是确定的;在一侧有多处发现的乳腺上,系统难以判断具体是哪一处被切了下来,论文自陈约两成病灶属于这种无法自动链接的情形。这类发现通常被标为模糊,不进入精确的子集。
第二个环节是标本的来源机构。只有在埃默里完成病理处理的标本才在库内,若受检者在外部机构做了活检或手术,库中该发现可能缺病理结果,甚至被记为阴性。对于跨机构就诊较多的地区,这会造成阳性标签的漏失,且漏失与受检者的就诊行为相关——换句话说,缺失并非随机。
7.5 访问与许可清晰度
访问路径明确(门户注册、申请、审批、发放 90 天凭证),许可条款逐条可读(十一条),禁止事项写得比多数数据集直白——特别是关于模型权重不得公开那一条,属于容易被忽略但后果严重的条款。清晰度方面没有大问题,问题在于严格。
7.6 DAIMS 八维评分
DAIMS 是本编辑部用于横向比较数据集就绪度的八维框架,分描述层、结构层、访问层三组,每维按 1 至 3 分打分。
| 维度 | 组别 | 得分 | 依据 |
|---|---|---|---|
| 描述层身份与边界 | 描述层 | 2 | 名称、机构、时间、地名明确;但宣称规模与可下载规模需自行比对文档才能厘清 |
| 描述层文档完备度 | 描述层 | 2 | 六个文档页与字段图例齐全;严重度档位编号与论文口径不统一 |
| 结构层标识体系 | 结构层 | 3 | 患者、检查、发现三级键齐备,发现层用组合键避免重复行歧义 |
| 结构层层级一致性 | 结构层 | 2 | 层级清晰,但侧别字段两侧异名,合并易错 |
| 结构层模态配对 | 结构层 | 2 | 影像与表格可配对,但 DBT 缺失使多模态配对不完整 |
| 访问层开放程度 | 访问层 | 1 | 无公开匿名下载,须审批,凭证 90 天 |
| 访问层可复现性 | 访问层 | 2 | 桶内结构稳定,但无版本号与变更日志,增量放出削弱可复现 |
| 访问层许可清晰度 | 访问层 | 3 | 十一条条款完整,商用与权重发布限制表述明确 |
| 合计 | — | 17/24 | 结构与许可强,开放度与模态完整性弱 |
评分解读:17 分意味着这份数据集在「拿到之后能不能正确用」这一侧表现良好,短板集中在「拿到之前」——审批、时限、以及没有版本号带来的复现难度。若研究计划对可复现性有硬要求(例如预注册分析),应在方案里写明获取日期与表格文件哈希。
常见误读
| 常见说法 | 实际情况 | 证据 |
|---|---|---|
| 「EMBED 有 338 万幅图像可下载」 | 可下载的只有 48 万幅,约为全库图像数的一成四 | 官方仓库 README 的开放版统计表 |
| 「这是全库,只是打了折」 | 不是按图像抽样,是按患者队列切分,前两队列整体放出 | 官方结构文档的队列说明 |
| 「有 DBT 断层数据」 | 开放版只有 2D 与 C-view,DBT 因存储容器专有而不发布 | Open Data Registry 页面说明 |
| 「六万处病灶都可当检测标签」 | 其中约两成无法自动链接到具体发现,属模糊病例 | 论文局限性段落 |
「asses 是数字 0 到 6」 |
存的是字母 A/N/B/P/S/M/K,数字映射见图例 | 官方标签分配文档表 1 |
「path_severity 越大越严重」 |
0 最重、数值递增表示越轻,方向与直觉相反 | 官方标签分配文档表 2 |
| 「按检查键合并两张表就行」 | 单侧发现会被错误分派到双侧图像,必须按侧别合并 | 官方概览文档的合并说明 |
| 「没有病理就是阴性」 | 无标本的发现缺 path_severity,属未知而非阴性 |
官方标签分配文档的临床路径说明 |
| 「可以直接拿来做商业诊断产品」 | 协议仅授予学术非商业权利,且禁止商业化模型权重 | EMBED_license.md 第 1、5 条 |
| 「公开桶可以匿名 ls」 | 需凭据,凭据只发给审批通过的申请人,90 天有效 | 官方下载文档的前置条件 |
| 「整个数据集就 2.5 TB」 | 2.5 TB 是开放子集体积,全库为 16 TB | 官方下载文档与论文正文 |
| 「按时间平移后的日期可做年度趋势」 | 日期按患者平移,跨患者不可比,只能算患者内间隔 | 官方结构文档的日期说明 |
FAQ
Q1:为什么不直接公开整个数据集?
三条约束叠加。其一,全库含未完全脱敏的 3D 容器与更多人口学字段,放大需要额外审查。其二,协议把分发权收归埃默里,逐人注册才能追责。其三,分批放出使团队可以在早期发现字段问题并修正,而不是一次性把问题铺开。
Q2:开放版和全库的字段一样吗?
字段体系一致,_reduced 精简版是额外的便利。开放版少的是行与列的组合——没有 3D 行,也没有对应的帧索引坐标填充。
Q3:90 天到期后下载的数据要删吗?
协议没有要求删除已下载副本,要求的是不得转给他人、不得公开再分发。凭证过期只影响继续下载。
Q4:能否在论文里公布基于 EMBED 训好的模型?
需要事先取得埃默里医学院的书面许可。协议第 5 条明确把「公开发布或商业化模型、权重、嵌入空间」列为须经许可的行为。
Q5:能否把数据放到机构内网共享盘给同事用?
不可以。协议第 3 条与第 6 条要求同机构的其他使用者各自注册。
Q6:同一患者被分到两个队列怎么办?
不会发生。队列在患者级划分,官方明确说明队列间患者与检查均无重叠。
Q7:num_ROI 与坐标列表长度对不上怎么办?
正常情况下应相等。若不等,说明该行列解析失败或数据行被截断,应丢弃该行而不是强行对齐。
Q8:开放版里有没有男性乳腺影像?
没有。纳入标准为 18 岁以上女性。密度字段中保留了男性取值编码,但在开放子集中不应出现实体行。
Q9:能不能用它做外部验证集?
可以,但方向要摆正。它是美国东南部单系统队列,适合作为「跨洲外部验证」的一方,不适合作为「全球代表性」的一方。
Q10:论文里的 16 TB 和文档里的 2.5 TB 差在哪?
16 TB 是全库(含 DBT 断层序列,这类序列单次检查就有数十到上百幅)。2.5 TB 是开放版的 2D 与 C-view 子集。
Q11:C-view 和 2D 能混着训练吗?
技术上可以,但要显式建模两者的像素统计差异。C-view 由断层重建合成,纹理与真实 2D 不同,混合训练时建议把图像类型作为协变量或单独做归一化。
Q12:什么时候会有 3D?
官方说法是「后续添加」,未给时间。按年增量的节奏推断,可能逐年释出,但不能把推断当承诺写进项目计划。
Q13:重复下载会不会重复计费?
数据下载由 AWS 开放数据计划承担,申请人不需要自备账号,也不产生存储或流量费用。凭证是访问控制手段,不是计费凭证。
Q14:描述词字段全是空的怎么办?
先确认筛的是哪一类发现。描述词由原始报告结构化而来,部分发现报告里只写了「随访」而未列描述词,空值是信息性缺失而非录入错误。
Q15:能不能算每位受检者的检查次数?
能。患者键在库内一致,可以按患者分组计数。但不能据此推算「年度筛查依从率」,因为只覆盖在本系统内就诊的次数。
Q16:数据集有没有伦理批号可引用?
论文与许可协议可引用,许可证本身即为使用依据。具体伦理审查批号需查阅论文的方法学部分或向发布方索取。
术语表
| 术语 | 英文 | 含义 |
|---|---|---|
| 钼靶 | Mammography | 用低能 X 线对乳腺成像的检查,钼为其早期靶材 |
| 全视野数字摄影 | FFDM | 数字化平板探测器一次成幅的乳腺摄影 |
| 数字乳腺断层合成 | DBT | 沿弧线多次低剂量曝光重建出断层序列的三维技术 |
| 合成二维图 | C-view | 由断层序列重建出的一幅类二维图,用于替代真实二维 |
| 视图体位 | View Position | CC 为头尾位,MLO 为内外斜位,标准筛查摄四幅 |
| 乳腺影像报告与数据系统 | BI-RADS | 放射学会的标准化判读词典,含分级与描述词两套 |
| BI-RADS 判读 | Assessment | 从阴性到已证实恶性的有序分级,本文中为字母编码 |
| 乳腺密度 | Breast Density | 腺体与纤维组织占乳腺面积的比例,分 A 至 D |
| 影像发现 | Finding | 一次检查中放射科医生报告的一处可疑之处,为临床表行粒度 |
| 感兴趣区 | ROI | 阅片时圈画的病灶范围,本数据中换算为外接矩形 |
| 病理严重度 | Path Severity | 由标本病理归纳的六档分组,数值越小越重 |
| 筛查检查 | Screening | 无症状人群的例行检查 |
| 诊断检查 | Diagnostic | 针对症状或筛查异常所做的进一步检查 |
| 患者主索引 | EMPI | 医院内跨系统唯一的患者标识,此处已匿名 |
| 登记号 | Accession | 一次检查的唯一编号 |
| 点压放大 | Spot Compression | 局部加压或放大的特殊视图,用于看清细节 |
| 队列 | Cohort | 患者级的随机分组,开放版含前两个 |
| 去标识化 | De-identification | 移除直接标识符并平移日期以降低再识别风险 |
附录 A 速查卡
| 项 | 值 |
|---|---|
| 数据集简称 | EMBED |
| 英文全称 | EMory BrEast Imaging Dataset |
| 构建单位 | Emory University School of Medicine, HITI Lab |
| 托管平台 | AWS Open Data |
| 桶名 | s3://embed-dataset-open |
| 全库检查数 | 364,896 |
| 全库图像数 | 3,383,659 |
| 全库受检者 | 115,910 |
| 开放检查数 | 76,373 |
| 开放图像数 | 480,323 |
| 开放受检者 | 22,382 |
| 开放体积 | 约 2.5 TB |
| 采集窗口 | 2013-01 至 2020-12 |
| 模态 | 2D FFDM + C-view |
| 标注 | ROI 矩形框 + BI-RADS 描述词 + 病理严重度 |
| 许可 | 埃默里研究使用协议(学术非商业) |
| 访问 | 门户申请,凭证 90 天 |
| 论文 DOI | 10.1148/ryai.220047 |
附录 B 字段速查
| 场景 | 需要的字段 | 所在的表 |
|---|---|---|
| 找一位受检者的全部检查 | empi_anon |
两表 |
| 找一次检查的全部影像 | acc_anon |
两表 |
| 判断该检查是筛查还是诊断 | desc |
临床表 |
| 取 BI-RADS 判读 | asses |
临床表 |
| 取乳腺密度 | tissueden |
临床表 |
| 取肿块描述词 | massshape / massmargin / massdens |
临床表 |
| 取钙化描述词 | calcfind / calcdistri |
临床表 |
| 取病理结果 | path1 至 path10 |
临床表 |
| 取严重度标签 | path_severity |
临床表 |
| 取人口学属性 | RACE_DESC / ETHNIC_GROUP_DESC |
临床表 |
| 筛图像类型 | FinalImageType |
元数据表 |
| 筛侧别 | ImageLateralityFinal |
元数据表 |
| 筛视图体位 | ViewPosition |
元数据表 |
| 排除特殊视图 | spot_mag |
元数据表 |
| 取病灶框 | ROI_coords(配 num_ROI) |
元数据表 |
| 拼下载路径 | anon_dicom_path |
元数据表 |
附录 C 口径对照
| 争议点 | 一种说法 | 另一种说法 | 处理建议 |
|---|---|---|---|
| 图像总数 | 338 万(论文要点) | 365 万(论文正文) | 引用论文要点精确值,注明口径 |
| 受检者数 | 11.6 万(论文) | 11 万(仓库取整) | 用精确值 |
| 病灶框数 | 六万(门户页面) | 四万(论文正文) | 两个都写,注明差别源于模糊病例 |
| 严重度档数 | 六组(标签文档) | 七组(字段说明) | 以实际取值分布为准 |
| 开放比例 | 两成(按患者队列) | 一成四(按图像数) | 说明两种算法各自的基准 |
| 数据体积 | 16 TB(全库) | 2.5 TB(开放版) | 分别标注 |
| 密度档数 | A 至 D 四档 | 另有男性取值 | 女性受检者按四档 |
附录 D 使用前的七项确认
- 确认手上的图像数与自己论文里写的数字一致,并写清是全库还是开放版。
- 确认筛选 BI-RADS 时用的是字母而非数字。
- 确认
path_severity的比较方向,并先跑一次取值计数。 - 确认合并两张表时按检查键与侧别双键,而非单键。
- 确认无病理的发现被标为未知而非阴性。
- 确认没有尝试在论文中公开模型权重,或已取得书面许可。
- 确认记录了获取日期,并对表格文件留了哈希。
附录 E 与库内乳腺数据集的关系
| 数据集 | 规模量级 | 与 EMBED 的关系 |
|---|---|---|
| CBIS-DDSM | 数千幅胶片扫描 | 早期小规模精标注集,像素域不同,可作方法学参照 |
| INbreast | 数百例全视野数字 | 小规模数字摄影,适合做外部验证的细粒度对照 |
| VinDr-Mammo | 五千例四视图 | 东南亚人群,与 EMBED 的分层设计正好互补 |
| MIAS | 三百余幅胶片 | 历史基准,规模过小,仅作教学 |
| BCDR | 数千例 | 中东人群,可用于跨人群公平性对照 |
| 3D-Mammogram | 断层合成 | 补上 EMBED 开放版缺失的断层模态 |
| VinDr-Mammo | 同上 | 病灶框体系与 EMBED 可比,但判读人数与词典细则不同 |
§8 在生态中的位置
8.1 它填的是哪一格
按「规模 × 人口学分层 × 描述词粒度」三个轴排布乳腺公开数据集,可以看出一块明显的空缺:规模过万且带描述词的空缺。小规模的精标注集(CBIS-DDSM、INbreast、MIAS)在粒度上很强但量太小,无法支撑分层分析;大规模筛查队列(如北欧与英国的筛查项目衍生数据)量够但受限于本国人口同质性,且多数不公开描述词;介于两者之间的区域,长期只有少数几个数据集。
EMBED 落在这块空缺里,并且是唯一一个把「非裔受检者占比」作为核心设计目标的数据集。这个选择不是偶然——构建方所处的亚特兰大都会区本身就有很高比例的非裔人口,数据是既有临床实践的反映,不是为凑比例而抽样。
8.2 与同类数据集的互补关系
与 VinDr-Mammo 的关系最值得展开。后者是越南两院五千例四视图,规模小一个量级,但病灶框由三名放射科医师双读加仲裁,一致性统计可查;EMBED 的框来自单读者阅片圈画,没有一致性指标。两者放在一起,一个提供「高质量小样本的判读严谨性」,一个提供「大规模单人判读的真实性」,适合做「标注协议差异对模型性能影响」的研究。
与 3D-Mammogram 的关系是模态互补。EMBED 开放版没有断层数据,而有断层需求的研究正好可以拿另一个数据集补上;反过来,3D-Mammogram 的样本量远小于 EMBED,做大规模预训练时仍需回到 EMBED 的 2D 与 C-view。
8.3 为何能持续
这类临床数据集的存续依赖三件事:机构持续投入(埃默里 HITI 实验室的长期建制)、监管许可(协议把分发权收归机构从而控制风险)、以及学术回报(论文被频繁引用带来机构声誉)。三者中任何一环断裂,数据集都会停滞。目前看第一环与第二环都很稳固,第三环的表现也不错——发表两年多来已成为影像公平性研究的标准引用对象之一。
§9 引用与合规要点
9.1 方法段落该写什么
一段合格的数据描述应包含:数据集全称与论文引用、获取日期、使用的子集(说清是全库还是开放版、用了哪些队列)、图像类型筛选条件、标签构造方式(尤其是严重度聚合规则)、以及受检者与检查的实际计数。
省略「只用开放版」这一句,是审稿中最常见的瑕疵。审稿人只需对照论文的 338 万幅与文中的样本数,就会要求补充说明。
9.2 许可条款要写进哪里
若研究涉及模型权重的公开,许可第 5 条必须在伦理声明或数据可用性声明中出现,说明是否已取得书面许可。若未取得许可而公开权重,即便数据本身只用于训练,也可能被认定为违反协议。
9.3 不能做什么
不得转发下载链接、不得在机构内共享已下载数据、不得尝试再识别、不得用于临床诊断、不得商业化。这五条是协议中最容易被忽视、后果又最实际的部分。
§10 一句话总结
EMBED 的价值在于把「规模」「人口学分层」「放射科描述词」三件事同时做进了同一份乳腺影像数据,代价是当前只能取到其中两成、且必须走审批与年度增量这条慢路。用之前先把「全库还是开放版」这个问题问清楚,后面九成误解都能避免。
编辑说明
词条依据的官方来源集中在四处:Open Data Registry 页面(规模、许可、更新频率)、官方文档站六个页面(结构、字段、标签、ROI、下载)、GitHub 仓库 README(开放版四项精确统计)、以及 Radiology: Artificial Intelligence 论文正文(全库精确统计、人群构成、局限性)。四处口径不一致时,本词条的做法是并列给出并注明各自出处,不擅自择一。
未覆盖的内容包括:受检者的详细族裔与年龄分布细节、各描述词的取值频率、设备型号构成的具体计数、以及开放两队列的癌症阳性率。这些属于分布类统计,且部分数值在官方页面中未给出精确值,为避免推算,词条中不写。
核对时间:2026-10-29。核对方式:逐页比对官方页面文本,不下载数据文件重算。若官方后续更新了队列数或字段名,以官方文档站为准。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- cbis-ddsm — 共享标签:医学影像 / 乳腺影像 / X光影像 / 乳腺癌
- vindr-mammo — 共享标签:医学影像 / 乳腺影像 / X光影像 / 乳腺癌
- cmmd — 共享标签:医学影像 / 乳腺影像 / X光影像 / 乳腺癌
- copdgene — 共享标签:医学影像 / X光影像 / 队列研究
- chest-imagenome — 共享标签:医学影像 / X光影像 / 队列研究
- tcga-brca — 共享标签:医学影像 / 乳腺影像 / 乳腺癌
- 3d-mammogram — 共享标签:医学影像 / 乳腺影像 / X光影像 / 乳腺癌
- busi — 共享标签:医学影像 / 乳腺影像 / 乳腺癌
- inbreast — 共享标签:医学影像 / 乳腺影像 / 乳腺癌
- chexchonet — 共享标签:医学影像 / X光影像 / 队列研究
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

