信息速览
INFOBOX — PatchGastricADC22 一屏速览
维度 内容 本质 胃腺癌内镜活检 H&E 全切片(WSI)抽取的 300×300 病理 patch 与诊断 caption 图文配对数据集(非挑战赛、非新采集) 团队 Medmain Research(作者 Masayuki Tsuneki、Fahdi Kanavati);标本来自 IUHW 三田医院(东京) 论文 arXiv:2202.03432《Inference of captions from histopathological patches》(2022,OpenReview 收录) 规模 991 张 H&E WSI(991 名患者)× 262,777 张 300×300 patch(x20);另有 x10 口径 67,125 张 标注 每张 WSI 一条诊断 caption(提取自常规病理报告、日译英),词表 277 词、最大句长 50 词 任务 病理图像描述生成(image captioning)/图文对预训练/多示例学习(MIL)captioning 划分 70% 训练 / 10% 验证 / 20% 测试(按亚型分层) 获取 Zenodo 公开直链(CC-BY-4.0),patches_captions.zip 7.2 GB + captions.csv 代码 GitHub masatsuneki/histopathology-image-caption(train.py + Dockerfile + captions.csv)一句话 把「一张病理切片 = 一份诊断报告」的临床现实,做成 26 万张 patch 的图文对齐语料
§0 导读:这个数据集解决什么问题
计算病理学(computational pathology)近几年进展飞快,分类、分割、检测任务都有成熟基线与公开数据集。但有一个环节长期被冷落:病理报告本身的自动生成。病理医师写报告时的输入是整张全切片图像(whole slide image, WSI),输出是一段用规范术语描述组织学类型与分化程度的诊断文字。这种「一张大图 → 一段文本」的映射,与自然图像的图像描述(image captioning)任务同构,却缺少成规模、可直接训练的中文/英文公开语料。
PatchGastricADC22 就是为补这个缺口而生的。它做了一件非常「临床现实」的事:从 991 张胃腺癌(gastric adenocarcinoma)内镜活检(endoscopic biopsy)的 H&E 染色全切片里,切出 262,777 张 300×300 像素的 patch,并为每一张 WSI 配上一段从其对应病理诊断报告中提取的诊断描述(caption)。于是,「一张切片 = 一份报告」的真实工作流,被转换成了「一组 patch + 一条 caption」的可训练图文对。
这个设计有一个关键取舍值得读者一开始就抓住:caption 是 WSI 级的,不是 patch 级的。也就是说,同一张 WSI 切出的几百张 patch,共享同一条诊断描述。这既降低了标注成本(不需要病理医师逐块描述),也把任务天然导向了多示例学习(multiple instance learning, MIL):模型需要从一组 patch 里聚合出切片级的语义,再生成整段描述。它精确地近似了现实场景——一位病理医师对着整张切片写下一段诊断。
数据集由 Medmain Research 的 Masayuki Tsuneki 与 Fahdi Kanavati 制作,2021 年 12 月首发于 Zenodo,配套论文《Inference of captions from histopathological patches》见 arXiv:2202.03432。它采用 Creative Commons Attribution 4.0 International(CC-BY-4.0)许可公开,任何研究者都可从 Zenodo 直接下载完整的 7.2 GB patch 压缩包与 264.5 kB 的 caption 映射表。
一句话定位:如果你在做病理图文多模态、报告自动生成、或想给病理基础模型加一层语言监督信号,PatchGastricADC22 是目前少有的、以「切片级诊断描述」为核心组织的公开语料之一。
§1 数据集速览:十问十答
Q1:它到底是什么?
一个胃腺癌内镜活检的病理 patch 图文对数据集。991 张 H&E 全切片被切成 262,777 张 300×300 patch,每张切片绑定一条从病理报告提取的诊断 caption。
Q2:谁做的?
Medmain Research(日本),作者 Masayuki Tsuneki 与 Fahdi Kanavati。标本采集自 International University of Health and Welfare(IUHW)三田医院(Mita Hospital,东京)外科病理档案。
Q3:什么时候发布的?
Zenodo 首发 2021-12-17(v1.0.0);GitHub 仓库 2022 年 1 月建库;论文 arXiv:2202.03432 于 2022 年 2 月公开。
Q4:有多少数据?
262,777 张 patch(x20 放大),来自 991 张 WSI、991 名患者。另有一套 x10 放大口径的 67,125 张 patch。压缩包 7.2 GB。
Q5:patch 多大?
300×300 像素,非重叠切取,已剔除空白区域。
Q6:标注是什么形式?
每条 WSI 对应一条英文 caption,描述组织学类型与分化程度(如 tubular adenocarcinoma, well/moderately/poorly differentiated)。caption 从日文诊断报告翻译而来,词表 277 词,最大句长 50 词。
Q7:怎么划分子集?
按亚型(subtype)分层的 70% 训练 / 10% 验证 / 20% 测试。第三方论文(Nature Sci Rep 2026)转述为 800 / 91 / 100 张,即约 8:1:1,与 70/10/20 一致。
Q8:任务是什么?
病理图像描述生成——用 patch 特征预测 WSI 级 caption;也广泛用于图文对比预训练、多示例学习 captioning、报告生成。
Q9:怎么获取?许可是什么?
Zenodo 公开直链下载(patches_captions.zip + captions.csv)。许可是 CC-BY-4.0(Zenodo Rights 字段明列)。GitHub 仓库另注明研究用途。
Q10:有没有官方排行榜?
没有。这是公开数据集而非挑战赛,论文只报了基线注意力模型的结果(“promising results”),没有 leaderboard。
§2 数据构成与规格
2.1 规模、来源与机构构成
PatchGastricADC22 的全部素材来自单一机构的病理档案:International University of Health and Welfare(IUHW)三田医院(东京,日本)的外科病理文件。数据集包含 991 张 H&E 染色切片,每张来自不同患者。这批切片全部在 x20 放大倍率下数字化为全切片图像。
这一点是理解数据集边界的关键:991 张 WSI 对应 991 名患者,患者与切片一一对应,不存在同一患者多张切片的情形(这与很多同时含多张切片的 WSI 数据集不同,简化了患者级数据划分)。
切片挑选是回顾性的(retrospective)。作者「随机选取病例,以更贴近腺癌亚型的临床分布(clinical distribution)」,并且全部病例经三名病理医师复核确认腺癌诊断。这种「先随机选、再由多名病理医师确认」的流程,兼顾了临床分布真实性与标签可靠性。
为什么要强调「临床分布」?很多病理数据集为了类别均衡会刻意挑选样本,导致类别分布与真实临床人群脱节。PatchGastricADC22 反过来强调「贴近临床分布」,意味着它的亚型分布本身就是真实胃腺癌人群的一个缩影——这对做真实世界部署的团队尤其重要,但也意味着类别天然不均衡(见 §2.3)。
2.2 patch 抽取规格与双倍率口径
patch 抽取的工艺流程,论文给出了明确参数:
- 区域限定:作者先对标本做宽松标注(loosely annotating),只框出含腺癌病灶的区域,以尽量减少非腺癌区域的抽取。
- 尺寸与重叠:切取 300×300 像素 patch,非重叠,并剔除空白区域。
- 双倍率:patch 在 x10 和 x20 两个放大倍率下分别抽取——x20 得到 262,777 张,x10 得到 67,125 张。
口径提示:对外宣传与大多数引用(包括本条目)默认指的 262,777 张,是 x20 口径。若你的任务需要更大视野(每 patch 覆盖更大组织区域),x10 的 67,125 张可能更合适,但数量少得多。两套 patch 是否共享同一 70/10/20 划分,官方文档未明确说明,属于遗留疑点(见 §9)。
由于标本本身大小、腺癌区域范围都高度可变,每张 WSI 切出的 patch 数量极不均匀。第三方论文(Nature Sci Rep 2026)转述的统计为:平均每张切片约 265 张 patch,范围从 2 张到 1,860 张,标准差很大。这意味着:如果按 patch 数加权,少数大切片会主导训练;如果按 WSI 加权(MIL 常见做法),则每张切片等权。
2.3 类别体系与亚型分布
captions.csv 提供三列:id(所属 WSI 标识)、subtype(腺癌亚型)、text(诊断 caption)。subtype 是官方给出的类别标签,caption 则是自由文本描述。
第三方镜像数据(Kaggle)给出的亚型分布包括:
- Well differentiated tubular adenocarcinoma(高分化管状腺癌):约 22%
- Moderately differentiated tubular adenocarcinoma(中分化管状腺癌):约 21%
- **Poorly differentiated adenocarcinoma / Signet ring cell carcinoma(低分化腺癌 / 印戒细胞癌)**等:归入长尾
分布特征:高分化与中分化管状腺癌合计约四成,其余近六成是长尾亚型(Kaggle 镜像将其聚合为「Other」)。这是典型的真实临床分布——常见亚型占多数,但长尾种类繁多且每类样本稀少。做亚型分类时要特别注意长尾类的样本量可能不足以支撑独立评估。
2.4 caption 规格:词表、句长与翻译来源
caption 的规格有三个硬数字(arXiv 与 Nature 旁证一致):
- 词表大小:277 词
- 最大句长:50 词
- 语言:英文(从日文诊断报告翻译)
caption 的生成链条值得单独说明:原始报告由院内多位病理医师在常规临床工作中生成(且这些医师并非本研究成员),随后由两名专家病理医师从日文翻译为英文。这是因为数据采集是回顾性的——报告先于研究存在,研究者只是把它们「翻译并配对」。
这一链条带来两个后果:
- 措辞存在中等变异(moderate linguistic variability):不同病理医师写报告风格不同,加上翻译环节,caption 之间会有部分重复但也存在表达差异。对生成模型来说,这既是挑战(同类病例表述不一致)也是真实性的体现。
- 受控词表 + 受限句长:277 词词表、50 词上限,说明 caption 被刻意压缩为规范化、简短的诊断陈述,而非长篇报告。这降低了语言建模难度,也意味着 caption 的信息密度有限——主要覆盖组织学类型与分化程度,不包含分期、分子标志物等更细的临床信息。
2.5 与「胃/胃肠病理」邻近数据集的边界
库内已有若干胃/胃肠病理数据集,读者容易混淆,这里明确边界:
| 数据集 | 库内 rid | 与 PatchGastricADC22 的区别 |
|---|---|---|
| unitopatho | 701 | 胃/结直肠病理 patch 分类数据集,标注是类别而非自由文本 caption |
| compas-gi-histopathology | 988 | 胃肠道病理分割数据集,任务是逐像素区分组织类型 |
| PatchGastricADC22 | 本条目 | 唯一以**图文对(caption)**为核心组织的胃腺癌 patch 数据集 |
一句话:unitopatho/compas 解决「这块组织是什么/边界在哪」,PatchGastricADC22 解决「这张切片该怎么用文字描述」。三者互补而非替代。
§3 制作团队与数据谱系
3.1 团队与机构
PatchGastricADC22 由 Medmain Research(日本的一家数字病理 AI 研究机构)出品,作者为 Masayuki Tsuneki 与 Fahdi Kanavati。数据集署名机构为 Medmain Research,而标本来源为 International University of Health and Welfare(IUHW)三田医院(东京)。
需要区分三个层次:
- 出品/署名方:Medmain Research(数据集制作与论文);
- 标本来源方:IUHW 三田医院外科病理档案(991 张切片);
- 报告来源方:三田医院内多位非本研究成员的病理医师(原始诊断报告)。
3.2 病理质控环节
数据集的质量控制由病理专家完成,具体体现在三个节点:
- 诊断复核:全部入选病例经三名病理医师复核,确认腺癌诊断;
- 报告翻译:原始日文诊断报告由两名专家病理医师译为英文;
- 区域标注:抽取 patch 前的「腺癌区域宽松标注」由病理专家执行,以减少非腺癌区域混入。
三个人工节点保证了「图像—文本」两端的一致性与专业性:图像端限定在腺癌区域,文本端来自真实诊断报告并专业翻译。
3.3 谱系与后续影响
PatchGastricADC22 是 Medmain Research 在「病理图文」方向的一个公开产出。它的下游采用已出现:Nature Scientific Reports 2026 的一篇论文提出多示例注意力 captioning 模型(MIAC),以 PatchGastricADC22 作为训练与内部验证集,并在 Gachon University Gil Hospital 的独立临床数据集(105 张 WSI、12,788 张 patch,IRB GBIRB2024-121)上做外部测试。这是该数据集第三方外部采用的直接证据,也印证了它作为「切片级诊断描述生成」基准的实用价值。
审慎提示:第三方采用(external validation)本身就是对数据集可用性的检验。MIAC 论文选择它做训练集、另找外部集做测试,恰恰说明 PatchGastricADC22 的短板(单一机构、单一医院)是研究者已知的——这也是为什么外部测试要找另一家医院。
§4 任务设定与使用范式
4.1 官方任务:从 patch 特征预测 caption
论文给出的基线任务是:从 patch 提取特征 → 预测 WSI 级 caption。作者训练了基于注意力的(attention-based)基线模型,报告了「promising results(有前景的结果)」。这确立了数据集的核心任务范式——多示例 + 文本生成。
流程上可拆为两段:
- 特征提取:对每张 patch 用 CNN/基础模型提特征;
- 注意力聚合 + 解码:用注意力机制聚合该 WSI 的所有 patch 特征,再解码生成整段 caption。
4.2 三种典型使用范式
范式 A:多示例学习 captioning(MIL captioning)
把一张 WSI 的全部 patch 视为一个「包(bag)」,用一个 caption 作为包的标签,训练模型生成描述。这是最贴合数据集原始设计的用法。
范式 B:图文对比预训练(vision-language pretraining)
把 (patch 特征, caption) 作为正样本对做对比学习,为病理基础模型注入语言监督信号。注意此处 caption 是切片级,需要把包内 patch 与切片级文本对齐。
范式 C:图像描述基线/评测
作为病理报告生成模型的训练或评测数据,与其它图文数据集(如放射报告数据集)横向比较。
4.3 patch 级别的标注边界(使用者必读)
必须反复强调的一个点:除 subtype 列外,数据集不提供 patch 级文本标注。同一张 WSI 的所有 patch 共享同一条 caption。
这意味着:
- 不能把每个 patch 当成一个独立的「图像—文本」对来使用(除非你接受噪声标签);
- 可以用 patch 特征 + 包级 caption 做 MIL;
- 可以用
subtype列做切片级或(近似)patch 级的亚型分类辅助。
常见误读:部分镜像站点(如 Kaggle)在描述中写「每个 patch 对应一条 caption」,这与一手来源(arXiv/Zenodo)不符——一手明确是「每张 WSI 配对一条单一 WSI 级 caption」。Kaggle 的表述系将
captions.csv的逐行映射误解为逐 patch 独立标注。请以一手口径为准(见 §9 双口径存照)。
4.4 一个实用的工程注意点
由于 patch 数高度不均(2–1,860),batch 内按 patch 打包会引入严重长度差异。工程上通常需要:对包内 patch 做采样/截断、或用注意力池化对包大小不敏感、或按包大小分桶(bucket)以稳定显存。这是使用该数据集时最常见的第一个坑(见 §10)。
§5 评估与下游表现
5.1 论文基线
论文的贡献是「编数据集 + 训练基线」。基线为注意力模型,由 patch 特征预测 caption,作者称结果「有前景」。数据集没有官方挑战赛,没有 leaderboard,没有公开评测服务器——这与 PANDA、Camelyon 等挑战赛型数据集的组织形态完全不同。
5.2 第三方外部采用
最有价值的「表现证据」来自数据集之外:Nature Sci Rep 2026 的 MIAC 研究以 PatchGastricADC22 为训练/内部验证集,在一个 105 张 WSI 的独立临床集上做外部测试。该工作提出的是「亚型无关、置换不变(subtype-free, permutation-invariant)」的多示例注意力 captioning 框架,其动机之一就是应对活检 WSI 「patch 数与 patch 顺序天然可变」的现实。
这从侧面说明:PatchGastricADC22 的「切片级 caption + 可变 patch 数」特性,恰好推动了研究者设计对包大小与顺序不敏感的模型架构——这本身就是数据集设计对领域方法学的一种牵引。
5.3 指标惯例
数据集本身不附带官方指标,但下游工作通常报告文本生成的标准指标:
- BLEU-n、ROUGE-L、METEOR、CIDEr(captioning 常规指标);
- 以及临床相关的一致性/正确性评估(因 caption 是诊断级文本,纯 n-gram 指标可能不够)。
读数字的提醒:由于 caption 词表仅 277 词、句长上限 50 词且存在重复表达,n-gram 类指标(尤其 BLEU)可能被「高频套话」显著抬高。评估时建议辅以人工或语义级指标,避免被表面流畅度误导。
§6 获取与许可:CC-BY-4.0 的门
6.1 官方获取渠道
PatchGastricADC22 的获取路径非常直接,无需申请:
- 数据本体:Zenodo 记录
10.5281/zenodo.6550925,文件patches_captions.zip(7.2 GB); - caption 映射:同一记录的
captions.csv(264.5 kB); - 代码:GitHub
masatsuneki/histopathology-image-caption(含train.py、Dockerfile、requirements.txt、captions.csv)。
注意双记录:Zenodo 上存在记录
6550923与6550925两条,指向同一资源(patches_captions.zip的 md5 均为e02010e8a07aa26b8b006c6fd79628eb)。引用时建议优先使用带完整元数据的6550925。
6.2 许可口径(重点)
权威口径:CC-BY-4.0。 Zenodo record 6550925 的 Rights 字段明确列出 Creative Commons Attribution 4.0 International(附 cc-by 图标与 legalcode 链接),Resource type 为 Dataset。
任务头证伪记录:派发简报曾记「MIT 许可」,经一手核验(Zenodo Rights 字段)证伪——正确许可为 CC-BY-4.0,非 MIT。全文以 CC-BY-4.0 成稿。
双口径存照:GitHub 仓库 README 末尾另有一句「Dataset is provided for research use only(数据集仅供研究用途)」。这与 Zenodo 的 CC-BY-4.0(允许商用、要求署名)在措辞上存在落差。
- 如何理解:Zenodo 的 Rights 字段是数据本体的正式许可声明(CC-BY-4.0,允许再分发与再利用,须署名);GitHub 的「research use only」更可能是仓库作者对代码/数据用途的笼统声明,而非覆盖 Zenodo 许可的独立协议。
- 实践建议:学术使用按 CC-BY-4.0 署名即可;若涉及商业用途,建议就「research use only」措辞向作者确认,避免许可解释风险。
6.3 引用要求
CC-BY-4.0 要求署名。官方给出的 BibTeX 为:
- Tsuneki, M. & Kanavati, F. (2022). Inference of captions from histopathological patches. arXiv:2202.03432。
同时建议引用 Zenodo DOI(10.5281/zenodo.6550925)以指明具体数据版本。
6.4 AI-Ready 视角评估
从「AI-Ready(可直接用于 AI 训练/评测)」角度,本数据集的表现:
| 维度 | 评价 |
|---|---|
| 可获取性 | 优秀——公开直链,无申请门槛,无表单审批 |
| 许可清晰度 | 良好——Zenodo CC-BY-4.0 明确;但仓库「research use only」措辞带来少量不确定性 |
| 格式规范 | 良好——JPG patch + CSV 映射,命名规则清晰({id}_{hash}.jpg) |
| 标注完备度 | 中等——仅切片级 caption + subtype,无 patch 级文本、无空间标注 |
| 机构多样性 | 偏弱——单一医院(三田医院),跨机构泛化需额外验证 |
| 规模 | 良好——26 万 patch,对图文/多示例任务足够 |
结论:这是一个「开门容易、口径清晰、但机构单一、标注粒度粗」的 AI-Ready 数据集。适合做图文多模态与报告生成的原型与基准,做跨机构部署前必须另找外部验证集。
§7 生态与互链:病理数据集图谱中的位置
7.1 胃/胃肠病理数据集家族
PatchGastricADC22 与库内两个条目构成最紧密的「胃肠病理三件套」:
| 条目 | rid | 任务类型 | 标注形态 | 与本条目关系 |
|---|---|---|---|---|
| PatchGastricADC22 | 本条目 | 图文生成(captioning) | WSI 级诊断 caption | 胃腺癌内镜活检,图文对 |
| unitopatho | 701 | 图像分类 | 类别标签 | 胃/结直肠病理 patch,分类 |
| compas-gi-histopathology | 988 | 语义分割 | 逐像素掩码 | 胃肠道组织类型分割 |
三者的互补关系清晰:unitopatho 回答「这块是什么类别」、compas 回答「像素属于哪类组织」、PatchGastricADC22 回答「这张切片该如何用文字描述」。对一个想搭建完整病理 AI 流水线的团队,三者可分别用于分类、分割与报告生成环节。
7.2 WSI 级病理数据集家族
更广的生态里,还有一批以 WSI 为单位的病理数据集:
| 条目 | rid | 器官/任务 |
|---|---|---|
| panda / panda-plus | 27 / 560 / 640 | 前列腺 WSI 分级(Gleason/ISUP) |
| camelyon16-17 / camelyon16 / camelyon17 | 33 / 694 / 699 | 淋巴结转移检测(挑战赛) |
| prostate-cnb-wsi | 969 | 前列腺穿刺 WSI |
| bonemarrow-wsi | 901 | 骨髓 WSI |
| tcga | 25 / 566 | 泛癌种多组学/病理 |
| patchchestct | 925 | patch 命名体系邻居(CT 域) |
PatchGastricADC22 在这一家族中的独特性在于:它是少见的、以**「切片 → 文本」**为核心组织的数据集,而上述大多数数据集以「切片 → 类别/掩码」为核心。若你的研究关注病理图文多模态,PatchGastricADC22 是库里最直接的起点之一。
7.3 与 HER2 主题条目的关系
库内另有 sinus-her2-nuclei(rid=968),同属 HER2 相关的病理图像数据集,但两者关系需要澄清:PatchGastricADC22 的核心是胃腺癌图文 caption,并非 HER2 免疫组化(IHC)专用数据集。任务头简报曾将其描述为「胃腺癌 HER2 免疫组化 patch 数据集」,经一手核验,一手来源(arXiv/Zenodo/GitHub)均未将 HER2 作为数据集主题——数据集描述聚焦于 H&E 胃腺癌亚型与诊断 caption。
存照:任务头「HER2 免疫组化」表述未获一手来源支持,属派发环节的附加描述;全文按一手核验(H&E 胃腺癌图文对)成稿。
sinus-her2-nuclei(rid=968)与本条目同 HER2 大主题但不同团队、不同模态、不同任务,勿合并。
7.4 建议互链点(供主会话回填真实 rid)
- unitopatho(rid=701)——胃肠病理 patch 分类,同域互补
- compas-gi-histopathology(rid=988)——胃肠病理分割,同域互补
- camelyon16-17(rid=33)——WSI 挑战赛型数据集对照
- panda-plus(rid=640)——WSI 级病理数据集对照
- sinus-her2-nuclei(rid=968)——HER2 主题邻居(勿合并)
注意(R018 教训):正文与 frontmatter 的 relatedLink 只允许写已确认在架的 rid或占位
/0。本条目 relatedLink 采用已核实在架的 unitopatho(701)、compas-gi-histopathology(988)、camelyon16-17(33)、panda-plus(640)。真实 rid 由主会话入库后统一回填校准。
§8 方法学启示:三条可迁移的经验
8.1 「切片级文本监督」是被低估的监督信号
大多数病理数据集只提供类别或掩码。PatchGastricADC22 的价值不在图像质量(就是常规 H&E patch),而在它把临床报告变成了监督信号。这提示:医院里大量沉睡的诊断报告文本,本身就是与 WSI 天然对齐的弱标签,稍加整理即可成为图文预训练语料。
8.2 用「临床分布」而非「类别均衡」组织数据
作者刻意随机选取以贴近真实临床分布,而非人为平衡亚型。这让数据集更接近部署现实,但也带来长尾不平衡。取舍原则:如果你的目标是「真实世界可用」,临床分布优先;如果是「均衡评测各类亚型」,则需自行重采样。
8.3 双倍率抽取,给不同粒度任务留口子
同一切片在 x10 与 x20 两个倍率下抽取 patch,等于同一批切片提供了两种「视野粒度」。这对需要多尺度信息的下游任务(如先低倍定位、再高倍判读)很有价值——但也带来「两套 patch 划分是否一致」的工程疑问(见 §9)。
§9 双口径冲突与存照(检索者必读)
PatchGastricADC22 存在若干来源之间的口径差异,逐条存照如下:
9.1 arXiv 号:任务头 2211.16122 系误植
派发简报记的 arXiv 2211.16122,经实抓为完全无关论文:G-CMP(Graph-enhanced Contextual Matrix Profile),一篇关于传感器远程健康监测异常检测的 BMVC 2022 论文。正确 arXiv 号为 2202.03432(《Inference of captions from histopathological patches》,Tsuneki & Kanavati)。全文一律使用 2202.03432。
9.2 License:任务头 MIT 系误植
派发简报记「MIT 许可」,Zenodo Rights 字段实际为 CC-BY-4.0(Creative Commons Attribution 4.0 International)。GitHub 仓库另有「research use only」措辞。全文以 CC-BY-4.0 为准,研究用途声明存照。
9.3 WSI 数:991 vs 1305
- 一手来源(arXiv/Zenodo/GitHub README):991 张 WSI;
- Kaggle 镜像描述:1305 张 WSI。
裁定:以一手 991 为准。Kaggle 的 1305 可能混入 x10 口径切片计数或镜像二次整理误差,来源不明,属遗留疑点。
9.4 词表大小:277 vs 344
- 一手(arXiv/Nature 旁证):277 词;
- Kaggle 镜像:344 词。
裁定:以一手 277 为准。
9.5 划分比例:70/10/20 vs 800/91/100
- arXiv 原文:70% / 10% / 20%,按亚型分层;
- Nature Sci Rep 2026 旁证:800 / 91 / 100 张(≈8:1:1)。
裁定:两口径近似一致(70/10/20 应用于 991 张约为 694/99/198,与 800/91/100 略有出入,可能因分层后取整或论文转述口径差异)。两口径并存存照。
9.6 caption 粒度:每 WSI 一条 vs 每 patch 一条
- 一手:每张 WSI 一条 WSI 级 caption;
- Kaggle 镜像:每 patch 一条。
裁定:以一手为准,Kaggle 系误读 captions.csv 的逐行映射。
9.7 Zenodo 双记录
6550923 与 6550925 指向同一资源(zip md5 一致)。引用建议用 6550925。
9.8 遗留疑点清单
- x10 与 x20 两套 patch 是否共享同一划分——官方未明确;
- Kaggle 镜像的 1305/344 数值来源——未追溯采集脚本;
- GitHub 仓库是否有显式 LICENSE 文件——README 只有「research use only」文字,未逐一取文件;
- 每 WSI patch 均值 265(范围 2–1,860)——仅见 Nature 旁证,一手论文以图 B6 呈现分布,未给数值表。
§10 避坑清单:八个已踩过的坑
坑 1:把「每切片一条 caption」误当「每 patch 一条」
最容易踩的坑。数据集是 WSI 级 caption,同一 WSI 的几百张 patch 共享一条文本。若按 patch 独立配对训练,会引入大量重复标签。对策:用 MIL 包结构,或对包内 patch 采样。
坑 2:patch 数极不均按 patch 加权导致偏斜
每切片 patch 数从 2 到 1,860。按 patch 贡献加权会让大切片主导。对策:MIL 中按包等权,或做长度分桶。
坑 3:以为许可是 MIT
派发简报曾误记 MIT。实际是 CC-BY-4.0(Zenodo Rights)。对策:按 CC-BY-4.0 署名;商用前复核仓库「research use only」措辞。
坑 4:引用错误的 arXiv 号(2211.16122)
2211.16122 是无关的传感器异常检测论文。正确号是 2202.03432。对策:引用前核对论文标题与作者。
坑 5:混淆本体与镜像的统计数字
Kaggle 镜像给 1305 WSI / 344 词,与一手 991/277 不符。对策:引用统计时以 Zenodo/arXiv 一手为准。
坑 6:误以为有官方 leaderboard
这是公开数据集,不是挑战赛,无排行榜。对策:自建评测协议,报告时说明划分。
坑 7:忽略单一机构来源的泛化风险
全部 991 张来自三田医院一家。对策:跨机构部署前必须另找外部验证集(如 MIAC 论文用的 Gil Hospital 集)。
坑 8:用纯 n-gram 指标评估被套话误导
词表仅 277 词、句长限 50 词、表达有重复,BLEU 类指标易虚高。对策:辅以语义/人工评估。
DAIMS 对照表(数据集 AI 就绪度自评)
| DAIMS 维度 | 本数据集表现 | 说明 |
|---|---|---|
| Data(数据) | ★★★★☆ | 26 万 patch + caption,规模充足;图像质量常规 H&E |
| Acquisition(获取) | ★★★★★ | Zenodo 公开直链,无门槛 |
| Incentives(动机/许可) | ★★★★☆ | CC-BY-4.0 明确;仓库「research use only」略有落差 |
| Metadata(元数据) | ★★★☆☆ | captions.csv 含 id/subtype/text;缺 patch 级空间元数据 |
| Standards(标准) | ★★★★☆ | JPG + CSV,命名规则清晰;与通用 pathology 工具兼容 |
| Provenance(溯源) | ★★★★☆ | 机构、时间、病理复核节点均有记录 |
| Ethics(伦理) | ★★★☆☆ | 回顾性采集,伦理细节披露有限;caption 已去标识 |
| Representativeness(代表性) | ★★☆☆☆ | 单一医院、单一国家;亚型分布贴近临床但机构单一 |
§11 总结与决策指引
11.1 三句话总结
- PatchGastricADC22 是胃腺癌内镜活检 H&E 全切片的病理图文对数据集:991 张 WSI、262,777 张 300×300 patch、每张 WSI 一条诊断 caption。
- 它的核心价值在「文本监督」而非图像本身:把常规病理报告变成与 WSI 对齐的弱标签,服务于病理报告生成与图文多模态预训练。
- 它公开可得(Zenodo,CC-BY-4.0)、但机构单一(三田医院):适合做原型与基准,跨机构部署前须外部验证。
11.2 适合谁
- 做病理图文多模态(vision-language)的研究者;
- 做医学报告自动生成 / image captioning 的团队;
- 做多示例学习(MIL)、需要切片级文本监督的算法研究者;
- 想给病理基础模型加语言监督信号的工程团队;
- 做胃腺癌亚型相关分类/描述任务的临床 AI 团队。
11.3 不适合谁
- 需要像素级分割标注的任务(请用 compas-gi-histopathology,rid=988);
- 需要纯分类标签且不想处理文本的任务(请用 unitopatho,rid=701);
- 需要多机构/多国家泛化的评测(本数据集单一医院);
- 需要HER2 IHC 专用标注的任务(本数据集非 HER2 专用);
- 需要patch 级独立文本的任务(本数据集是切片级 caption)。
11.4 30 秒决策卡
| 你的需求 | 是否用 PatchGastricADC22 |
|---|---|
| 病理报告/描述自动生成 | ✅ 直接适用 |
| 图文对比预训练 | ✅ 适用(注意切片级对齐) |
| 胃腺癌亚型分类 | ⚠️ 可用 subtype 列,但非主任务 |
| 组织分割 | ❌ 用 compas-gi-histopathology |
| 跨机构泛化评测 | ⚠️ 需自备外部集 |
| HER2 IHC 分析 | ❌ 非本数据集主题 |
FAQ(高频问答 30 问)
A. 基础认知
A1. PatchGastricADC22 是什么?
胃腺癌内镜活检 H&E 全切片的病理 patch 图文对数据集:991 张 WSI 切成 262,777 张 300×300 patch,每张 WSI 配对一条诊断 caption。
A2. 名字里的 22 是什么意思?
指数据集创建年份 2022(论文版本),沿用作者命名习惯(同类还有 PatchCamelyon 等命名风格)。
A3. 谁做的、哪家机构?
Medmain Research,作者 Masayuki Tsuneki 与 Fahdi Kanavati;标本来自 IUHW 三田医院(东京)。
A4. 数据来自什么标本?
胃腺癌(gastric adenocarcinoma)内镜活检标本的 H&E 染色切片。
A5. 是公开数据吗?
是。Zenodo 公开直链下载,无需申请。
A6. 有对应论文吗?
有。arXiv:2202.03432《Inference of captions from histopathological patches》。注意不是 2211.16122(那是无关论文)。
B. 数据与规格
B1. 多少张 patch?
262,777 张(x20 口径)。另有 x10 口径 67,125 张。
B2. patch 多大?
300×300 像素,非重叠,剔除空白区域。
B3. 来自多少张切片、多少患者?
991 张 WSI,来自 991 名不同患者(一一对应)。
B4. 标注是什么?
每张 WSI 一条英文诊断 caption,描述组织学类型与分化程度。
B5. caption 是每人(每 patch)一条吗?
不是。是每张 WSI 一条,切片内所有 patch 共享。这是最易误读之处。
B6. caption 从哪来?
从对应 WSI 的常规病理诊断报告提取,由两名专家病理医师从日文译为英文。
B7. 词表和句长?
277 词词表,最大句长 50 词。
B8. 有没有亚型标签?
有。captions.csv 的 subtype 列给出腺癌亚型(如 well/moderately differentiated tubular adenocarcinoma、signet ring cell carcinoma)。
B9. 每张切片的 patch 数一样吗?
不一样,高度不均:平均约 265 张,范围 2 至 1,860 张。
B10. 怎么划分训练/验证/测试?
按亚型分层的 70% 训练 / 10% 验证 / 20% 测试(另一口径转述为 800/91/100)。
C. 获取与许可
C1. 在哪下载?
Zenodo 记录 10.5281/zenodo.6550925,文件 patches_captions.zip(7.2 GB)+ captions.csv(264.5 kB)。
C2. 许可是什么?
CC-BY-4.0(Creative Commons Attribution 4.0 International),Zenodo Rights 字段明列。不是 MIT。
C3. 可以商用吗?
CC-BY-4.0 允许商用并要求署名;但 GitHub 仓库另注「research use only」,商用前建议向作者确认。
C4. 有代码吗?
有,GitHub masatsuneki/histopathology-image-caption,含 train.py、Dockerfile、requirements.txt。
C5. 怎么引用?
BibTeX:Tsuneki, M. & Kanavati, F. (2022). Inference of captions from histopathological patches. arXiv:2202.03432;另引 Zenodo DOI。
C6. Zenodo 上为什么有两个记录?
6550923 与 6550925 是同一资源的并存记录(zip md5 一致),用带完整元数据的 6550925。
D. 使用与工程
D1. 典型任务怎么设?
从 patch 特征预测 WSI 级 caption(MIL captioning);或做图文对比预训练。
D2. patch 数差异太大怎么办?
包内采样/截断、注意力池化、或按包大小分桶以稳定显存。
D3. 能直接做 patch 级图文对训练吗?
不建议,会引入重复标签噪声;应保持包(WSI)级对齐。
D4. 评估用什么指标?
BLEU/ROUGE/METEOR/CIDEr 等,但建议辅以语义或人工评估,因词表小、表达重复易致 n-gram 虚高。
D5. 有官方排行榜吗?
没有,这是公开数据集而非挑战赛。
E. 生态与库内
E1. 与 unitopatho 什么关系?
unitopatho(rid=701)是同域的胃/结直肠病理 patch 分类数据集;本条目是图文 caption 数据集,互补。
E2. 与 compas-gi-histopathology 什么关系?
compas(rid=988)是胃肠道病理分割数据集;本条目是描述生成,任务不同。
E3. 与 panda-plus 什么关系?
同属 WSI 级病理数据集(panda-plus 为前列腺),任务与器官不同,可作方法论对照。
E4. 它是 HER2 数据集吗?
不是。一手来源未将 HER2 作为主题;本条目是 H&E 胃腺癌图文对。同 HER2 主题的库内条目是 sinus-her2-nuclei(rid=968),勿合并。
E5. 有没有第三方用过它?
有。Nature Sci Rep 2026 的 MIAC 多示例注意力 captioning 论文以它为训练/内部验证集,外测于 Gachon University Gil Hospital 集。
§25 术语表(中英对照)
为方便跨语言检索与阅读,这里汇总本条目涉及的核心术语。
25.1 病理与临床术语
| 中文 | 英文 | 说明 |
|---|---|---|
| 胃腺癌 | gastric adenocarcinoma | 胃黏膜腺上皮来源的恶性肿瘤,占胃癌绝大多数 |
| 内镜活检 | endoscopic biopsy | 经胃镜取小块组织送检 |
| 管状腺癌 | tubular adenocarcinoma | 最常见的胃腺癌亚型 |
| 乳头状腺癌 | papillary adenocarcinoma | 呈乳头状结构的亚型 |
| 黏液腺癌 | mucinous adenocarcinoma | 含大量细胞外黏液 |
| 印戒细胞癌 | signet ring cell carcinoma | 胞内黏液将核挤向一侧 |
| 高分化 | well differentiated | 腺体结构接近正常,分化好 |
| 中分化 | moderately differentiated | 介于高低之间 |
| 低分化 | poorly differentiated | 腺体结构差,分化低 |
| 全切片图像 | whole slide image (WSI) | 整张玻片数字化后的超大图像 |
| 苏木精-伊红染色 | hematoxylin and eosin (H&E) | 病理最常规染色 |
| 免疫组化 | immunohistochemistry (IHC) | 用抗体检测蛋白表达 |
| 人表皮生长因子受体 2 | HER2 | 胃癌重要治疗靶点 |
25.2 方法与数据术语
| 中文 | 英文 | 说明 |
|---|---|---|
| 图像描述生成 | image captioning | 由图像生成文字描述 |
| 多示例学习 | multiple instance learning (MIL) | 包有标签、示例无标签 |
| 弱监督 | weak supervision | 标签粒度粗于样例粒度 |
| 图文对 | image-text pair | 图像与文本的配对样本 |
| 注意力机制 | attention mechanism | 对 patch 加权聚合 |
| 置换不变 | permutation-invariant | 输出与输入顺序无关 |
| 域偏移 | domain shift | 训练与部署分布不一致 |
| 数据卡 | dataset card | 数据集说明文档 |
| 亚型分层 | stratified by subtype | 按亚型比例划分数据集 |
| 长尾分布 | long-tail distribution | 少数类样本稀少 |
25.3 规格术语
| 术语 | 值 |
|---|---|
| patch 尺寸 | 300×300 像素 |
| 放大倍率 | x10 / x20 |
| 词表大小 | 277 词 |
| 最大句长 | 50 词 |
| 划分 | 70/10/20 |
§26 检索路径建议
不同背景的读者可以从不同入口进入本条目:
26.1 如果你关注「数据规格」
→ 直接读 §2 数据构成与规格、§16 复现实操。
26.2 如果你关注「任务设定」
→ 读 §4 任务设定、§5 评估与下游表现、§22 多模态大模型时代。
26.3 如果你关注「许可与获取」
→ 读 §6 获取与许可、§9 双口径冲突。
26.4 如果你关注「生态定位」
→ 读 §7 生态与互链、§21 器官坐标对照。
26.5 如果你关注「踩坑与偏差」
→ 读 §10 避坑清单、§20 潜在偏差清单、§24 复现失败模式。
26.6 如果你关注「临床意义」
→ 读 §17 临床背景、§18 HER2 正本清源。
§27 常见误解澄清(本条目专属)
这一节专门针对本条目核验过程中发现的具体误解。
误解 1:「这是 HER2 免疫组化数据集」
事实:不是。一手来源均为 H&E 胃腺癌图文对,未以 HER2 为主题。见 §18。
误解 2:「许可是 MIT」
事实:不是。Zenodo Rights 为 CC-BY-4.0。见 §6.2、§9.2。
误解 3:「arXiv 是 2211.16122」
事实:不是。2211.16122 是传感器异常检测论文;正确为 2202.03432。见 §9.1。
误解 4:「每个 patch 都有一条 caption」
事实:不是。每张 WSI 一条 caption,切片内 patch 共享。见 §4.3、§9.6。
误解 5:「WSI 有 1305 张」
事实:一手为 991 张。1305 来自镜像,未经一手确认。见 §9.3。
误解 6:「词表有 344 词」
事实:一手为 277 词。344 来自镜像。见 §9.4。
误解 7:「这是个挑战赛数据集」
事实:不是。无官方排行榜、无评测服务器。见 §5.1。
误解 8:「可以直接拿来做 patch 级图文对」
事实:不建议。切片级 caption 会造成标签重复。见 §4.3、§10 坑 1。
§28 一句话面向不同角色的推荐
| 角色 | 一句话建议 |
|---|---|
| 算法研究者 | 用它的切片级 caption 做 MIL captioning 基准 |
| 临床 AI 工程师 | 用它做报告生成原型,但部署前找外部验证集 |
| 数据科学家 | 注意词表受限与 patch 数不均两个工程坑 |
| 病理医师 | 它反映的是「切片→诊断句」的压缩,不是完整报告 |
| 学生/入门者 | 是理解病理图文多模态的入门级公开数据集 |
§29 未来可能的扩展方向
基于本数据集的局限,可以推测几条有价值的扩展方向(供研究者参考,非官方计划)。
29.1 多机构扩展
把同一任务扩展到多家医院的数据,直接检验并提升泛化性。
29.2 更细的文本监督
从「切片级诊断句」扩展到「结构化完整报告」,覆盖分期、分子标志物等。
29.3 patch 级弱标注
用病理医师对关键 patch 做细粒度描述,形成「包级 + 关键示例级」的混合监督。
29.4 多模态融合
把 H&E 与 IHC(如 HER2)配对,构建多染色图文数据集。
29.5 中文病理图文
当前 caption 为英文(日译),扩展到中文病理报告图文对,对中文医疗 NLP 有直接价值。
说明:以上为基于数据集局限的合理推断,不代表作者或任何机构的既定计划,仅供选题参考。
§30 结语
PatchGastricADC22 的价值,不在于它有多大规模(26 万 patch 在今天的标准下不算庞大),也不在于它有多先进(H&E patch + 诊断句是相当朴素的形态),而在于它精准地抓住了临床病理工作中一个被长期忽视的环节——「看切片、写报告」——并将其转化为可训练、可复现、公开可得的数据集。
它用一个巧妙的标注经济学决策(切片级而非 patch 级 caption),把标注成本降低了两个数量级,同时保持了与临床工作流的高度一致。它用 CC-BY-4.0 的开放许可(而非限制性条款),降低了使用门槛。它也诚实地暴露了自己的局限——单一机构、受控词表、长尾亚型——这些局限反而成了第三方研究(如 MIAC 的外部验证设计)的出发点。
对千方病案医数集而言,PatchGastricADC22 填补了「病理图文对」这一生态位:在 unitopatho(分类)与 compas-gi-histopathology(分割)之外,提供了「切片 → 文本」的第三种病理 AI 数据形态。三者合观,勾勒出病理 AI 从「认识组织」到「描述组织」的完整图谱。
最后提醒:使用本数据集时,请务必以一手来源(arXiv:2202.03432、Zenodo 10.5281/zenodo.6550925、GitHub 仓库)为准,本条目已在 §9 逐条存照各来源间的口径差异。数据公开、许可明确、局限清晰——这三点,恰好是一个「AI-Ready」数据集最该具备的品质。
§17 临床背景:为什么是「胃腺癌内镜活检」
要真正理解这个数据集的价值边界,需要一点临床背景。
17.1 胃癌与腺癌
胃癌(gastric cancer)是全球范围内发病率与死亡率都居前列的恶性肿瘤之一,其中绝大多数(约 90% 以上)是腺癌(adenocarcinoma)——起源于胃黏膜腺上皮的恶性肿瘤。腺癌又按组织学形态细分为若干亚型:
- 管状腺癌(tubular adenocarcinoma):最常见,按分化程度分 well / moderately / poorly;
- 乳头状腺癌(papillary adenocarcinoma);
- 黏液腺癌(mucinous adenocarcinoma);
- 印戒细胞癌(signet ring cell carcinoma):细胞内充满黏液、核被挤向一侧呈印戒状,预后常较差;
- 低分化腺癌(poorly differentiated adenocarcinoma)。
PatchGastricADC22 的 caption 与 subtype 主要就在这一亚型体系内打转——描述「是哪种腺癌、分化到什么程度」。
17.2 内镜活检(endoscopic biopsy)
「内镜活检」是胃癌诊断的关键环节:医师通过胃镜在可疑病灶处取小块组织,送病理科做 H&E 染色、制片、镜检,最终出具诊断报告。活检是诊断的金标准环节之一。
为什么数据集用活检而非手术切除标本?因为:
- 活检是临床决策的前置节点——先确诊,才谈手术方案;
- 活检标本小、切片小,适合切成固定尺寸 patch;
- 活检报告是「是否癌、什么癌、什么分化」的核心依据。
17.3 为什么「切片 → 描述」是这个环节的天然任务
病理医师在镜下的工作流,本质就是看一张切片 → 写一段诊断。PatchGastricADC22 把这个工作流的数据形态提取出来:切片切成 patch,报告压缩成 caption。因此,如果用 AI 模拟这个环节,任务就自动是「切片(patch 集合)→ 诊断描述」——这正是 image captioning 在病理场景的对应物。
17.4 临床落点与限度
潜在落点:
- 初筛辅助——对大量切片自动生成描述,供病理医师快速浏览;
- 教学——把诊断语言与形态对应起来;
- 结构化——把自由报告转成受控陈述。
限度:
- caption 只覆盖「类型 + 分化」,不替代完整报告;
- 不能直接用于诊断决策(无分期、无分子信息、无切缘);
- 单机构来源限制跨院直接部署。
一句临床话:这个数据集是「辅助写描述」的语料,不是「辅助下诊断」的证据。
§18 深入:HER2 话题的正本清源
任务头曾把 PatchGastricADC22 描述为「胃腺癌 HER2 免疫组化 patch 数据集」。这个描述需要澄清,因为它可能误导检索者。
18.1 一手来源怎么说
经核验,arXiv 论文、Zenodo 数据集卡、GitHub README 均未把 HER2 作为数据集主题。数据集的核心是:
- H&E 染色(非 IHC);
- 胃腺癌亚型 + 诊断 caption(非 HER2 表达评分)。
18.2 HER2 与胃癌的关系(背景知识)
HER2(人表皮生长因子受体 2)在部分胃癌中过表达,是重要的治疗靶点(抗 HER2 靶向治疗)。临床上通过免疫组化(IHC)+ 原位杂交(ISH)评估 HER2 状态,判读 IHC 0/1+/2+/3+ 分档。这确实是一个热闹的胃癌 AI 研究方向——但它需要的是IHC 切片 + HER2 评分标注,与 PatchGastricADC22 的 H&E + 诊断 caption 完全不同。
18.3 库内的 HER2 条目
千方库内确实有一个 HER2 相关的病理数据集:sinus-her2-nuclei(rid=968),聚焦 HER2 相关的细胞核分析。它与 PatchGastricADC22 同属 HER2 大主题,但团队不同、模态不同、任务不同:
| 维度 | PatchGastricADC22 | sinus-her2-nuclei |
|---|---|---|
| 模态 | H&E | HER2 相关(IHC 语境) |
| 任务 | 图文 caption 生成 | 细胞核分析 |
| 器官 | 胃(gastric) | 鼻窦(sinus) |
| 关系 | 同 HER2 主题邻居 | 同 HER2 主题邻居 |
结论:二者勿合并。检索 HER2 病理数据集时,应分别查看。
18.4 为什么会产生这个误植
可能的原因:派发简报在汇总候选时,把「胃腺癌」与「HER2」两个标签粗粒度地放在了一起(胃癌 AI 领域 HER2 是高频关键词),未逐一核对一手来源。这提醒我们:标签层面的相邻不等于事实层面的相关,一切以一手核验为准。
§19 深入:数据集版本与生命周期
19.1 版本链
PatchGastricADC22 的版本历史相对简单:
- 2021-12-17:Zenodo 首发 v1.0.0(记录 6550923);
- 2022 年初:Zenodo 记录 6550925 出现(同一资源,元数据更完整);
- 2022-01:GitHub 仓库建立,上传 captions.csv;
- 2022-02:arXiv 2202.03432 公开;
- 2022-11-01:GitHub 补入 train.py(最后提交);
- 2026:第三方论文(Nature Sci Rep)引用。
关键观察:数据本体自 2021 年首发后未再更新。这意味着:v1.0.0 就是当前版本,没有 v1.1、v2.0 的后续修订。
19.2 生命周期含义
一个不再更新的数据集,其稳定性是双面的:
- 好:引用时版本唯一,复现无需担心数据漂移;
- 风险:若首发时存在标注瑕疵(如单机构偏差、caption 重复),不会在后继版本中被修正。
19.3 Zenodo 双记录的实务处理
6550923 与 6550925 并存,且 zip 的 md5 相同(e02010e8a07aa26b8b006c6fd79628eb),说明两个记录指向同一份物理数据。实务上:
- 引用 DOI 建议用
10.5281/zenodo.6550925(元数据更全); - 下载校验时用 md5 确保拿到的是同一份数据;
- 若发现两个记录的文件列表不同(一个可能只含 captions.csv),注意区分。
§20 深入:数据质量与潜在偏差清单
作为 AI-Ready 数据集的评估,这里系统梳理 PatchGastricADC22 的潜在偏差来源,供使用者在实验设计中主动应对。
20.1 来源性偏差(Sampling Bias)
| 偏差 | 描述 | 缓解 |
|---|---|---|
| 单机构 | 991 张全部来自三田医院 | 外部验证集 |
| 单国家 | 日本人群 | 跨地区验证 |
| 回顾性 | 病例为历史档案,非前瞻收集 | 前瞻采集复核 |
| 倍率选择 | x20 为主,x10 少 | 按任务选口径 |
20.2 标注性偏差(Annotation Bias)
| 偏差 | 描述 | 缓解 |
|---|---|---|
| 弱标签 | 切片级 caption 施加到包内所有 patch | 用 MIL 而非逐 patch |
| 翻译风格 | 日译英由固定两人完成,风格统一但不通用 | 评估跨语言表现 |
| 报告重复 | 单一机构相似病例报告高度雷同 | 去重或加权 |
| 复核有限 | 三名病理医师复核诊断,但未复核 caption-图像一致性 | 人工抽查 |
20.3 分布性偏差(Distributional Bias)
| 偏差 | 描述 | 缓解 |
|---|---|---|
| 亚型长尾 | 高/中分化管状腺癌占约四成,其余长尾 | 分层评估 |
| patch 数不均 | 每切片 2–1,860 张 | 长度分桶 |
| 大小不均 | 标本与病灶大小可变 | 归一化或分桶 |
20.4 使用建议
面对上述偏差,建议在论文中显式声明:
- 使用的是 x20 还是 x10 口径;
- 是否做了外部验证;
- 评估是按 WSI 加权还是 patch 加权;
- 是否对长尾亚型单独报告。
核心提醒:数据集本身没有「错误」,但有结构性局限。研究者的责任是识别这些局限并在结论中如实反映。
§21 与五官科 / 其他器官病理条目的坐标对照
为了帮助检索者建立全局观,这里做一个更广的坐标对照(包含库外知名数据集,仅作定位参考)。
21.1 按器官分类
| 器官 | 库内条目 | 库外知名例子 |
|---|---|---|
| 胃 | PatchGastricADC22、unitopatho、compas-gi | GasHisSDB 等 |
| 前列腺 | panda、panda-plus、prostate-cnb-wsi | PANDA Challenge |
| 淋巴结/乳腺 | camelyon16-17 | CamelyonChallenge |
| 骨髓 | bonemarrow-wsi | — |
| 鼻窦/HER2 | sinus-her2-nuclei | — |
| 泛癌 | tcga | TCGA |
21.2 按任务分类
| 任务 | 库内代表 |
|---|---|
| 图文生成 | PatchGastricADC22 |
| 分类 | unitopatho、panda 系列 |
| 分割 | compas-gi-histopathology、camelyon 系列 |
| 检测 | camelyon 系列 |
21.3 PatchGastricADC22 的坐标
在「按任务」的坐标系里,它是库内唯一的图文生成代表;在「按器官」的坐标系里,它是胃部图文数据的代表。如果你需要病理图文对齐的训练语料,库内目前它是首选(也是唯一直接选项)。
§22 深入:如何把 PatchGastricADC22 用在多模态大模型时代
近两年病理领域出现了视觉-语言基础模型(pathology VLM)热潮。PatchGastricADC22 在这个新语境下有了新的用法。
22.1 作为图文对齐预训练数据
可以把 (patch 包, caption) 作为对比学习或生成式预训练的数据。注意:由于 caption 是切片级,需要先把 patch 聚合成 WSI 表示,再与 caption 对齐。
22.2 作为指令微调的种子
把 caption 改写成指令格式,例如:
- 「这张胃活检切片显示什么组织学类型与分化程度?」→ 输出 caption。
这可用于病理 VLM 的指令微调。但需注意 caption 信息有限(仅类型+分化),指令类型不宜过度扩展。
22.3 作为评测集
可用于评测病理 VLM 的描述生成质量。但不推荐单独作为泛化评测——单机构来源会让结论局限。
22.4 局限再强调
在大模型时代,数据规模很重要。26 万 patch 对传统 CNN 足够,但对动辄需要百万级图文对的大模型预训练而言偏小。它的合理定位是「精而专的图文语料」而非「海量预训练语料」。
§23 深入:与放射图文数据集的迁移启发
23.1 放射图文的成熟经验
放射科图文数据集(如胸片 + 报告)已发展多年,形成了成熟范式:
- 报告结构化(findings / impression 分段);
- 弱监督标签提取(CheXpert 等的 NLP 标注器);
- 报告生成评测体系。
23.2 病理图文的差异
病理图文与放射图文有关键差异:
- 图像尺度:放射是整张图像,病理是超大 WSI(需切 patch);
- 文本粒度:放射是段落报告,病理多为短诊断句;
- 形态复杂度:病理的细胞级形态远比放射复杂。
因此,放射图文的现成范式不能直接照搬到病理——这正是 PatchGastricADC22 这类专门数据集的价值:它为病理图文提供了「原生」的数据形态。
23.3 可迁移的经验
- 弱监督是共性:两者都用弱标签(段落/句子级);
- MIL 思想通用:病理的包 = 放射的图(都是「大对象 → 一个标签」);
- 评测需领域定制:n-gram 指标在两者都不够,需领域一致性评估。
§24 深入:复现基线的常见失败模式
根据同类病理图文任务的经验,复现 PatchGastricADC22 基线时有几种典型失败:
24.1 包聚合错误
把 patch 当独立样本训练,导致同一 caption 被重复计数。症状:训练 loss 下降异常快,但验证集泛化差。对策:正确按 id 组包。
24.2 显存爆炸
大包(>1,000 patch)一次性前向导致 OOM。对策:包内采样或梯度累积。
24.3 解码器选型不当
用通用图像 captioning 解码器(面向自然图像)直接套用,忽略病理术语的受控性。对策:考虑词表受限的解码或领域预训练语言模型。
24.4 评估乐观偏差
用 n-gram 指标得到虚高分数。对策:报告时说明词表小、表达重复的影响,辅以人工评估。
24.5 划分泄漏
若自行重新划分,可能因同患者多切片导致泄漏(本数据集患者与切片一一对应,风险较低,但仍需注意若使用 x10+x20 两套时的 id 一致性)。
§12 深入:为什么「切片级 caption」是一种聪明的标注经济学
理解 PatchGastricADC22,绕不开一个设计决策:为什么作者选择「每张切片一条 caption」,而不是「每个 patch 一条 caption」?
12.1 标注成本的数学
假设要给 262,777 张 patch 逐张写描述。即使每张只花 5 秒(几乎不可能——病理描述需要专业判断),也需要约 365 小时的纯标注时间,且需要资深病理医师。而如果只标注 991 张切片,即使每张花 3 分钟,也只需约 50 小时。标注成本从「26 万次专业判断」降到「991 次专业判断」,降了约 260 倍。
这就是标注经济学(annotation economics)的核心:把标注粒度提升到与临床工作流自然对齐的层级。病理医师本来就是对着整张切片写一份报告,而不是对着每一小块写一句。数据集设计沿用了这个自然的粒度,标注成本与临床真实性同时得到优化。
12.2 代价:噪声标签与弱监督
这个决策的代价是弱监督(weak supervision):一张切片的几百张 patch 里,可能只有少数含典型病灶,但全部共享同一条 caption。这引入标签噪声——但这类噪声并非「错误」,而是「不精确」,模型需要学会从包中聚合证据。
这正是多示例学习(MIL)的经典设定:包有标签,示例无标签。PatchGastricADC22 天然就是一个 MIL captioning 基准。
12.3 对模型架构的牵引
「包大小可变 + 顺序无关」这两个特性,直接牵引了模型设计。Nature Sci Rep 2026 的 MIAC 论文明确提出「亚型无关、置换不变(subtype-free, permutation-invariant)」框架,其动机正是应对活检 patch 集「patch 数与顺序天然可变」的现实。数据集的结构决定了方法的方向——这是数据与方法相互塑造的典型例子。
§13 深入:单机构数据集的泛化难题
13.1 单一来源的双面性
PatchGastricADC22 全部来自 IUHW 三田医院一家机构。这带来两面:
优势面:
- 染色、扫描、报告风格一致,内部噪声小;
- 病理复核由固定团队完成,标签一致性高;
- 适合做「同分布」的算法原型验证。
风险面:
- 不同医院的染色方案、扫描仪、报告习惯差异(域偏移 domain shift)可能让模型失效;
- 亚型分布是该院人群的缩影,未必代表其它地区;
- 报告的日译英环节引入翻译风格的一致性,但这种风格未必通用。
13.2 外部验证的必要性
MIAC 论文的做法给出了标准范式:用 PatchGastricADC22 训练,另找 Gil Hospital(Gachon University)的独立集做外部测试(105 张 WSI、12,788 张 patch)。这正是应对单机构局限的正确做法。
给使用者的建议:任何声称在 PatchGastricADC22 上「效果好」的模型,若不报告跨机构结果,都应谨慎看待其泛化能力。
13.3 与多机构数据集的对照
库内的 panda(rid=27/560,Radboud + Karolinska 两家机构)与 camelyon16-17(rid=33,多中心)在机构多样性上更强。若研究重点是泛化性,这些多机构数据集更适合;若重点是特定的胃腺癌图文任务,PatchGastricADC22 仍是目前最直接的选择。
§14 深入:病理报告文本的结构特征
14.1 从「自由报告」到「受控陈述」
原始病理报告通常是自由文本,长度与结构因医师而异。PatchGastricADC22 的 caption 经过了规范化压缩:
- 词表限定在 277 词——意味着用词高度受控,只保留诊断核心术语;
- 句长上限 50 词——意味着描述简短、直奔结论;
- 内容聚焦:组织学类型(tubular adenocarcinoma 等)+ 分化程度(well/moderately/poorly)。
这实质上是把「自由报告」转换成了一种受控陈述语言(controlled statement language)。
14.2 这种规范化的利弊
利:
- 语言建模难度降低,小模型也能学;
- 评估更可控,类间区分清晰;
- 减少了报告风格噪声。
弊:
- 信息密度受限——不含分期(staging)、分子标志物(如 HER2、MSI)、切缘状态等更细的临床信息;
- 语言多样性被压缩——类似病例的 caption 高度相似甚至重复,n-gram 指标易虚高;
- 临床应用受限——真实的病理报告远比这丰富,若目标是生成完整报告,本数据集只覆盖其中一小部分。
14.3 对研究选题的启示
如果你的目标是「生成完整病理报告」,PatchGastricADC22 是一个良好的起点但非终点——它教会模型「切片 → 核心诊断句」,但完整报告还需要更多字段与更长文本的监督。这是一个可以延伸的研究方向。
§15 深入:与其它图文医学数据集的横向比较
15.1 医学图文数据集的三种谱系
| 谱系 | 代表 | 文本粒度 | 特点 |
|---|---|---|---|
| 放射图文 | MIMIC-CXR、IU-Xray 等 | 报告段落 | 胸片 + 放射报告,段落级 |
| 病理图文 | PatchGastricADC22 | 切片级诊断句 | H&E WSI/patch + 病理描述 |
| 教科书图文 | ARCH 等 | 短说明 | 教材图 + 标注,质量参差 |
PatchGastricADC22 在病理图文谱系中的定位:不是教科书图文(质量参差),也不是放射段落报告(结构复杂),而是「真实临床报告压缩成的切片级诊断句」。这使它在「真实 + 可控」之间取得平衡。
15.2 论文自己点出的对比
arXiv 原文在 related work 中特别对比了 ARCH 数据集,指出 ARCH 的图像「来自教科书,质量、放大倍率、分辨率混杂(mixed quality, magnifications, and resolutions)」,而 PatchGastricADC22 则是「为一组胃腺癌病例专门整理的、质量与分辨率一致的、直接从 WSI 提取的(curated)数据集」。这正说明了它的取舍:牺牲规模(26 万 vs 教科书级更大数量),换取一致性(consistent quality and resolution)。
15.3 在千方库内的坐标
在千方病案医数集的病理类条目中,PatchGastricADC22 的两个独特坐标是:
- 唯一的切片级图文 caption 数据集(unitopatho 是分类、compas 是分割);
- 唯一的胃腺癌图文数据集(panda 系是前列腺、camelyon 系是淋巴结)。
它填补了「病理图文对」这个库内空位。
§16 复现实操:从下载到基线训练
16.1 环境准备
官方仓库提供 Dockerfile,推荐用容器复现:
- 基础依赖见
requirements.txt; - 构建镜像:
docker build -t histo-captions .; - 假设 patch 解压在
/mnt/data/patches/x20,caption 在/mnt/data/captions.csv。
16.2 运行训练脚本
docker run -v /mnt/data:/data -it histo-captions python train.py
查看可选项:
docker run -v /mnt/data:/data -it histo-captions python train.py --help
16.3 数据组织假设
- patch 文件名形如
{id}_{random hash}.jpg,其中{id}是所属 WSI 标识; captions.csv三列:id、subtype、text;- 通过
id把 patch 与所属 WSI 的 caption 关联起来。
16.4 加载时的两个数据工程要点
- 按 id 分组:训练前先把 patch 按
id聚合为「包」,每个包对应一条 caption; - 处理包大小差异:用采样或注意力池化,避免大包主导梯度。
提示:x10 与 x20 两套 patch 若都要用,需确认二者
id命名是否一致,以便复用同一份captions.csv映射(官方未明确说明,属遗留疑点)。
事实清单(硬事实 36 条)
- 数据集全称:PatchGastricADC22: Histopathological Whole Slide Image Patch and Caption Dataset。
- 作者:Masayuki Tsuneki、Fahdi Kanavati。
- 署名机构:Medmain Research。
- 标本来源:IUHW 三田医院(东京,日本)外科病理档案。
- 论文 arXiv 号:2202.03432(非 2211.16122)。
- 论文标题:Inference of captions from histopathological patches。
- Zenodo DOI:10.5281/zenodo.6550925(另有 6550923)。
- Zenodo 首发日期:2021-12-17,Version v1.0.0。
- GitHub 仓库:masatsuneki/histopathology-image-caption。
- GitHub 最后提交:2022-11-01。
- 许可:CC-BY-4.0(Zenodo Rights 字段)。
- GitHub README 另注:research use only。
- WSI 总数:991 张 H&E 胃腺癌内镜活检切片。
- 患者数:991 名(WSI 一一对应)。
- patch 总数(x20):262,777 张。
- patch 总数(x10):67,125 张。
- patch 尺寸:300×300 像素。
- patch 抽取:非重叠,剔除空白区,限定腺癌区域。
- 放大倍率:x10 与 x20 两档。
- 每 WSI patch 数:均值约 265,范围 2–1,860(Nature 旁证)。
- 划分:70% 训练 / 10% 验证 / 20% 测试,按亚型分层。
- 划分(另一口径):800 / 91 / 100 张(Nature 旁证)。
- caption 粒度:每张 WSI 一条(非每 patch)。
- caption 语言:英文(日文报告翻译)。
- caption 词表:277 词。
- caption 最大句长:50 词。
- caption 来源:常规病理诊断报告,两名专家病理医师翻译。
- 病理复核:三名病理医师复核确认腺癌。
- captions.csv 列:id、subtype、text。
- patch 文件命名:
{id}_{random hash}.jpg。 - 数据包体积:patches_captions.zip 7.2 GB。
- captions.csv 体积:264.5 kB。
- zip md5:e02010e8a07aa26b8b006c6fd79628eb。
- 基线模型:attention-based。
- 官方排行榜:无(非挑战赛)。
- 第三方采用:Nature Sci Rep 2026 MIAC 论文(训练/内部验证集)。
附录 A:来源与核验记录
本条目全部事实经以下一手来源核验(2026-10-16):
| 来源 | 用途 | URL |
|---|---|---|
| arXiv abs/2202.03432 | 论文标题、作者、规模、划分、词表 | https://arxiv.org/abs/2202.03432 |
| ar5iv 2202.03432 全文 | 抽取工艺、双倍率、机构、翻译细节 | https://ar5iv.arxiv.org/html/2202.03432 |
| Zenodo 6550925 | DOI、许可、文件、体积、日期 | https://zenodo.org/records/6550925 |
| Zenodo 6550923 | 并存记录、md5 一致性 | https://zenodo.org/records/6550923 |
| GitHub 仓库 | 引用格式、文件结构、命名规则 | https://github.com/masatsuneki/histopathology-image-caption |
| Nature Sci Rep 2026 | 第三方采用、每 WSI patch 均值、外测集 | https://www.nature.com/articles/s41598-026-37455-5 |
| Kaggle 镜像 | 双口径存照(WSI/词表差异) | https://www.kaggle.com/datasets/mdnazmussakib2025/histopathology-wsi/data |
证伪记录
- 任务头 arXiv 2211.16122 证伪:实抓为 G-CMP 传感器异常检测论文,与本数据集无关;正确号 2202.03432。
- 任务头 MIT 许可证伪:Zenodo Rights 实为 CC-BY-4.0。
- 任务头「HER2 免疫组化」表述未获支持:一手来源未以 HER2 为主题。
附录 B:相关条目速查
| 条目 | rid | 关系 |
|---|---|---|
| unitopatho | 701 | 胃肠病理 patch 分类,同域互补 |
| compas-gi-histopathology | 988 | 胃肠病理分割,同域互补 |
| camelyon16-17 | 33 | WSI 挑战赛型数据集对照 |
| panda-plus | 640 | WSI 级病理数据集对照 |
| prostate-cnb-wsi | 969 | WSI 家族 |
| bonemarrow-wsi | 901 | WSI 家族 |
| tcga | 25 | 泛癌种病理/多组学 |
| patchchestct | 925 | patch 命名体系邻居(CT 域) |
| sinus-her2-nuclei | 968 | HER2 主题邻居(勿合并) |
本条目由千方病案医数集 AI-Ready Wikipedia 项目出品,所有硬数字均以一手来源核验为准;双口径冲突已在 §9 逐条存照。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- quilt-1m — 共享标签:医学影像 / 病理图像 / 多模态 / 影像-文本对齐
- cmb-aml — 共享标签:医学影像 / 病理图像 / 多模态 / 肿瘤学
- reg2026 — 共享标签:医学影像 / 病理图像 / 多模态 / 影像-文本对齐
- hancock-hnscc — 共享标签:病理图像 / 多模态 / 影像-文本对齐 / 肿瘤学
- petwb-rep — 共享标签:医学影像 / 多模态 / 影像-文本对齐 / 肿瘤学
- cmb-crc — 共享标签:医学影像 / 病理图像 / 多模态 / 肿瘤学
- cmb-gec — 共享标签:医学影像 / 病理图像 / 多模态 / 肿瘤学
- histai-wsi — 共享标签:医学影像 / 病理图像 / 影像-文本对齐 / 肿瘤学
- multi-oscc-histopath — 共享标签:医学影像 / 病理图像 / 多模态 / 肿瘤学
- roco — 共享标签:医学影像 / 多模态 / 影像-文本对齐
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

