PLIP

INFOBOX — PLIP 一屏速览

维度	内容
本质	首个病理学视觉-语言基础模型 + 其训练数据集 OpenPath（208,414 病理图文对）双身合一
团队	斯坦福大学：Zhi Huang 与 Federico Bianchi 共同一作，Mert Yuksekgonul、Thomas J. Montine、通讯 James Zou
论文	Nature Medicine 2023;29:2307–2316（doi:10.1038/s41591-023-02504-3；2023-03-26 投稿 / 2023-07-18 接收 / 2023-08-17 在线发表）
数据	208,414 对 = Tweets 116,504 + Replies 59,869 + PathLAION 32,041；32 个病理 hashtag；时间窗 2006-03-21 至 2022-11-15
采集漏斗	232,067 条推文 → 243,375 图文对 → 另采 88,250 条回复（三条件筛选）→ 五条排除标准 → Twitter 侧 176,373 对
模型	CLIP ViT-B/32 对比学习微调；输入 224×224；文本最大 76 token；内部 API 复用自 FashionCLIP
零样本	四外部数据集加权 F1 0.565–0.832，此前对比语言-图像模型 0.030–0.481
线性探针	PLIP 嵌入 +2.5% F1（对比其他监督模型嵌入）；1% 数据探针优势最显著（WSSS4LUAD 0.816 vs 0.645）
验证集	Kather colon（官方划分）、PanNuke、DigestPath、WSSS4LUAD、PathPedia、PubMed/Books、KIMIA Path24C、Twitter 验证集 2,023 对
获取	模型权重 HuggingFace vinid/plip（约 1.8 GB，下载 41,816+）｜数据 Google Drive（Tweet ID + URL 回溯制）｜代码 GitHub｜demo webplip Space
许可	官方未随附明确开源许可声明（HF API license 字段为 null）——使用前需自行确认下游条款
库内互链	pannuke、digestpath、wsss4luad、patchcamelyon、breakhis、pathvqa、roco、biomedica、nct-crc-he-100k、camelyon16-17

PLIP（Pathology Language-Image Pretraining，病理语言-图像预训练）是一个「教机器读病理科朋友圈」的项目：斯坦福团队把 Medical Twitter 上 32 个病理 hashtag 下近十七年的推文、高赞回复，加上从 LAION-5B 检索来的网络病理图，打包成 208,414 对「病理图像 + 自然语言描述」，再用它微调 CLIP，得到首个病理学视觉-语言基础模型。它让模型学会「看一张病理图，就知道该配什么文字描述」——从而零样本做病理分类、跨模态检索，四套外部数据集上 F1 达 0.565–0.832，碾压通用 CLIP 的 0.030–0.481。论文 2023 年发表于 Nature Medicine，官方还提供了网页版演示，被同行评述称为「为病理学家定制的谷歌图片搜索」。

导语读法三则：

1. 只想拿模型跑起来：直奔 §6 获取与许可——HuggingFace 权重直接可用，注意官方未声明开源许可。
2. 关心数据怎么来的：直奔 §2 数据构成——三分结构、采集漏斗、Tweet ID 回溯制发布三段连读。
3. 要做病理图文检索或零样本评测：直奔 §4 比较发现与 §5 基准明细——四个验证集数字可直接对标。

条目档案：数据集名 OpenPath｜模型名 PLIP｜slug plip｜论文 doi 10.1038/s41591-023-02504-3｜官方条目数 208,414 对｜发布形态 Tweet ID + URL 清单｜模型获取 HuggingFace vinid/plip｜许可未声明（license null）｜库内条目分类 医学影像/多模态/病理图像/图像分类/影像-文本对齐/评测基准｜本条目事实核验时点 2026-10-04。

§0 导读：这个数据集解决什么问题

病理学是数字医学影像里最依赖文字的学科：一张 H&E 切片的诊断价值，一半在图像、一半在「间质内见异型腺体浸润」这类描述性文字里。但病理 AI 的主流数据集要么只有类别标签（PatchCamelyon 的良/恶性二值），要么只有结构化标注（PanNuke 的细胞核类型），图像与自然语言之间的桥梁长期缺位——通用 CLIP 在病理图上的零样本 F1 低到 0.030–0.481，基本不可用。

PLIP 的回答是用一个非传统数据源补桥：Medical Twitter。病理学家是一个高度活跃的社交媒体社区，他们用 #pathart、#pathbugs 这类标签分享疑难病例、形态学细节与教学素材。团队据此构造了 OpenPath 数据集：32 个病理亚专科 hashtag 检索出 232,067 条推文（时间窗回溯到 Twitter 诞生的 2006 年），经清洗与排除得到 116,504 对推文图文对；再按三条件（原推有回复、回复含 ICD-11 关键词、获赞最多）采得 88,250 条回复并筛选出 59,869 对；最后以 1,000 张种子图在 LAION-5B（58.5 亿图文对）中余弦近邻迭代检索，补入 32,041 对 PathLAION。三者合计 208,414 对，构成当时最大的带文字描述公开病理图像集。

在此之上，PLIP 本身只是把预训练 CLIP（ViT-B/32）拿到 OpenPath 上做对比学习微调——但这一步让四个外部验证集上的零样本 F1 从此前模型的 0.030–0.481 抬升到 0.565–0.832，且在只有 1% 训练数据的线性探针场景优势最大（WSSS4LUAD 上 0.816 对 0.645）。Nature Medicine 同期评述（Lu/Chen/Mahmood，2023-09-13）将其作为「社交媒体医学数据可用于严肃 AI 研究」的标志性案例。

一个容易忽略的发布节奏细节：模型权重 2023-03-04 就已上传 HuggingFace（createdAt 口径），早于 2023-03-26 的论文投稿 22 天；3 月 29 日预印本上 bioRxiv——「先放权重、再走评审」是 2023 年基础模型论文的标准打法，让社区在同行评审完成前就开始用、开始测。§7.5 那批第三方评测（对抗攻击、器官级短板）之所以出现得早，正与这个节奏有关：权重公开即接受全民检验。

§0 读法三则：

1. 这个条目是「数据集 + 模型」双身合一：OpenPath 是训练数据集，PLIP 是微调产物，二者论文同篇发布——谈性能要分清「数据的功劳」与「微调的功劳」（§4 有分解证据）。
2. 全文核心数字均经三源互证（Nature 摘要 / bioRxiv 预印本 / 第三方转述），唯一无法直接核得的是原文训练超参，已在坑 3 存照。
3. 检索文献时注意：PLIP 有一个同名的行人重识别模型（Person Language-Image Pre-training），搜索务必附加 pathology 关键词（坑 1）。

§1 数据集速览：十问十答

Q1：PLIP 和 OpenPath 是什么关系？
OpenPath 是数据集（208,414 对病理图像-文本对），PLIP 是在它上面微调 CLIP ViT-B/32 得到的模型。论文一篇、名字两个：数据集叫 OpenPath，模型叫 PLIP。发布时二者绑定：HuggingFace 放模型权重，Google Drive 放数据清单。

Q2：208,414 对怎么构成的？
三个子集：Tweets 116,504 对（32 个 hashtag 下的推文）、Replies 59,869 对（推文下获赞最多的合规回复）、PathLAION 32,041 对（LAION-5B 检索所得）。数学自洽：116,504 + 59,869 + 32,041 = 208,414。

Q3：推文怎么变成干净的数据？
漏斗四步：32 hashtag 检索 232,067 条推文 → 收集 243,375 个图文对 → 过五条排除标准（敏感标记/重复/图片打不开/分类器判非病理/文本是问句）得 116,504 对；回复另算：88,250 条满足三条件的回复同样清洗后得 59,869 对。

Q4：为什么是这 32 个 hashtag？
依据 2016 年 USCAP（美国与加拿大病理学会）会议推荐与 Pathology Hashtag Ontology 项目（symplur.com 维护的病理标签本体），覆盖亚专科术语与形态学术语，完整清单在论文 Extended Table 1。

Q5：文字描述长什么样？
就是推文原文经清洗（移除 @username、# 符号等）后的自然语言，长度中位数 17 词——比人工标注的短描述长，比放射报告短，是「医生看到图像时会说的话」。

Q6：PathLAION 为什么需要？
推文里的图像以显微视野随手拍为主，风格偏生活化。团队从 Twitter 数据集采样 1,000 张病理图作种子，按 CLIP 图像嵌入余弦相似度在 LAION-5B（58.5 亿对）中每次取最近 5,000 张、迭代检索直至结果全重复，捞出 32,041 张不在 Twitter 里的独立病理图，补充数据多样性。

Q7：模型架构有什么特别？
没有特别——这就是 CLIP ViT-B/32 的标准双塔（ViT 图像编码器 + Transformer 文本编码器），输入 224×224，文本最大 76 token。特别的是数据：对比学习微调后，病理图与正确描述在嵌入空间靠近。

Q8：性能到底好在哪？
零样本分类：四个外部数据集加权 F1 0.565–0.832（Kather colon 0.565 / PanNuke 0.656 / WSSS4LUAD 0.734 / DigestPath 0.832），此前对比语言-图像模型只有 0.030–0.481。线性探针：PLIP 嵌入上训简单分类器比其他监督模型嵌入高 2.5% F1，且 1% 训练数据场景优势最大。

Q9：我现在能拿到什么？
三件套全公开：模型权重在 HuggingFace vinid/plip（约 1.8 GB，含 pytorch_model.bin 等八个文件）；数据在 Google Drive 公开文件夹（Tweet ID 清单 + LAION URL 清单，回溯制）；代码与用法在 GitHub PathologyFoundation/plip，另有网页演示 webplip。

Q10：为什么它对 AI-Ready 重要？
它是「社交媒体数据合规采集」的可引用范例：不直接分发图像本体，而是发布 Tweet ID 与 URL 让使用者回溯原源，把版权与删除权留给平台和作者——同时以官方 demo、内部 API、HF 权重三条通路把使用门槛降到最低。许可缺位（license 字段为 null）是它 AI-Ready 得分的主要扣分项。

§1.1 读者画像速查表

你是谁	最短路径	一句话要点
工程师：直接用模型	§6.1 → §3.5	HF 两行加载，内部 API 三行出嵌入
研究者：复现/续训	§2.6 → §6.2 → 附录 F/O	数据是 ID/URL 清单，先快照再回溯
评测者：对标性能	§4 → §5 → 附录 G/H	四数据集零样本与探针全表含 CI
数据合规研究者	§2.6 → §6.4 → §8	回溯制是正面范例，license null 是扣分项
教学/演示者	webplip demo → §0 → §7.2	在线演示零门槛，Nature 官方评述背书
检索与互链维护者	§9 → 附录 R	12 个库内条目 rid + 20 条来源清单
基准设计者	§5.9 → 附录 J	验证集设计三决策可整体移植

表内路径均为章节锚点；若只记一条：所有外部数字的抓取时点为 2026-10-04，引用时请随附日期。

§2 数据构成与规格

2.1 规模三分与数学自洽

OpenPath 共 208,414 对病理图像-自然语言描述（Nature 摘要原文数字；Semantic Scholar 收录的 bioRxiv 摘要同数字；Encord、腾讯云全译、arXiv:2401.02565 等第三方转述一致），论文自称「最大的带文字描述公开病理图像集」（“largest publicly available pathology image collection that is annotated with text descriptions”）。三个子集：

子集	图文对数	来源	占比
Tweets	116,504	32 个病理 hashtag 推文（经排除标准）	55.9%
Replies	59,869	推文下获赞最多的合规回复	28.7%
PathLAION	32,041	LAION-5B 余弦近邻迭代检索	15.4%
合计	208,414	—	100%

116,504 + 59,869 + 32,041 = 208,414，数学自洽。第三方综述偶见 “208,404” 写法（如 arXiv:2503.09091），判为引用笔误，本条目以 Nature 原文 208,414 为准（坑 2）。

2.2 源头一：Medical Twitter 与 32 个 hashtag

病理学在 Twitter 上有成熟的学术社区生态：医生用 hashtag 分享疑难病例、形态学教学素材与会议见闻，这类内容被研究界称为 Medical Twitter。OpenPath 的检索框架建立在两个依据上：

1. 2016 年 USCAP 会议推荐：美国与加拿大病理学会（United States and Canadian Academy of Pathology）年会上推荐的病理 hashtag 清单；
2. Pathology Hashtag Ontology：Symplur 平台维护的病理标签本体（symplur.com/healthcare-hashtags/ontology/pathology/），把 hashtag 组织为亚专科与形态学术语的层级体系。

两者合计 32 个 hashtag（TechTarget、Encord、腾讯云全译三源同证），覆盖亚专科（如肝脏、肾脏、皮肤病理）与形态学术语（如 #pathart 之类的分享标签），完整清单见论文 Extended Table 1。这个设计的意义在于：hashtag 本身就是一层免费的领域元数据——每对图文至少携带「出自哪个亚专科语境」的信息。

补一层社区背景：Medical Twitter 在 2010 年代是英语医学界最活跃的公开讨论场，病理又是其中组织化程度最高的亚社区之一——Symplur 平台专门为医疗会议与专科维护标签本体，#USCAP2022 这类会议标签每年产出数千条带图推文。这意味着 OpenPath 采集的不只是「医生发的图」，而是一个已经在自我整理（本体化、会议化、话题化）的知识社区的产出物。论文选择以 2016 USCAP 推荐为锚点，本质是让「社区自己的组织方式」替代人工标注来做第一道数据切分——这是比爬取本身更值得借鉴的设计。

2.3 采集漏斗：从 232,067 条推文到 176,373 对

Twitter 侧的构造流水线（bioRxiv 预印本 Methods 原文快照）：

第一步：检索推文。 以 32 个 hashtag 在 Twitter API 检索，时间窗 2006-03-21 至 2022-11-15——起点刻意设为 Twitter 第一条帖子发布之日，即「能收尽收」。共采得 232,067 条推文，对应 243,375 个图像-文本对。

第二步：采集回复。 对有回复的推文，按三个条件选取回复：

1. 原推存在回复；
2. 回复句中含 ICD-11 codebook（version 2022-02） 至少一个关键词——用国际疾病分类词表做「医学相关性」的廉价代理；
3. 同一原推下获赞最多——用社区投票做「内容质量」的代理。

共采得 88,250 条回复。

第三步：五条排除标准（推文与回复统一适用）：

1. Twitter 官方标记为可能敏感的图文对；
2. 重复的图像-文本对；
3. 图像无法下载或无法打开；
4. 预训练病理图像分类器判定为非病理图像；
5. 文本含问号——问句（如「这是什么的鉴别诊断？」）通常不携带可直接对齐图像的描述信息。

第四步：得 Twitter 侧最终数据：Tweets 116,504 对 + Replies 59,869 对 = 176,373 对。加上 PathLAION 32,041 对即 208,414 对。

2.4 源头二：PathLAION——从 58.5 亿对里捞 32,041 张

PathLAION 解决的是「推文图像风格单一」的问题，构造法（bioRxiv Methods 快照）：

1. 从 Twitter 数据集中采样 1,000 张病理图像作种子；
2. 用 CLIP 图像嵌入，在 LAION-5B（58.5 亿图文对的开放语料，laion.ai 官方博客口径）中按余弦相似度检索最近的 5,000 张；
3. 重复迭代直至检索结果全部重复（即捞尽）；
4. 剔除与 Twitter 数据集重叠者，得 32,041 张独立病理图像，配以 LAION 侧的文本描述。

这是「用基础模型自己的嵌入空间做数据发现」的典型手法：不需要人工标注，种子图的嵌入就是查询语句。Nature Data availability 一节引用了 LAION-5B 官方博客（laion.ai/blog/laion-5b/）作为该子集的上游来源。

2.5 文本清洗与 caption 形态

文本侧清洗流水线（bioRxiv Methods 快照列举）：移除 @username 提及、移除 # 标签符号等社交媒体记号，保留自然语言描述本体。清洗后 caption 长度中位数 17 词（Nature 图 1d；腾讯云全译同证）。

这个长度有方法论含义：比 ImageNet 类别的单词标签信息密度高得多，比结构化的放射/病理报告短且口语化——它是「医生在社交媒体上看到这张图时会说的话」，语法自由但语义与图像强绑定，正适合对比学习。

2.6 发布合规：Tweet ID + URL 回溯制

OpenPath 的发布形态是本条目最重要的 AI-Ready 亮点之一（bioRxiv Release Policy 原文快照）：

• Twitter 数据以 Tweet ID 清单形式发布；
• LAION 数据以图像 URL 清单形式发布；
• 使用者需凭 ID/URL 回溯原源获取图像本体，并自行核实原源的使用合规性。

这意味着发布方不直接分发任何图像文件——版权、删除权（推文作者可删帖）、平台条款都留在原源侧处理。数据下载入口为 tinyurl.com/openpathdata，实抓重定向确认指向 Google Drive 公开文件夹（drive.google.com/drive/folders/1b5UT8BzUphkHZavRG-fmiyY9JWYIWZER）。

代价同样明确：回溯制意味着数据集不是「开箱即用」的图像包，推文删除、账号注销、外链失效都会造成不可逆损耗，复现实验前应尽早快照。三面性归纳：对作者是免责（不碰版权物），对使用者是成本（回溯+条款核查），对学术记录是衰减（数据随时间缩水）——评估任何社交媒体数据集时，这三面都要进账本。

2.7 Twitter 验证集（检索任务专用）

除训练集外，团队以同样标准从 2022-11-16 至 2023-01-15（训练窗结束后）再采集 2,023 个独立图文对作验证集（bioRxiv Methods 快照；Nature Extended Data 图注同证时间窗），专用于图→文与文→图的跨模态检索评测——保证检索测试数据与训练数据时间上完全隔离。

2.8 数据的时间深度：十七年跨度意味着什么

OpenPath 的时间窗（2006-03-21 至 2022-11-15）在医学数据集里几乎绝无仅有——它从 Twitter 第一条帖子开始收起。这个设计带来三重效果：

1. 覆盖数字病理普及前后的完整话语：2006-2012 年的推文记录了数字工作流普及前、以光学显微镜拍照分享为主的形态学描述，与 2015 年后数字切片时代的话语并存于同一数据集；
2. hashtag 语义漂移的自然对照：同一标签在十七年里的用法变迁本身是可研究的社会语言学素材，Extended Data Fig. 9 的 hashtag 级检索分析即建立在这层结构上；
3. 验证集的强时间隔离：验证集取自训练截止日（2022-11-15）之后（2022-11-16 至 2023-01-15），社区话题与流行病例的自然漂移构成一道防泄漏屏障——比随机划分严格得多。

代价是老推文的链接衰减：时间越早的 Tweet ID，回溯失败概率越高，复现时的有效样本量会随年份递减——这正是坑 5 的深层原因，也是「先快照再回溯」操作纪律的由来。

§3 模型与训练流水线

3.1 架构：一个「不设防」的标准 CLIP

PLIP 的架构没有任何病理特异改动：

• 图像编码器：ViT-B/32（Vision Transformer，patch 32 像素），输入图像 224×224；
• 文本编码器：CLIP 标准 Transformer 文本塔，最大序列长 76 token；
• 输出：图像嵌入与文本嵌入映射到同一空间，余弦相似度即跨模态匹配分数。

分辨率限制是作者明说的：受算力所限，「全部输入图像按原始 CLIP 规格缩放至 224×224」（bioRxiv 讨论/Limitations 原文快照）——病理全切片动辄十万像素级宽幅，224×224 意味着模型只能看到显微视野级别的局部纹理，切片级结构信息天然在数据采集阶段就丢失了（推文本就是视野照，这是数据源与分辨率的自洽选择，但也构成硬天花板，见坑点与 rai:dataLimitations）。

3.2 对比学习微调

训练目标是 CLIP 式对比学习：一个 batch 内，配对（图像，正确文本）的嵌入余弦相似度拉高，非配对组合压低（Nature 摘要与图 1e/f；腾讯云全译详解同证）。预训练权重取自 OpenAI CLIP ViT-B/32（其基线预训练语料含 ImageNet；Nature Data availability 原文引用 ImageNet 与 LAION-5B），在 OpenPath 208,414 对上继续训练直至收敛。

图像预处理口径（Encord 转述）：降采样、数据增强、随机裁剪。

3.3 内部 API 渊源：FashionCLIP

PLIP 的官方 Python 内部 API 复制自 FashionCLIP（GitHub README 致谢原文：“The internal API has been copied from FashionCLIP”）。FashionCLIP 是 Farfetch 用约 70 万时尚图文对微调 CLIP 的项目（Encord 同证）——「垂直领域 CLIP 微调 + 轻量易用 API」这套工程范式先在时尚领域跑通，PLIP 把它搬进病理。这也解释了为什么 PLIP 的调用体验是「三行代码出嵌入」而不是「搭训练框架」。

3.4 训练配置存照：只有第三方复现口径可用

重要存照：原作者 Methods 的优化器、学习率、批大小、epoch 数受 Nature 付费墙与 bioRxiv Cloudflare 双重拦截，未能直接核得原文配置。公开可查的是第三方复现口径，引用时必须标注「第三方复现，非原文自报」：

• PA-LLaVA 论文（arXiv:2408.09530）复现口径：PyTorch 实现，30 epochs，4×NVIDIA A100，batch size 4×48，AdamW（weight decay 0.01），学习率 1e-5 起、1,000 步 warmup 至 1e-4、固定间隔衰减至 5e-5，输入 224×224，文本截断 100 token；
• ECCV 2024 KEP 论文复现口径：“For OpenPath, we conduct the pathology VLP for 30 epochs”——同为 30 epochs。

两源一致处（30 epochs）可信度较高，其余细节仅 PA-LLaVA 单源。本条目不在任何章节冒充原文口径（坑 3）。

3.5 两条调用通路

通路一：官方内部 API（最简）：

from plip import PLIP

plip = PLIP('vinid/plip')
image_embeds = plip.encode_images(images, batch_size=32)
text_embeds = plip.encode_text(texts, batch_size=32)
# 两侧均做单位范数归一化后，点积即可当余弦相似度用

通路二：HuggingFace 标准 API（最通用）：

from transformers import CLIPModel, CLIPProcessor

model = CLIPModel.from_pretrained("vinid/plip")
processor = CLIPProcessor.from_pretrained("vinid/plip")

HuggingFace 模型卡（hf-mirror API 实抓）：pipeline_tag 为 zero-shot-image-classification，architectures 为 CLIPModel；tokenizer 特殊 token：pad/eos 为 <|endoftext|>、bos 为 <|startoftext|>。仓库文件 8 项（pytorch_model.bin、config.json、preprocessor_config.json、tokenizer.json 等），总存储 1,815,557,707 字节（约 1.8 GB）。

3.6 嵌入空间的使用心法

拿到 PLIP 嵌入后，三件事最值得做：

1. 零样本分类：把候选类别写成自然语言短语（如「colorectal adenocarcinoma epithelium」「smooth muscle」），全部编码后与图像嵌入比余弦相似度，argmax 即预测——四数据集 F1 0.565–0.832 就是这么产生的；
2. 图文检索：两侧单位范数归一化后点积，按相似度排序取 Top-k，Recall@10/Recall@50 是官方评测口径；
3. 嵌入下游化：把图像嵌入当特征喂给线性头或轻量分类器——1% 数据探针 0.715–0.952 的成绩说明这个特征在标注极少时依然强。

心法要点：类别短语写得越「像推文里的医生话语」，零样本效果越好——PLIP 的文本塔是在社交媒体描述上调的，不是在教科书术语上调的。用刻板的检索式 prompt 反而可能失配，这是与通用 CLIP 使用习惯的重要差异。

4.0 怎么读这一章的数字

三个读数规则，先立后读：

1. 凡 F1 必问三件事：哪个数据集、几分类、测试 n 多大——同一个「0.7」在九分类 Kather（n=7,180）与二分类 DigestPath（n=18,814）上的含金量完全不同；
2. 凡对比必问基线：0.030–0.481 的对照区间来自「此前对比语言-图像预训练模型」，不是所有深度模型——拿 PLIP 与全监督 CNN 比零样本是无意义的错位比较；
3. 凡区间必问口径：0.565–0.832 是四数据集各自值的区间（坑 6），95% CI 是单数据集统计区间（附录 G），10 种子均值 ± CI 是探针口径（附录 H）——三种「区间」不互换。

§4 比较发现：性能证据链

4.1 评测设计总览

论文用三类任务、八个评测面检验 PLIP：

1. 零样本分类：四个外部病理数据集（Kather colon、PanNuke、DigestPath、WSSS4LUAD），直接用「类别名文本」当分类器；
2. 线性探针：冻结 PLIP 图像编码器，只训练线性分类头——测嵌入质量；
3. 跨模态检索：图→图（Kather 9 组织类型、PanNuke 19 器官、KIMIA Path24C 24 种染色纹理、Twitter 验证集）与文→图（Twitter 验证集、PathPedia、PubMed/Books 收藏集）双向。

对照基线三类（creatis-myriad 精读笔记实抓）：通用 CLIP（另用医学图像训练的版本）、MuDiPath（多任务预训练 DenseNet121，覆盖 22 个数字病理分类任务、约 90 万图像）、任务特定全监督 ViT-B/32（ImageNet 预训练）。统计口径：10 个随机种子，报告均值 ± 95% CI。

4.2 零样本分类：0.565–0.832 对 0.030–0.481

Nature 摘要原文结论：PLIP 在四个外部验证集上加权 F1 达 0.565–0.832，此前对比语言-图像预训练模型为 0.030–0.481。分数据集明细（CSDN Nature 全译实抓，含 95% CI）：

数据集	类别数	测试 n	PLIP 加权 F1（95% CI）
Kather colon	9 类组织类型	7,180	0.565（0.559–0.572）
PanNuke（良/恶性）	2 类	1,888	0.656（0.639–0.667）
WSSS4LUAD（肿瘤/正常）	2 类	3,028	0.734（0.723–0.745）
DigestPath（良/恶性）	2 类	18,814	0.832（0.829–0.834）

解读要点：

• 区间 0.565–0.832 是「四个数据集各自的 F1 值」构成的区间，不是单一数据集上的波动范围（坑 6）；
• 最难的 Kather colon 是九分类细粒度任务，F1 0.565 意味着零样本可用但远未到临床级；二分类任务（DigestPath 0.832）则接近实用；
• 对比区间 0.030–0.481 说明通用 CLIP 的病理知识接近随机（0.030 约等于瞎猜）。

TechTarget 报道把这对数字简写为「0.6–0.8 对 0.3–0.6」，系约数转述，本条目不采用（坑 8）。

4.3 线性探针：嵌入质量 +2.5% F1

在 PLIP 图像编码器输出上训练简单线性分类器（linear probing，只训头、冻结主干），相比在其他监督模型嵌入上做同样操作，平均高出 2.5% F1（Nature 摘要原文）。第三方 Encord 转述的平均值口径：PLIP 0.891 vs CLIP 0.813——单一转述源，引用需标注 Encord。

线性探针的性能差异直接反映嵌入空间的「可分性」：+2.5% 的含义是 PLIP 的嵌入把病理语义组织得更有序，下游用最便宜的头就能吃到红利。

4.4 少数据线性探针：PLIP 的真正卖点

论文把探针实验按训练数据量分档（Nature Extended Data 图注实抓；10 随机种子均值）：

1% 训练数据（每类约几十到几百张）：

数据集	PLIP	ViT-B/32（ImageNet 预训练）	差值
Kather colon	0.952	0.921	+0.031
PanNuke	0.715	0.637	+0.078
DigestPath	0.933	0.872	+0.061
WSSS4LUAD	0.816	0.645	+0.171

全量训练数据：

数据集	PLIP	ViT-B/32	差值
Kather colon	0.994	0.991	+0.003
PanNuke	0.962	0.938	+0.024
DigestPath	0.977	0.968	+0.009
WSSS4LUAD	0.958	0.941	+0.017

规律清晰：数据越少，PLIP 优势越大。全量数据下两者几乎打平（监督模型见够了样本），1% 数据下 PLIP 全面领先、WSSS4LUAD 差距达 17 个百分点。这是视觉-语言预训练对标注稀缺领域的经典价值主张——病理标注贵（一个亚专科医生一小时看不了几张），这个卖点直击痛点。

4.5 Kather 混淆矩阵：零样本错在哪

Kather colon 九类（Extended Data Fig. 2 图注原文展开）：ADI = Adipose tissue（脂肪组织）、BACK = background（背景）、DEB = debris（碎片）、LYM = lymphocytes（淋巴细胞）、MUC = mucus（黏液）、MUS = smooth muscle（平滑肌）、NORM = normal colon mucosa（正常结肠黏膜）、STR = cancer-associated stroma（癌相关间质）、TUM = colorectal adenocarcinoma epithelium（结肠腺癌上皮）。对比基线含 Majority（多数类预测基线）。

混淆矩阵解读（CSDN 全译实抓）：

• 区分良好：ADI（脂肪）、BACK（背景）、TUM（癌上皮）、LYM（淋巴细胞）四个形态学特征鲜明的类别；
• 挑战区：MUC（黏液）与 DEB（碎片）互相纠缠、也最容易被误判；
• 系统性偏移：MUC、DEB、MUS（平滑肌）有时被判为 STR（癌相关间质）——三者与间质在低分辨率视野下纹理相似，符合 224×224 分辨率的局限。

4.6 检索任务：官方口径与第三方口径

官方口径（Nature 图 4/5）：图→图检索在 Kather 9 组织类型、PanNuke 19 器官、KIMIA Path24C 24 种染色纹理与 Twitter 验证集上展示；文→图检索在 Twitter 验证集、PathPedia（210 图文对）与 PubMed/Books 病理收藏集上展示；以 Recall@10 / Recall@50 相对随机的倍数变化报告。Extended Data Fig. 9 另报 hashtag 级 Recall@50 与候选池大小的双侧 Spearman 相关。图 6 展示跨数据集嵌入聚类的 t-SNE：三个模型（PLIP、CLIP、MuDiPath）的嵌入分离度对比。

第三方口径（ECCV 2024 KEP，重训对比场景）：在 Arch-PubMed、Arch-book、PathPair 等图文检索任务上，PLIP 的 Recall@10 仅 0.038–0.152——远低于其重训的病理 CLIP 变体。注意这是第三方用自己框架重训/评测的口径，与官方零样本分类结论不矛盾，但说明「拿现成 PLIP 做精细图文检索」未必够用（§7.5）。

4.7 基线里的 MuDiPath：为什么对比重要

MuDiPath（多任务 DenseNet121，22 个数字病理分类任务、约 90 万图像）代表「有监督多任务预训练」路线；PLIP 代表「图文对比微调」路线。两者都在约百万量级域内数据上预训练，但 PLIP 不需要任何人工类别标注——数据是「白捡」的推文。这正是论文的隐含论点：社交媒体数据的标注成本接近零，却能把嵌入质量做到超过有监督路线（linear probe +2.5% 的对照系）。

4.8 结果的可信度边界

把 §4 的所有数字放在一起看，有三条可信度边界要画：

1. 零样本 CI 的宽窄不同：DigestPath 的 95% CI 极窄（0.829–0.834）是因为测试集大（n=18,814）；PanNuke n=1,888 的 CI 明显更宽（0.639–0.667）——小数据集上的单点对比要谨慎，别只看均值；
2. 探针实验是 10 种子均值，且全量档几乎持平（差距 0.003–0.024）——「PLIP 全面碾压全监督」的说法不成立，成立的是「少数据下优势大」；
3. 官方口径与第三方口径测的不是同一件事：KEP 的检索 Recall@10 0.038–0.152 出自其重训对比框架，与官方零样本分类结论不构成矛盾，但引用任何一方都要注明框架（坑 6 的姊妹提醒）。

三条边界合起来的实践建议：论文数字可信且自洽，但迁移到自己任务前，先用一小批自有标注跑一次探针——这比读任何表格都可靠。

§5 评估基准明细：官方验证集全档案

论文 Data availability 一节原文实抓，官方验证集与下载入口如下：

5.1 Kather colon（组织类型九分类）

• 规模：100,000 训练 patches / 7,180 验证 patches，9 种组织类型；
• 特殊地位：四个外部数据集中唯一自带官方 train/val 划分的（其余均为论文随机 70/30 划分）；
• 下载：zenodo.org/record/1214456（官方公开仓储）；
• 零样本 F1：0.565（0.559–0.572）；1% 探针 0.952；全量探针 0.994。

5.2 PanNuke（器官与核型）

• 规模：7,558 个至少含一个细胞核的 patches；19 种器官、5 种细胞核类型（肿瘤性/炎症性/结缔组织/上皮/坏死）；
• 官方评估场景：零样本良性/恶性二分类（F1 0.656）与 19 器官检索；
• 来源：warwick.ac.uk/fac/cross_fac/tia/data/pannuke（华威大学 TIA 实验室）；
• 第三方短板存照：DiCoP 评测显示肾、结肠、胰腺三类器官零样本 F1 < 0.5。

5.3 DigestPath（良恶性二分类）

• 规模：6,690 恶性 + 56,023 良性图像；
• 官方入口：digestpath2019.grand-challenge.org（2019 挑战赛）；
• 零样本 F1：0.832（0.829–0.834）——四个数据集中最高；测试 n=18,814。

5.4 WSSS4LUAD（肺腺癌肿瘤/正常）

• 规模：6,579 肿瘤 + 3,512 正常图像；
• 官方入口：wsss4luad.grand-challenge.org；
• 零样本 F1：0.734（0.723–0.745）；1% 探针 0.816 vs 0.645——少数据优势最显著的战场。

5.5 PathPedia（检索用）

• 规模：210 图文对；来源 pathpedia.com eAtlas（在线病理图谱）；
• 用途：文→图检索评测（Nature 图 5）。

5.6 PubMed and Books pathology collection（检索用）

• 来源：warwick.ac.uk/fac/cross_fac/tia/data/arch；
• 用途：文→图检索评测（Nature 图 5，Arch 系任务）。

5.7 KIMIA Path24C（图→图检索用）

• 内容：24 种病理图像染色纹理；来源 kimialab.uwaterloo.ca（滑铁卢大学 KIMIA 实验室）；
• 用途：图→图检索评测（Nature 图 4）。

5.8 Twitter 验证集与 ImageNet

• Twitter 验证集：2,023 独立图文对（2022-11-16 至 2023-01-15 采集），图→文与文→图检索专用；
• ImageNet：仅作为 ViT-B/32 基线模型的预训练权重来源（Nature DA 原文引用），非评测集。### 5.9 验证集设计的门道

官方验证集组合里有三个值得抄的设计决策：

1. 外部数据集全部跨域：Kather、PanNuke、DigestPath、WSSS4LUAD 与训练数据（推文/网络图）来源完全不同——零样本成绩测的是「迁移」而不是「记忆」；
2. Kather 用官方划分，其余随机 70/30：论文没有掩盖这个不一致（DA 原文写明），复现对比时要注意 Kather 数字与其余三个的可比性略弱；
3. 验证集按任务分层适配：分类用外部基准、检索用 Twitter（2,023 对）/PathPedia/Arch 收藏集——任务与数据形态对齐，不做「拿分类集硬测检索」的错配。

另一个实用提醒：这批验证集全部公开、可独立下载（附录 J 总表），任何人不碰训练数据即可复算全部主表数字——可复现性的关键一环，也是第三方评测（§7.5）能迅速展开的前提。

§6 获取与许可

6.1 模型权重：HuggingFace vinid/plip

hf-mirror API 实抓元数据（2026-10-04）：

字段	值
模型 ID	vinid/plip
pipeline_tag	zero-shot-image-classification
architectures	CLIPModel
downloads	41,816
likes	60
createdAt	2023-03-04T19:37:10Z
lastModified	2023-03-31T02:46:21Z
sha	67ade53ddd32195868f422585f72698ef5d15094
usedStorage	1,815,557,707 字节（约 1.8 GB）
文件	8 项：pytorch_model.bin、config.json、preprocessor_config.json、tokenizer.json 等
license	null（未声明）

关联 Space：6 个（含官方演示 webplip）。

6.2 数据集：Google Drive 回溯制

• 入口：tinyurl.com/openpathdata → 实抓重定向确认 → drive.google.com/drive/folders/1b5UT8BzUphkHZavRG-fmiyY9JWYIWZER；
• 内容：Tweet ID 清单（Twitter 侧）+ 图像 URL 清单（PathLAION 侧）；
• 获取图像需自行回溯原源（Twitter API / LAION 链接），没有现成图像包（坑 5）；
• 复现建议：拿到清单后尽快快照，防推文删除与链接失效。

回溯操作要点四条：

1. 先备份清单本体：Tweet ID/URL 清单是不可再生资源，任何后续操作前先本地全量备份；
2. 分年份回溯：越早的推文失效率越高，按年份分批处理并记录每批成功率——这本身是可写进方法学章节的元数据；
3. 记录失效模式：区分「推文删除」「账号注销」「媒体失效」三类损耗，为后续研究者留存衰减曲线；
4. 条款分层核查：Twitter 侧看平台服务条款与开发者协议，LAION 侧看其语料条款，图像本体看原作者权利——三层都要过。

6.3 代码与演示

• GitHub：PathologyFoundation/plip——README 实抓确认提供内部 API 与 HF API 两种用法、huang2023visual 引用 BibTeX（作者 Huang, Zhi and Bianchi, Federico and Yuksekgonul, Mert and Montine, Thomas J and Zou, James；Nature Medicine pages 1-10）；
• 官方演示：huggingface.co/spaces/vinid/webplip（tinyurl.com/webplip 重定向实抓确认）——上传病理图或输入文本即可试零样本分类与检索；
• 致谢口径：README 注明内部 API 复制自 FashionCLIP。

6.4 License 存照：未声明不等于可随意商用

三次独立核验（HF 模型卡页面、README 全文、GitHub 仓库）均未见显式许可声明；2026-10-04 hf-mirror API 复核 license 字段为 null。含义辨析：

• 「未声明」不是「无版权限制的公有领域」——默认著作权仍在作者与图像原源侧；
• 对模型权重：学术研究使用通常风险可控，商用前建议联系作者确认；
• 对数据：回溯制本身把合规责任转移到原源（Twitter 服务条款、LAION 语料条款、推文作者权利）；
• 本条目在库内登记口径即为「官方未随附明确开源许可声明」，引用本条目时勿转写成「开源」或「CC 某协议」（坑 4）。

6.5 DAIMS 视角的 AI-Ready 评估

按库内 DAIMS 评估框架逐项过：

维度	评估	依据
可获取性	高	模型权重/数据清单/代码/演示四路全公开
许可明确性	低	license 字段 null，三处核验无声明
文档完整性	高	README 用法 + 论文 Methods + Extended Table 1
数据可用形态	中	Tweet ID/URL 清单需回溯，非开箱图像包
格式标准性	高	HF 标准 CLIPModel 结构，transformers 直接加载
伦理与合规	高	Tweet ID 回溯制 + 五条排除标准（含敏感标记排除）
可复现性	中	模型与数据可复现；训练超参原文未公开（依赖第三方复现口径）

综合：获取通路接近满分，许可与数据形态是两大扣分项——这正是「AI-Ready」不等于「AI-Available」的教科书案例。

6.6 五分钟上手清单

1. pip install transformers（或克隆 GitHub 仓库改用内部 API）；
2. CLIPModel.from_pretrained("vinid/plip") + CLIPProcessor.from_pretrained("vinid/plip")；
3. 准备 3-5 张自己的病理视野图，写 2-3 条候选描述短语；
4. 编码、归一化、点积——检查相似度排序是否符合病理直觉；
5. 进阶：去 webplip Space 对照官方 demo 输出；要拿数据则先读 §2.6 与坑 5，快照清单后再回溯。

合规双提醒随身带：模型许可未声明（§6.4），数据回溯需叠加原源条款（Twitter/LAION）。

§7 生态与影响

7.1 引用数双口径

引用热度存在两个口径并存（抓取时点均为 2026-10-04）：

口径	数值	说明
Nature 官方页面	55k Accesses / 789 Citations / 265 Altmetric	出版商 Counter 口径
Semantic Scholar	911 次（influential 63）	学界聚合口径，另预印本记录 35 次单列

两口径差异来自统计范围与时点，属正常现象；本条目正文引用 Semantic Scholar 911 口径并注日期。双口径并存本身是引用核实方法论的一课（附录 L）。

7.2 同期评述：Nature Medicine 官方背书

Nature Medicine 为该论文配发 News & Views 评述《Harnessing medical twitter data for pathology AI》（Ming Y. Lu、Bowen Chen、Faisal Mahmood，Harvard，2023-09-13）——由哈佛计算病理团队执笔的正面解读，把 OpenPath 定位为「社交媒体医学数据用于严肃 AI 研究」的标志性案例。论文投稿到发表仅不到五个月（2023-03-26 投稿 / 2023-07-18 接收 / 2023-08-17 在线），同行评审致谢名单含 Geert Litjens（计算病理领域权威）、Lee Cooper，主责编辑 Lorenzo Righetto。

7.3 衍生模型生态

hf-mirror 搜索 API 实抓 20 条 “plip” 相关结果：除官方 vinid/plip（下载 41,816，远超其余）外，存在多个量化版、重命名版与衍生微调版，但均未形成独立生态位。PLIP 的真实生态影响不在 HF 站内镜像，而在下游论文把它当「病理域默认图文编码器」使用（§7.4）。

7.4 第三方采纳（检索佐证）

• PS3（ICCV 2025）：全切片存活预测用 PLIP 做图文特征编码器，对比 QUILT-Net 等基线；
• STimage-1K4M：空间转录组工作流用 PLIP 图像编码器微调，做形态-转录对齐；
• PA-LLaVA（arXiv:2408.09530）：完整复现 PLIP 训练流程（30 epochs / 4×A100，见 §3.4）并以其为病理视觉-语言基座；
• KEP（ECCV 2024）：以 PLIP 为对比对象重训病理 CLIP，产出检索基准（§4.6 第三方口径）。

7.5 第三方批评：三条短板研究线

负向证据同样重要，三条独立研究线：

1. 器官级零样本短板：DiCoP（arXiv:2405.15728）评测显示 PLIP 在 PanNuke 的肾、结肠、胰腺器官上零样本 F1 低于 0.5，作者归因于预训练语料中相应器官欠代表——「Medical Twitter 采什么，模型就会什么」的必然结果；
2. 对抗脆弱性：PGD 攻击研究（arXiv:2401.02565）在 Kather colon 7,180 张测试图上取得 100% 攻击成功率——零样本推理模式对对抗扰动毫无防御；
3. 精细检索不够用：KEP 口径下 PLIP 在 Arch-PubMed / Arch-book / PathPair 检索任务 Recall@10 仅 0.038–0.152（§4.6），精细图文检索需重训。

三条线共同指向同一结论：PLIP 是「第一代」病理视觉-语言模型——开创范式但天花板明显，后续工作（含库内 Biomedica 条目代表的更大规模路线）都在其基础上演进。

7.6 与库内条目的生态位对比

在库内「病理 + 自然语言」条目里，PLIP 的生态位可以三句话讲清：

• vs PathVQA（rid 260）：PathVQA 是问答对（给图答题），PLIP 是陈述对（图配描述）——前者适合训 VQA 模型，后者适合对比预训练；
• vs ROCO（rid 300）：ROCO 走 PubMed/Instagram 机构渠道，PLIP 走 Twitter 社区渠道——采集哲学相反（机构筛选 vs 社区自发布），但都验证了「网络图文对喂 CLIP」的可行性；
• vs Biomedica（rid 734）：Biomedica 是更大规模的生物医学图文聚合（多源多模态口径），PLIP 是单领域（病理）深潜——广度与深度的分工。

放进时间轴看更清楚：PLIP（2023-08）是病理领域视觉-语言基础模型的第一块拼图，其后 KEP/PA-LLaVA 等重训路线与 Biomedica 等聚合路线，共同把这块拼图补成了完整图景。

§8 方法学启示

启示一：社交媒体是医学 AI 的「免费富矿」，但要本体化开采。 OpenPath 不是爬 Twitter，而是用 USCAP 推荐 + Pathology Hashtag Ontology 把社区语料结构化成可检索的领域本体——32 个 hashtag 就是 32 个免费的领域元数据标签。直接爬取与本体化开采，数据质量天差地别；后续工作若要复制这条路，第一步永远是找领域本体（放射有 RadLex，皮肤有 DermHashtag 类体系），而不是先写爬虫。

启示二：「通用基础模型 + 领域数据微调」范式在病理验证成功。 PLIP 没改任何架构，只换数据，就把零样本 F1 从 0.030–0.481 抬到 0.565–0.832。这是「数据 > 架构」的经典实证，也是 CLIP 范式跨领域迁移的病理教科书案例——同一时期 FashionCLIP（时尚）、BioCLIP 系（生物）走的是同一条路。

启示三：少样本场景是视觉-语言预训练的价值主场。 全量数据下 PLIP 与全监督基线几乎打平（差距 0.003–0.024），1% 数据下差距拉到最大 17 个百分点（WSSS4LUAD 0.816 vs 0.645）——标注昂贵的领域（病理是典型：亚专科医生一小时看不了几张）才是这类技术的真实受益者。评测这类模型时，请把「数据预算」作为实验轴之一，只测全量数据会完全掩盖差异。

启示四：回溯制发布是社交媒体数据的合规范式。 发布 Tweet ID/URL 而非图像本体，把版权、删除权、平台条款留在原源侧。这套 Release Policy 已成为后续社交媒体数据集的参考模板——代价是数据会随时间衰减，复现要趁早。对数据治理研究者，这一节（§2.6）比性能数字更有引用价值。

启示五：领域适配的分辨率代价必须明说。 224×224 对自然图像够用，对病理是硬伤（作者原文自述）。后续病理基础模型普遍升分辨率或走滑窗多分辨率路线，PLIP 的天花板被后代反复打破——第一代模型的价值在范式验证，不在性能巅峰。写论文时把局限写成作者级自述（而非审稿人逼出来的），是这篇论文方法学写作上的加分动作。

§9 库内关系：病理图文数据集网络

PLIP 在库内病理图像条目网络中的位置——它既是下游消费者（使用 PanNuke、DigestPath、WSSS4LUAD 做零样本评测），也是上游基座（供后续模型微调与对齐）：

库内条目	record_id	与 PLIP 的关系
pannuke	218	官方零样本验证集（良/恶性 0.656；19 器官检索）；DiCoP 短板评测对象
digestpath	338	官方零样本验证集（最高分 0.832）
wsss4luad	643	官方零样本验证集（0.734）；1% 探针差距最大（+0.171）
patchcamelyon	158	库内经典病理二分类条目——对比参照：PCam 式结构化标签 vs PLIP 式自然语言监督
breakhis	126	库内乳腺病理条目——同为显微视野图像，标注范式（专家标签 vs 医生自发布描述）对照
pathvqa	260	病理 VQA 条目——同为「病理 + 自然语言」路线，监督形态（问答对 vs 图文对）互补
roco	300	放射 + 病理图文对条目——Instagram/ PubMed 来源，与 Medical Twitter 采集路线互为镜像
biomedica	734	生物医学图文对大集合——PLIP 之后更大规模图文预训练路线的代表
nct-crc-he-100k	148	结肠组织学 patch 集——与 Kather colon 同源家族，PLIP 的 9 类即其子集体系
camelyon16-17	33	淋巴结转移检测条目——全切片级任务与 PLIP 视野级任务的粒度对照
panda / panda-plus	27/560 与 640	前列腺 WSI 条目——切片级标签、像素级掩码、自然语言监督三种粒度谱系
camelyon16 / camelyon17	694 / 699	同上，挑战赛系全切片条目

选型指引：要做零样本分类/检索原型，直接用 PLIP；要训练监督模型，用 patchcamelyon / nct-crc-he-100k / breakhis；要更大规模图文预训练，看 biomedica 与 roco；要切片级弱监督，走 camelyon 系与 panda 系。

三个典型场景的落地组合：

1. 「我有一批无标注病理视野图」：PLIP 出嵌入 → 聚类看天然分组 → 用 Kather 九类短语做零样本预标 → 人工只审低置信样本——把 PLIP 当「免费初标员」；
2. 「我要证明新模型比基线强」：PLIP 是必须报的对照基线（四数据集零样本 F1 见附录 G），且引用时注意双口径（§7.1）与第三方口径（附录 P）；
3. 「我要讲社交媒体数据合规的课」：OpenPath 的 Release Policy（§2.6）+ 五条排除标准（附录 D）+ ICD-11 关键词代理（附录 E）三件套是完整教学案例。

§10 避坑清单

坑 1：重名模型——此 PLIP 非彼 PLIP。
文献与模型库里另有一个 PLIP = Person Language-Image Pre-training（行人重识别模型，基于 Synth-PEDES 1,200 万条 caption 训练）。搜 “PLIP” 出来的结果可能一半是行人重识别。检索病理 PLIP 务必附加 pathology / pathology image / OpenPath 关键词；引 BibTeX 认准 huang2023visual（Nature Medicine）。

坑 2：208,404 是错引，正确数字是 208,414。
第三方综述（如 arXiv:2503.09091，tomesphere）把 OpenPath 规模写成 “208,404” 并错误挂引 “(Sun et al., 2024e)”——引用链以讹传讹的活标本。正确数字以 Nature 摘要原文 208,414 为准（三子集 116,504 + 59,869 + 32,041 可自校验）。看到 208,404 即可判定该来源未核对原文。

坑 3：训练超参只能写「第三方复现口径」，不能冒充原文。
原作者 Methods 的优化器/学习率/批大小/epoch 受付费墙限制未直接核得；公开口径是 PA-LLaVA（30 epochs、4×A100、batch 4×48、AdamW wd 0.01、lr 1e-5→1e-4 warmup 1,000 步→衰减 5e-5、文本截断 100）与 KEP（30 epochs）。转述时必须标「第三方复现」，写成「论文训练配置」即事实错误。

坑 4：license 为 null ≠ 可以随便商用。
官方未随附明确开源许可（HF API license 字段 null、README 无声明、GitHub 无 LICENSE 文件）。这是「未声明」，不是「无版权」——商用与再分发前需联系作者确认，数据侧还要叠加 Twitter/LAION 原源条款。任何材料把 PLIP 写成「开源模型」都需修正为「权重公开、许可未声明」。

坑 5：OpenPath 发布物里没有图像文件。
下载的是 Tweet ID 清单 + LAION URL 清单。想直接拿到 208,414 张图？没有。需凭 ID/URL 回溯原源，且推文删除、账号注销、链接失效都会造成永久缺口。学术复现请先快照清单与可回溯部分，不要假设「别人校验过我也校验得回来」。

坑 6：0.565–0.832 是四个数据集的各自值，不是单一区间。
Nature 摘要的「weighted F1 of 0.565–0.832」指 Kather 0.565 / PanNuke 0.656 / WSSS4LUAD 0.734 / DigestPath 0.832 四个值构成的区间。常见错误转述：单数据集置信区间、或把 0.832 当「平均分」。同理 0.030–0.481 是基线模型在四数据集上的值域。

坑 7：论文标题有两个版本，引用认 Nature 正式版。
正式版：《A visual–language foundation model for pathology image analysis using medical Twitter》（Nature Medicine, doi:10.1038/s41591-023-02504-3）；bioRxiv 预印本：《Leveraging medical Twitter to build a visual–language foundation model for pathology AI》（doi:10.1101/2023.03.29.534834）。标题措辞不同、引用计数分开（S2：正式版 911 / 预印本 35），混引会污染引用统计。

坑 8：TechTarget 等媒体的约数口径不要进正文。
「F1 0.6–0.8 vs 0.3–0.6」「over 243,000 diagnostic images」「32,000 annotated images from public datasets」均为约数转述且与原文有出入（0.565–0.832 vs 0.030–0.481；243,375；32,041）。新闻转述只用于叙事背景，一切数字回原文。

§11 总结

PLIP 用一篇论文回答了三个问题。数据从哪来：Medical Twitter 的 32 个 hashtag 本体化开采，加上 LAION-5B 嵌入检索，凑出 208,414 对图文，采集与合规设计（五条排除标准、Tweet ID 回溯制）比数据本身更有长期引用价值。价值在哪：不改架构只换数据，零样本 F1 从 0.030–0.481 到 0.565–0.832，少数据探针优势最大 17 个百分点——证明「领域微调」是通用视觉-语言模型落进病理的最低成本通路。边界在哪：224×224 分辨率、器官级零样本短板、对抗零防御、许可缺位——第一代模型的每一条边界，都成了第二代工作的出发点。对库内用户，它最好的用法是：零样本原型与图文检索的快速起点、社交媒体数据治理的可引用范例、以及理解「数据粒度谱系」（标签→掩码→自然语言）的病理入口条目。

FAQ

A 组：基础认知

A1：PLIP 是数据集还是模型？
都是。OpenPath 是数据集（208,414 图文对），PLIP 是在它上面微调 CLIP ViT-B/32 得到的模型，同篇论文发布、名字各管一头。

A2：「Pathology Language-Image Pretraining」怎么理解？
即「在病理图像与其自然语言描述上做语言-图像预训练」。注意 GitHub README 写作 “Pathology Language and Image Pre-Training”，两种展开并存，以论文行内写法为准。

A3：谁做的？
斯坦福大学团队：Zhi Huang（生物医学数据科学系 + 病理系双单位）与 Federico Bianchi（CS 系）共同一作，Mert Yuksekgonul、Thomas J. Montine（病理系）参与，James Zou 通讯。Huang 与 Bianchi equal contribution。

A4：发表在哪里？何时？
Nature Medicine 2023 年第 29 卷 2307–2316 页，doi:10.1038/s41591-023-02504-3；2023-03-26 投稿、2023-07-18 接收、2023-08-17 在线发表。预印本 2023-03-29 上 bioRxiv。

A5：为什么叫「基础模型」？
因为它提供的是可迁移的通用病理视觉-语言表征（零样本分类、检索、嵌入下游化三用），而非单一任务的专用模型——「基础模型」指地位与用法，不指参数规模（ViT-B/32 其实不大）。

A6：它和 ChatGPT/LLM 有关系吗？
没有直接关系。PLIP 是双塔对比模型（不是生成式 LM）；PA-LLaVA 等后续工作才把病理图文表征接进 LLM——别把「language-image」误解成「大语言模型」。

A7：论文是开放获取吗？
Nature 版非 OA（Methods 受付费墙限制）；bioRxiv 预印本为 GREEN OA（CC BY-NC 口径）。读 Methods 与补充材料走预印本+正式版对照最稳。

A8：库内为什么给它建条目？
它是「病理 + 自然语言」粒度的开创者、社交媒体医学数据的合规范式、以及库内 12 个病理条目互链网络的枢纽节点——三个身份各值一条收录理由。

B 组：数据构成

B1：208,414 对是怎么加出来的？
Tweets 116,504 + Replies 59,869 + PathLAION 32,041 = 208,414，三源互证且数学自洽。

B2：32 个 hashtag 有清单吗？
完整清单在论文 Extended Table 1；体系依据是 2016 USCAP 会议推荐与 Symplur 的 Pathology Hashtag Ontology。

B3：为什么排除含问号的文本？
问句（如「这是啥？」）通常是在求信息而不是描述图像，与图像的对应关系弱，不适合对比学习对齐——五条排除标准之一。

B4：验证集 2,023 对是干嘛的？
训练窗（截至 2022-11-15）之后按同标准新采的独立图文对，专用于图文检索评测，保证与训练数据时间隔离。

B5：Tweets 和 Replies 子集质量有差别吗？
官方未给分子集性能；构造上 Replies 多了 ICD-11 关键词与最高赞两道筛选，理论上医学相关性与描述质量更稳，但「最高赞」也可能偏向猎奇病例——用的时候当两个分布看待。

B6：为什么 caption 中位数只有 17 词还能训练？
对比学习不需要长文本，只需要「与图像强绑定的短语」；17 词正好是一句形态学描述的长度，比单词标签富、比报告短——对 76 token 的文本塔刚好。

B7：PathLAION 的文本质量可靠吗？
它沿用了 LAION 侧的 alt-text 式描述，质量控制弱于医生推文——这是三子集中文本噪声最高的部分，论文也仅将其定位为「多样性补充」而非主力。

B8：现在还能用 Twitter API 回溯吗？
平台 API 政策自 2023 年后变动剧烈，回溯成本与可行性已不同于论文发表时——这正是「先快照清单」纪律的原因，也是评估复现风险时要预算进去的变量。

C 组：模型与训练

C1：训练用了多少轮、什么卡？
原文配置未公开核得；第三方复现口径（PA-LLaVA）为 30 epochs、4×A100、batch 4×48、AdamW。引用须标注「第三方复现」。

C2：为什么说它复制了 FashionCLIP？
README 致谢原文说明内部 API 复制自 FashionCLIP（时尚领域 CLIP 微调项目）——API 设计与调用体验同源，不是模型权重有继承关系。

C3：224×224 是硬伤吗？
作者自己承认的局限（原文自述）。病理全切片远大于此，但 OpenPath 的推文图像本来就是显微视野照，分辨率与数据源自洽——局限在「看不到切片级结构」。

C4：文本编码器最大多长？
76 token（CLIP 标准）。第三方复现里另见文本截断 100 的口径，注意区分「模型架构上限 76」与「复现训练时的截断设置」。

C5：需要在病理上再微调 PLIP 吗？
看任务：零样本/检索原型不用；细分亚专科（如皮肤、血液）建议在自有图文对上续训——PLIP 本身就是「通用 CLIP + 领域微调」的产物，再往下走一步同理。

C6：图像侧要做什么预处理？
跟随 processor 默认（224×224 resize + 归一化）；推文图像本就是视野照，无需额外裁剪策略——但若把自己的 WSI 裁成视野级 patch 再喂入，注意与训练分布的差异。

D 组：评测与性能

D1：零样本 F1 到底多少？
四数据集各自：Kather 0.565（0.559–0.572）、PanNuke 0.656（0.639–0.667）、WSSS4LUAD 0.734（0.723–0.745）、DigestPath 0.832（0.829–0.834）；区间表述 0.565–0.832。

D2：线性探针 +2.5% 是和谁比？
与「在其他监督模型嵌入（含 MuDiPath、通用 CLIP 等）上训练线性头」的平均水平相比，Nature 摘要原文口径；Encord 转述均值 0.891 vs 0.813。

D3：哪个数据集最能体现 PLIP 价值？
1% 训练数据的 WSSS4LUAD：0.816 vs 0.645，差 17 个百分点——少样本 + 难类别场景。

D4：它的检索性能好吗？
官方口径以「相对随机的倍数提升」呈现；第三方 KEP 口径在精细检索任务上 Recall@10 仅 0.038–0.152。结论：粗粒度检索可用，精细检索需重训。

D5：四数据集里哪个最「水」哪个最「硬」？
最硬是 Kather（九分类、有官方划分、n=7,180）；最「好拿分」是 DigestPath（二分类、n 最大、CI 极窄）——引用别人的 PLIP 成绩时先看用的是哪个。

D6：为什么全量数据下 PLIP 优势消失？
探针看到的是嵌入质量，而全量监督微调让 ViT-B/32 基线直接拟合任务分布——监督信号管够时，预训练的语义先验增益被稀释；这不否定预训练价值，只划定其受益区间。

D7：10 个随机种子报均值±95% CI，我复现要对齐吗？
对齐这个口径才能可比；单种子数字与论文 CI 不在一个置信框架里，别直接比大小。

E 组：获取与许可

E1：模型怎么下载？
HuggingFace vinid/plip（约 1.8 GB，CLIPModel 架构，transformers 两行加载）；或官方内部 API from plip import PLIP。

E2：数据怎么下载？
tinyurl.com/openpathdata → Google Drive 公开文件夹，内含 Tweet ID 清单与 LAION URL 清单；图像需自行回溯原源。

E3：能商用吗？
官方未声明许可（license null）。学术使用通常风险可控；商用前建议联系作者，并叠加确认 Twitter/LAION 原源条款。

E4：有在线 demo 吗？
有：huggingface.co/spaces/vinid/webplip，上传图像或输入文本即可体验零样本分类与检索。

E5：数据清单下载后第一步做什么？
快照（本地全量备份）。Tweet ID 会随删帖与注销失效，URL 会腐烂——清单本体是唯一不变的部分，先保住它再谈回溯。

E6：官方 demo 打不开怎么办？
Space 偶有休眠，直接本地跑 §3.5 的两行代码等价替代；模型本体（vinid/plip）与演示（webplip Space）相互独立，一处失效不影响另一处。

F 组：比较与选型

F1：PLIP 和通用 CLIP 差多少？
零样本加权 F1：0.565–0.832 vs 0.030–0.481——通用 CLIP 在病理上接近随机，PLIP 才进入可用区。

F2：PLIP 和 Biomedica 怎么选？
要成熟、轻量、被广泛引用的病理图文编码器：PLIP；要更大规模、更新架构的图文预训练语料：Biomedica（库内 record_id 734）。PLIP 是范式开创者，Biomedica 是规模化后继。

F3：想复现训练可行吗？
数据（ID 清单）与权重都在，但需自行回溯图像 + 按第三方复现口径配超参；PA-LLaVA 已给出完整可行配置（§3.4）。

F4：2026 年还值得用 PLIP 吗？
作为零样本原型、嵌入基线与教学案例：值得；追求 SOTA 零样本或精细检索：已被后续病理基础模型超越，用它当对照基线而非终点。

F5：PLIP 的嵌入和 UNI/Virchow 这类全监督病理基础模型能混用吗？
分属两条技术路线（图文对比 vs 全监督自监督），嵌入空间不兼容，不能直接拼接；但可作为「同一批图的两套视角」做特征级融合实验——库内 panda-plus 条目的七模型评测思路可参考。

F6：做病理 RAG/报告生成，PLIP 撑得住吗？
检索侧粗排可用（§4.6），精细检索与生成侧需要更强基座（PA-LLaVA 式复现或更大规模路线）；把它当原型验证工具而非生产组件。

事实清单

以下 36 条为本条目全部核心事实的编号清单，逐条对应来源（§10 来源总表与附录 R），供审核与后续修订逐条核对。

1. PLIP 全称 Pathology Language-Image Pretraining，论文行内写法为「pathology language–image pretraining」；GitHub README 变体为「Pathology Language and Image Pre-Training」。（来源 #1、#3）
2. PLIP 是首个病理学视觉-语言基础模型（README 原文 “the first vision and language foundation model for Pathology AI”）。（来源 #3）
3. 训练数据集 OpenPath 共 208,414 图像-文本对（Nature 摘要原文）。（来源 #1）
4. 三子集构成：Tweets 116,504 + Replies 59,869 + PathLAION 32,041 = 208,414（三源互证、数学自洽）。（来源 #1、#8、#11）
5. 检索依据：2016 USCAP 会议推荐 + Pathology Hashtag Ontology（Symplur），合计 32 个 hashtag。（来源 #1、#18）
6. 采集 232,067 条推文、243,375 个图文对；时间窗 2006-03-21 至 2022-11-15。（来源 #8）
7. 回复采集 88,250 条，三条件：原推有回复、含 ICD-11 codebook（version 2022-02）关键词、获赞最多。（来源 #8）
8. 五条排除标准：敏感标记 / 重复 / 图像打不开 / 分类器判非病理 / 文本含问号。（来源 #8）
9. Twitter 侧最终 116,504（推文）+ 59,869（回复）= 176,373 对。（来源 #8）
10. PathLAION：1,000 种子图 → LAION-5B（58.5 亿对）CLIP 嵌入余弦最近 5,000 张迭代检索 → 32,041 独立病理图。（来源 #8、#20）
11. 文本清洗：移除 @username、# 符号等；caption 长度中位数 17 词。（来源 #1、#8、#17）
12. 发布形态：Tweet ID 清单 + 图像 URL 清单，回溯制；入口 tinyurl.com/openpathdata → Google Drive。（来源 #6、#8）
13. Twitter 验证集：2022-11-16 至 2023-01-15 采集，2,023 独立图文对，检索任务专用。（来源 #8）
14. 论文发表于 Nature Medicine 2023;29:2307–2316，doi:10.1038/s41591-023-02504-3；时间线 Received 2023-03-26 / Accepted 2023-07-18 / Published 2023-08-17。（来源 #1、#19）
15. 预印本 bioRxiv 2023.03.29.534834（2023-03-29），标题措辞与正式版不同。（来源 #2、#8）
16. 作者：Zhi Huang、Federico Bianchi（二人 equal contribution）、Mert Yuksekgonul、Thomas J. Montine、James Zou（通讯）；斯坦福 BDS 系 + CS 系 + 病理系。（来源 #19）
17. 资助：F.B. — Hoffman-Yee Research Grant Program 与 Stanford HAI；J.Z. — Chan Zuckerberg Biohub；作者声明无竞争利益。（来源 #19）
18. 同行评审致谢 Geert Litjens、Lee Cooper 等；主责编辑 Lorenzo Righetto。（来源 #19）
19. Nature Medicine 同期 News & Views：《Harnessing medical twitter data for pathology AI》（Lu、Chen、Mahmood，Harvard，2023-09-13）。（来源 #19）
20. 模型架构：CLIP ViT-B/32 双塔，输入 224×224，文本最大 76 token；对比学习微调；分辨率局限为作者原文自述。（来源 #1、#8、#11）
21. 内部 API 复制自 FashionCLIP（README 致谢原文）；FashionCLIP 为 Farfetch 约 70 万时尚图文对训练。（来源 #3、#11）
22. 原文训练超参未直接核得（付费墙 + Cloudflare 双拦截）；第三方复现口径：30 epochs（PA-LLaVA 与 KEP 两源一致）、4×A100、batch 4×48、AdamW wd 0.01。（来源 #14、#15）
23. 零样本加权 F1：Kather 0.565（0.559–0.572）/ PanNuke 0.656（0.639–0.667）/ WSSS4LUAD 0.734（0.723–0.745）/ DigestPath 0.832（0.829–0.834）；总体区间 0.565–0.832 vs 此前模型 0.030–0.481。（来源 #1、#17）
24. 零样本测试规模：Kather n=7,180 / PanNuke n=1,888 / DigestPath n=18,814 / WSSS4LUAD n=3,028。（来源 #9）
25. 线性探针：PLIP 嵌入较其他监督模型嵌入平均 +2.5% F1（Nature 摘要）；Encord 转述均值 0.891 vs 0.813。（来源 #1、#11）
26. 1% 数据线性探针：Kather 0.952 vs 0.921 / PanNuke 0.715 vs 0.637 / DigestPath 0.933 vs 0.872 / WSSS4LUAD 0.816 vs 0.645（ViT-B/32 基线）。（来源 #1 图注）
27. 全量数据线性探针：0.994 vs 0.991 / 0.962 vs 0.938 / 0.977 vs 0.968 / 0.958 vs 0.941；10 随机种子均值 ± 95% CI。（来源 #1 图注）
28. Kather 九类：ADI、BACK、DEB、LYM、MUC、MUS、NORM、STR、TUM（Extended Data Fig. 2 图注展开）；MUC/DEB/MUS 有误判为 STR 倾向。（来源 #1、#17）
29. 官方验证集：Kather 100,000 训练 / 7,180 验证（唯一自带官方划分，zenodo 1214456）；PanNuke 7,558 patches（19 器官 5 核型）；DigestPath 6,690 恶性 + 56,023 良性；WSSS4LUAD 6,579 + 3,512；PathPedia 210 对；KIMIA Path24C 24 染色纹理。（来源 #1、#7）
30. 基线：通用 CLIP（医学图像训练版）、MuDiPath（DenseNet121，22 任务，约 90 万图）、全监督 ViT-B/32。（来源 #9）
31. HF 元数据：vinid/plip，downloads 41,816、likes 60、约 1.8 GB、8 文件、createdAt 2023-03-04、sha 67ade53…、6 关联 Space、license null。（来源 #4，hf-mirror API 2026-10-04 实抓）
32. 引用双口径：Nature 页面 789 Citations / 55k Accesses / 265 Altmetric；Semantic Scholar 911（influential 63），预印本 35 单列。（来源 #1、#16，2026-10-04 抓取）
33. 第三方批评三线：DiCoP（PanNuke 肾/结肠/胰腺零样本 F1<0.5）；PGD 攻击（Kather 7,180 图 100% 攻击成功）；KEP（检索 Recall@10 0.038–0.152）。（来源 #12、#13、#15）
34. 重名警示：另一 PLIP = Person Language-Image Pre-training（行人重识别，Synth-PEDES 1,200 万 caption）。（检索存照）
35. “208,404” 系第三方综述错引（arXiv:2503.09091 误标 “(Sun et al., 2024e)”），正确为 208,414。（来源存照）
36. 第三方采纳：PS3（ICCV 2025，存活预测图文编码器）、STimage-1K4M（空间转录组）、PA-LLaVA（复现训练）、KEP（ECCV 2024 重训对比）。（来源 #14、#15，检索佐证）

术语表

1. PLIP：Pathology Language-Image Pretraining，病理语言-图像预训练；本条目指斯坦福病理视觉-语言基础模型（勿与行人重识别同名模型混淆）。
2. OpenPath：PLIP 的训练数据集，208,414 对病理图像-自然语言描述，三分 Tweets/Replies/PathLAION。
3. CLIP：Contrastive Language-Image Pretraining，OpenAI 提出的图文对比预训练范式与模型家族。
4. ViT-B/32：Vision Transformer Base，patch 大小 32 像素的图像编码器规格，PLIP 的骨干。
5. 对比学习（contrastive learning）：让配对图文嵌入靠近、非配对远离的训练目标。
6. 零样本分类（zero-shot classification）：不用任务训练样本，直接用「类别名文本」与图像嵌入比对做分类。
7. 线性探针（linear probing）：冻结主干、只训线性分类头，用于测嵌入空间质量。
8. 图文检索（image-text retrieval）：以图为查此文、或以文为查此图的跨模态检索任务。
9. Recall@k：前 k 个检索结果中包含正确答案的比例，检索评测核心指标。
10. 加权 F1（weighted F1）：按类别样本数加权的 F1 平均，类别不平衡时比准确率可靠。
11. 95% CI：95% 置信区间，论文性能数字均带此区间。
12. Medical Twitter：医生与研究者活跃的 Twitter 学术社区，OpenPath 的主要数据源。
13. hashtag：话题标签；OpenPath 用 32 个病理 hashtag 做检索框架。
14. Pathology Hashtag Ontology：Symplur 平台维护的病理标签本体，把 hashtag 组织为层级体系。
15. USCAP：United States and Canadian Academy of Pathology，美国与加拿大病理学会；2016 年会推荐了病理 hashtag 清单。
16. ICD-11 codebook：WHO 国际疾病分类第 11 版词表；PLIP 用其 2022-02 版关键词过滤回复的医学相关性。
17. Tweet ID 回溯制：只发布推文 ID、由使用者回溯原源取内容的发布方式，版权与删除权留在原源。
18. LAION-5B：58.5 亿图文对的开放网络语料，PathLAION 的上游来源。
19. PathLAION：OpenPath 第三子集，32,041 对，由种子图在 LAION-5B 中余弦近邻迭代检索而得。
20. 余弦相似度（cosine similarity）：两向量夹角的余弦值，图文匹配与近邻检索的基本度量。
21. PathPedia：pathpedia.com 在线病理图谱，官方检索评测用 210 图文对。
22. KIMIA Path24C：滑铁卢大学 KIMIA 实验室的 24 种染色纹理数据集，图→图检索评测用。
23. MuDiPath：多任务预训练 DenseNet121（22 个数字病理任务、约 90 万图），论文基线之一。
24. FashionCLIP：Farfetch 时尚图文对微调的 CLIP 项目；PLIP 内部 API 的来源。
25. 基础模型（foundation model）：大规模预训练、可迁移多下游任务的模型；PLIP 为病理领域首个视觉-语言基础模型。
26. zero-shot image classification：HF pipeline 标签，vinid/plip 的官方任务类型。
27. H&E：苏木精-伊红染色，病理标准染色；推文显微图像的主流染色类型。
28. WSI（whole slide image）：全切片图像；与 PLIP 的视野级（view-level）图像形成粒度对照。
29. PGD：Projected Gradient Descent 对抗攻击；第三方研究用其测出 PLIP 零样本 100% 被攻破。
30. DiCoP：第三方工作，揭示 PLIP 在 PanNuke 部分器官零样本 F1<0.5。
31. KEP：ECCV 2024 论文，重训病理 CLIP 并给出 PLIP 精细检索短板口径。
32. News & Views：Nature 系期刊的同行评述栏目；PLIP 获 Lu/Chen/Mahmood 评述一篇。
33. t-SNE：高维嵌入的二维可视化方法；Nature 图 6 用其展示三模型嵌入的病理聚类分离度。
34. Spearman 相关：秩相关系数；Extended Data Fig. 9 用双侧 Spearman 检验 hashtag 级检索指标与候选池大小的关联。
35. InfoNCE 范式：对比学习的代表性损失族（batch 内配对为正、其余为负），CLIP 系训练的数学骨架。
36. grand challenge：医学影像挑战赛平台（DigestPath、WSSS4LUAD 皆出于此），官方验证集的常见源头。
37. eAtlas：PathPedia 的在线病理图谱形态，210 图文对进入 PLIP 检索评测。
38. license null：HF API 返回的「未声明许可」状态——本条目 AI-Ready 评估的最大扣分项。
39. 回溯制（retrospective linking）：凭 ID/URL 取回原始内容的发布模式；OpenPath 的 Tweet ID 清单是其病理领域首例大规模应用。
40. 视野级（view-level）：显微视野照片粒度；与 WSI 全切片粒度相对，OpenPath 图像的固有形态。

附录

附录 A：官方资源四件套

资源	入口	形态
论文正式版	https://www.nature.com/articles/s41591-023-02504-3	Nature Medicine 2023;29:2307–2316
预印本	https://doi.org/10.1101/2023.03.29.534834	bioRxiv 2023.03.29.534834
模型权重	https://huggingface.co/vinid/plip	PyTorch，约 1.8 GB，8 文件
数据清单	https://drive.google.com/drive/folders/1b5UT8BzUphkHZavRG-fmiyY9JWYIWZER	Tweet ID + 图像 URL 清单
代码	https://github.com/PathologyFoundation/plip	内部 API + HF API 用法
在线演示	https://huggingface.co/spaces/vinid/webplip	零样本分类与检索体验

数据入口短链：tinyurl.com/openpathdata（数据）、tinyurl.com/webplip（演示）——均经实抓重定向确认。

附录 B：数据子集构成与占比

子集	对数	占比	原始形态	发布形态
Tweets	116,504	55.9%	32 hashtag 推文（2006-03-21 至 2022-11-15）	Tweet ID
Replies	59,869	28.7%	高赞回复（三条件筛选）	Tweet ID
PathLAION	32,041	15.4%	LAION-5B 余弦近邻检索	图像 URL
合计	208,414	100%	—	清单回溯制

附录 C：采集漏斗全数字账本

步骤	数字	出处
32 hashtag 检索推文	232,067 条	bioRxiv Methods
推文侧图文对	243,375 个	bioRxiv Methods
回复采集（三条件）	88,250 条	bioRxiv Methods
排除后推文对	116,504 对	Nature 摘要
排除后回复对	59,869 对	Nature 摘要
PathLAION 检索	32,041 对	Nature 摘要
最终合计	208,414 对	Nature 摘要（可自校验：176,373 + 32,041）
Twitter 验证集	2,023 对	bioRxiv Methods

附录 D：五条排除标准全文展开

1. Twitter 官方标记为可能敏感的图文对——平台级安全信号直接排除；
2. 重复的图像-文本对——转发与转发链会造成同图多文本；
3. 图像无法下载或无法打开——技术性可用性过滤；
4. 预训练病理图像分类器判定为非病理图像——领域相关性过滤（如 selfie、会议照片）；
5. 文本含问号——问句通常在求信息而非描述图像，与图像的语义对应弱。

附录 E：回复筛选三条件与 ICD-11 机制

回复是「别人对病理图的评论」，噪声天然更高，故用三条件收窄：

1. 原推有回复——基本存在性；
2. 回复句中含 ICD-11 codebook（version 2022-02）至少一个关键词——用疾病分类词表做「医学相关性」的廉价代理，不需要训练分类器；
3. 同一原推下获赞最多——用社区投票做内容质量代理，一条原推只取一条回复。

这套「词表代理 + 社区投票」的组合不需要任何人工标注，是低预算数据工程的代表设计。

附录 F：PathLAION 检索算法逐步

1. 从 OpenPath 的 Twitter 数据集中随机采样 1,000 张病理图像作为种子集；
2. 用 CLIP 图像编码器计算全部种子图嵌入；
3. 在 LAION-5B（58.5 亿图文对）预计算图像嵌入库中，按余弦相似度检索每种子最近 5,000 张；
4. 合并检索结果，重复迭代（新结果加入/继续检索）直至检索结果全部重复——即「捞尽」；
5. 剔除与 Twitter 数据集重叠者，得 32,041 张独立病理图像，沿用 LAION 侧文本描述。

本质：用基础模型自己的嵌入空间做数据发现，种子图嵌入即查询语句，零人工标注。

附录 G：零样本成绩单（全表含 CI）

数据集	类别设置	测试 n	PLIP 加权 F1	95% CI
Kather colon	9 类组织类型	7,180	0.565	0.559–0.572
PanNuke	良性/恶性	1,888	0.656	0.639–0.667
WSSS4LUAD	肿瘤/正常	3,028	0.734	0.723–0.745
DigestPath	良性/恶性	18,814	0.832	0.829–0.834

对照：此前对比语言-图像预训练模型在同样四数据集上 F1 为 0.030–0.481（区间口径同上）。

附录 H：线性探针成绩单（双档）

1% 训练数据：

数据集	PLIP	ViT-B/32	差值
Kather colon	0.952	0.921	+0.031
PanNuke	0.715	0.637	+0.078
DigestPath	0.933	0.872	+0.061
WSSS4LUAD	0.816	0.645	+0.171

全量训练数据：

数据集	PLIP	ViT-B/32	差值
Kather colon	0.994	0.991	+0.003
PanNuke	0.962	0.938	+0.024
DigestPath	0.977	0.968	+0.009
WSSS4LUAD	0.958	0.941	+0.017

口径：10 个随机种子，均值 ± 95% CI（Nature 图 3 与 Extended Data 图注）。

附录 I：Kather 九类代码与混淆解读

代码	全称	中文
ADI	Adipose tissue	脂肪组织
BACK	background	背景
DEB	debris	碎片
LYM	lymphocytes	淋巴细胞
MUC	mucus	黏液
MUS	smooth muscle	平滑肌
NORM	normal colon mucosa	正常结肠黏膜
STR	cancer-associated stroma	癌相关间质
TUM	colorectal adenocarcinoma epithelium	结肠腺癌上皮

混淆矩阵要点：ADI/BACK/TUM/LYM 四类区分良好；MUC 与 DEB 互相纠缠；MUC、DEB、MUS 存在误判为 STR 的系统性偏移——低分辨率视野下三者与间质纹理相似。对比基线含 Majority（多数类预测）。

附录 J：官方验证集与下载入口总表

数据集	规模	用途	入口
Kather colon	100,000 训练 / 7,180 验证，9 类	零样本 + 探针（官方划分）	https://zenodo.org/record/1214456
PanNuke	7,558 patches，19 器官 5 核型	零样本 + 19 器官检索	https://warwick.ac.uk/fac/cross_fac/tia/data/pannuke
DigestPath	6,690 恶性 + 56,023 良性	零样本	https://digestpath2019.grand-challenge.org
WSSS4LUAD	6,579 肿瘤 + 3,512 正常	零样本	https://wsss4luad.grand-challenge.org
PathPedia	210 图文对	文→图检索	https://www.pathpedia.com
PubMed and Books collection	病理图收藏集	文→图检索	https://warwick.ac.uk/fac/cross_fac/tia/data/arch
KIMIA Path24C	24 种染色纹理	图→图检索	https://kimialab.uwaterloo.ca
Twitter 验证集	2,023 对	图文双向检索	随 OpenPath 清单发布
ImageNet	—	ViT-B/32 基线预训练来源	非 PLIP 评测集

附录 K：HuggingFace 模型元数据全表（hf-mirror API 实抓，2026-10-04）

字段	值
modelId	vinid/plip
author	vinid
pipeline_tag	zero-shot-image-classification
architectures	CLIPModel
downloads	41,816
likes	60
createdAt	2023-03-04T19:37:10Z
lastModified	2023-03-31T02:46:21Z
sha	67ade53ddd32195868f422585f72698ef5d15094
usedStorage	1,815,557,707 bytes
siblings	8 文件（pytorch_model.bin、config.json、preprocessor_config.json、tokenizer.json 等）
license	null（未声明）
关联 Spaces	6 个（含官方 webplip）
tokenizer 特殊 token	pad/eos：`<

附录 L：引用数双口径档案

口径	数值	抓取时点
Nature 官方页面	55k Accesses / 789 Citations / 265 Altmetric	2026-10
Semantic Scholar（正式版 doi）	911 次，influential 63	2026-10-04
Semantic Scholar（预印本记录）	35 次	2026-10-04

使用建议：引学界聚合口径用 Semantic Scholar 并注日期；引出版商口径用 Nature 页面。两口径不可混加。

附录 M：论文时间线、资助与利益声明

项	内容
Received	2023-03-26
Accepted	2023-07-18
Published	2023-08-17（issue：2023 年 9 月）
卷期页	Nature Medicine 2023;29:2307–2316
共同一作	Zhi Huang、Federico Bianchi（equal contribution）
通讯作者	James Zou（斯坦福 BDS 系）
资助（F.B.）	Hoffman-Yee Research Grant Program、Stanford HAI
资助（J.Z.）	Chan Zuckerberg Biohub
利益声明	作者声明无竞争利益
评审致谢	Geert Litjens、Lee Cooper 等
主责编辑	Lorenzo Righetto

附录 N：Extended Data 与 Supplementary 清单

Extended Data（9 图 1 表）：

• Fig. 1：采集漏斗与时间窗图示；
• Fig. 2：Kather 九类混淆矩阵（含 Majority 基线）；
• Fig. 3–6：三模型（PLIP/CLIP/MuDiPath）嵌入对比系列；
• Fig. 7：DigestPath 降采样率与聚类关系；
• Fig. 8：监督对比实验；
• Fig. 9：hashtag 级 Recall@50 与候选数-倍数变化的双侧 Spearman 相关；
• Extended Table 1：32 个 hashtag 完整清单。

Supplementary：Discussion、Tables 1–6、Figs. 1–2、Reporting Summary。

附录 O：第三方复现训练配置（PA-LLaVA 口径，非原文自报）

配置项	值
框架	PyTorch
epochs	30（PA-LLaVA 与 KEP 两源一致）
硬件	4× NVIDIA A100
batch size	4×48
优化器	AdamW，weight decay 0.01
学习率	1e-5 起，1,000 步 warmup 至 1e-4，固定间隔衰减至 5e-5
输入分辨率	224×224
文本截断	100 token

引用警示：以上为 PA-LLaVA（arXiv:2408.09530）复现口径，任何材料不得写成「论文训练配置」。

附录 P：第三方批评研究清单

研究	来源	发现
DiCoP	https://ar5iv.arxiv.org/html/2405.15728	PLIP 在 PanNuke 肾/结肠/胰腺零样本 F1<0.5，归因预训练欠代表
PGD 对抗评测	https://arxiv.org/html/2401.02565v1	Kather 7,180 图 100% 攻击成功
KEP	https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/06901.pdf	Arch-PubMed/Arch-book/PathPair Recall@10 仅 0.038–0.152

附录 Q：错引与约数存照档案

存照项	错误口径	正确口径	判定
规模错引	“208,404”（arXiv:2503.09091 误挂 “(Sun et al., 2024e)”）	208,414	综述笔误，引用链传染
F1 约数	“0.6–0.8 vs 0.3–0.6”（TechTarget）	0.565–0.832 vs 0.030–0.481	媒体约数
图像约数	“over 243,000 diagnostic images”（TechTarget）	243,375 图文对（中间量，非最终 208,414）	约数且口径混用
PathLAION 约数	“32,000 annotated images”（TechTarget）	32,041	约数
标题混引	bioRxiv 预印本标题当正式标题	正式版《A visual–language foundation model for pathology image analysis using medical Twitter》	两版本并存
超参冒充	把 PA-LLaVA 复现配置写成「论文配置」	标注「第三方复现口径」	事实错误

附录 R：来源 URL 总表（实抓/检索确认，2026-10-04）

1. https://www.nature.com/articles/s41591-023-02504-3 —— 正式版论文（摘要/图注/数据可用性实抓）
2. https://doi.org/10.1101/2023.03.29.534834 —— bioRxiv 预印本
3. https://github.com/PathologyFoundation/plip —— 官方仓库（raw README 实抓）
4. https://huggingface.co/vinid/plip —— 官方模型（hf-mirror API 实抓元数据）
5. https://huggingface.co/spaces/vinid/webplip —— 官方演示（tinyurl 重定向实抓确认）
6. https://drive.google.com/drive/folders/1b5UT8BzUphkHZavRG-fmiyY9JWYIWZER —— 数据下载（tinyurl 实抓确认）
7. https://zenodo.org/record/1214456 —— Kather colon 官方仓储
8. https://www.biorxiv.org/content/10.1101/2023.03.29.534834.full —— bioRxiv 全文（Methods 经索引快照取得）
9. https://creatis-myriad.github.io/2023/09/28/PLIP.html —— CREATIS MYRIAD 精读笔记（实抓全文）
10. https://www.techtarget.com/healthtechanalytics/news/366590194/ —— TechTarget 报道（斯坦福新闻稿引言；约数存照）
11. https://encord.com/blog/open-ai-clip-alternatives/ —— Encord（三分组成互证；0.891/0.813 转述）
12. https://arxiv.org/html/2401.02565v1 —— PGD 对抗评测
13. https://ar5iv.arxiv.org/html/2405.15728 —— DiCoP 器官级短板评测
14. https://arxiv.org/pdf/2408.09530v1 —— PA-LLaVA 复现配置
15. https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/06901.pdf —— KEP（ECCV 2024）
16. https://api.semanticscholar.org/graph/v1/paper/DOI:10.1038/s41591-023-02504-3 —— 引用数 911
17. https://cloud.tencent.com.cn/developer/article/2356106 与 https://blog.csdn.net/weixin_44292902/article/details/134407211 —— 中文全译（95% CI 明细）
18. https://www.symplur.com/healthcare-hashtags/ontology/pathology/ —— Pathology Hashtag Ontology
19. https://www.nature.com/articles/s41591-023-02504-3#article-info —— 时间线/资助/评审 + News & Views（Lu/Chen/Mahmood，2023-09-13）
20. https://laion.ai/blog/laion-5b/ —— LAION-5B 官方博客（Nature DA 原文引用）

附录 S：复现操作手册（从零到出嵌入）

S.1 只用模型（最快路径）

1. pip install transformers torch；
2. 加载：CLIPModel.from_pretrained("vinid/plip") + CLIPProcessor.from_pretrained("vinid/plip")；
3. 推理：图像经 processor 预处理（224×224），文本经 tokenizer（最大 76 token）；
4. 嵌入各自归一化后点积，即为图文相似度；分类任务对候选短语取 argmax。

S.2 复现训练（PA-LLaVA 第三方口径）

1. 下载数据清单（Google Drive）并回溯图像——预估损耗：年代越早的推文失效率越高，先快照清单本体；
2. 文本清洗：去 @username、# 符号等社交媒体记号；
3. 配置：30 epochs / 4×A100 / batch 4×48 / AdamW（weight decay 0.01）/ lr 1e-5 起 1,000 步 warmup 至 1e-4、固定间隔衰减至 5e-5；
4. 文本截断 100 token（复现口径；推理时架构上限 76 token）；
5. 对齐验收：跑 Kather 7,180 验证集零样本加权 F1，量级应落在 0.55-0.60 附近（原文 0.565）。

S.3 复现评测

四个外部验证集全部独立可下载（附录 J），无需触碰训练数据即可复算主表。推荐顺序：DigestPath（二分类、n 最大，最容易对上 0.832）→ WSSS4LUAD → PanNuke → Kather（九类，最考究 prompt 写法——用 §3.6 的「推文式短语」心法）。

附录 T：病理数据集监督粒度谱系（库内视角）

粒度	代表条目（rid）	监督形态	与 PLIP 的关系
图像级类别标签	patchcamelyon(158)、nct-crc-he-100k(148)、breakhis(126)	良/恶性或组织类型 one-hot	PLIP 用自然语言替代了这一层的「标签」
像素级掩码	pannuke(218)、panda-plus(640)	逐像素类别	PLIP 零样本评测的下游参照
切片级弱标签	camelyon16-17(33)、panda(27/560)	WSI 级 label	粒度对照：WSI 级 vs PLIP 的视野级
图像-自然语言对	plip(OpenPath)、pathvqa(260)、roco(300)、biomedica(734)	自由文本	本条目：病理领域该粒度的开创者

读法：越往下监督越「贵」但语义越富；PLIP 的贡献是把第四行的获取成本打到接近零——医生社交发布即「标注」，无需专职注释团队。

附录 U：一页速查卡

• 身份：PLIP = 病理 CLIP（ViT-B/32）微调模型；OpenPath = 208,414 图文对训练集；论文 Nature Medicine 2023;29:2307–2316，doi:10.1038/s41591-023-02504-3。
• 三个数：208,414（对）、0.565–0.832（零样本 F1 区间）、+2.5%（线性探针均值差，Encord 转述 0.891 vs 0.813）。
• 三条获取路：HF vinid/plip（权重，约 1.8 GB）｜Google Drive 清单（数据，Tweet ID/URL 回溯制）｜webplip Space（demo）。
• 三不做：不把 license null 当开源；不把第三方复现超参当原文；不把 208,404 当规模。
• 三替代：精细检索找 KEP 系重训；更高分辨率找后代病理基础模型；更大规模语料找 Biomedica（rid 734）。
• 抓取时点：全部外部数字于 2026-10-04 核验（HF 元数据、Semantic Scholar、Nature 页面口径）。

附录 V：PLIP 大事记年表

时点	事件
2006-03-21	Twitter 第一条帖子发布——OpenPath 训练窗起点
2016	USCAP 年会推荐病理 hashtag 清单（后成为 OpenPath 检索依据之一）
2021（年内）	LAION-5B 发布（58.5 亿图文对）——PathLAION 上游语料
2022-02	ICD-11 codebook version 2022-02——回复筛选的词表版本
2022-11-15	OpenPath 训练窗截止
2022-11-16 至 2023-01-15	Twitter 验证集采集期（2,023 对）
2023-03-04	vinid/plip 权重上传 HuggingFace（早于论文投稿 22 天）
2023-03-26	论文投稿 Nature Medicine
2023-03-29	预印本上 bioRxiv（2023.03.29.534834）
2023-07-18	论文接收
2023-08-17	在线发表（Nature Medicine 29:2307–2316）
2023-09-13	News & Views 评述上线（Lu/Chen/Mahmood）
2023-09（issue）	正式卷期出版
2023-2024	第三方评测涌现：PGD 对抗（2401.02565）、DiCoP（2405.15728）、KEP（ECCV 2024）、PA-LLaVA 复现（2408.09530）
2025	下游采纳持续：PS3（ICCV 2025）、STimage-1K4M
2026-10-04	本条目全部外部数字核验时点

读法提示：从权重公开到 News & Views 仅六个月，从发表到出现系统第三方批评约八个月——「快速发布 + 快速检验」是基础模型时代的健康生态节奏。

附录 W：零样本 prompt 示例库（推文式短语心法）

PLIP 文本塔在社交媒体描述上调（§3.6），prompt 写法直接影响零样本成绩。以下示例按 Kather 九类给出一组「推文式短语」基线（供起点参考，正式评测应自行调优并报告 prompt 集合）：

类别代码	建议短语示例
ADI	“adipose tissue with mature fat cells”
BACK	“empty glass slide background”
DEB	“necrotic debris and cell fragments”
LYM	“dense lymphocyte infiltration”
MUC	“extracellular mucin pools”
MUS	“smooth muscle bundles”
NORM	“normal colon mucosa with goblet cells”
STR	“cancer-associated stroma with fibroblasts”
TUM	“colorectal adenocarcinoma epithelium with atypical glands”

二分类场景（PanNuke/DigestPath/WSSS4LUAD）可直接用「benign tissue」vs「malignant tumor tissue」类短语起步。三个调优纪律：

1. 每类写 3-5 条变体取最大相似度（ensemble prompt），比单条稳；
2. 报告成绩时附 prompt 全文，否则不可复现；
3. 不要拿 ChatGPT 式长句当 prompt——76 token 上限内越贴近「医生推文口吻」越好。

附录 X：语义标注对照（schema_org @graph 维护说明）

本条目 frontmatter 的 schema_org 含四个节点，维护时按下表对应：

节点	类型	对应正文	维护要点
MedicalWebPage	页面声明	全条目	relatedLink 八条与附录 R 对齐；audienceType 随读者画像（§1.1）演进
Dataset	数据集声明	§2、§6	temporalCoverage 固定 2006-03-21/2022-11-15；license 描述随官方声明更新（现为 null）
cr:RecordSet	记录集声明	§2.1-2.7	rai:dataLimitations 八条与 §10 坑位联动修订；key 字段随发布物形态
ScholarlyArticle	论文声明	§7、附录 M	identifier 用正式版 doi；isAccessibleForFree=false（Nature 版非 OA）

修订纪律：改正文任何核心数字（208,414、0.565–0.832 等）时，同步检查 frontmatter 与 INFOBOX、FAQ、事实清单、附录 G/H 五处的同源数字——一处改漏即制造内部矛盾。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• biomedica — 共享标签：医学影像 / 多模态 / 图像分类 / 影像-文本对齐 / 评测基准
• quilt-1m — 共享标签：医学影像 / 多模态 / 病理图像 / 影像-文本对齐
• patchgastricadc22 — 共享标签：医学影像 / 多模态 / 病理图像 / 影像-文本对齐
• revapo — 共享标签：医学影像 / 多模态 / 影像-文本对齐 / 评测基准
• opentme — 共享标签：多模态 / 病理图像 / 图像分类 / 评测基准
• reg2026 — 共享标签：医学影像 / 多模态 / 病理图像 / 影像-文本对齐
• rop-vl — 共享标签：医学影像 / 多模态 / 图像分类 / 影像-文本对齐
• tcm-tongue — 共享标签：医学影像 / 多模态 / 图像分类 / 评测基准
• acevedo-blood — 共享标签：医学影像 / 病理图像 / 图像分类 / 评测基准
• bbbc051 — 共享标签：医学影像 / 病理图像 / 图像分类 / 评测基准

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。