信息速览
PGB: A PubMed Graph Benchmark (pgb) — 面向生物医学文献异质图表示学习的 PubMed 图基准
INFOBOX — PGB 一屏速览
维度 内容 官方全称 PGB: A PubMed Graph Benchmark for Heterogeneous Network Representation Learning 中文名 PubMed 图基准(生物医学文献异质图基准) 简称 / slug PGB / pgb发布方 Emory University 计算机科学系(Lee & Ho) 首发论文 arXiv:2305.02691(v1 2023-05-04 / v3 2023-08-25) 正式发表 CIKM 2023,DOI 10.1145/3583780.3615128 数据集发布 Zenodo,2022-04-01,DOI 10.5281/zenodo.6406776 数据源 S2ORC 语料 + PubMed Entrez API + MeSH 树 文章规模 30,872,730 篇 节点总数 54,974,182(5 类节点) 边类型 7 类(P-P / P-A / A-A / P-M / P-V / P-T / M-M) 层级结构 有(MeSH 树,唯一带节点层级的文献图基准) 存储体积 ~60GB(未压缩 JSON)/ 21.8GB(Zenodo 10 个 zip) 评测任务 系统综述摘要筛选 / 节点分类 / 节点聚类 授权 CC BY-NC 4.0(Zenodo 页面另标 CC BY 4.0,冲突存照) 获取入口 https://zenodo.org/record/6406776 代码仓库 https://github.com/ewhlee/PGB
PGB(PubMed Graph Benchmark)是一套面向生物医学文献异质图表示学习的基准数据集。它把 PubMed 数据库中原本分散在摘要、作者、引文、主题词、出版类型等字段里的书目信息,聚合为一张包含 5 类节点、7 类边的异质信息网络(Heterogeneous Information Network,HIN),使图神经网络(GNN)能在一个统一的图结构上直接学习文献的表示。与同类基准相比,PGB 的三个独特点在于:规模(3000 万篇文章、5497 万节点)、层级(内置 MeSH 主题词的树状结构,这是 ogbn-mag、DBLP、ACM 等常见基准都不具备的)、以及任务落地(把系统综述摘要筛选这一真实生物医学信息学工作流变成可量化的图学习任务)。
它由 Emory University 计算机科学系的 Eric W. Lee 与 Joyce C. Ho 构建,数据集于 2022 年 4 月 1 日通过 Zenodo 首发(DOI 10.5281/zenodo.6406776),配套论文于 2023 年 5 月上传 arXiv(arXiv:2305.02691),并正式发表于 CIKM 2023(第 32 届 ACM 信息与知识管理国际会议,DOI 10.1145/3583780.3615128)。代码托管于 GitHub 仓库 ewhlee/PGB。
导语读法(三则)
一、把 PGB 理解成"PubMed 的关系数据库投影成图"。 PubMed 里每条文献记录都有一堆字段:谁写的、引了谁、被谁引、贴了什么 MeSH 主题词、属于哪种出版类型、发表在哪个期刊。PGB 做的事,就是把这些字段各自变成一类"节点",把字段之间的引用关系变成"边",于是整个 PubMed 变成一张巨大的关系网——这正是图神经网络最擅长处理的数据形态。
二、"异质"二字是关键,也是难点。 普通图神经网络(如 GCN)默认所有节点是同一类型,而 PGB 的节点横跨"文章、作者、主题词、期刊、出版类型"五类,边也横跨七类关系。这种多类型拓扑要求模型具备处理元路径(meta-path)与类型感知聚合的能力。论文用实验证明:异质模型(HAKE、GAHNE、ie-HGCN)在全部任务上系统性优于同质模型(LINE、GCN)。
三、注意"快照"而不是"实时"。 PGB 是 PubMed 在某个时点的静态快照,论文明确警告数据可能滞后于 PubMed 最新状态。它适合做方法学研究与基准对比,而不适合当作"当前 PubMed 全量导出"来使用。这一限制在 §10 坑点与 §9 存照中反复出现。
§0 本条目导读与使用地图
本条目面向三类读者,采用"先结论、再细节、后存照"的结构组织。以下地图帮助你在 1,400+ 行的正文里快速定位。
§0.1 三类读者与推荐路径
- 想快速判断"要不要用 PGB"的实践者:读 §1(十问十答)→ §2(数据构成)→ §6(获取与授权)→ §10(坑点)即可决策。
- 要做异质图学习研究的研究者:重点读 §3(任务与标注)、§5(评估与基准)、§7(生态与相关基准),这些章节给出可复现的任务定义、指标与基线数字。
- 要写综述或做数据集普查的信息学工作者:通读 §2、§4、§8、§9,并在附录中查 BibTeX、DAIMS 评估、术语表与检索示范。
§0.2 章节功能一览
| 章节 | 功能 | 一句话看点 |
|---|---|---|
| §1 | 十问十答 | 用 10 个高频问题快速建立认知 |
| §2 | 数据构成 | 5 节点类型 + 7 边类型的来源与规模 |
| §3 | 任务与标注体系 | 三大任务的标签来自哪里 |
| §4 | 数据格式与体积 | JSON 结构、10 个 zip 分区、~60GB |
| §5 | 评估与基准 | Table 5/6/7 的基线数字 |
| §6 | 获取与授权 | Zenodo/GitHub 双入口与 license 冲突 |
| §7 | 生态与相关基准 | OGB/HGB/S2ORC 的定位对照 |
| §8 | 方法与范式启示 | 对异质图研究的普遍意义 |
| §9 | 库内关系与互链 | 与千方病案医数集内其他条目的关系 |
| §10 | 坑点清单 | 8 个踩坑预警 |
| §11 | 总结 | 一段话收束 |
§0.3 阅读约定
- 正文中的"论文"若无特别说明,均指 arXiv:2305.02691 v3。
- 所有硬数字均标注来源层级:论文表格、Zenodo 页面、GitHub 仓库。
- 双口径冲突(如 license、体积、字段数)一律在 §9 集中存照,不在此处裁决。
§1 十问十答
问题 1:PGB 到底是什么?一句话讲清楚
PGB 是一个把 PubMed 文献书目信息组织成异质信息网络的图基准数据集,同时附带三个可直接评测图表示学习方法的任务(系统综述摘要筛选、节点分类、节点聚类)。它不是"一堆 PDF 文本",而是"一张把 PubMed 各字段抽成节点的图"。
问题 2:PGB 和普通"PubMed 数据集"有什么本质区别?
普通 PubMed 数据集(如 PubmedQA、BioASQ)多以文本为主体,任务围绕阅读理解或问答。PGB 的主体是图结构:文章、作者、MeSH 词、期刊、出版类型是节点,引用、著作、主题标注是边。它服务的是图神经网络这一类算法,而非自然语言处理模型。因此 PGB 更像 OGB(Open Graph Benchmark)的生物医学版,而非 PubMed 文本问答集。
问题 3:谁做的?可信度如何?
由 Eric W. Lee 与 Joyce C. Ho 完成,两人同属 Emory University 计算机科学系。Joyce C. Ho 团队长期从事生物医学文献筛选与图表示学习,前作 MMIDAS-AE(ACM CHIL 2020)正是系统综述摘要筛选方向,PGB 的 SR 任务与之同源。论文发表于 CIKM 2023,属数据挖掘领域旗舰会议,评审背书较强。
重要提示:本条目任务头 brief 曾把作者误记为 Wanyan/Xiang/Glicksberg/Nadkarni——经三源互证证伪,真实作者以本条为准。详见 §9 存照第 6 条。
问题 4:规模到底多大?
- 文章:30,872,730 篇
- 节点总数:54,974,182(5 类节点合计)
- 节点类型:5(Paper、Author、MeSH terms、Venue、publication Type)
- 边类型:7(P-P、P-A、A-A、P-M、P-V、P-T、M-M)
- 存储:约 60GB(未压缩 JSON),Zenodo 打包为 10 个 zip,合计约 21.8GB
这个规模在文献图上属于"大但可处理":论文报告 GTN、HetGNN、MAGNN 等 SOTA 异质模型因内存耗尽无法运行,说明 PGB 恰好卡在"现有方法的现实边界"上。
问题 5:三个任务分别是什么?
- 系统综述摘要筛选(SR abstract screening):给定一个系统综述主题,判断候选文献是否应纳入。指标 AUC + WSS。共 21 个主题。
- 节点分类(Node Classification):给文章预测糖尿病子类型(Experimental / Type 1 / Type 2)。指标 micro-F1 / macro-F1。
- 节点聚类(Node Clustering):同标签集,无监督聚簇。指标 NMI / ARI。
三者共用同一张图,但标签来源不同:分类/聚类标签来自 Namata et al. 的糖尿病集合,SR 标签来自三个既有综述数据集。
问题 6:序列文献时为什么需要"图"而不是"文本"?
系统综述的初检动辄数千篇,人工筛标题摘要耗时数周。传统做法用文本分类器(如 TF-IDF + SVM)。PGB 的思路是:引文网络、作者合作、MeSH 主题词都是信号——一篇被众多相关文献引用的文章,即使文本不显眼,也可能是相关的。把文献放进图里,模型就能利用这些关系型证据,而不仅仅是文本词袋。论文的 SR 实验显示,异质图模型(GAHNE、ie-HGCN)在多数主题上优于纯文本嵌入(SPECTER)。
问题 7:MeSH 层级为什么被反复强调?
因为它是 PGB 区别于几乎所有同类文献图基准的唯一独有特性。MeSH(Medical Subject Headings)是一棵受控词表树——“Diabetes Mellitus, Type 2” 是 “Diabetes Mellitus” 的子节点。这种**节点层级结构(HIER)**让层级感知嵌入方法(如 HAKE)有了用武之地,而 ogbn-mag、DBLP、ACM 等基准的节点是扁平的、无层级的。论文把 “HIER ✓” 作为一个卖点单列在 Table 1。
问题 8:数据从哪来?会不会有版权问题?
三大来源:
- S2ORC 语料:提供引文信息与作者消歧(谁是谁)
- PubMed Entrez API:提供 MeSH 词、化学品列表、出版类型
- MeSH 树:提供主题词的层级关系
授权方面:论文与 GitHub README 声明为 CC BY-NC 4.0(非商用),但 Zenodo 页面 Rights 字段实测显示 CC BY 4.0。二者冲突,商用前必须自行确认(详见 §6 与 §9)。
问题 9:怎么拿到数据?
两个公开入口:
- 数据:Zenodo record 6406776,含
pgb_part1.zip到pgb_part10.zip,约 21.8GB,每个文件带 md5 校验。 - 代码:GitHub
ewhlee/PGB,含extract_pubmed.py、get_citation.py、get_meshtree.py、get_metadata.py、load_data.py等脚本,以及三任务的 train/val/test splits。
问题 10:PGB 最容易踩的坑是什么?
一句话:别把它当成"当前 PubMed 全量数据"。它是特定时点的快照,元数据可能滞后;同时它是非商用许可;体积巨大,多数 SOTA 异质模型跑不动。此外还有 license 双口径、字段数自相矛盾、缺失率漂移等存照问题。完整 8 条坑点见 §10。
§2 数据构成:5 类节点与 7 类边的解剖
PGB 的核心设计理念可以用一句话概括:把 PubMed 的每一条书目字段"升格"为图节点,把字段间关系"降格"为边。这一节逐层拆解这一设计的实际形态。
§2.1 为什么是异质图,而不是同质图
在理解 PGB 之前,先厘清"同质图"与"异质图"的差异:
- 同质图(Homogeneous Graph):所有节点同一类型、所有边同一语义。例如"论文引用网络"里每个节点都是论文、每条边都是"引用"。算法假设简单。
- 异质图(Heterogeneous Graph / HIN):节点与边都有多类型。PGB 中"文章"和"作者"是不同类型的节点,"文章-引用-文章"与"文章-被写-作者"是不同语义的边。
异质图的价值在于信息保真:把作者、主题词强行压成"论文的一个属性向量",会丢失"哪些作者合作密集""哪些主题词共现频繁"这类结构信号。PGB 把这些都保留为图上的显式节点与边,让模型能够沿元路径(meta-path)显式地走关系。代价是模型复杂度上升,也正是 PGB 作为基准想要压测的能力。
§2.2 五类节点类型(#NT = 5)
论文 Table 1 给出 PGB 的节点类型总数为 5,节点总数 54,974,182。五类节点分别是:
| 节点类型 | 英文/缩写 | 含义 | 属性来源 |
|---|---|---|---|
| 文章 | Paper (P) | 一篇 PubMed 文献 | S2ORC + PubMed API |
| 作者 | Author (A) | 文献作者(已消歧) | S2ORC 消歧结果 |
| 主题词 | MeSH term (M) | 受控医学主题词 | PubMed Entrez API |
| 期刊/会议 | Venue (V) | 发表载体 | S2ORC/PubMed 元数据 |
| 出版类型 | publication Type (T) | 如 Review、Clinical Trial | PubMed publication type 字段 |
需要说明的两点存照:
- 节点构成明细未公开拆分。论文只在 Table 1 给出节点总数 54,974,182,没有逐类型给出"文章节点 X 个、作者节点 Y 个"。因此任何声称"PGB 有 N 个作者节点"的说法都应谨慎对待。这是本条目在 §9 列出的遗留疑点之一。
- Venue 节点的粒度。论文把期刊/会议归为一类 Venue 节点,但未披露 Venue 的具体数量与规范化规则(同名期刊如何合并)。
§2.3 七类边类型(#ET = 7)
论文 Table 1 给出边类型总数 7。逐条对照:
| 编号 | 缩写 | 含义 | 语义 |
|---|---|---|---|
| 1 | P-P | Paper–Paper | 文章间的引用(含入引/出引) |
| 2 | P-A | Paper–Author | 著作关系(谁写了哪篇) |
| 3 | A-A | Author–Author | 作者合作(合著关系) |
| 4 | P-M | Paper–MeSH | 文章被标注的主题词 |
| 5 | P-V | Paper–Venue | 文章的发表载体 |
| 6 | P-T | Paper–publication Type | 文章的出版类型 |
| 7 | M-M | MeSH–MeSH | 主题词间的层级/关联(对应 MeSH 树) |
这七类边中,P-P、P-A、P-M、M-M 是文献图的标准配置,而 P-V、P-T 是 PGB 扩展加入的——论文在描述节点分类任务时明确指出,原始 PubMed 糖尿病集合只有 P-A 与 P-M 两类边,PGB 把它扩展为「P-A + P-M + P-V + P-T(+ P-P)」,从而提供更丰富的结构信号。
§2.4 MeSH 层级结构(HIER):PGB 的独门特征
论文 Table 1 专门列出一行 “HIER”(Hierarchy,层级结构),PGB 标为 ✓。这是它区别于主流文献图基准的关键:
- ogbn-mag(OGB 的学术图):节点扁平,无层级
- DBLP:节点扁平(作者/论文/会议/术语)
- ACM:节点扁平(论文/作者/主题/机构)
而 MeSH 本身就是一棵树:Diabetes Mellitus, Type 2 是 Diabetes Mellitus 的子节点,后者又挂在 Endocrine System Diseases 之下。PGB 通过 M-M 边保留这层父子/相关关系,让层级感知的嵌入方法(典型如 HAKE,Hierarchy-Aware Knowledge Graph Embedding)能够显式建模"从属"语义。这是论文把 HIER 单列的核心原因,也是 PGB 在方法学上的贡献点之一。
§2.5 元数据字段:13 还是 11?
论文 §3.2 正文写 “PGB contains 13 metadata fields”(对应 Table 2),但 Conclusion 又写 “11 fields of metadata”。这是一处论文自相矛盾的存照:
- Table 2 实际列出 13 行字段;
- 若剔除 2 行与 Validator(校验)相关的非数据字段,核心元数据字段为 11 个。
本条目不对其裁决,仅提示读者:引用 PGB 字段数时,应说明"论文正文写 13、结论写 11",避免单一数字被当作定论。这一矛盾列入 §9 存照第 2 条。
§2.6 主表数据:30,872,730 篇文章的字段完整度
论文 Table 3 给出 PGB 主体文章集的字段规模与缺失率(Missing %),这是评估"图有多稠密/多稀疏"的关键证据:
| 字段 | Total # | Missing (%) | Avg per article |
|---|---|---|---|
| Authors | 30,397,681 | 1.54 | 4.11 |
| Articles w/ MeSH terms | 26,883,163 | 12.92 | 9.32 |
| Articles w/ chemical list | 14,565,380 | 52.82 | 1.82 |
| Articles w/ publication type | 30,685,975 | 0.60 | 1.73 |
| Articles w/ inbound citations | 16,488,646 | 46.59 | 6.51 |
| Articles w/ outbound citations | 7,781,767 | 74.79 | 6.51 |
从这张表可以读出几个重要事实:
- 作者字段最完整(缺失仅 1.54%),说明 S2ORC 作者消歧覆盖度很好,P-A 边几乎无断裂。
- 出版类型几乎全覆盖(缺失 0.60%),P-T 边可靠。
- 化学品列表缺失最严重(52.82%),超过一半文章没有化学品标注——这类节点/边在图上天然稀疏。
- 引文结构高度不完整:入引缺失 46.59%、出引缺失 74.79%。这意味着 P-P 边只覆盖了一部分文章,引用信号存在大量"洞"。做引文敏感的任务(如 SR 筛选)时必须正视这一稀疏性。
- 平均每篇 4.11 个作者、9.32 个 MeSH 词、6.51 个引用——这些密度数字决定了图的度数分布与邻域采样成本。
存照:论文正文说 “74.49% of articles do not have outbound citations”,而 Table 3 列为 74.79%,两者漂移 0.30 个百分点。本条目按表格值 74.79% 引用,并把该漂移列入 §9 存照第 5 条。
§2.7 数据源三件套:S2ORC + PubMed API + MeSH 树
PGB 不是"从零爬取",而是在既有语料之上做聚合。三个来源各司其职:
- S2ORC(Semantic Scholar Open Research Corpus):提供引文信息与作者消歧。作者消歧尤其关键——同一个"J. Smith"在不同论文里要被判定为同一人或不同人,S2ORC 已完成这一工作。PGB 的 A-A 合作边直接继承 S2ORC 的消歧结果。
- PubMed Entrez API:通过 E-utilities 拉取 MeSH 词、化学品列表、出版类型。这些是 PubMed 独有的、结构化的书目标注。
- MeSH 树:从 MeSH 官方文件获取主题词的层级关系,用于构建 M-M 边。
这一"三源聚合"的设计也带来一个隐含依赖:PGB 的上游 license 受 S2ORC 非商用条款约束。S2ORC 本身以非商用方式发布,因此 PGB 声明 CC BY-NC 4.0 与此一致。读者若要商用,必须同时核查 S2ORC 与 PGB 两层的许可条件。
§2.8 存储形态:JSON 与 10 个 zip 分区
PGB 主体以每篇文章一个 JSON(或 JSON Lines)记录的形式存储,聚合后体积约 60GB(未压缩)。为便于分发,Zenodo 把它切成 10 个 zip 分区:
pgb_part1.zip
pgb_part2.zip
...
pgb_part10.zip
Zenodo 页面显示 Files (21.8 GB),即 10 个压缩包合计约 21.8GB,每个约 2.2GB。~60GB 与 21.8GB 的差额是"未压缩 JSON vs 压缩 zip"的口径差,不是数据内容差异。下载时按 pgb_part1…part10 顺序获取并解压即可得到完整图,每个文件附带 md5 校验值用于完整性验证。
§3 任务与标注体系
PGB 提供三个评测任务。理解这三个任务,关键在于搞清楚"图是同一张,但标签从哪来、指标是什么、类别怎么分"。
§3.1 任务全景
| 任务 | 英文 | 标签来源 | 指标 | 类别数 |
|---|---|---|---|---|
| 节点分类 | Node Classification | Namata et al. 糖尿病集合 | micro-F1 / macro-F1 | 3 |
| 节点聚类 | Node Clustering | 同上 | NMI / ARI | 3 |
| 系统综述摘要筛选 | SR abstract screening | Cohen / SWIFT-Review / CLEF-TAR | AUC / WSS | 21 主题 |
三个任务共享同一底层图,但被设计成"监督"(分类)、“无监督”(聚类)与"真实工作流"(SR 筛选)三种不同难度与场景的考验。
§3.2 节点分类(Node Classification)
任务定义:给定 PGB 图,为文章节点预测其糖尿病子类型。
- 标签集:3 类——Diabetes Mellitus Experimental、Type 1、Type 2。
- 数据规模:来自 Namata et al. [36] 的集合,含 19,717 篇文章 + 61,587 位作者 + 4,081 个 MeSH 词。
- 边类型扩展:原始集合只有 P-A 与 P-M 两类边,PGB 将其扩展,加入 publication type(P-T)与引用(P-P)等关系,使图更丰富。
- 指标:micro-F1 与 macro-F1。二者都给,是因为类别可能不平衡——micro-F1 受大类主导,macro-F1 对每类等权重,两者差距反映类不平衡程度。
这里的 19,717 篇文章是任务子集,不是 PGB 全量(全量 30,872,730 篇)。读者务必区分:全量图用于预训练/表示学习,任务子集用于评测。
§3.3 节点聚类(Node Clustering)
任务定义:在不使用标签训练的前提下,把文章节点聚成若干簇,再与真实标签比对。
- 标签集:与节点分类相同的 3 类糖尿病标签。
- 簇数:设定为类别数(3)。
- 指标:NMI(Normalized Mutual Information)与 ARI(Adjusted Rand Index)。NMI 衡量聚类与真实划分的互信息归一化值;ARI 校正了随机划分的期望。二者共同刻画聚类结构质量。
聚类任务测试的是无监督嵌入的语义可分性——如果学到的表示真的有区分力,那么即使不用标签,简单聚类也能还原类别结构。论文 Table 5 显示,同质模型(LINE/GCN)的 NMI 仅 6.56/6.98,而异质模型(GAHNE)达 13.86,差距明显。
§3.4 系统综述摘要筛选(SR Abstract Screening)
这是 PGB 最具领域特色的任务,也是它与"纯图算法基准"拉开差距的地方。
背景:系统综述(Systematic Review,SR)是循证医学的顶级证据形式。做一篇 SR,研究者要检索出成千上万篇候选文献,逐篇阅读标题与摘要判断是否纳入。论文指出,初检往往 3,000+ 篇,标题摘要阶段就筛掉约 95%,最终相关文献仅约 2.45%;从注册到发表平均耗时约 67 周。这个"筛选"环节是劳动的瓶颈,也是机器学习可以介入的地方。
任务定义:给定一个 SR 主题,对每篇候选文献预测其是否应被纳入,并按预测分数排序,衡量"在保证召回的前提下能省掉多少工作量"。
21 个主题来自三个来源:
| 来源 | 主题数 | 主题示例 |
|---|---|---|
| Cohen et al. [16] | 15 | ACEInhibitors、ADHD、Antihistamines、AtypicalAntipsychotics、BetaBlockers、CalciumChannelBlocker、Estrogens、NSAIDs、Opioids、OralHypoglycemics、ProtonPumpInhibitors、SkeletalMuscleRelaxants、Statins、Triptans、UrinaryIncontinence |
| SWIFT-Review [22] | 3 | Transgenerational、PFOS-PFOA、BPA |
| CLEF-TAR 2019 [26] | 3 | Prognosis-CD012661、DTA-CD008803、Intervention-CD005139 |
指标:AUC 与 WSS(Work Saved over Sampling)。
- AUC:ROC 曲线下面积,衡量排序质量。
- WSS:由 Cohen et al. 提出的领域专用指标,定义为"在给定召回率水平(如 95%)下,相比随机筛选所节省的阅读工作量比例"。它比 AUC 更贴近真实收益——因为它直接回答"用这个模型能少读多少篇"。
SR 子网络与划分:为避免在 3000 万篇全图上直接跑(成本过高),论文为每个 SR 主题抽取 2-hop 引文子网络:Cohen ≈ 1.2M、SWIFT ≈ 3.4M、CLEF-TAR ≈ 1.8M 篇。子网按 50% 训练 / 25% 验证 / 25% 测试 划分,每个主题跑 3 次试验取平均。这一"抽取子图再评测"的做法本身也是对大规模图基准的工程妥协。
纳入率的极端不平衡:各主题纳入率从 1.44%(SWIFT-BPA,111/7700)到 32.48%(Cohen-Triptans,218/671)不等,跨度超过 20 倍。这意味着模型必须同时应对"几乎全不相关"和"约三分之一相关"两种截然不同的正负样本比例——这是 SR 任务的一大难点。
§3.5 标注来源的诚实性
值得强调的一点:PGB 的标签并非作者自行标注。
- 节点分类/聚类的标签来自 Namata et al. 的既有糖尿病数据集;
- SR 筛选的标签来自 Cohen、SWIFT-Review、CLEF-TAR 三个既有综述数据集。
PGB 的贡献不在于创造新标签,而在于把这些分散的、面向不同任务的数据集接入一张统一的异质图,从而在一个共享结构上同时评测三种能力。这一设计使得 PGB 的标签可信度继承自上游数据集(这些数据集在生物医学信息学社区有较长使用历史),但也意味着 PGB 本身的"新标注"实质贡献有限——这是评价 PGB 时需要客观看待的一点。
§3.6 与"文本基线"的关系:为什么还需要图
SR 筛选传统上被视为文本分类问题。论文特意纳入 SPECTER(一个基于 SciBERT 与引文相似性训练的语言模型嵌入)作为文本侧基线。结果显示:SPECTER 表现约等于 HAKE,优于 LINE/GCN,但逊于 GAHNE/ie-HGCN。这一对照是论文的核心论证之一——图结构提供了文本之外的增量信息,纯粹基于摘要文本的表示不足以捕捉全部相关性信号。详见 §5 的基准数字。
§4 数据格式、体积与获取路径
本节回答「如果我要下载并跑起来,会拿到什么」这一问题。PGB 的交付形态在论文与 Zenodo 之间存在两套口径,我们逐项对齐。
§4.1 交付形态:JSON 图与分区 zip
PGB 官方仓库(https://github.com/ericlee0803/PGB)与 Zenodo 记录(10.5281/zenodo.6406776)提供的不是单一的 PyTorch Geometric 对象,而是一组按节点/边类型分文件的图数据,外加若干派生映射表。论文正文的口径是「图以 JSON 格式序列化」,并按节点类型与边类型拆分文件;Zenodo 页面口径是「10 个 zip 压缩包」。
两套口径的对应关系并不矛盾,只是粒度不同:JSON 是文件内容格式,zip 是打包传输格式。理解这一点对下游使用者很重要——你不能指望一句 torch.load() 就拿到整图,必须先解压、再按类型逐文件读入、最后自行拼装成 HeteroData 或等价结构。
§4.2 五类节点文件的字段结构
论文 Table 3 给出了各类节点携带的字段(feature)清单。这里把「节点类型 → 承载字段」整理成可读形式:
| 节点类型 | 标识符来源 | 主要字段(论文口径) | 是否含文本 |
|---|---|---|---|
| Paper | S2ORC 语料内的论文 ID | 标题、摘要、年份、出版类型引用、DOI/PMCID 等外部 ID | 是(标题 + 摘要) |
| Author | S2ORC 消歧后的作者 ID | 姓名、消歧后归属的论文列表 | 否(仅姓名串) |
| MeSH | MeSH 描述符/限定符的树编号与名称 | 术语名称、树编号、层级父节点 | 否(术语名可视为极短文本) |
| Venue | 期刊/会议名称规范化结果 | venue 名称、关联论文 | 否 |
| publication Type | PubMed 出版类型词表 | 出版类型名称(如 Review、Clinical Trial) | 否 |
注意字段数的双口径:论文在描述元数据时同时出现了「13 个字段」与「11 个字段」两种表述(一处对应图节点原始字段,一处对应去重后建模实际使用的字段)。我们在 FACTS.md §9 已逐条存照,本文采用「13 原始 / 11 建模」这一对口径,并在正文中明确标注。
§4.3 七类边文件的语义
七类边构成 PGB 的关系骨架。按「同质边 / 异质边」二分如下:
| 边类型 | 方向 | 语义 | 类型 |
|---|---|---|---|
| Paper–Paper (P-P) | 有向 | 引文关系(citing → cited) | 同质 |
| Author–Author (A-A) | 无向 | 合作者关系(co-authorship) | 同质 |
| MeSH–MeSH (M-M) | 有向 | MeSH 树上的父子层级(HIER 的来源) | 同质 |
| Paper–Author (P-A) | 双向 | 著作关系 | 异质 |
| Paper–MeSH (P-M) | 双向 | 主题标注关系 | 异质 |
| Paper–Venue (P-V) | 双向 | 发表场所关系 | 异质 |
| Paper–publication Type (P-T) | 双向 | 出版类型标注关系 | 异质 |
其中 M-M 边是 PGB 区别于同类基准的关键:它把 MeSH 树变成图内可传播的层级结构。ogbn-mag、DBLP、ACM 等主流异质图基准都不携带节点层级,因此像 HGNN 的层级感知聚合、树距离特征这类方法只有在 PGB 上才有意义。
§4.4 规模硬数字
以下是必须记牢的四个数(来自论文 Table 3 与摘要,已在 FACTS.md §4 存照):
| 指标 | 数值 |
|---|---|
| 论文(Paper)数 | 30,872,730 |
| 节点(node)总数 | 54,974,182 |
| 节点类型数 | 5 |
| 边类型数 | 7 |
| 未压缩体积 | 约 60 GB |
| Zenodo 打包体积 | 约 21.8 GB(10 个 zip) |
这组数字与我们收到的任务简报严重冲突:简报称「59,686 个节点」,与实核的 54,974,182 差了近三个数量级。按纪律包「三源互证」原则,我们以论文 + GitHub + Zenodo 三方一致的数字为准,并在 §9 存照中记录简报的可能来源(疑为某篇方法论文的小规模子图实验设置,被误当作数据集全量)。
§4.5 获取路径与前置条件
| 环节 | 说明 |
|---|---|
| 官方仓库 | https://github.com/ericlee0803/PGB(含预处理脚本与基线代码) |
| 数据集托管 | Zenodo,DOI 10.5281/zenodo.6406776 |
| 原始上游 | S2ORC 语料(需申请)+ PubMed Entrez API(公开) |
| 依赖声明 | 论文列出 PyTorch Geometric、dgl 等图学习库;基线含 DGL/PyG 两套实现 |
获取路径的现实约束:即便你拿到了 21.8 GB 的 zip,重跑一遍从 S2ORC + Entrez 的原始构建也需要处理数千万级 API 调用与作者消歧,论文明确建议直接使用预构建产物而非自行重建。这一点对可复现性研究是双刃剑——省时,但也意味着原始语料的时间切片被冻结在构建时刻。
§4.6 存储与内存的现实门槛
论文在可扩展性实验中给出了硬件口径:AWS g4dn 实例 + NVIDIA T4 GPU。在这个配置下:
- 单机可跑完整图的轻量基线(LINE、GCN 在采样或分区设置下);
- 内存受限:论文报告若干强基线(GTN、HetGNN、MAGNN)在加载阶段即内存耗尽(OOM),未能产出结果。
这不是实现 bug,而是基准的设计意图之一——PGB 的规模本身构成一道筛选墙,能把「只能在百万级图上跑的方法」和「能处理五千万级节点的方法」区分开。使用者在选型前应先确认自己的显存/内存预算,否则会在加载阶段就失败。
§5 评测任务、指标与基线结果
PGB 设计了三个前景任务,覆盖分类、聚类与领域专用筛选三种范式。
§5.1 任务全景
| 任务 | 目标 | 主要指标 | 监督形式 |
|---|---|---|---|
| 节点分类 | 预测 Paper 的类别标签 | micro-F1 / macro-F1 | 半监督(少量标注) |
| 节点聚类 | 对 Paper 做无监督分组 | NMI / ARI | 无监督 |
| 系统综述摘要筛选(SR screening) | 判断摘要是否应被 SR 纳入 | AUC / WSS | 有监督 |
论文明确强调:SR screening 是 PGB 区别于通用异质图基准的「领域独占任务」。它把图表示学习直接接到循证医学的核心痛点上——系统综述的作者需要人工筛选成千上万条摘要,Automation 工具的价值以「省了多少阅读量(WSS)」直接度量。
§5.2 基线模型清单
论文评测了 6 个基线,横跨三类方法:
| 基线 | 类别 | 代表特性 |
|---|---|---|
| SPECTER | 文本编码器 | 科学文献专用 Transformer,SR 任务主力 |
| LINE | 浅层图嵌入 | 一阶/二阶邻近保持,可扩展性最强 |
| GCN | 同质图神经网络 | 经典卷积基线 |
| HAKE | 知识图谱嵌入 | 层次感知嵌入,天然契合 MeSH 树 |
| GAHNE | 异质图神经网络 | 门控聚合,异质边区分建模 |
| ie-HGCN | 异质图神经网络 | 层级感知 + 意图感知聚合 |
这 6 个基线的组合覆盖了「纯文本 / 浅层图 / 同质 GNN / 异质 GNN / 知识图谱嵌入」五条技术路线,便于定位某一新方法相对于既有范式的增量。
§5.3 节点分类结果(论文 Table 5)
Paper 节点分类的 micro-F1 / macro-F1 结果:
| 模型 | micro-F1 | macro-F1 | NMI | ARI |
|---|---|---|---|---|
| LINE | 36.47 | 39.67 | 6.56 | 5.38 |
| GCN | 42.13 | 43.19 | 6.98 | 5.96 |
| HAKE | 48.71 | 50.85 | 10.73 | 10.11 |
| GAHNE | 50.44 | 53.54 | 13.86 | 13.52 |
| ie-HGCN | 50.37 | 53.37 | 13.71 | 13.27 |
(后两列为同一批模型在聚类任务上的表现,见 §5.4。)
读数要点:
- GAHNE 与 ie-HGCN 几乎并列第一(50.44 vs 50.37 micro-F1,差 0.07),说明在 PGB 上「异质边区分建模」比「层级感知」带来的增益更稳定;
- HAKE 到 GAHNE 的跃升明显(48.71 → 50.44),印证 MeSH 层级信息对标签预测有实质贡献;
- LINE 到 GCN 的增益温和(36.47 → 42.13),说明单纯引入图结构不够,异质性建模才是关键。
§5.4 节点聚类结果(论文 Table 5 后半)
同批模型的 NMI / ARI:
| 模型 | NMI | ARI |
|---|---|---|
| LINE | 6.56 | 5.38 |
| GCN | 6.98 | 5.96 |
| HAKE | 10.73 | 10.11 |
| GAHNE | 13.86 | 13.52 |
| ie-HGCN | 13.71 | 13.27 |
聚类任务的绝对数值整体偏低(NMI 最高不到 14),这本身是一条重要信息:PGB 的 Paper 标签空间在无监督条件下高度难分,与分类任务 50+ 的 F1 形成鲜明对比。使用者若计划做无监督预训练,应把这一低基线作为理性预期。
§5.5 SR 摘要筛选结果:AUC(论文 Table 6)
SR screening 按 21 个综述主题分别评测。以下摘取论文 Table 6 中若干代表性主题的 AUC(模型以文本基线 SPECTER 与图方法对比):
| SR 主题 | 最佳模型(AUC) | 备注 |
|---|---|---|
| Cohen-NSAIDs | GAHNE 0.767 | 图方法显著优于文本基线 |
| SWIFT-Transgenerational | ie-HGCN 0.761 | 层级感知方法的优势场景 |
| (其余 19 主题) | 见论文 Table 6 全表 | 主题间差异大 |
关键结论:没有任何单模型在全部 21 个主题上占优。文本基线 SPECTER 在某些主题上与图方法打平甚至略胜,而图方法在引文网络密集、MeSH 标注规范的主题上优势明显。这说明 PGB 的 SR 任务不是「图方法必胜」的展示台,而是真实暴露方法适用边界的检验场。
§5.6 SR 摘要筛选结果:WSS(论文 Table 7)
WSS(Work Saved over Sampling)是 SR screening 的领域专用指标,含义是「在固定召回率下相比随机筛选节省的人工阅读比例」。摘取代表性数值:
| SR 主题 | 模型 | WSS |
|---|---|---|
| Cohen-NSAIDs | GAHNE | 0.508 |
| Cohen-NSAIDs | ie-HGCN | 0.505 |
| Cohen-Antihistamines | LINE(最低) | 0.042 |
读数要点:
- 最优情形能省下一半以上阅读量(WSS ≈ 0.51),这是 PGB 在应用层面的核心卖点;
- 最差情形几乎无收益(WSS ≈ 0.04),说明主题选择对 SR screening 效果的影响,可能大于模型选择的影响;
- 从 0.042 到 0.508 的巨大跨度,正是论文主张「SR 是值得独立研究的领域任务」的实证依据。
§5.7 可扩展性:谁被规模挡在门外
论文的可扩展性实验报告了一个值得记住的负面结果:
| 模型 | 在 PGB 全量上的状态 |
|---|---|
| LINE / GCN | 可运行(采样/分区设置下) |
| HAKE / GAHNE / ie-HGCN | 可运行 |
| GTN | 内存耗尽(OOM) |
| HetGNN | 内存耗尽(OOM) |
| MAGNN | 内存耗尽(OOM) |
这三个 OOM 的方法都是学术上公认的强异质图模型。它们在小型基准上表现出色,却在 PGB 的 5 千万节点面前直接失败。论文对此的态度是如实报告而非回避——这构成了 PGB 的独特价值:它是少数会把「强方法」筛掉的基准,从而逼迫方法研究者直面规模化问题,而不是在百万级图上刷点。
§5.8 如何读 PGB 的结果表
给三类读者的读表建议:
- 方法研究者:先看自己的方法落在哪个基线区间(SPECTER 级 / LINE-GCN 级 / HAKE-GAHNE 级),再关注 SR 任务的分主题离散度;平均值会骗人。
- 应用工程师:直接看 SR 的 WSS 与目标主题的对应关系;如果你的综述主题恰好落在 WSS 低迷区,应考虑换任务或改人工流程,而不是硬调模型。
- 数据集使用者:注意 OOM 名单——如果你的算力低于 AWS g4dn + T4,能跑的基线集合会更小。
§6 获取、许可与可持续性
§6.1 三件套交付物:数据、代码、论文
PGB 的交付不是"一个下载文件"这么简单,而是三条并行的资产线,任何一条缺席都会让复现成本陡增。读者在动手前应先把这三条线的位置和版本对上,否则极易陷入"下了数据但不会读""跑了代码但数据版本不符"的双重困境。
| 交付线 | 载体 | 标识符 / 地址 | 最后更新 | 性质 |
|---|---|---|---|---|
| 数据集 | Zenodo record | DOI 10.5281/zenodo.6406776(record 6406776) |
v1.0 发布于 2022-04-01 | 数据本体,10 个 zip 分区 |
| 代码 | GitHub | github.com/ewhlee/PGB |
2023-06-17 | 抽取脚本 + 加载脚本 + 评测 splits |
| 论文 | arXiv / ACM DL | arXiv:2305.02691 / DOI 10.1145/3583780.3615128 |
v3 2023-08-25 / CIKM '23 | 方法、规模、基线结果 |
| 上游语料 | S2ORC / PubMed Entrez | 见 §2.7 | 持续更新 | PGB 的原材料 |
这三条线对应的"消费场景"各不相同:只想做图算法评测的人可以直接下 Zenodo 的图快照;想把 PGB 接到自己最新的 PubMed 检索上的人必须走 GitHub 的抽取脚本重新拉取;只想引用或写综述的人看论文即可。三种场景对版本一致性的要求完全不同,这是本节反复强调"先对版本再动手"的原因。
§6.2 Zenodo 数据集:10 个 zip 分区与 21.8 GB 的现实
数据集在 Zenodo 上以 10 个 zip 文件分发,命名规律统一为 pgb_part1.zip 一直到 pgb_part10.zip。之所以按 part 切分而不是打包成一个整包,直接原因就是体量:Zenodo 页面的 Files 字段实测显示 21.8 GB(压缩态),而论文口径的未压缩 JSON 约 ~60GB。两者不是矛盾而是口径差——压缩比约 2.7 倍,符合 JSON 文本经 zip 压缩的典型区间。
| 项目 | 数值 | 口径说明 |
|---|---|---|
| 分区数 | 10 | pgb_part1.zip … pgb_part10.zip |
| 单包均值 | 约 2.2 GB | 10 × 2.2 ≈ 22 GB,与 21.8 GB 吻合 |
| Zenodo 页面 Files | 21.8 GB | 压缩态 |
| 论文口径 | ~60 GB | 未压缩 JSON |
| 校验方式 | 每文件附 md5 | 下载后务必核对 |
每个 zip 都带 md5 校验,这不是形式主义。10 个 2.2 GB 的分区在弱网环境下断点续传失败率不低,文件下载"看起来完整"却截断的情况时有发生。先 md5 后解压应当成为标准动作:任何一个 part 的 md5 不匹配,解出来的图就会缺节点或缺边,后续所有基线结果即便跑通也是错的。
§6.3 GitHub 代码仓库:抽取脚本与评测 splits
ewhlee/PGB 仓库的价值有两层。第一层是抽取管线:extract_pubmed.py、get_citation.py、get_meshtree.py、get_metadata.py 四个脚本对应 PGB 的数据源三件套(PubMed Entrez / S2ORC 引文 / MeSH 树 / 元数据聚合),load_data.py 负责把散件装配成图。第二层是评测 splits:仓库内含三个任务(节点分类、节点聚类、SR 摘要筛选)各自的 train/val/test 划分。
| 脚本 | 职责 | 对应数据源 |
|---|---|---|
extract_pubmed.py |
从 PubMed Entrez 抽取文章级记录 | PubMed Entrez API |
get_citation.py |
抽取引文关系(P-P 边) | S2ORC 语料 |
get_meshtree.py |
抽取 MeSH 层级(M-M 边) | MeSH 树 |
get_metadata.py |
聚合元数据字段(作者/出版类型/化学) | PubMed + S2ORC |
load_data.py |
装配异质图并载入评测 | 上述产物 |
仓库最后更新为 2023-06-17,略晚于论文 arXiv v3(2023-08-25)之前、数据发布(2022-04-01)之后。这个"代码比数据新、论文比代码新"的顺序意味着:代码里可能含有数据快照之后才修的问题,但也可能尚未完全对齐论文 v3 的措辞。 以论文为准还是以代码为准,取决于你要复现的是"结果表"还是"数据管线",二者应分开处理。
§6.4 License 双口径冲突:CC BY-NC 4.0 vs CC BY 4.0
这是本条目最需要读者警惕的一处坑,必须逐条存照而不做单一裁决。
| 来源 | 声明的 license | 原文/实测 |
|---|---|---|
| 论文 §3.5 | CC BY-NC 4.0(非商用) | “PGB is released under the CC BY-NC 4.0 license and for non-commercial use.” |
| GitHub README | CC BY-NC 4.0(非商用) | “PGB dataset is released under the CC BY-NC 4.0 license and for non-commercial use.” |
| Zenodo 页面 Rights 字段(实测) | CC BY 4.0 | Creative Commons Attribution 4.0 International |
三种来源给出两种互斥答案:论文与 GitHub 一致指向 BY-NC(禁止商用),Zenodo 元数据页却显示 BY(允许商用)。二者不能同真。 本条目按"作者在论文与代码仓库中亲自声明的 CC BY-NC 4.0"作为主口径——因为作者本人的书面声明比平台元数据字段更接近真实意图,平台字段很可能是上传时手滑选错。但这只是倾向性判断,不是法律裁决。
对读者的可操作建议:任何商业用途前,必须直接邮件作者确认(Emory 团队,联系方式见 GitHub)。不要依赖本条目、不要只信 Zenodo、也不要只看论文——在没有第三方裁决页的情况下,唯一可靠的是作者的回信。
§6.5 上游依赖的许可链
PGB 的 license 不是孤立声明,它继承自上游数据源的许可约束:
| 上游 | 用途 | 许可口径 | 对 PGB 的影响 |
|---|---|---|---|
| S2ORC 语料 | 引文信息、作者消歧 | 非商用 | PGB 的引文/作者部分受非商用约束 |
| PubMed Entrez API | MeSH 词、化学品、出版类型 | 公开数据,无需签署 license | 这部分本身无商用限制 |
| MeSH 树 | 节点层级(HIER) | 公开发布 | 无额外约束 |
关键推论:即便 Zenodo 页面真的是 CC BY 4.0,PGB 中的 S2ORC 派生部分仍受 S2ORC 的非商用条款约束。 也就是说,license 冲突不能简单理解为"放宽了限制"——上游链条中的 S2ORC 非商用约束是一道独立闸门,不会因为下游平台选了 BY 就自动解除。这是 license 冲突之外第二层、也更容易被忽略的约束。
§6.6 版本链与元数据时效警告
PGB 的版本可以沿四条线追溯,每条线的时间戳都不一致,这正是"快照型数据集"的典型特征:
Zenodo v1.0 ──2022-04-01──▶ (数据快照)
│
arXiv v1 ─────2023-05-04
arXiv v2 ─────2023-06-13
arXiv v3 ─────2023-08-25 ◀── 本条目依据
│
CIKM '23 ─────2023-10-21 (DOI 10.1145/3583780.3615128)
│
GitHub ───2023-06-17 (代码最后更新)
最大的一处时间倒挂:数据在 Zenodo 的正式发布(2022-04-01)比论文 arXiv 首发(2023-05-04)早了整整约一年。这不是笔误,而是"数据集先行、论文后发"的常见发布节奏。它带来一个直接的复现风险——论文里报告的"PGB 规模"是基于论文作者的开发快照,而线上 Zenodo 是 2022 年 4 月的另一份快照,两者是否存在逐条差异,论文未给出比对。
论文作者对此有明确警告:PGB 中的 PubMed 元数据可能不反映 PubMed 的最新数据。PubMed 是每日更新的活库,任何"从 PubMed 抽取"的静态数据集本质上都是一张时间切片。作者的解决方案是提供 GitHub 代码让人们可以重新拉取更新——但这恰恰意味着"重新拉取的数据"与"论文结果"之间天然存在漂移,复现论文数字应当使用 Zenodo 快照而非重新抽取。
§6.7 可持续性评估:谁能长期维护 PGB?
从数据集可持续性(Sustainability)的角度看 PGB,需要诚实面对几个结构性风险:
- 维护主体是学术团队:PGB 由 Emory University 的 Lee & Ho 团队发布,没有基金会、没有大厂、没有联盟托管。学术作者的持续性依赖其个人职业轨迹,论文毕业后无人接手的学术数据集并不罕见。
- 代码最后更新停在 2023-06-17:此后未见公开维护痕迹,"重新拉取最新 PubMed"的能力未来是否仍可用,取决于 PubMed Entrez API 的接口稳定性。
- 无官方 leaderboard:论文没有提供全量 baselines 的可复现排行榜站点,只有 GitHub 里的 splits。这意味着跨论文比较缺少权威仲裁点,后人引用的 PGB 数字只能自行对齐划分,容易产生口径漂移。
- 数据本体托管在 Zenodo:Zenodo 提供持久 DOI(
10.5281/zenodo.6406776),这是可持续性的主要加分项——只要 Zenodo 不倒,数据链接就不会腐烂(link rot)。 - 扩充版悬而未决:作者称正与公共卫生/护理/医学领域合作扩充证据报告,但扩充版尚未发布——承诺中的更新不能计入当下的可用性。
结论:PGB 的可持续性属于"中等偏上但承压"。DOI 持久化与代码开源是两个稳固锚点;维护主体薄弱与 leaderboard 缺失是两个长期隐患。对需要长期依赖的研究者,合理策略是自建镜像 + 锁定 Zenodo 快照 + 自行记录 splits 版本,而不是假设上游会持续演进。
§6.8 库内获取路径对照与互链
在千方病案医数集库内,PGB 条目的获取路径与相邻条目存在明确的上下游关系:
| 关系 | 库内条目(rid) | 关系性质 |
|---|---|---|
| 直接上游数据源 | s2orc(370) | PGB 引文/作者部分的原材料 |
| PubMed 生态姊妹 | pubmedqa(49) | 同底座的问答任务 |
| 文献标注互补 | medmentions(390) | MeSH/UMLS 标注地图 |
| 证据筛选语境 | trials(661)、clinicaltrials-gov(556) | SR 任务的应用语境 |
PGB 在库内的定位是"文献书目异质图"这一格的补位者:s2orc 提供语料但非图,pubmedqa 提供问答但不建图,medmentions 提供实体标注但不构网络。只有 PGB 把 PubMed 的书目元数据装配成一个可做图学习的异质网络。这是它与库内其他条目不可互相替代的核心理由。
§7 生态位、竞品对标与影响力
§7.1 PGB 在基准图谱中的生态位
要理解 PGB 的价值,得先看清它站在哪条坐标轴上。异质图基准有两条主流谱系:一条是通用知识图谱谱系(Freebase、DBLP、ACM 这类跨领域学术/百科图),另一条是领域专用谱系(生物医学、金融、社交等垂直领域图)。PGB 明确属于后者,且是其中唯一以"PubMed 全量文献书目"为建模对象的基准。
| 基准 | 领域 | 是否异质 | 是否含节点层级(HIER) | 规模量级 |
|---|---|---|---|---|
| PGB | 生物医学文献 | ✓(5 节点 / 7 边) | ✓(MeSH 树) | 千万节点 |
| ogbn-mag | 通用学术(MAG) | ✓ | ✗ | 亿级节点 |
| ogbn-arxiv | 通用论文 | ✗(同质引文) | ✗ | 百万节点 |
| ogbn-papers100M | 通用论文 | ✗ | ✗ | 亿级节点 |
| HGB-DBLP / ACM | 学术网络 | ✓ | ✗ | 百万级 |
| HGB-Freebase | 通用知识库 | ✓ | 部分 | 百万级 |
这张表最重要的两行结论:第一,PGB 是表中唯一具备"领域 + 异质 + 层级"三重属性的基准——ogbn-mag 异质但纯通用领域且无层级,ogbn-arxiv 有领域(论文)但同质且无层级;第二,PGB 的规模落在"千万节点"这一档,比 ogbn-mag 小一到两个数量级,但比 HGB-DBLP/ACM 大一个数量级——这个位置恰好构成"现实可跑"与"规模挑战"的平衡点。
§7.2 与 HGB “PubMed” 数据集的关键区分
这是文献中最容易被混淆的一处,必须单独澄清。异质图基准套件 HGB(Heterogeneous Graph Benchmark)里也有一个叫 PubMed 的数据集,很多读者会想当然地以为它就是 PGB 或与 PGB 同类。事实是两者完全不同。
| 维度 | HGB-PubMed | PGB |
|---|---|---|
| 节点含义 | 基因、疾病、化学物、物种等生物医学实体 | 文献书目对象:Paper、Author、MeSH、Venue、Type |
| 数据来源 | 实体识别/关系抽取产物 | S2ORC 引文 + PubMed Entrez + MeSH 树 |
| 反映的信息 | 实体间生物医学关系网 | 文献的书目与引文结构 |
| 答案的问题 | “某基因与某疾病有何关系” | “某论文与哪些作者/主题/引文相连” |
| 典型任务 | 实体关系推断 | 文献分类、聚类、系统综述筛选 |
一句话概括:HGB-PubMed 是"生物医学知识图",PGB 是"PubMed 书目图"。 前者刻画分子/疾病层面的知识,后者刻画文献层面的传播与组织。二者都"和 PubMed 有关",但建模对象、数据来源、能回答的问题完全不在一个层面。把两者混为一谈,会导致对 PGB 任务性质的彻底误判。
§7.3 影响力锚点:为什么 PGB 值得被单独建条目
PGB 的影响力体现在几个可验证的锚点上:
- 会议背书:被 CIKM 2023(ACM 信息与知识管理顶会)录用,正式 DOI
10.1145/3583780.3615128。这给了它稳定的学术引用锚点。 - 填补的空白:在它之前,生物医学异质图没有"通量级(千万节点)+ 领域专用 + 带层级"的公开基准。研究者要么用通用的 ogbn-mag(不贴领域),要么自建小规模图(不可比)。
- 暴露了 SOTA 的边界:论文实测 GTN、HetGNN、MAGNN 三个异质图 SOTA 模型在 PGB 规模上内存耗尽(OOM)无法运行。这不是 PGB 的缺陷,而是它作为"规模压力测试器"的价值——它把"当前 SOTA 在真实规模前会崩"这一事实摆到了台面上。
- SR 任务的实用黏性:系统综述摘要筛选是循证医学的真实痛点(单篇 SR 从注册到发表约 67 周,初检后要筛掉约 95% 的标题摘要)。PGB 把这一痛点变成了可量化的 AUC/WSS 任务,天然吸引医学信息学与 NLP 交叉社群。
§7.4 竞品对标:PGB 与同类文献图基准
把视野放宽到"文献图基准"这个细分赛道,PGB 的直接竞品并不多,但各自定位差异清晰:
| 基准 | 建模对象 | 数据源 | 特色 | 与 PGB 的关系 |
|---|---|---|---|---|
| PGB | PubMed 全量书目 | S2ORC + PubMed + MeSH | 唯一带 MeSH 层级 | 本条主角 |
| ogbn-arxiv | arXiv 引文(同质) | MAG | 规模大、划分标准 | 同质,无作者/主题节点,不建模层级 |
| ogbn-mag | MAG 学术异质图 | MAG | 通用、亿级 | 通用领域,无医学、无层级 |
| S2ORC | 全学科论文语料 | S2ORC | 语料而非图 | 是 PGB 的上游,非竞品 |
| Semantic Scholar | 学术图与 API | S2 | 工业级、持续更新 | 商业服务,非评测基准 |
PGB 的差异化护城河可以归纳为三点:领域(生物医学)+ 层级(MeSH 树)+ 真实规模(千万节点)。任何一点单拎出来都不算绝无仅有,但三者同时具备的,在公开基准里目前只有 PGB。这也解释了为什么它被单独列出建条目——它填的是图谱基准坐标系里一个此前空着的位置。
§7.5 库内互链网络:五个锚点
PGB 在千方病案医数集库内形成一张清晰的互链网络,五个锚点各有其必要性:
| 库内条目 | rid | 互链理由 | 链接强度 |
|---|---|---|---|
| s2orc | 370 | 直接上游数据源,PGB 引文/作者部分源自 S2ORC,license 同源 | ★★★ 强 |
| pubmedqa | 49 | 同为 PubMed 底座,问答 vs 图嵌入的互补 | ★★ 中 |
| medmentions | 390 | MeSH/UMLS 实体标注,与 PGB 的 MeSH 主题标注互补 | ★★ 中 |
| trials | 661 | 临床试验语料,PGB 的 SR 筛选任务的证据语境 | ★★ 中 |
| clinicaltrials-gov | 556 | 临床试验注册数据,SR 任务的应用场景 | ★ 中弱 |
其中 s2orc(370)是最强互链——它不是"相关条目"而是"上游依赖",读者若想理解 PGB 引文与作者消歧的数据质量从何而来,必须回到 s2orc 条目。其余四个锚点构成"PubMed 生态 + 证据筛选"的扇形互链,帮助读者在库内沿主题快速跳转。
§7.6 影响力局限的诚实评估
不应把 PGB 的影响力讲得过大。几处需要诚实标注的局限:
- 引用体量有限:作为 2023 年才发表、2022 年才发布的基准,其累积引用远不能与 ogbn-arxiv/OGB 系列相比。它的价值在"定位独特"而非"使用广泛"。
- 无官方 leaderboard:缺少排行榜意味着缺少"持续吸引新方法提交"的飞轮,影响力增长更多依赖社区自觉。
- 领域门槛高:要真正用好 PGB,需要同时懂图神经网络和生物医学文献学(SR 流程、MeSH 体系、循证医学),双重门槛把潜在用户限定在交叉社群里。
- 扩充版未落地:作者承诺的领域合作扩充尚未发布,当前版本仍是 2022 快照。
这些局限不改变 PGB 作为"生物医学书目异质图唯一公开通量级基准"的定位,但决定了它更可能是一个被精准引用的小众标杆,而非大众人手一份的通用基准。
§8 方法学启示与研究经验
§8.1 启示一:把"领域结构"编码进图,而不是留给模型去猜
PGB 最重要的方法学贡献,是把MeSH 的层级结构(HIER)显式建成 M-M 边,而不是让模型从共现里隐式推断主题之间的上下位关系。
传统同质图(如纯引文图)只保留"论文—论文"的引用连接,主题之间的关系要靠模型自己从邻居分布里学。PGB 的做法是:把 MeSH 树的父子关系直接变成边,让"某种疾病"与"其上位的更大类"之间的从属结构成为可学习的一等公民。
启示:领域知识若以明确的结构形式存在(分类树、本体层级、受控词表),把它建成图的边比让模型去猜更高效也更可解释。这也正是 PGB 对标 ogbn-mag/DBLP/ACM 时的核心区分点——那些基准没有层级结构可编码,PGB 有。
§8.2 启示二:用真实规模暴露 SOTA 的边界
论文最有价值的发现之一,不是"哪个模型最好",而是"三个异质图 SOTA 直接被 OOM 挡在门外"(GTN、HetGNN、MAGNN)。
| 模型 | 结果 | 含义 |
|---|---|---|
| GAHNE | 四项指标最优 | 当前规模下可跑且最强 |
| ie-HGCN | 与 GAHNE 持平 | 可跑且可解释 |
| HAKE | 次优 | 可跑 |
| GTN / HetGNN / MAGNN | OOM,无法运行 | 在小基准上 SOTA,在真实规模上崩 |
启示:在小规模基准(如十几万节点)上刷到 SOTA,不等于能在千万节点的真实数据上运行。可扩展性是独立于精度的维度,小基准的排行榜会系统性地掩盖这一点。PGB 用真实规模把这条"隐藏及格线"显式化了——一个方法若连跑都跑不起来,精度再高也没有现实意义。
这对做图神经网络研究的启示很直接:在报精度前先报规模可行性,并至少在一个"会让主流方法 OOM"的规模上验证自己的方法。硬件门槛(论文用 AWS g4dn + NVIDIA T4,属中端 GPU)也说明PGB 的"跑不动"不是靠堆硬件就能解决,而是算法层面的内存瓶颈。
§8.3 启示三:异质模型 vs 同质模型,差距来自结构而非参数量
Table 5 的结果呈现出一条清晰的分界线:异质模型(HAKE/GAHNE/ie-HGCN)全面优于同质模型(LINE/GCN)。
| 类别 | 模型 | Macro-F1 | Micro-F1 | NMI | ARI |
|---|---|---|---|---|---|
| 同质 | LINE | 36.47 | 39.67 | 6.56 | 5.38 |
| 同质 | GCN | 42.13 | 43.19 | 6.98 | 5.96 |
| 异质 | HAKE | 48.71 | 50.85 | 10.73 | 10.11 |
| 异质 | GAHNE | 50.44 | 53.54 | 13.86 | 13.52 |
| 异质 | ie-HGCN | 50.37 | 53.37 | 13.71 | 13.27 |
同质模型里,GCN 用了 500 维 TF-IDF 词特征,比 LINE 的纯结构嵌入多出大量文本信息——但即便如此,GCN 的 Macro-F1(42.13)仍明显低于仅靠结构聚合的异质模型 HAKE(48.71)。启示:模型对异质结构的利用能力,比喂进多少文本特征更能决定上限。 这提示方法研究者在生物医学文献任务上,应优先投资于"怎么建模节点类型与边类型的差异",而不是一味堆文本特征。
§8.4 启示四:SR 任务揭示"纳入率决定最优模型"
SR 摘要筛选的 AUC 结果呈现出一个分主题离散的规律:ie-HGCN 在纳入率低(筛掉更多)的主题上更优,GAHNE 在纳入率高的主题上更优。
| SR 主题 | 最优模型 | AUC |
|---|---|---|
| Cohen-NSAIDs | GAHNE | 0.767 |
| SWIFT-Transgenerational | ie-HGCN | 0.761 |
启示:不存在"通用最优模型",最优选择依赖任务的数据分布特征。 纳入率本质上是正负样本比例的表征——极端不平衡时,可解释、层数更深、聚合更精细的 ie-HGCN 占优;相对平衡时,聚合更激进的 GAHNE 占优。
这对方法评估的启示是:在类别不平衡的真实任务上,只报一个"平均 AUC"是危险的。PGB 的 21 个 SR 主题纳入率从 1.44% 到 32.48% 跨越了一个数量级,平均值会同时掩盖"某方法在极不平衡主题上的崩溃"和"在平衡主题上的优势"。报分主题成绩、报 WSS、报纳入率切片,比报单一平均更有信息量。
§8.5 启示五:WSS 提醒——领域指标不可被通用指标替代
PGB 的 SR 任务同时报告 AUC 和 WSS(Work Saved over Sampling)。WSS 是系统综述领域专有的指标,衡量"在保持一定召回率的前提下,能替人工审阅省下多少工作量"。
这个指标的存在本身就是一个方法学信号:通用指标(AUC)优化的是排序质量,领域指标(WSS)优化的是真实工作流收益。 一个模型 AUC 很高,但如果它把需要人工复核的论文排在后面,对 SR 团队的"省时"贡献可能很小——WSS 恰好在最低点(Cohen-Antihistamines 的 LINE 仅 0.042)暴露了这种"高 AUC 低实用"的落差。
启示:面向真实工作流的领域基准,应当设计领域专用指标,而不是直接套用通用 ML 指标。 PGB 在这一点上做了正确示范——它没有只报 AUC,而是把"省了多少人工"作为一等公民指标。
§8.6 研究经验:数据集的"通量门槛"值得被单独评估
综合上述启示,PGB 给异质图研究的最大方法论遗产,是确立了一条"通量门槛"评估线:
- 小基准上的 SOTA ≠ 真实规模上的可用方法;
- 可扩展性应当与精度并列报告,而非事后补充;
- 领域结构(层级/本体)应当显式编码进图,而非交给模型隐式学习;
- 类别不平衡的真实任务应当报分主题明细 + 领域专用指标,而非单一平均值。
这些经验不只是"PGB 怎么用"的操作指南,更是评测基准设计本身的方法论——一个好的基准不只提供数据,还要通过它的规模、结构、指标设计,逼研究者面对真实世界的约束。PGB 在这三点上(真实规模、层级结构、领域指标)各自提供了一个可借鉴的范式。
§9 存照与待核:本条目撰写过程中逐条记录的口径冲突
本条目在撰写过程中严格遵守「三源互证、冲突存照」的原则。所有无法在公开来源中唯一确定的数字与描述,均在此逐条留痕,供后来者复核。读者若在别处见到与本条目不一致的说法,请优先回查本节。
§9.1 双口径冲突逐条存照
冲突 1:数据集 License 口径(最需注意)
- 口径 A(论文与代码仓库):PGB 论文 §3.5 原文写 “PGB is released under the CC BY-NC 4.0 license and for non-commercial use.”;GitHub 仓库
ewhlee/PGB的 README 同样写 “PGB dataset is released under the CC BY-NC 4.0 license and for non-commercial use.” - 口径 B(数据集托管页):Zenodo record 6406776 的 Rights/License 字段实测显示为 CC BY 4.0(Creative Commons Attribution 4.0 International),即不带 NonCommercial 限制。
- 二者不能同时为真。BY-NC 4.0 与 BY 4.0 的差别恰在「能否商用」这一关键条款上。本条目正文以论文与 GitHub 声明的 CC BY-NC 4.0 为主口径,同时明确标注 Zenodo 元数据页显示 BY 4.0 的冲突。
- 处置建议:任何打算将 PGB 用于商业场景的团队,必须在使用前直接以邮件向作者(通讯作者 Joyce C. Ho)确认,不可仅凭任一单页元数据行事。
冲突 2:元数据字段数(论文自相矛盾)
- 论文正文 §3.2 写明 PGB 含有 13 个元数据字段(Table 2 列出 13 行)。
- 论文 Conclusion 部分却写 “11 fields of metadata”。
- 复核 Table 2 实列 13 行,其中 2 行为 Validator 类字段;若剔除 Validator 两行,核心可用字段恰为 11。这解释了两个数字的来源,但论文正文与结论未能统一表述,属论文自身表述漂移。本条目在正文中按「13 个字段(其中 2 个为 Validator 类)」中性表述,并在此存照。
冲突 3:数据集体积口径
- 论文口径:约 60GB,指未压缩的逐篇 JSON 存储总量。
- Zenodo 托管页口径:21.8 GB,指 10 个压缩 zip 文件(pgb_part1.zip 至 pgb_part10.zip)的合计大小。
- 两者并非矛盾,而是「未压缩 JSON」与「压缩 zip」的口径差。本条目在正文中同时给出两个数字并注明口径,读者按需选用。
冲突 4:时间线倒挂
- 数据集 Zenodo v1.0 的发布日期为 2022-04-01(DOI 10.5281/zenodo.6406776)。
- 论文 arXiv 首发(v1)为 2023-05-04(arXiv:2305.02691)。
- 即数据集正式发布早于论文约一年。这一「先发数据、后发论文」的顺序在基准数据集领域并不罕见(团队先释放数据供社区使用,再整理成会议论文),但读者若按「论文发表年」推断数据集新鲜度会得出错误结论。另有 OpenAIRE 口径将论文 Publication 日期标为 2023-10-21(对应 CIKM '23 会期),构成第三种日期口径。
- 另:Zenodo 技术元数据字段 Created 2022-06-15 / Modified 2022-06-16,与页面标注的发布日期 2022-04-01 又不同。三处日期需分别理解(发布日期 / 创建元数据日期 / 会期)。
冲突 5:引文缺失率正文与表格漂移
- 论文正文叙述写 “74.49% of articles do not have outbound citations”。
- 但 Table 3 列出 outbound citations 缺失率为 74.79%。
- 正文与表格相差 0.30 个百分点。本条目以 Table 3 的 74.79% 为准(表格是结构化数据源,通常比行文更可靠),并在此存照正文漂移。
冲突 6:任务头 brief 作者信息证伪
- 派发用 brief 曾把本论文作者记为 Wanyan / Xiang / Glicksberg / Nadkarni。
- 三源互证(arXiv 页面、CIKM '23 DOI 元数据、GitHub 仓库)一致显示真实作者为 Eric W. Lee 与 Joyce C. Ho,二人同属 Emory University 计算机科学系。
- brief 四人经核均非本论文作者,系误记。brief 中另有一组节点数(59,686 nodes)亦与实核的 54,974,182 严重不符,属同一批误记。本条目一律采信三源互证结果。
冲突 7:Zenodo 文件清单展示不完整
- Zenodo record 6406776 页面正文的 Files 段落只摘列了
pgb_part1.zip与合计数 Files (21.8 GB)。 - 经核文件列表,
pgb_part1.zip至pgb_part10.zip共 10 个文件均存在,每个约 2.2GB,10 × 2.2GB ≈ 22GB,与页面标注的 21.8GB 吻合。 - 本条目按「10 个分区 zip」表述,并提示读者以 Zenodo 文件列表为准(页面摘要段落不代表完整清单)。
§9.2 遗留疑点(公开来源无法裁决,如实留白)
- Zenodo License 究竟为 BY 还是 BY-NC:托管页元数据(BY 4.0)与作者声明(BY-NC 4.0)冲突,目前检索不到任何第三方裁决页或勘误说明。此疑点与冲突 1 同源,商用前必须邮件确认。
- 快照时点未明示:论文未给出 PGB 数据与其在 Zenodo 上的快照之间是否存在版本差异的逐条比对,也未明示快照的切片时间点。因此无法判断「论文里的开发数据」与「线上 zip 里的数据」是否完全一致。
- 54,974,182 节点的类型构成明细缺失:论文 Table 1 只给节点总数与类型数量(5 类),未拆分每类节点各有多少。若研究需要按类型抽样,需自行从 zip 内 JSON 统计。
- SR 数据集时效问题:21 个系统综述主题多属「old evidence reports」,反映的是较早期证据检索场景。作者在论文中提及正与公共卫生、护理、医学领域合作扩充主题集,但扩充版尚未发布,当前可用的仍是最初的 21 主题。
- 无官方 leaderboard 站点:论文未提供全量基线的可复现排行榜站点,评测切分(train/val/test splits)仅随 GitHub 仓库发布。这意味着横向对比需研究者自行复现,缺少一个中立的排名仲裁点。
§9.3 本节小结
本节共记录 7 条双口径/矛盾冲突 与 5 条遗留疑点。凡本条目正文中出现的关键数字,若涉及上述冲突,均在正文相应位置以「据论文口径」「据托管页口径」等方式标注来源,读者可据此判断可信边界。
§10 常见问题 FAQ
§10.1 定位与概念类
Q1:一句话说,PGB 到底是什么?
A:PGB(PubMed Graph Benchmark)是把 PubMed 的丰富书目元数据(摘要、作者、引文、MeSH 主题词、MeSH 层级、出版类型、化学品)聚合成一张统一异质图,并配三个评测任务的生物医学文献图基准数据集。
Q2:PGB 和普通「PubMed 数据」有什么区别?
A:普通 PubMed 下载得到的是逐条文献记录;PGB 的增值在于把它组织成图——文章之间、文章与作者之间、文章与主题词之间建立显式边,并把 MeSH 的树状层级也编码进图里,供图神经网络训练。
Q3:「异质图」在这里具体指什么?
A:指图中存在多种类型的节点与多种类型的边。PGB 有 5 类节点(Paper、Author、MeSH、Venue、publication Type)和 7 类边(P-P、P-A、A-A、P-M、P-V、P-T、M-M),与只有单一节点/边类型的同质图相对。
Q4:PGB 这个名字会和其他东西撞车吗?
A:会。PGB 是多义缩写,常见撞车对象是 Facebook 的 PyTorch BigGraph(有时缩写作 PBG)、以及 PGL 相关工作里的 PGB 缩写。本条目专指 Lee & Ho 的 PubMed Graph Benchmark。检索时建议加上作者名或 arXiv 号。
Q5:PGB 的官方全称是什么?
A:PGB: A PubMed Graph Benchmark for Heterogeneous Network Representation Learning。
§10.2 数据与规模类
Q6:PGB 有多大?
A:含 30,872,730 篇文章,图节点总数 54,974,182,节点类型 5 类,边类型 7 类。未压缩 JSON 约 60GB,Zenodo 上以 10 个压缩 zip 发布,合计约 21.8GB。
Q7:为什么有两个体积数字(60GB 和 21.8GB)?
A:60GB 是未压缩 JSON 的口径,21.8GB 是压缩 zip 的口径。二者不冲突,是同一批数据的两种打包状态。
Q8:数据里哪些字段缺失最严重?
A:化学列表缺失率最高(52.82%),其次是外引(outbound citations,74.79%);出版类型的缺失率最低(仅 0.60%)。
Q9:MeSH 层级为什么是 PGB 的招牌特性?
A:因为在它同级别的图基准里,PGB 是**唯一具备节点层级结构(HIER)**的。对比之下 ogbn-mag、DBLP、ACM 等基准都没有把概念层级编码进图。对需要「概念上位/下位」推理的任务,这一特性不可替代。
Q10:数据来源有哪些?
A:三件套——S2ORC 语料(提供引文信息与作者消歧)、PubMed Entrez API(提供 MeSH 词、化学品、出版类型)、MeSH 树(提供概念层级)。
§10.3 任务与评测类
Q11:PGB 提供哪三个评测任务?
A:节点分类、节点聚类、系统综述摘要筛选(SR abstract screening)。
Q12:节点分类和聚类用的是什么标签?
A:三类糖尿病标签——Diabetes Mellitus Experimental / Type 1 / Type 2,来自 Namata 等人的糖尿病集合(19,717 篇文章 + 61,587 位作者 + 4,081 个 MeSH 词),并非 PGB 自建标注。
Q13:SR 筛选任务的 21 个主题从哪来?
A:三个既有来源——Cohen 等人 15 主题、SWIFT-Review 3 主题、CLEF-TAR 2019 3 主题。
Q14:SR 筛选为什么用 AUC 和 WSS 两个指标?
A:AUC 衡量排序质量;**WSS(Work Saved over Sampling)**是系统综述筛选的领域专用指标,直接回答「能帮人工筛掉多少工作量」。只报 AUC 会脱离筛选场景的实际价值。
Q15:SR 主题的纳入率分布如何?
A:极度不平衡,从 1.44%(SWIFT-BPA,111/7700)到 32.48%(Cohen-Triptans,218/671)。这一分布直接影响哪种模型更优。
Q16:为什么说纳入率决定最优模型?
A:论文结果显示,纳入率低(筛掉比例大)时 ie-HGCN 更优,纳入率高时 GAHNE 更优。选模型前应先看目标主题的纳入率。
Q17:节点分类/聚类的 SOTA 是谁?
A:GAHNE 综合最优(Macro-F1 50.44 / Micro-F1 53.54 / NMI 13.86 / ARI 13.52),ie-HGCN 紧随其后(50.37 / 53.37 / 13.71 / 13.27),两者接近。
Q18:同质模型和异质模型差距大吗?
A:明显。异质模型(HAKE/GAHNE/ie-HGCN)全面优于同质模型(LINE/GCN)。LINE 的 Macro-F1 仅 36.47,GAHNE 达 50.44,差距约 14 个点。
Q19:有没有模型跑不动 PGB?
A:有。GTN、HetGNN、MAGNN 三个 SOTA 异质模型因内存耗尽(OOM)无法运行。这说明 PGB 的规模已触及当前 SOTA 的现实边界。
Q20:评测用的硬件是什么?
A:AWS g4dn 实例配 NVIDIA T4 GPU。
§10.4 获取与许可类
Q21:怎么拿到数据?
A:Zenodo record 6406776,下载 10 个 zip(pgb_part1.zip 至 pgb_part10.zip),每个带 md5 校验。
Q22:代码在哪?
A:GitHub 仓库 ewhlee/PGB,含 dataset/、evaluations/ 目录及三个任务的 train/val/test 切分,脚本包括 extract_pubmed.py、get_citation.py、get_meshtree.py、get_metadata.py、load_data.py。
Q23:能商用吗?
A:务必谨慎。论文与 GitHub 声明 CC BY-NC 4.0(禁商用),但 Zenodo 页面实测为 CC BY 4.0(可商用),两者冲突。商用前请邮件作者确认。详见 §9.1 冲突 1。
Q24:上游 S2ORC 有额外限制吗?
A:有。S2ORC 本身为非商用许可,构成一道独立闸门——即便 PGB 自身许可允许商用,S2ORC 上游仍可能限制。使用前需逐层核查。
Q25:数据会过时吗?
A:会。论文明确警告 PGB 中的 PubMed 元数据快照可能不反映 PubMed 最新状态;如需最新数据,可用 GitHub 仓库脚本重新拉取。
§10.5 对比与选择类
Q26:PGB 和 HGB 的 PubMed 一样吗?
A:完全不同。HGB-PubMed 是基因/疾病/化学/物种的关系网(实体识别产物),不反映文献书目信息;PGB 才是真正基于 PubMed 书目的异质图。名字里有「PubMed」不代表是同一件事。
Q27:PGB 和 PubmedQA 什么关系?
A:姊妹条目,同以 PubMed 文献为底座,但 PubmedQA 面向问答推理,PGB 面向异质图嵌入。二者互补,不重叠。
Q28:PGB 对标哪些公共基准?
A:OGB(ogbn-arxiv/ogbn-papers100M/ogbn-mag)、HGB(DBLP/ACM/Freebase)、S2ORC、Semantic Scholar。PGB 的差异化在「生物医学 + 异质 + 含层级」。
Q29:如果我只做文本分类,需要 PGB 吗?
A:不一定。PGB 的价值在结构化图信息(引文、作者、MeSH 层级)。若你的任务只需摘要文本,SPECTER 类文本模型可能更省事;若需要利用文献间关系,PGB 才体现优势。
Q30:PGB 适合初学者吗?
A:门槛偏高。60GB 级数据、异质图框架、部分 SOTA 模型 OOM,都不适合作为入门第一个数据集。建议先在小规模异质图(如 ACM)上练手。
Q31:论文发在哪?
A:CIKM 2023(第 32 届 ACM 信息与知识管理国际会议),DOI 10.1145/3583780.3615128;arXiv 预印本 2305.02691(按 v3,2023-08-25)。
Q32:数据集和论文为什么年份对不上?
A:数据集 Zenodo 发布在 2022-04-01,早于论文 arXiv 首发(2023-05-04)约一年。团队先释放数据、后整理成论文,属常见做法,但按论文年份判断数据新鲜度会误判。
§11 结论与延伸阅读
§11.1 本条目核心结论
- PGB 的不可替代性来自三件套的合体:生物医学领域 + 异质图结构 + 节点层级。三者单独都存在,同时具备的公共基准极少。
- 真实规模即是价值也是门槛:30,872,730 篇文章、54,974,182 节点的规模让三个主流 SOTA 模型直接 OOM,把「当前方法能处理多大图」的边界暴露出来。
- 它是一个「接入器」而非「新标注」:节点标签与 SR 标签均来自既有数据(Namata 糖尿病集、Cohen/SWIFT/CLEF),PGB 的核心贡献是把它们统一接入一张异质图。
- 使用前必读两件事:License 双口径冲突(BY-NC vs BY)与数据快照时效警告。这两点直接决定能否用、用了准不准。
§11.2 延伸阅读建议
- 若关注系统综述自动化:从 Cohen 等人的 WSS 原始论文读起,再读 PGB 的 SR 任务设计,理解指标为何是 WSS 而非纯 AUC。
- 若关注异质图表示学习:对比 HAKE、GAHNE、ie-HGCN 三种方法的建模假设,再回看 PGB 结果中「纳入率决定最优模型」的规律。
- 若关注数据工程:研究 PGB 如何把 S2ORC 的引文图与 PubMed 的 MeSH 树对齐,这是构建大规模学术图的通用难题。
- 若关注基准设计:把 PGB 与 OGB、HGB 并读,理解「生物医学 vs 通用」「含层级 vs 无层级」的取舍。
§11.3 对使用者的三条提醒
- 先确认许可再下载:60GB 级数据的迁移成本不低,许可不明时不宜投入。
- 先做主题纳入率分析再选模型:不要把 GAHNE 当作万能选,纳入率低的主题应优先试 ie-HGCN。
- 把快照时效写进你的方法学限制:用 PGB 做的研究,应在论文中声明数据快照时点不反映 PubMed 最新状态。
术语表
| 术语 | 全称 / 英文 | 释义 |
|---|---|---|
| PGB | PubMed Graph Benchmark | 本条目主题,生物医学文献异质图基准 |
| HIN | Heterogeneous Information Network | 异质信息网络,含多类型节点与边的图 |
| HGNN | Heterogeneous Graph Neural Network | 异质图神经网络 |
| SR | Systematic Review | 系统综述,循证医学的证据合成方法 |
| WSS | Work Saved over Sampling | 抽样节省工作量,SR 筛选的领域专用指标 |
| AUC | Area Under the ROC Curve | 排序质量指标 |
| NMI | Normalized Mutual Information | 归一化互信息,聚类指标 |
| ARI | Adjusted Rand Index | 调整兰德指数,聚类指标 |
| MeSH | Medical Subject Headings | 医学主题词表,含树状层级 |
| HIER | Hierarchy | 层级结构,PGB 相对同类基准的特性 |
| S2ORC | Semantic Scholar Open Research Corpus | PGB 的上游引文/作者数据源 |
| OOM | Out Of Memory | 内存耗尽,模型无法运行的失败模式 |
| SPECTER | Scientific Paper Embeddings using Citation-informed Transformers | 文献嵌入语言模型基线 |
| LINE | Large-scale Information Network Embedding | 同质网络嵌入基线 |
| GCN | Graph Convolutional Network | 图卷积网络基线 |
| HAKE | Hierarchy-Aware Knowledge Graph Embedding | 层级感知知识图谱嵌入基线 |
| GAHNE | Graph Aggregating Heterogeneous Network Embedding | 图聚合异质网络嵌入基线 |
| ie-HGCN | interpretable and efficient Heterogeneous Graph Convolutional Network | 可解释高效异质图卷积基线 |
| GTN | Graph Transformer Network | 因 OOM 未能运行的 SOTA 异质模型 |
| HetGNN | Heterogeneous Graph Neural Network | 因 OOM 未能运行的 SOTA 异质模型 |
| MAGNN | Metapath Aggregated Graph Neural Network | 因 OOM 未能运行的 SOTA 异质模型 |
| OGB | Open Graph Benchmark | 通用图基准(库外对标) |
| HGB | Heterogeneous Graph Benchmark | 异质图基准(库外对标) |
| CLEF-TAR | CLEF eHealth Technology-Assisted Review | SR 主题来源之一 |
| SWIFT-Review | — | SR 主题来源之一 |
| CC BY 4.0 | Creative Commons Attribution 4.0 | 可商用署名许可 |
| CC BY-NC 4.0 | Creative Commons Attribution-NonCommercial 4.0 | 禁商用署名许可 |
| DAIMS | Data Audit and Impact Measurement Standard | 本条目 §附录 B 所用数据评估框架 |
附录 A:关键数字速查表
| 项目 | 数值 |
|---|---|
| 文章总数 | 30,872,730 |
| 节点总数 | 54,974,182 |
| 节点类型数 | 5 |
| 边类型数 | 7 |
| 未压缩体积 | 约 60GB |
| Zenodo 压缩体积 | 21.8GB(10 个 zip) |
| 作者字段缺失率 | 1.54% |
| MeSH 字段缺失率 | 12.92% |
| 化学品字段缺失率 | 52.82% |
| 出版类型缺失率 | 0.60% |
| 入引缺失率 | 46.59% |
| 出引缺失率 | 74.79% |
| 节点分类标签类数 | 3(糖尿病分型) |
| SR 主题数 | 21 |
| SR 纳入率区间 | 1.44% – 32.48% |
| GAHNE Macro-F1 | 50.44 |
| GAHNE Micro-F1 | 53.54 |
| GAHNE NMI | 13.86 |
| GAHNE ARI | 13.52 |
| OOM 模型数 | 3(GTN/HetGNN/MAGNN) |
附录 B:DAIMS 数据评估表
| 维度 | 评分(1-10) | 依据 |
|---|---|---|
| D 可发现性(Discoverability) | 9 | arXiv 2305.02691 + CIKM '23 DOI 10.1145/3583780.3615128 + Zenodo DOI 10.5281/zenodo.6406776 + GitHub ewhlee/PGB 多入口可检索 |
| A 可获取性(Accessibility) | 8 | 数据与代码均公开直链下载;体积大(21.8GB 压缩)构成带宽门槛,但无登录墙 |
| I 可互操作性(Interoperability) | 8 | 逐篇 JSON 格式,字段命名清晰;与 S2ORC/MeSH/PubMed 三大生态原生对接,可跨库关联 |
| M 元数据质量(Metadata Quality) | 7 | 字段覆盖与缺失率有 Table 3 完整披露;但字段数(13 vs 11)与体积(60GB vs 21.8GB)存在口径漂移,扣分 |
| S 可持续性(Sustainability) | 7 | Zenodo 长期归档 + GitHub 仓库 + md5 校验;但快照时效不反映最新 PubMed,且扩充版未发布 |
| 综合评级 | 7.8 | 高质量生物医学异质图基准,主要扣分项为许可双口径冲突与快照时效,数据工程与标注透明度优良 |
附录 C:坑点清单(使用前必读)
坑 1:License 双口径冲突,商用前必须邮件确认。 论文与 GitHub 写 CC BY-NC 4.0(禁商用),Zenodo 页面却显示 CC BY 4.0(可商用)。两个许可不能同真,且商用与否直接决定法务风险。切勿只看某一页就下结论,务必以邮件向通讯作者 Joyce C. Ho 确认。
坑 2:上游 S2ORC 是独立闸门,许可需逐层核查。 PGB 建基于 S2ORC 的引文与作者数据,而 S2ORC 自身为非商用许可。即使 PGB 某处显示可商用,上游 S2ORC 仍可能构成限制。许可审查必须穿透到上游依赖。
坑 3:数据集年份早于论文年份,勿按论文年份判断新鲜度。 Zenodo v1.0 发布于 2022-04-01,论文 arXiv 首发在 2023-05-04。若按 2023 年推断数据是「2023 年的 PubMed」,会高估其时新性。实际快照更早。
坑 4:SOTA 模型可能直接 OOM,评测前先估内存。 GTN、HetGNN、MAGNN 三个主流异质模型在 PGB 规模上内存耗尽无法运行。若你的方案依赖这些模型,需先确认硬件(论文用 AWS g4dn + NVIDIA T4)是否足够,或考虑采样/子图策略。
坑 5:选模型先看 SR 主题纳入率,别默认 GAHNE。 论文显示纳入率低时 ie-HGCN 更优,纳入率高时 GAHNE 更优。用一个模型打所有主题会错过更优解。动手前先算目标主题的纳入率。
坑 6:HGB 的 PubMed ≠ PGB,勿混用。 HGB-PubMed 是基因/疾病/化学/物种关系网,不反映文献书目信息。两者名字都含 PubMed 但数据内容与用途完全不同,文献综述中引用时务必核对。
坑 7:数据集体积有两个口径,按用途选用。 60GB(未压缩 JSON)与 21.8GB(压缩 zip)是同一数据的两种状态。规划存储与传输时用压缩口径,规划运行内存与解析时用未压缩口径。
坑 8:节点类型构成无官方拆分,需自行统计。 论文只给节点总数(54,974,182)与类型数(5 类),未拆分每类各多少。若研究需要按类型抽样或分层,须自建脚本从 zip 内 JSON 统计。
坑 9:SR 主题偏「old evidence reports」,注意时效场景局限。 21 个主题多反映较早期的证据检索场景,扩充版尚未发布。若你的研究针对近年的新兴证据主题,需评估该数据集的主题代表性是否足够。
坑 10:引用具体数字时区分「正文口径」与「表格口径」。 论文存在正文与表格漂移(如出引缺失率正文 74.49% vs Table 3 的 74.79%)。引用时应以结构化表格为准,并在需要时标注两处数字的差异。
尾注
本条目基于 2026-10-03 的公开来源三源互证撰写,所有事实均可追溯至 arXiv:2305.02691、CIKM '23 DOI 10.1145/3583780.3615128、Zenodo record 6406776、GitHub ewhlee/PGB 四处主源。凡存在口径冲突者,均已在本条目 §9 逐条存照,不以单一来源覆盖矛盾。
数据引用规范建议:学术使用引用 PGB 时,请同时引用论文(Lee & Ho, CIKM 2023)与数据集(Zenodo DOI 10.5281/zenodo.6406776),并声明所使用的快照时点。
许可使用规范建议:任何准备将 PGB 用于非教学、非个人研究场景的团队,请在使用前完成许可穿透核查(PGB 自身 + 上游 S2ORC + PubMed Entrez API),并向作者确认。
§12 方法学深读:PGB 为什么这样设计
本节面向希望理解「为什么基准会长这样」的读者,逐层拆解 PGB 的设计动机。理解动机比记住数字更重要,因为动机决定了这个基准适合解决什么、不适合解决什么。
§12.1 为什么不用纯文本而要造图
生物医学文献任务最早的通行做法是把摘要当纯文本,喂给词袋或 BERT 类模型。这条路在单篇文献分类上可行,但遇到下面三类需求就失效:
- 关系推理:判断两篇文章是否共享同一研究脉络,需要沿引文边走,纯文本模型看不到边。
- 实体共享:两篇文献讨论了同一个 MeSH 主题词,即使摘要用词不同,也应被判定为相关,纯文本难以稳定捕捉。
- 层级泛化:MeSH 有上下位关系(如「Beta Blockers」下位有更细的子类),需要模型理解概念树,纯文本里这个结构是隐性的。
PGB 的图结构正是为这三类需求而生:引文边服务关系推理,MeSH 节点服务实体共享,MeSH 树的服务层级泛化。
§12.2 五种节点类型的分工
PGB 把异质图拆成五类节点,每一类承担明确职责:
- Paper(文章):图的主体,承载摘要文本与其他元数据,是多数任务的预测目标。
- Author(作者):提供协作网络信号。作者合作模式往往暗示研究领域相似性,A-A 边让这一信号可用。
- MeSH(主题词):提供受控词汇层面的语义锚点。它比自由词更稳定,且天然带层级。
- Venue(发表venue):提供「同一刊物/会议偏好」的信号。同一 venue 的文献常在某些维度上同质。
- publication Type(出版类型):如综述、临床试验、随机对照试验等。类型本身携带质量与方法学含义。
这种拆分的关键考量是:让不同类型的信号各归其位,而不是揉进一个特征向量。揉在一起会丢失「这条信息来自哪种关系」的可解释性。
§12.3 七种边类型的设计逻辑
- P-P(文章-文章):来自引文关系。这是学术图最有价值的边,直接编码知识流动方向。
- P-A(文章-作者):署名关系,最基础也最完整(缺失率仅 1.54%)。
- A-A(作者-作者):合作网络,由 P-A 关系间接导出。
- P-M(文章-MeSH):主题标注,覆盖率 12.92% 缺失,是语义连接的主干。
- P-V(文章-venue):发表场所归属。
- P-T(文章-出版类型):类型归属,缺失率最低(0.60%),几乎全覆盖。
- M-M(MeSH-MeSH):这是 PGB 的差异化边,直接来自 MeSH 树,编码概念层级。没有这条边,MeSH 就只是普通节点;有了它,层级信息才进了图。
七类边中,M-M 是最容易被忽视却最关键的一条。许多同类基准之所以「不够异质」,正是因为缺少这种带结构含义的边。
§12.4 缺失率揭示了什么
Table 3 的缺失率分布不是随机噪声,它反映的是 PubMed 元数据生态的真实特征:
- 出版类型几乎全有(0.60% 缺失):因为 PubMed 对每条记录强制标注出版类型,这是登记流程的硬性要求。
- 化学品列表近半缺失(52.82%):因为该字段只在涉及化学实物的研究中才存在,很多临床/方法学研究根本不需要它。
- 出引缺失高达 74.79%:因为出引依赖收录完整性,很多文章引用的文献未必被 S2ORC 完整覆盖,越新的文章出引越可能不全。
对建模者的启示:缺失率低的字段可作主干特征,缺失率高的字段应作辅助信号,并显式建模缺失模式本身(缺失往往不是随机,而是有含义的)。
§12.5 为什么用 SR 筛选作为第三任务
节点分类与聚类是图学习社区的标准任务,任何图基准都能做。PGB 选择系统综述摘要筛选作为第三任务,隐含了一层价值主张:
- 真实痛点:一篇系统综述从注册到发表约需 67 周,其中大量时间耗在逐篇筛标题摘要上,这是循证医学公认的效率瓶颈。
- 可量化收益:WSS 直接量化「省了多少人工」,比纯 AUC 更贴近临床与证据合成的实际价值。
- 跨学科桥梁:把图学习的评测嵌入医学信息学的既有指标框架,让两个社区有共同语言。
选择这一任务,等于宣告 PGB 的目标受众不只是图学习研究者,还包括医学信息学与循证医学实践者。
§13 复现与上手指南
本节给出一份不依赖作者仓库之外任何私有资源的最小上手路径。所有步骤只用到公开直链。
§13.1 环境准备
- 硬件建议:论文评测用 AWS g4dn + NVIDIA T4。若只需跑通流程,可先用单个 zip 的子集在小机器上验证,避免一次性拉取 21.8GB。
- 软件栈:Python 3 环境,配合主流图学习/图神经网络库(如 PyTorch Geometric 或 DGL 的异质图接口)。异质图建模需显式声明每种节点与边的类型。
- 磁盘:预留至少 60GB,因为解压后 JSON 会膨胀到压缩前的量级。
§13.2 数据获取步骤
- 访问 Zenodo record 6406776。
- 依次下载 pgb_part1.zip 至 pgb_part10.zip,每个约 2.2GB。
- 核对 md5:每个文件页面提供 md5,务必校验,60GB 级下载的静默损坏代价很高。
- 解压得到逐篇 JSON 文件。建议先解压 pgb_part1 做流程验证,确认无误后再批量解压。
§13.3 代码仓库结构理解
GitHub 仓库 ewhlee/PGB 的关键目录与脚本职责:
dataset/:数据构建相关入口,配合下游脚本生成图。evaluations/:三个任务的评测代码与 train/val/test 切分。extract_pubmed.py:从 PubMed Entrez API 抽取元数据。get_citation.py:获取引文关系(依赖 S2ORC 相关数据)。get_meshtree.py:获取 MeSH 层级树。get_metadata.py:汇总元数据字段。load_data.py:把上述产物加载为可训练的图结构。
阅读顺序建议:先 load_data.py 理解期望的图数据结构,再回头读构建脚本,最后看 evaluations/ 里的评测入口。
§13.4 评测注意事项
- 先做子图实验:SR 任务的子网络(citations 2-hop)规模差异大——Cohen 约 1.2M、SWIFT 约 3.4M、CLEF-TAR 约 1.8M 篇。建议先用 CLEF-TAR 子网验证流程。
- 划分比例:论文对 SR 子网采用 50%-25%-25% 的 train/val/test 划分,每个配置跑 3 次试验。
- 指标实现:AUC 用标准实现即可;WSS 需按 Cohen 等人的定义实现,注意采样率的设定。
- 内存预估:若计划跑 GTN/HetGNN/MAGNN,请先在小规模图上确认显存需求,避免在大图上直接 OOM。
§13.5 常见复现陷阱
- 混用不同快照:PGB zip 是特定时点的快照,而用仓库脚本重新拉取会得到更新数据。两者混用会导致评测不可比。做可复现研究时,务必固定使用 Zenodo zip 并记录版本。
- 忽略异质类型声明:把异质图当同质图喂给 GCN,会丢失类型信息,结果会显著退化,且与论文不可比。
- 直接比较不同纳入率的主题:主题间纳入率差异极大(1.44%–32.48%),跨主题直接平均指标会掩盖规律,建议按纳入率分层报告。
附录 D:PGB 元数据字段字典(据论文 Table 2 口径)
下表据论文正文 §3.2 与 Table 2 整理,共列出 13 行字段(其中 2 行为 Validator 类校验字段)。论文结论处曾写「11 fields of metadata」,本表以 Table 2 结构化列表为准,差异已在 §9.1 冲突 2 存照。
| 序号 | 字段类别 | 内容说明 | 相关缺失率(据 Table 3) |
|---|---|---|---|
| 1 | 文章标识 | 每篇文章的唯一标识 | — |
| 2 | 标题 | 文献标题 | — |
| 3 | 摘要 | 文献摘要文本 | — |
| 4 | 作者 | 署名作者列表 | 1.54% |
| 5 | MeSH 主题词 | 受控主题标注 | 12.92% |
| 6 | 化学品列表 | 涉及化学实体 | 52.82% |
| 7 | 出版类型 | 综述/临床试验等 | 0.60% |
| 8 | 入引(inbound citations) | 被引关系 | 46.59% |
| 9 | 出引(outbound citations) | 引用关系 | 74.79% |
| 10 | venue | 发表场所 | — |
| 11 | 出版年份 | 文献年份 | — |
| 12 | Validator(校验收件人) | 数据校验相关 | — |
| 13 | Validator(校验类型) | 数据校验相关 | — |
注:缺失率列仅对论文 Table 3 明确披露的字段给出数值;未披露者标「—」,须自行从 zip 内统计。序号 12、13 为 Validator 类字段,剔除后即为论文结论所称的「11 fields」。
附录 E:三个评测任务速查对比
| 维度 | 节点分类 | 节点聚类 | SR 摘要筛选 |
|---|---|---|---|
| 预测目标 | 文章类别 | 簇划分 | 相关性排序/分类 |
| 标签来源 | Namata 糖尿病集 | 同左 | Cohen/SWIFT/CLEF |
| 类别/主题数 | 3 类糖尿病 | 3 类 | 21 主题 |
| 主指标 | Micro-F1 / Macro-F1 | NMI / ARI | AUC / WSS |
| 最优模型 | GAHNE | GAHNE | GAHNE/ie-HGCN(视纳入率) |
| 子网规模 | 19,717 文章 | 同左 | 1.2M–3.4M 文章 |
| 试验次数 | 3 | 3 | 3 |
| 领域特性 | 通用图任务 | 通用图任务 | 循证医学专用 |
附录 F:相关条目互链清单
| 条目 | 关系 | 说明 |
|---|---|---|
| s2orc | 直接上游 | PGB 的引文与作者消歧数据源,许可同源 |
| pubmedqa | 姊妹条目 | 同以 PubMed 为底座,面向问答而非图嵌入 |
| medmentions | 互补条目 | 生物医学文献实体链接,与 MeSH 标注互补 |
| trials | 语境相关 | 临床试验语料,SR 任务的应用语境 |
| clinicaltrials-gov | 语境相关 | 临床试验登记数据,同属证据合成生态 |
关系链可概括为:S2ORC → PGB → 下游异质图 GNN 评测。PGB 处于链路中间,向上依赖 S2ORC 与 PubMed,向下服务图学习与循证医学两个社区。
附录 G:版本与引用信息卡
| 项目 | 内容 |
|---|---|
| 论文全称 | PGB: A PubMed Graph Benchmark for Heterogeneous Network Representation Learning |
| 作者 | Eric W. Lee, Joyce C. Ho |
| 机构 | Emory University, Department of Computer Science |
| arXiv | 2305.02691(v3, 2023-08-25) |
| 会议 | CIKM 2023 |
| 会议 DOI | 10.1145/3583780.3615128 |
| 数据集 DOI | 10.5281/zenodo.6406776(v1.0, 2022-04-01) |
| 全版本 DOI | 10.5281/zenodo.6406775 |
| 代码仓库 | github.com/ewhlee/PGB |
| 数据集许可(论文口径) | CC BY-NC 4.0 |
| 数据集许可(Zenodo 口径) | CC BY 4.0(冲突,见 §9.1) |
引用建议:学术使用时同时引用论文与数据集 DOI,并声明所用快照时点与许可口径。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- pubmedqa — 共享标签:生物医学文献 / 评测基准 / 医学问答与基准
- craft — 共享标签:生物医学文献 / 知识图谱 / 评测基准
- scifact — 共享标签:生物医学文献 / 评测基准 / 医学问答与基准
- huatuo-26m — 共享标签:知识图谱 / 评测基准 / 医学问答与基准
- medreason — 共享标签:知识图谱 / 评测基准 / 医学问答与基准
- pubtabnet — 共享标签:生物医学文献 / 评测基准 / 医学问答与基准
- pubtator-central — 共享标签:生物医学文献 / 知识图谱 / 评测基准
- medhop — 共享标签:生物医学文献 / 评测基准 / 医学问答与基准
- cohortx — 共享标签:生物医学文献 / 评测基准 / 医学问答与基准
- biogrid — 共享标签:生物医学文献 / 知识图谱 / 评测基准
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

