PMC 临床试验解耦表格数据集

数据集获取

源站：https://doi.org/10.17632/wk53twxddf.1

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据集大小约 293.6 MB。

数据说明

该数据库是通过处理来自PubMed Central公共样本2014的6558篇临床试验文章而创建的。这些文章是通过匹配PMC和Medline文档获得的。所选文档在Medline中的出版物类型词中包含“Clinical”。文档使用TableDisentangler工具进行处理，该工具能够创建数据库的大部分内容。然后，文档使用UMLS/MetaMap以及作为TableDisentangler工具一部分的用于与MetaMap通信的脚本进行注释。针对这些数据进行了三项信息提取案例研究：- 患者年龄的提取 - 性别分布的提取 - FEV1指标的提取（仅针对COPD研究进行）信息提取案例研究使用TabInOut工具生成表格信息提取规则。数据库模式可在以下链接查看：https://github.com/nikolamilosevic86/TableDisentangler/wiki/Database-schema 数据集中包含的文件：- Clinicaldata.zip - 该文件包含来自PMC的原始xml临床文档 - Database.zip - 包含使用TableDisentangler和TabInOut处理后的数据数据库

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。