慢性阻塞性肺疾病表型信息的标注与检测

数据集获取

源站：https://search.dataone.org/view/sha256%3A1c5c9d20ad3af51288f78add9e88f2ffa507f66578ac3f277d07b4544e065bb5

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

目标：慢性阻塞性肺疾病（COPD）表型涵盖一系列肺部异常。为使文本挖掘方法能够从文本数据中识别有关这些表型的相关且可能复杂的信息，我们开发了一个新颖的标注语料库，并用其训练基于神经网络的命名实体识别器，以检测细粒度的COPD表型信息。材料与方法：由于COPD表型描述中常提及其中包含的其他概念（蛋白质、治疗等），我们的语料库标注既包括最外层的表型描述，也包括嵌套于其中的概念。我们的神经分层双向长短期记忆条件随机场（BiLSTM-CRF）网络首先识别嵌套提及，这些提及被送入后续的BiLSTM-CRF层，以帮助识别外层表型提及。结果：我们的语料库包含30篇全文论文（可在http://www.nactem.ac.uk/COPD获取），由专家标注了27 030个表型……

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。