One Health 语境下主题与错误信息分类的后训练语言模型标注语料库

数据集获取

源站：https://doi.org/10.18167/DVN1/4JRKO2

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

该存储库包含五个标注文本语料库，用于基于选择性掩码的微调语言模型，以适应“同一健康”背景下的目标领域。这些语料库由未标注文本集合组成，通常来源于PubMed和PADI-web，代表两个主要应用领域：(i) 与“同一健康”领域相关的主题内容，涵盖生物医学、植物检疫和综合征监测领域，以及(ii) 流行病错误信息。该存储库包含5个文件：医学文本 - Cancer_snippets：996篇关于人类癌症的科学文章和摘要，提取自医学文本数据集 - 癌症文档分类数据集。该语料库分为三个类别（甲状腺癌：283，结肠癌：261，肺癌：453）。PubMed植物病害_snippets：1,200篇以英文撰写的PubMed科学论文摘要，聚焦于植物健康领域。该语料库在影响作物的三种主要植物病害（霜霉病、白粉病和细菌性枯萎病）之间平均分配。摘要由我们使用网络抓取收集，选择那些标题和内容包含病害名称的摘要。

PADI-web Plant Health_snippets：通过PADI-web（https://padi-web.cirad.fr/en）收集的748篇关于Xylella fastidiosa（即植物病害）的新闻文章，并由专家手动分类为两类：相关（317篇文章，即与新的、疑似或未知疫情相关的文档）或不相关（431篇文章）。PADI-web Syndromic_snippets：769篇在线新闻文章，分为两类：阳性，包含311篇涉及未知疾病的新闻文章；阴性，包含458篇已确定病原原因的新闻文章。CoAID_snippets：从最大的CoAID数据集中提取的252篇关于COVID-19疫情的新闻文章和Facebook帖子。该语料库分为两类：虚假，包含126条假新闻；真实，包含126条真实新闻。完整语料库在受限条件下可用

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。