新颖性检测数据集（动物健康、粮食安全、气候变化）

数据集获取

源站：https://doi.org/10.18167/dvn1/8c9ztn

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

该数据集包含与动物健康、粮食安全和气候变化三个领域相关的英文新闻文章片段集，已用于微调和评估GPT3.5-turbo、GPT4o、DeepSeek-V3、DeBERTa、RoBERTa、BERT、EpidBioELECTRA和EpidGPT模型，以完成这三个领域的新颖性检测任务。该数据集由10,660个动物疾病、1,100个粮食安全和2,200个气候变化文章片段组成，格式为csv，包含有关父文章的信息（片段、文档ID、片段ID、标题、来源URL、发布日期、文章领域、文章子领域）。

动物卫生领域由22个子领域组成，包括以下文章片段：禽流感（AI）2310篇、高致病性禽流感（HPAI）3060篇、非洲猪瘟（ASF）1000篇、口蹄疫（FMD）1165篇、牛海绵状脑病（BSE）770篇、布鲁氏菌病435篇、小反刍兽疫（PPR）160篇、蓝舌病165篇、新城疫155篇、鼻疽160篇、疾病X 140篇、炭疽120篇、西尼罗河病毒（WNV）145篇、中东呼吸综合征（MERS）215篇、传染性鲑鱼贫血症（ISA）110篇、马流感（EI）200篇、东部马脑炎（EEE）50篇、猪繁殖与呼吸综合征（PRRS）85篇、裂谷热（RVF）30篇、古典猪瘟（CSF）40篇、狂犬病30篇、委内瑞拉马脑炎（VEE）55篇、病毒性出血性败血症（VHS）15篇。气候变化领域由7个子领域组成，包括以下文章片段：山洪340篇、干旱394篇、野火184篇、飓风349篇、热浪385篇、全球变暖299篇和海啸340篇。

原始文章数据集（语料库）包含的文档中创建了片段（摘自原始PADI-Web文章（仅相关文章）以及从GDELT数据库获取的片段（关于食品安全事件和气候变化事件的新闻文章））。

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。