HDN-Rare：多AI与人类专家协作的罕见病高密度嵌套命名实体识别数据集

数据集获取

源站：https://doi.org/10.5281/zenodo.23416886

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

该数据集主要由底层文献语料库、双格式NER标注数据、实体链接知识库和基础本体文件组成。具体而言，pubmed_rare_disease_abstracts_2025_9.json文件以JSON列表格式存储了4，783条经过滤的PubMed摘要。每条记录包含完整的元数据，包括PMID、标题、完整摘要文本、发表年份和期刊名称。为适应不同的建模范式，标注数据被组织为两种独立格式。面向生成式任务的数据存储在HDN-Rare_Entity_List文件夹中，包含train.json、dev.json和test.json。每个句子级实例提供原始文本(text)、来源追踪标识符(orig_id)以及包含实体类型信息的实体列表(entities)。面向序列标注任务的数据存储在HDN-Rare_Mention_Span文件夹中，包含train.jsonlines等文件。

该格式提供分词后的词元列表（tokens）以及实体跨度信息（entity_mentions），包括精确的起始和结束偏移量（start、end）。对于辅助知识资源，HDN-Rare_Linked文件夹包含七个独立的JSON字典文件，分别对应七个核心实体类别。这些文件记录了实体提及与标准化数据库标识符（如NCBI Gene ID）之间的映射关系。最后，ORDO.csv文件全面收录了源自Orphanet的罕见病本体信息，并作为本数据集中定义罕见病实体的核心字典。

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。