DetectOnco数据集：面向法语肿瘤NLP的ICD-O标准化标注

数据集获取

源站：https://doi.org/10.5281/zenodo.17077273

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

本仓库包含一个法语肿瘤学合成临床病例语料库，共1，301例，源自西班牙语CANTEMIST数据集，并作为FRASIMED项目的一部分进行了翻译。该语料库标注了71，127个实体提及，涵盖形态学、解剖部位和组织学分化，遵循国际肿瘤疾病分类第三版（ICD-O-3）。此外，更高层级的标注捕获了复合临床表达（expression_CIM），这些表达结合了多个ICD-O概念。标注通过双人评审流程创建，涉及领域专家，结合人工策展与自动化支持以确保质量。在可能的情况下自动完成向ICD-O编码的规范化，否则手动完成，并应用了额外翻译以修正FRASIMED中约1，000个误译表达。这代表了399个独特形态学编码（来自2，549个不同表达）、272个解剖部位编码（来自3，143个不同表达）以及2，043个独特复合表达（来自11，144个不同表达）。

该数据集以BRAT standoff格式分发，用于处理和训练（.txt和.ann文件与CANTEMIST/FRASIMED编号对齐），并以.csv格式提供，以便于对注释内容和代码进行总体审查。

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。