基于拉曼光谱的深度学习模型用于早期泛癌诊断

数据集获取

源站：https://clinicaltrials.gov/study/NCT06822413

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

条件：癌症诊断、肝癌、成人、癌症筛查、结直肠癌（CRC）、胃癌、正常生理学、胰腺癌、成人、拉曼光谱。本研究旨在探索利用深度学习模型，基于血液样本的拉曼光谱分析对患者进行分类，区分处于生理状态的个体与患有各类癌前病变或恶性肿瘤的患者。该研究通过多中心合作开展，从健康参与者以及经组织病理学诊断为癌前病变或原发性恶性肿瘤的患者中采集血液样本。所有血液样本均来自患者入院期间进行的常规临床血液检查或其他必要的医学评估。光谱数据经过严格的数据预处理流程，包括对齐重采样以标准化数据、基线去除以消除不需要的变异，以及归一化以确保所有样本的一致性。数据经过优化，用于深度学习模型训练。

随后，采用多种深度学习模型对处理后的拉曼光谱进行分析，并开发一个分类系统，以区分泛癌病例与健康对照。预处理后的数据集被划分为三个子集，用于模型训练和性能评估：80%用于训练，10%用于验证，10%用于测试。这些数据集用于模型训练，以识别光谱数据中与特定癌症存在或健康状态相关的模式，从而实现准确分类。为增强深度学习模型的可解释性，采用Grad-CAM（梯度加权类激活映射）对模型的决策过程进行可视化。这使得能够识别在模型分类决策中更具影响力的拉曼光谱区域，从而透明地理解模型如何区分不同类别。最终，本研究旨在展示拉曼光谱结合深度学习技术的潜力。

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。