生物标志物基准 - 来自 Gene Expression Omnibus 的基因表达数据 - GSE39491

数据集获取

源站：https://doi.org/10.6084/m9.figshare.2069709.v5

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

“巴雷特食管（BE）是食管腺癌（EA）的化生性前驱病变，后者在西方社会中是发病率增长最快的癌症。尽管BE的患病率正在上升，但绝大多数EA发生在未确诊的BE患者中。因此，我们旨在识别与正常食管黏膜相比，在BE中发生改变的基因，这些基因可能是BE发展或诊断的潜在生物标志物。” http://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GSE39491 我们纳入了基因表达数据、预测的结果（类别）以及任何临床协变量。当基因表达数据分批处理时，我们提供了批次信息。每个数据集组织成一个文件集，其中包含单个数据集的所有相关文件。基因表达文件已使用Bioconductor中的SCAN.UPC包（https://www.bioconductor.org/packages/release/bioc/html/SCAN.UPC.html），通过SCAN和UPC两种方法进行了标准化。我们利用BrainArray资源（http://brainarray.mbni.med.umich.edu/Brainarray/Database/CustomCDF/20.0.0/ensg.asp）在基因水平上对数据进行了汇总。我们使用了Ensembl标识符。

类别、临床和批次数据均经过人工整理，以确保一致性（“整洁数据”格式）。此外，数据文件已格式化，便于轻松导入ML-Flex机器学习包(http://mlflex.sourceforge.net/)。

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。