基于 Illumina Hu-6 V2 Beadchips 生成的全血转录模块

数据集获取

源站：https://omicsdi.org/dataset/biostudies-arrayexpress/E-GEOD-29536

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

该数据集用于建立全血转录模块（n=260），这些模块代表在单个数据集内或跨多个数据集表现出丰度改变的协同表达转录本群组。这一模块化框架的建立旨在降低在Illumina Beadchip平台上处理的全血微阵列数据的维度，从而产生具有生物学意义的数据驱动转录模块。本系列结合了九个独立数据集，代表了预期会导致与全血表达或细胞组成变化相关的基因丰度变化的一系列人类病理状态。这九个数据集由来自HIV、结核病、败血症、系统性红斑狼疮、系统性关节炎、B细胞缺陷和肝移植患者的410份全血样本图谱组成。每个数据集还包括健康对照。每个数据集的表达数据独立预处理。首先，如果探针在数据集的样本中未出现在至少百分之十的样本中，则将其丢弃。然后，使用BeadStudio平均归一化算法对每个数据集的样本数据进行归一化处理。

标准化后，对信号进行缩放，使所有小于10的信号均设为10。针对每个探针，计算了数据集所有样本的信号中位数。若没有任何样本与中位数的信号差异大于或等于30，或没有任何样本相对于中位数的倍数变化大于或等于1.5或小于或等于0.67，则舍弃该探针。最后，将数据转换为信号除以均值的log2值。每个预处理后的数据集均使用欧几里得距离和Hartigan’s K-Means聚类算法（层次聚类与K-Means聚类算法的混合）并行聚类。聚类数(k)设为30，选择该值是为了在后续模块提取过程中提供显著的统计功效。

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。