全参考数据集（细胞壁芯片）

数据集获取

源站：https://omicsdi.org/dataset/biostudies-arrayexpress/E-GEOD-2105

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

数据处理包括：1. 过滤掉质量差的图像点（包括形状或杂交上的变异）2. 过滤低强度点，具体做法是将任一通道中特征强度低于相应通道局部背景平均值的点标记为-50。然而，若某基因在一个通道中的特征强度低于限值，但在另一通道中超过限值5倍，则视为开关基因，不予过滤。3. 过滤芯片内重复点中低重现性的点。根据公式log2(Rax1/Rb)得到的值创建正态分布，该公式表示一个比值的以2为底的对数乘以其重复样本的倒数。每个基因的这个值应保持在平均值±3SD的范围内。超出此范围的基因被标记为-25。4. 比值的归一化采用Lowess数学方法完成。校正因子为0.33。

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。