已发表数据处理与核心UVmap参考构建

数据集获取

源站：https://doi.org/10.6084/m9.figshare.27895560

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据集大小约 2.47 GB。

数据说明

已发表数据的处理与核心UVmap参考的构建 在开发核心UVmap的过程中，我们采用了Ruiz-Moreno等人1的GBmap流程方法，从26个肿瘤和29个正常组织中收集了264,624个细胞的数据。我们仅纳入那些被确认为健康眼或原发性葡萄膜黑色素瘤，以及健康肝脏或转移性肝癌的样本，且每个样本包含不少于1,000个细胞。核心UVmap的数据集，包括Bakhoum等人2、Lin等人3、Ramachandran等人4和Gautam等人5的研究，主要以原始计数矩阵的形式存在。在无法获取原始矩阵的情况下，BAM文件直接从dbGaP云下载（Durante等人6；phs001861.v1.p1；于2022年5月24日获dbGaP批准）或直接从作者处获取（Pandiani等人7），随后转换为FASTQ文件，并使用STARsolo v2.7.10a流程（https://github.com/cellgeni/STARsolo）重新比对。我们通过HGNChelper将所有基因名称更新为最新的HUGO命名法，并确保所有临床和诊断元数据保持一致。

在整合数据集之前，我们应用了严格的过滤参数，仅选择高质量细胞，排除基因数少于500、UMI计数少于1000（如适用）以及线粒体读数超过30%的细胞。使用DoubletFinder识别并移除了每个基于液滴的数据集中的双细胞。为了减轻数据集间的批次效应，我们在单细胞架构手术算法（scArches）9的迁移学习框架内，采用了一种名为单细胞变分推断注释（scANVI）8的半监督神经网络模型。scArches-SCANVI需要预先知道细胞类型/标签以创建参考图谱。为了标准化不同来源的细胞类型标签，我们采用自动化和手动方法对每个数据集进行了注释。在自动化过程中，我们最初从Du收集了黑色素瘤和GEP标记物列表。

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。