用于微生物组的深度语言模型：大规模无标签微生物组数据的力量

数据集获取

源站：https://search.dataone.org/view/sha256%3Af1d4c5615254f5b34622ec382620fa29c526f5b6568476c671731c32d05e03ae

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

我们利用开源的人类肠道微生物组数据，通过借鉴自然语言处理（NLP）技术，学习一个微生物“语言”模型。我们的微生物“语言”模型以自监督方式（即无需额外外部标签）进行训练，以捕捉不同微生物分类群之间的相互作用以及微生物群落中常见的组成模式。学习到的模型生成情境化的分类群表示，使得单个微生物分类群能够根据其出现的特定微生物环境而以不同方式表示。该模型进一步通过将样本中不同微生物分类群及其相互作用作为一个整体进行综合解读，提供样本表示。我们证明，虽然我们的样本表示在领域内预测任务（如预测肠易激病（IBD）和饮食模式）中与基线模型表现相当，但在泛化到来自独立……的测试数据时显著优于它们。本项目未收集额外原始数据。所有输入均可公开获取。

American Gut Project、Halfvarson 和 Schirmer 的原始数据可从 NCBI 数据库获取（登录号分别为 PRJEB11419、PRJEB18471 和 PRJNA398089）。我们使用了 Tataru 和 David（2020）生成的整理后数据。，# “学习微生物组深度语言模型：大规模无标签微生物组数据的力量”的代码与数据 ## 数据：* vocab_embeddings.npy * 由先前工作生成的固定词汇嵌入：使用词嵌入技术解码微生物组的语言及其在炎症性肠病中的应用。改编自此处。* microbiomedata.zip * 包含本研究中使用的三个数据集的标签和数据。具体包括：* IBD_(test|train)*(512|otu).npy

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。