队列浏览器

数据集获取

源站：https://synapse.org/Synapse:syn74842096

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

关于如何在提供队列探索器的同时保护患者数据，有一个想法：考虑这个简单的数据集，它列出了具有三个属性的受试者：${synapsetable?query=SELECT %2A from syn74842097&showquery=false&tableonly=true}我们希望允许探索可能的队列。我们不是提供对个体记录的访问，而是提供对所有可能子组的“计数”的访问：${synapsetable?query=SELECT %2A from syn74842109&showquery=false&tableonly=true}我们把这个队列规模表称为“队列探索器”。它显示了属性的所有可能组合。研究人员可以利用这些信息提出其他队列问题。例如，这个表显示有两名受试者满足Country=US、Sex=M、Disease=Y。如果研究人员想问在所有国家中，总体上有多少男性患者患有该疾病，该怎么办？

以下查询“汇总”从上一张表中选择分组：SELECT SUM(GROUP_SIZE) as "M, Disease Count" from syn74842109 where COHORT like '%Sex=M Disease=Y' ${synapsetable?query=SELECT SUM%28GROUP%5FSIZE%29 as “M%2C Disease Count” from syn74842109 where COHORT like %27%25Sex%3DM Disease%3DY%27&showquery=false&tableonly=true} 请注意，对队列探索器表的操作只能产生比所列队列更大的队列规模，因此我们保证绝不会泄露过小的队列规模。现在假设我们的最小队列规模为四。我们不会公开上面显示的队列探索器表，因为它包含规模为二的队列。相反，我们可能会显示一个限制更多的表，例如：${synapsetable?query=SELECT %2A from syn74842272&showquery=false&tableonly=true} 当研究人员探索此表时，他们只会收到规模为四或更大的队列，从而保持在我们的阈值之上。这是在未对查询实施任何限制（节流）或进行任何工程工作的情况下实现的。

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。