信息速览
CZ CryoET Data Portal（cryoet-data-portal）——冷冻电子断层扫描标准化注释门户
条目定位：本条目介绍 CZ CryoET Data Portal（官方亦写作 cryoET Data Portal / CZ CDP），一个由 Chan Zuckerberg 影像研究所（Chan Zuckerberg Institute for Advanced Biological Imaging，简称 CZ Imaging Institute）运营的冷冻电子断层扫描（cryo-electron tomography, cryo-ET）数据门户。它把散落在原始档案中的三维细胞断层数据，重建成带统一 schema、云优化格式与标准化注释的「机器学习就绪（ML-ready）」语料库。
一句话：如果说 EMPIAR 是冷冻电镜的「原始底片档案馆」，那么 CZ CryoET Data Portal 就是在其之上为机器学习重建的「带标注图册」——同一个细胞的同一张断层图，在这里同时带着可训练的注释、可流式读取的云格式、和一条能写进脚本的 API。
§0 导读：这个数据集解决什么问题
0.1 一个正在被数据淹没的领域
冷冻电子断层扫描（cryo-electron tomography, cryo-ET）是一种能在接近原子分辨率下、于天然环境中观察细胞大分子三维结构的技术。它的独特价值在于「原位（in situ）」——不是把蛋白纯化结晶后看，而是在细胞内部、在其真实所处的拥挤环境里看它长什么样、和谁挨着。
近十年，样品制备技术、自动化数据采集与实时处理方法的进步，让 cryo-ET 的采集能力急剧膨胀：研究者现在能常规收集由数百到数千张断层图（tomogram）组成的数据集。数据变多本是好事，但它同时引爆了一个瓶颈——注释（annotation）。
要在断层图里标出「哪块是膜、哪个是核糖体、哪个是溶酶体」，传统上依赖专家手工勾画。这项工作极其耗时，即便是中等规模的数据集，也往往需要数月的人工策展。当数据以千张断层图计，手工注释在实践上已经不可行。
0.2 机器学习是答案，但有两个拦路虎
机器学习（machine learning, ML）方法被视为破解注释瓶颈的希望。但要开发和套用这些方法，研究者遇到两道坎：
- 复现成本高：从原始数据出发复现一个结果，需要大量领域专业知识——对齐、重建、格式转换，每一步都可能是陷阱；
- 数据异构：已发表的 cryo-ET 数据集格式与元数据五花八门，缺乏统一标准，导致算法难以跨数据集训练与评测。
CZ CryoET Data Portal 就是针对这两道坎设计的平台。 它的做法不是另起炉灶收集数据，而是在既有仓库（EMPIAR、ETDB）的基础之上，为 cryo-ET 数据引入标准化：统一的图像格式（传统 MRC + 云优化 OME-Zarr）、机器可读的丰富元数据（样本、制备、处理步骤、断层对齐）、以及关键的一层——标准化的注释。
0.3 它到底「新」在哪里
理解这个门户的定位，要抓住三个关键词：
- 标准化（standardized）：不是简单地托管文件，而是强制一套 schema。数据被组织为五级实体——Deposition（提交批次）→ Dataset（可引用单元）→ Run（单次采集）→ Tomogram（重建三维体）→ Annotation（结构注释）。统一结构让跨语料库训练与基准测试成为可能。
- ML-ready：每个 tomogram 至少带一个结构注释；配套 Python API client、GraphQL API、copick 集成和 TensorFlow/PyTorch 示例 notebook，让开发者能把精力放在模型而非数据处理上。
- 云原生：数据放在公共 AWS S3 桶，处理的图像以云就绪的下一代 OME-Zarr 格式存储，支持把整卷或局部流式读取——这意味着研究者可以训练超出本地存储容量的数据集。
0.4 谁该读这个条目
- 想训练或评测 cryo-ET 分割 / 粒子挑选（particle picking）算法的开发者；
- 需要跨数据集基准来对比注释方法的评测者；
- 做亚断层平均（subtomogram averaging, STA）、需要高质量原位颗粒位点的结构生物学家；
- 关心大规模科学数据如何标准化与开放共享的数据策展与开放科学研究者。
0.5 本条目会讲什么（阅读导航）
为方便不同背景的读者，本条目按「由浅入深」组织：
- 想快速了解：读 §1（十问十答）+ §11（DAIMS 表）+ §12（总结与决策卡）。
- 想理解技术细节：读 §2（数据架构）+ §2A（cryo-ET 技术背景）+ §4（任务与注释）。
- 想动手用数据：读 §3（获取与许可，含 S3/Python 代码）+ §8（AI-Ready 评估，含端到端工作流）。
- 关心基准与评测：读 §5（幻影数据集）+ §6（Kaggle 挑战赛）。
- 想避免踩坑：直接读 §10（十五个坑）+ §9（与库内条目的关系，含 cryonuseg 辨析）。
- 想知道它在本库中如何互链：读 §9。
0.6 一个必须先建立的认知：注释才是稀缺品
在进入细节前，有一个认知必须先行建立，否则会低估这个门户的价值——在 cryo-ET 领域，稀缺的从来不是图像，而是注释。
这个判断看似反直觉（毕竟 cryo-ET 的图像体量以 TB 计），但细想就明白了：图像是采集出来的，随着自动化采集技术的进步，采集速度还在不断提升；而注释是人标出来的，一个专家标一张断层图可能要数小时到数天，这个产能几乎没有快速提升的空间。于是出现了这样的失衡——数据在指数增长，注释在线性增长。
这个失衡的后果是：堆积如山的原始图像，因为缺乏注释而无法进入机器学习流程。ML 模型需要「输入-标签」对才能训练，只有图像没有标签，就是一堆无法学习的数据。所以在这个领域，谁能解决注释的规模化问题，谁就解锁了数据的价值。
CZ CryoET Data Portal 的全部设计，都可以从这个认知出发理解：它强调「standardized annotations」、它构建社区注释生态、它办注释算法挑战赛、它把「每个 tomogram 至少一个注释」作为设计目标——所有这些，都是在攻「注释」这个真正的瓶颈。理解了这一点，就看懂了门户的战略重心。
§1 数据集速览：十问十答
Q1：CZ CryoET Data Portal 是什么？
一个冷冻电子断层扫描（cryo-ET）数据的标准化、可查询、面向机器学习的在线门户，由 CZ Imaging Institute 运营，网址 https://cryoetdataportal.czscience.com/。
Q2：谁做的？
Chan Zuckerberg Institute for Advanced Biological Imaging（CZ Imaging Institute，Redwood City, CA），平台工程由 Chan Zuckerberg Initiative（CZI）SciTech 团队承建；通讯负责人 Bridget Carragher。
Q3：有没有正式论文？
有。Ermel, U., Cheng, A., Ni, J.X. et al. “A data portal for providing standardized annotations for cryo-electron tomography.” Nature Methods 21, 2200–2202 (2024)，DOI: 10.1038/s41592-024-02477-2（2024-10-21 在线发表）。这是一篇 3 页的 Brief Communication 型短文——门户官网即以此为推荐引文。
Q4：数据规模有多大？
门户持续增长，任何数字都会快速过时。 2026-10-16 实抓：网站列出 90 个 Deposition；2025-05 的 MAM 摘要口径为「超过 17,000 张断层图、45 个物种、超过 60,000 条注释」；文档站 beta 描述为「近 20,000 张断层图」。全库总量高度受少数巨型 deposition 主导——例如单个 CZCDP-10318（HEK293T 细胞器）就含 27,388 tomograms / 25,210 annotations。
Q5：数据以什么格式提供？
双格式：传统 MRC 文件 + 云优化 OME-Zarr。OME-Zarr 支持整卷或分块流式读取，是「超出本地存储也能训练」的关键。
Q6：怎么获取？
三层：① 网页界面（内嵌 Neuroglancer 三维查看器，免下载即可浏览）；② 公共 AWS S3 桶 s3://cryoet-data-portal-public（无需凭证）；③ 程序化——GraphQL API + Python API client（cryoet_data_portal 包）。
Q7：许可是什么？
CC0 1.0（Public Domain Dedication，公共领域贡献）。图像、注释与元数据均开放，无需授权。
Q8：有哪些任务类型？
语义分割（膜、细胞器、囊泡、内质网等）、大分子粒子挑选（particle picking）、亚断层平均（STA），以及跨数据集注释算法的训练与基准评测。
Q9：有没有基准/挑战赛？
有。幻影数据集（phantom dataset） 专为基准设计（deposition CZCDP-10310），并举办过 **Kaggle「CZII CryoET Object Identification Challenge」**多类注释算法竞赛，冠军方案已回存门户。
Q10：一句话和 EMPIAR 的区别？
EMPIAR 是冷冻电镜原始图像的总档案（跨 cryo-EM/cryo-ET，无统一注释层）；CZ CryoET Data Portal 是在其基础上重建的、带标准化注释与云格式的 ML-ready 门户。 两者层级不同，不可合并。
Q11：要付费、注册或申请吗？
全部不需要。CC0 许可、S3 免凭证访问、网页可匿名浏览。这是它区别于本库多数「申请制/禁商用」条目的根本点。
Q12：能商用吗？
可以。CC0 1.0 是无使用限制的公共领域贡献，允许商用与再分发（第三方关联论文的文本许可另计）。
Q13：单张断层图多大？为什么格式这么重要？
cryo-ET 体数据单体积极大，单张断层图可达数十 GB。因此格式不是小事——OME-Zarr 的分块流式读取让研究者能按需拉取局部，而不必先把整个 TB 级文件落到本地磁盘。这是「训练超出本地存储的数据集」的技术前提。
Q14：门户有多少个物种？
MAM 2025 摘要口径为 45 个物种，以模式生物为主：人（如 HEK293T）、小鼠（皮层/海马/成纤维细胞）、大肠杆菌等。
Q15：数据是「每个 tomogram 都有注释」吗？
门户的设计目标是「每个 tomogram 至少一个结构注释」，但实抓中也见到 objects 列为 -- 的 Run（如 RN-18897）。标注完备度在不同 deposition 之间并不均衡。
Q16：幻影数据集和门户是什么关系？
幻影数据集（CZCDP-10310）是门户上专为基准评测设计的一个特殊 deposition，由已知配方的真实+合成数据组成，并被拆成固定的 train/test 划分。它是门户「用数据支撑算法评测」使命的集中体现，但只是门户众多种数据之一。
Q17：门户的注释质量如何保证？
通过「质量分层 + 来源可追溯」双机制：每个 Run 带 Tilt Series Quality Score（1-5）可按质量筛选；每条注释的来源（社区/算法/专家在环/竞赛方案）显式登记，使用者可据此判断可信度。
Q18：这是 beta 还是正式版？
文档站仍自称 beta release，但门户已含 90 个 deposition 的正式运营规模。可理解为「beta 起步、持续扩张」——这也意味着 API 与 schema 仍有演进可能。
Q19：如果我只会用命令行，怎么开始？
两条最短路径：① aws s3 ls --no-sign-request s3://cryoet-data-portal-public 直接列桶内容；② pip install cryoet_data_portal 后用 Python client 查询下载。
Q20：为什么说它是「AI-Ready 标杆」？
因为 AI-Ready 的三层它全部拉满：可获取（CC0 + 四通道 + 免凭证）、可用（OME-Zarr 流式 + copick + PyTorch/TF 示例）、可复现（处理管线与对齐参数登记 + 幻影冻结划分 + EMDB 交叉存档）。这在生物医学数据里属罕见。
§2 数据架构与规格
2.1 五级实体 schema：一条数据从提交到可引用的路径
CZ CryoET Data Portal 的核心创新在于用一套分层实体模型把杂乱的实验数据组织起来。理解这五级实体，是读懂整个门户的钥匙：
| 层级 | 实体 | 含义 | 标识示例 |
|---|---|---|---|
| 1 | Deposition（提交批次） | 一批一起提交的数据集合，是策展与归属的基本单位 | CZCDP-10318 |
| 2 | Dataset（数据集） | 可被独立引用的数据单元，一个 deposition 可含多个 dataset | DS-10444 |
| 3 | Run（采集运行） | 单次采集，通常对应一组倾斜系列（tilt series） | RN-18897 |
| 4 | Tomogram（断层图） | 由倾斜系列三维重建得到的体数据 | — |
| 5 | Annotation（注释） | 该断层图中的结构性标注（分割掩码或颗粒位点） | — |
这个结构解决了一个具体痛点：归属与引用。研究者引用数据时，需要知道「这条数据是谁提交的、属于哪次实验、能否单独引用」。Deposition 层提供归属，Dataset 层提供可引用的稳定 ID，Run 层提供可追溯的单次采集，最下面的 Tomogram/Annotation 提供算法直接消费的像素级/结构级内容。门户官网的引用指南正是按这个层级给出引文元数据表（Deposition ID / Entity Type / Entity ID / Primary Author / Associated Publication DOI），让使用者能精确致谢数据贡献者。
2.2 网站实抓：90 个 Deposition 的规模分布
2026-10-16 实地抓取门户 browse-data/depositions 页，页面显示 「90 of 90 Depositions」，每条列出具名的 Annotations 与 Tomograms 计数。这是一份极有价值的「规模分布快照」，摘录若干代表性条目：
| Deposition ID | 名称 | 日期 | Annotations | Tomograms |
|---|---|---|---|---|
| CZCDP-10318 | HEK293T 亲和捕获细胞器（LAMP1/TMEM192，多生理状态） | 2025-12-18 | 25,210 | 27,388 |
| CZCDP-10341 | CZII 2-protein phantom v1.0 | 2026-01-09 | 1,516 | 624 |
| CZCDP-10336 | E. coli 病毒样颗粒（显微与管线基准） | 2025-11-07 | 1,059 | 628 |
| CZCDP-10335 | CryoLens 模拟训练数据 | 2025-11-03 | 1,737 | 200 |
| CZCDP-10333 | 人类细胞核糖体训练注释与 octopi 预测 | 2025-09-17 | 1,737 | 200 |
| CZCDP-10312 | 近最小细胞 Mycoplasma mycoides JCVI-Syn3A | 2025-07-25 | 1,559 | — |
| CZCDP-10331 | SABER 专家在环引导细胞/结构自动分割 | 2025-05-22 | 630 | 738 |
| CZCDP-10334 | 小鼠脑分离突触小泡 | 2025-11-17 | 380 | 95 |
| CZCDP-10337 | NPC1 缺陷人类 HEK293T 细胞 | 2025-11-24 | 5 | 8 |
| CZCDP-10332 | BYU 细菌鞭毛马达定位挑战赛训练注释 | 2025-08-06 | 44 | — |
读这份表要抓住两点：
- 规模极不均衡。单个 CZCDP-10318 就贡献了 27,388 张断层图，而 CZCDP-10337 只有 8 张。这意味着「全库总量」这个数字被少数头部 deposition 主导——任何引用总量的说法都必须谨慎，否则会把「一个巨型提交」误当成「全库均衡特征」。
- 规模在快速演进。表中最早条目为 2025-02，最新到 2026-01，且 DS-10xxx 系列在 2026 年持续新增（如 DS-10518~10534 的 2026 年数据集）。90 这个数字是抓取时点的快照，写到任何文稿里都会迅速过时。
2.3 双格式：MRC 与云优化 OME-Zarr
门户提供两种图像格式，各有分工：
- 传统 MRC 文件：冷冻电镜领域的通用体数据格式，几乎所有 cryo-ET 处理软件（如 IMOD、AreTomo 等）都原生支持。它是向后兼容的桥梁，让习惯传统工作流的研究者无缝接入。
- 云优化 OME-Zarr：这是门户面向 ML 的关键基础设施。OME-Zarr 是下一代、云就绪的开放格式，支持把巨大的三维体数据分块（chunk）存储与流式读取。其直接后果是：研究者可以训练体积超过本地磁盘容量的数据集——按需拉取 tomogram 的整卷或局部，而不必先下载整个 TB 级文件。文档站与论文均强调这一特性对 ML 训练的意义。
此外，门户强调提供机器可读的元数据：不仅标注「这是什么」，还记录样本（sample）、制备（preparation）、处理步骤（processing steps）、断层对齐（tomographic alignment）参数。这些元数据是复现的前提——没有对齐参数，重建出的断层图就无法被可信地二次利用。
2.4 处理管线的标准化示例
门户中的数据处理有可复用的自动化管线。例如 CZCDP-10318 的说明明确指出：所有数据经 AreTomo3 自动化管线处理，语义分割由 SABER 与 Membrain-Seg 两套方法生成。这种「统一用同一管线处理、用同一名字登记方法」的做法，本身就是标准化的体现——它让下游使用者知道每张断层图的注释是「哪种算法、哪个版本」产出的，从而判断可用性。
2.5 质量评分：Tilt Series Quality Score
每个 Run 带一个 Tilt Series Quality Score（倾斜系列质量分，1–5），档位为 1 Poor / 3 Moderate / 4 Good / 5 Excellent。实抓 dataset 详情页可见：
RN-189004-24-23 Position_14：5 - Excellent，注释 objects 为「细胞内膜结合细胞器；溶酶体；膜」RN-18897Position_1：3 - Moderate，objects 为--（无可列注释）RN-18898Position_12：4 - Good，objects 为「细胞内膜结合细胞器；膜」
这个字段对算法开发者意义重大：它允许按质量分层筛选数据。训练分割模型时，可以把 Excellent/Good 的样本作为训练集，Moderate 的作为压力测试，从而量化模型对低质量输入的鲁棒性。质量分与「objects」字段并列出现，也提示一个事实：并非每个 Run 都带注释（Position_1 的 objects 为 --）。
2.6 与上游仓库的层级关系（必须理清）
这是本条目最容易混淆、也最需要讲清楚的一点。冷冻电镜领域有几个名字相近的数据库，层级各不相同：
| 仓库 | 运营方 | 定位 | 与本门户关系 |
|---|---|---|---|
| EMPIAR | EMBL-EBI | Electron Microscopy Public Image Archive，原始冷冻电镜图像总档案，跨 cryo-EM/cryo-ET，无统一注释层 | 上游/同源不同层——门户建立在其基础工作之上 |
| ETDB | 学术社区 | Electron Tomography Data Bank，cryo-ET 专用数据库（较老） | 门户的前身参照之一 |
| CZ CryoET Data Portal | CZ Imaging Institute | 在 EMPIAR/ETDB 基础上，以统一 schema + OME-Zarr + 标准化注释重建的 ML-ready 门户 | 本条目对象 |
门户论文与 MAM 摘要均明确使用「Building upon the foundational work of other repositories such as EMPIAR and ETDB」这一表述——即它不取代上游档案，而是在其上叠加 ML 导向的服务层。因此本条目与 EMPIAR 类条目必须分层看待，严禁合并为一条。（库内若收录 EMPIAR 条目，正文互链即可，勿混为一谈。）
2.7 为什么 cryo-ET 领域此前缺这个中间层
要理解门户的价值，得先理解 cryo-ET 数据此前为何难用。这个领域长期以来有两个结构性缺口：
缺口一：原始档案「只存不标」。 EMPIAR 作为原始图像总档案，职责是忠实地保存与分发图像数据，它不负责统一注释。这本身合理——原始档案的使命是保真，而非加工。但后果是：想训练分割算法的人，拿到的是没有统一标签的原始图像，得自己从零标注，而这恰恰是最贵的一步。
缺口二：数据集高度异构。 各实验室发布的 cryo-ET 数据集，格式、元数据字段、命名习惯各不相同。同一个「膜」结构，在不同数据集里可能叫不同名字、用不同格式存、带不同粒度的元数据。这种异构性是算法跨数据集训练的头号障碍——模型在一个数据集上学到的东西，很难迁移到另一个。
门户正是同时填这两个缺口：用标准化注释层解决「只存不标」，用统一 schema 与机器可读元数据解决「高度异构」。理解这一点，就理解了为什么门户的论文标题强调的是「standardized annotations」而非「data」。
2.8 元数据的可复现价值
门户强调提供「machine-readable metadata regarding sample, preparation, processing steps as well as tomographic alignment」。这些元数据听似技术细节，实则是可复现性的命脉。举一个具体例子——断层对齐（tomographic alignment）参数：
cryo-ET 的成像过程是：电子束从不同角度照射样品（倾斜系列 tilt series），然后通过计算把这些二维投影对齐并重建成三维体（tomogram）。这个对齐步骤有一系列参数（各角度的位移、旋转、放大率等）。如果不知道原始数据是用什么参数对齐重建的，那么这张重建出的断层图就无法被可信地二次利用——别人复现不出同样的体数据，也就无法验证你的下游结论。
因此门户把对齐参数作为元数据登记，不是可有可无的补充，而是让数据具备科学可复用性的必要条件。这也是它与「只把图像丢出去」的简单托管站的本质区别。
§2A 技术背景：cryo-ET 为什么需要这样的门户
2A.1 从「看分子」到「看细胞里的分子」
要理解门户存在的意义，得先理解 cryo-ET 这门技术本身的演进。结构生物学的方法谱系大致是这样一条路：
- X 射线晶体学：把蛋白纯化、结晶，再用 X 射线衍射解结构。分辨率极高（可达原子级），但前提是能结晶——而许多重要蛋白（尤其是膜蛋白、大分子复合物）极难结晶。
- 单颗粒冷冻电镜（cryo-EM, single-particle analysis, SPA）：把纯化蛋白快速冷冻在薄冰层里，用电子显微镜拍大量颗粒图像，再计算平均出结构。绕过了结晶难题，但前提是蛋白能被纯化出来。
- 冷冻电子断层扫描（cryo-ET）：不纯化，直接在细胞里看。把细胞快速冷冻（避免冰晶损伤），用电子束从多个角度拍摄（倾斜系列），再重建成三维体。它保留了「原位」信息——分子在其真实细胞环境中的位置、朝向、与邻居的关系。
cryo-ET 的革命性在于它回答了前两种方法回答不了的问题：这个蛋白在细胞里到底待在哪？它和谁相互作用？细胞器在三维空间里怎么组织？这些「空间组织（spatial organization）」层面的问题，正是理解细胞如何工作的关键。
2A.2 cryo-ET 的独特难点：为什么不是「拍张照」那么简单
cryo-ET 的技术难点，恰恰造就了它对数据基础设施的特殊需求：
- 倾斜系列的采样限制：电镜样品杆的物理限制使得样品无法旋转到所有角度（通常只能 ±60°~70°），导致重建的结果缺一个「缺失楔（missing wedge）」——一部分空间信息永远缺失。这让断层图的解释比普通三维图像更微妙。
- 信噪比极低：为了不损伤样品，电子剂量必须严格控制，导致图像噪声极大。要看清一个颗粒，往往需要亚断层平均（STA）——把许多同一分子的副本对齐平均，用数量换信噪比。
- 样品极薄：电子穿透力有限，样品必须极薄（几百纳米）。厚细胞需用**冷冻聚焦离子束（cryo-FIB）**减薄成「lamella（薄片）」，这是门户中大量小鼠脑/成纤维细胞数据的技术来源（如 cryo-FIB lift-out 系列）。
- 数据量巨大：一次采集产生倾斜系列，重建出三维断层图，单张体数据可达数十 GB。
这些难点合在一起，解释了两件事：为什么注释这么贵（信噪比低 + 三维 + 需要专业判断），以及为什么格式和基础设施如此重要（体量巨大 + 需要 STA 等复杂下游处理）。
2A.3 cryo-FIB：门户中「厚样品」数据的来源
门户中大量数据显示物种为小鼠、样品名含「cryo-FIB lift-out」（如 DS-10527~10534 的小鼠皮层/海马系列），值得专门解释。冷冻聚焦离子束（cryo-FIB）是一种样品减薄技术：用聚焦离子束把厚厚的细胞「切」出一片几百纳米厚的薄片（lamella），再上电镜做断层扫描。
「lift-out（提取）」是 cryo-FIB 的一种操作：把切出的薄片从原样品上「提」起来，转移到电镜载网上。这就是为什么数据集名字里有「cryo-FIB lift-out from adult mouse cortex（从成年小鼠皮层提取的 cryo-FIB 薄片）」这样的描述。
这项技术的意义在于：它让「厚组织」（如脑组织）也能进入 cryo-ET 的视野。没有 cryo-FIB，电子束穿不透完整细胞，就只能看培养的薄细胞或分离的细胞器。门户收录大量 cryo-FIB 数据，说明它覆盖了从「分离细胞器」到「原位组织薄片」的完整样品谱系。
2A.4 技术难点如何反向定义了门户的设计
把上面这些技术难点与门户的设计一一对照，会发现门户的每个特征几乎都是被技术难点「逼」出来的：
| 技术难点 | 门户的应对设计 |
|---|---|
| 数据体量巨大（单卷数十 GB） | OME-Zarr 云优化分块流式读取，无需整卷落地 |
| 信噪比低、需 STA 等复杂下游 | 提供颗粒位点注释，直接服务 STA |
| 样品多样（细胞器/组织薄片） | 统一 schema 覆盖全样品谱系 |
| 注释产能受限 | 社区注释生态 + 算法注释 + 竞赛 |
| 复现成本高（对齐/重建复杂） | 元数据登记处理管线与对齐参数 |
| 格式异构 | 强制 MRC/OME-Zarr 双标准格式 |
这张表揭示了一个规律：优秀的数据平台不是拍脑袋设计的，而是被领域的技术约束「逼」出来的最优解。理解了 cryo-ET 的技术难点，就理解了门户为什么长成现在这个样子。
§3 获取与许可：一扇全开的门
3.1 CC0：最宽松的开放许可
门户的图像数据（MRC/OME-Zarr）、注释与元数据均在 CC0 1.0（Public Domain Dedication） 下开放。这是知识共享许可中最宽松的一档——等同于放弃著作权、贡献入公共领域：无需署名（虽建议致谢）、无使用限制、可商用、可再分发。
在 Biomedical 数据领域，CC0 属于罕见的彻底开放。对比本库其他条目常遇到的「请求制（upon request）」「CC BY-NC-SA（禁商用）」「研究用途限定」等约束，本门户的开放程度是天花板级别。这对 ML 开发者尤其友好：训练数据的许可洁净度直接决定模型能否商用，CC0 意味着几乎没有法律摩擦。
注意：CC0 是对门户托管的图像、注释、元数据而言。若某个 deposition 关联了第三方论文，其论文文本的许可另计，引用时应遵循门户的致谢规范。
3.2 三层获取通道
门户刻意设计了覆盖不同技术能力用户的获取路径：
① 网页界面（零门槛）
访问 https://cryoetdataportal.czscience.com/ ，可浏览 deposition/dataset/run/tomogram。关键功能是内嵌 Neuroglancer 查看器——一个基于浏览器的三维可视化工具，无需下载数据、无需安装软件，直接在网页里浏览断层图与注释。论文图注特别强调这一点的意义：「无论是否有领域专业知识（regardless of domain expertise）」，研究者都能浏览幻影数据并在浏览器中可视化 ground-truth 注释。这降低了 cryo-ET 的进入门槛。
② 公共 AWS S3 桶（脚本/批量）
数据放在公共 S3 桶，无需 AWS 凭证即可访问：
# 免凭证列出桶内容
aws s3 ls --no-sign-request s3://cryoet-data-portal-public
这适合需要批量下载或集成进自动化管线的高级用户。
③ 程序化 API（开发者）
- GraphQL API：公开暴露，供查询元数据（可定制查询、精确拉取所需字段）。
- Python client：官方
cryoet_data_portal包，文档站提供安装、Quickstart、API Reference 与 Tutorials。
Python client 的典型用法（据文档站示例）：
from cryoet_data_portal import Client, Dataset
client = Client()
dataset = Dataset.get_by_id(client, 10442)
print(dataset.deposition_id) # 取得 deposition ID
print(dataset.dataset_publications) # 关联论文 DOI 列表
Run 级引用元数据通过父 dataset 获取：
from cryoet_data_portal import Client, Run
client = Client()
run = Run.get_by_id(client, 10005) # 用数字 Run ID
print(run.dataset.deposition_id)
print(run.dataset.dataset_publications)
这段 API 设计的巧思在于：它把「引用元数据」也做成了可编程查询。使用者可以用脚本批量生成致谢信息——这对需要系统化致谢数十个数据贡献者的大型项目而言，是实打实的效率提升。
3.3 生态集成：copick、napari、PyTorch/TensorFlow
门户不止于「给数据」，还提供了让数据直接可用的工具链：
- copick：CZI 开发的 cryo-ET 数据与注释 Python 框架。论文明确指出「所有 CZCDP 数据集都可通过 copick 访问」，并配有示例 notebook，内含 TensorFlow 与 PyTorch 的参考实现。copick 解决了「标注数据如何在训练循环中被一致地读取」这一问题。
- napari 插件：napari 是 Python 生态的桌面多维图像查看器，门户提供插件供本地查看数据（对应网页端的 Neuroglancer）。
- 示例 notebook：文档站提供「把已发表算法应用到本数据集」的 notebook，论文强调其目的是「让开发者专注于模型开发而非数据处理（so that developers can focus on model development rather than data handling）」。
3.4 获取建议（按用例分流）
| 你的目的 | 推荐路径 |
|---|---|
| 先看看数据长什么样 | 网页界面 + Neuroglancer |
| 下载少量数据试用 | Python client 的下载方法 |
| 批量下载/流水线集成 | S3 桶（–no-sign-request） |
| 训练分割/挑选模型 | copick + 示例 notebook（PyTorch/TF） |
| 查询元数据/生成致谢 | GraphQL API 或 Python client |
| 本地精读单张断层图 | napari 插件 |
§4 任务类型与注释体系
4.1 门户上的标注长什么样
门户的注释（Annotation）分两大类：
（一）语义分割类（semantic segmentation）
把断层图体素划分为语义类别。实抓中出现的 objects 标签包括：
- membrane（膜）——出现频率最高的基础类别
- intracellular membrane-bounded organelle（细胞内膜结合细胞器）
- lysosome（溶酶体）
- virus-like capsid（病毒样衣壳）
- cytoplasmic vesicle（细胞质囊泡）
- endoplasmic reticulum（内质网）
- endosomal intralumenal vesicle（内体腔内小泡）
- sample（样本）——边界/背景类
部分 dataset 的 objects 数量达到「Total 13 Objects」「Total 12 Objects」的丰富度（见 DS-10513/10514 鼠源 DRG 神经元数据集），说明类别粒度可以很细。
（二）大分子颗粒类（particle picking）
标注单颗粒大分子的位置与朝向，直接服务于亚断层平均（subtomogram averaging, STA）——通过平均许多同一分子的副本，提升信噪比以获得高分辨率结构。幻影数据集的六类靶标颗粒即为典型：apoferritin（去铁铁蛋白）、beta-amylase（β-淀粉酶）、beta-galactosidase（β-半乳糖苷酶）、ribosome（核糖体）、thyroglobulin（甲状腺球蛋白）、virus-like particle（病毒样颗粒）。
4.2 注释从哪来：一个多来源的注释生态
门户的注释不是单一团队手工产出，而是社区 + 算法 + 专家在环的混合生态：
- 社区直接提交：如 CZCDP-10318 由 15 位作者联合提交的大规模细胞器数据集。
- ML 方法产出：SABER（专家在环引导的自动分割）、Membrain-Seg（膜结构分割）、octopi（粒子挑选）等。这些工具产出的预测也作为注释层登记入库（如 CZCDP-10333「训练注释与 octopi 预测」）。
- 专家在环（expert-in-the-loop）：CZCDP-10331 的名称直接点明「Expert-in-the-loop guided automatic segmentations」，即用专家修正引导自动方法。
- 挑战赛获奖方案：Kaggle 竞赛的前十名方案注释被回存门户（CZCDP-10326/10327/10328 分别为第 8/9/10 名方案）。
这种「注释来源多元且显式登记」的做法，本身是门户的一个设计优点：使用者能追溯每条注释的来源与产出方法，判断其可信度。它也呼应了门户的核心使命——为注释算法的开发与评测提供弹药：别人产出的注释可以成为你算法的 ground truth，你的算法产出可以成为别人评测的对象。
4.3 三大下游任务
门户数据的三个主要消费方向：
- 语义分割（segmentation）：模型输入一张断层图，输出每个体素的类别标签（膜/细胞器/囊泡……）。这是标注量最大、直接受益于门户标准化注释的任务。
- 粒子挑选（particle picking）：在断层图中定位大分子颗粒的位置（可能还有朝向），是 STA 的前置步骤。Kaggle 挑战赛即围绕多类粒子/结构识别展开。
- 亚断层平均（STA）：把挑出的颗粒副本对齐平均，得到高分辨率结构。门户提供高质量原位颗粒位点，正是 STA 的原料。
此外还有跨数据集泛化这一元任务：门户多篇论文与基准的核心命题，就是「在幻影数据集上训练的算法，能否稳健地迁移到真实细胞断层图」。这直接指向了 §7 的基准体系。
4.4 三类任务的难度阶梯
这三个任务并非并列，而是存在难度递进的关系：
- 语义分割相对最容易：输出是密集的体素级类别标签，有明确的像素级监督信号。门户上标注量最大，也正是因为它最适合用 ML 批量产出。
- 粒子挑选难度上升：需要在三维拥挤环境中定位离散的、高度不规则的大分子颗粒，而且颗粒可能有任意朝向（orientation）。门槛在于「少样本 + 高类内变异」——这是 Kaggle 挑战赛给 7 张训练图就变得极其困难的原因。
- 亚断层平均是终极目标：它不仅要找到颗粒，还要精确对齐与平均，任何定位或朝向的微小误差都会在平均中劣化最终分辨率。它依赖前两个任务的输出质量。
理解这个阶梯，就理解为什么门户把粒子挑选单独做成 Kaggle 挑战赛——它处在「已有价值」与「尚待突破」的交界处：足够难，值得研究；又足够具体，可用比赛量化。
4.5 注释来源多元带来的「元数据洁癖」
门户的注释生态有个容易被忽视的优点：它把「这条注释是谁产出的、用什么方法产出的」也一并登记。这不是洁癖，而是判断注释可用性的必要信息。
设想一个具体场景：你要训练一个膜分割模型。门户上有两类膜注释——一类是专家手工修正的（ground truth），一类是某算法自动产出的（预测）。如果不标注来源，你可能把算法的预测当成了真值去训练，形成「用模型训练模型」的循环污染。门户显式登记来源（SZCDP-10333 直接写明「training annotations and octopi predictions」），就是为了避免这种污染。
这也延伸出门户的一个深层设计哲学：在 ML 时代，「数据」与「关于数据来历的元数据」同等重要。一份不带来源的注释，其科学价值是有缺陷的。
§5 幻影数据集：为「可信基准」而生的合成+真实混合体
5.1 动机：注释算法的评测需要一个「有标准答案」的靶子
要证明一个注释算法好，必须有可靠的 ground truth（真值）。但真实细胞断层图有个根本困难：你无法百分之百确定每个颗粒/结构都在哪——即使是专家手工标注，也会漏标、误标，而且没有绝对标准来判断谁对谁错。
CZ 团队的解法是构建幻影数据集（phantom dataset）：一个组成已知的样本，因此其绝对真值原则上可控。它不是纯合成数据，而是真实实验数据 + 已知配比的组合——这正是它被称为「realistic phantom（真实感幻影）」的原因。
5.2 构成：细胞裂解物 + 纯化蛋白的「配方」
据 Nature Methods 2025 幻影论文（DOI 10.1038/s41592-025-02800-5）的 Methods，幻影数据集的样本来源为三重组合：
- 细胞裂解物（cell lysates）：来自 HEK293T 细胞系（由 Chan Zuckerberg BioHub 的 M. Leonneti 课题组建立），带有 GFP-LAMP1 knock-in（在溶酶体管家蛋白 LAMP1 的羧基端敲入 GFP 标签）。
- 市售纯化蛋白：若干商业可得的纯化蛋白。
- 合作者提供的纯化蛋白：一种来自合作者的纯化蛋白。
六类靶标颗粒（particle）为：apoferritin、beta-amylase、beta-galactosidase、ribosome、thyroglobulin、virus-like particle（VLP）。
5.3 拆分：为机器学习挑战赛量身定制
幻影数据集最巧妙的设计，是它的拆分方式直接继承了 Kaggle 竞赛的划分，以便「新老算法能用一致的训练/测试数据做基准」。据 bioRxiv 挑战赛复盘论文与 portal 说明：
| 子集 | Dataset ID | Tomograms | 用途 |
|---|---|---|---|
| 训练集 | DS-10440 | 7 | 模拟「人手可实际标注的量」 |
| 公开测试集 | DS-10445 | 121 | 公开评分 |
| 私有测试集 | DS-10446 | 364 | 隐藏评分，防过拟合 |
| 合成数据集 | DS-10441 | 27 | PolNet 生成的靶标颗粒与模拟细胞组分 |
整个 deposition 为 CZCDP-10310。
这里的关键设计哲学：训练集只给 7 张断层图。论文直言其目的是「模仿研究者实际能手工标注的数据量（to mimic the volume of data that is practical for researchers to annotate by hand）」。这是一个极其诚实的设定——它承认现实中专家标注的产能有限，因此评测的重点不是「有大量标注时算法能多好」，而是「在标注稀缺的现实条件下，算法能否靠方法创新胜出」。私有测试集 364 张与公开测试集 121 张的悬殊比例，则是对过拟合的防御。
5.4 幻影的可扩展性主张
论文对幻影有一个耐人寻味的表述：由于新的注释集可以轻易上传到 CryoET Data Portal，团队预期「这个数据集的标签将成为一个演进的基准（an evolving benchmark）」。这体现了门户的开放架构优势——基准不是一次性冻结的，而是可以被社区持续改进、用新算法去 recover 那些「我们几乎肯定漏标的真阳性（true positives）」。论文也坦承其局限：缺乏单个颗粒副本质量的绝对度量，无法完全排除假阳性（尤其对小目标），也几乎肯定漏标了部分真阳性。
5.5 为什么叫「realistic（真实感）」——与纯合成数据的区别
幻影数据集的一个关键措辞是「realistic phantom（真实感幻影）」，而非简单的「synthetic（合成）」。这个区别至关重要，值得展开：
纯合成数据的问题在于「太干净」。如果用计算机渲染出理想的颗粒和细胞器，那么画面里没有真实实验中的噪声、冰层伪影、缺失楔（missing wedge，cryo-ET 因倾斜角度受限导致的信息缺失）、对比度不均等复杂因素。在这样的数据上训练出的算法，迁移到真实断层图时会严重掉点——因为它没见过真实世界的「脏」。
幻影数据集的做法是真实与合成的混合：主体是真实的细胞裂解物（带真实的样品制备伪影与成像噪声），同时掺入已知身份的纯化蛋白颗粒。这样一来：
- 图像是真实的，保留了所有让算法头疼的实验噪声；
- 组成是已知的，因此颗粒的「标准答案」原则上可控。
这种「真图像 + 知配方」的组合，正是它被称为「真实感」的原因，也是它作为一个可信基准比纯合成数据有说服力的根本。它用真实数据的复杂度考验算法，又用已知配方提供评判的尺子。
5.6 幻影的演化性：一个「活着的基准」
论文对幻影的定位有一段极有远见的表述：由于新注释集可轻易上传到 CryoET Data Portal，团队预期「这个数据集的标签将成为一个演进的基准（an evolving benchmark）」。
这句话的分量在于它承认了一个现实：即使是最严谨的专家标注，也做不到绝对完备。论文明确写道「几乎肯定漏标了一些真阳性，我们预期未来的注释算法能把它们找回来（which we anticipate future annotation algorithms will recover）」。于是基准不再是「专家一次标注定终身」的静态靶子，而是随社区算法进步而持续精化的动态目标。
这种「活基准」的思路，也解释了为什么门户坚持把注释做成可增补的一层而非内嵌进原始数据——因为基准需要进化，架构必须支持这种进化。
§6 Kaggle 挑战赛：把基准变成一场公开竞赛
6.1 CZII CryoET Object Identification Challenge
CZ 团队在 Kaggle 上举办了 CZII CryoET Object Identification Challenge（https://www.kaggle.com/competitions/czii-cryo-et-object-identification/），基于幻影数据集。任务是：**在仅提供 7 张训练断层图的条件下，开发多类注释算法**。参赛者的提交会拿剩余（公开+私有）的保留断层图来评分。
6.2 结果与意义
竞赛的核心结论极具说服力：获胜方案超越了门户团队自己的最佳努力模型 DeepFindET。这是一个健康的基准该有的样子——如果基准的提出者永远打不过所有挑战者，说明基准确实在推动领域前进，而不是自娱自乐。
前十名团队的方案与注释都回存到了 CryoET Data Portal（对应 CZCDP-10326~10328 等 deposition）。这使得这场竞赛的产出不是一次性的排名，而是可复用的社区资产——后人的算法可以直接站在这些方案的肩膀上。
6.3 复盘论文的工程启示
bioRxiv 2025 的挑战赛复盘论文（10.1101/2025.11.03.686153）提供了若干工程层面的经验（属「Lessons learned」性质）：
- 数据可用性：幻影训练集 DS-10440、公开测试集 DS-10445、私有测试集 DS-10446，外加合成集 DS-10441，全部按竞赛拆分开放。
- 交叉验证的复杂性：冠军方案在合成数据（含 beta-amylase 标签）上预训练，并增大推理时的 patch size（相比训练时）——这是典型的域适应技巧。
- EMDB 交叉存档：ground truth 与冠军方案的注释地图被存入 EMDB（如 apoferritin ground-truth 73634 / 冠军 73635；ribosome 73631 / 73633 等六类各一对），实现了「portal 注释 ↔ EMDB 结构」的双向可追溯。
- 开源工具：octopi 与 py2rely（Kaggle 分支）在 chanzuckerberg 的 GitHub 公开，供复现。
这场竞赛的价值不在于「谁赢了」，而在于它示范了一个开放数据门户如何用竞赛机制激活社区、并把竞赛成果沉淀回数据资产的完整闭环。
6.4 竞赛揭示的学科真相：少样本才是现实
这场挑战赛最值得玩味的设计，是它刻意把训练集限制到只有 7 张断层图。这个约束不是随意的，它坦白地承认了 cryo-ET 领域的一个残酷现实——专家标注的产能是硬约束。
在计算机视觉的很多领域（如自然图像），研究者可以动用百万级标注样本。但在 cryo-ET 里，一张断层图的标注可能需要专家花费数小时到数天，且需要高度专业的知识去辨认膜、细胞器、各类大分子。这意味着「堆标注量」这条路在这里走不通，算法必须学会在「极少标注 + 极强领域先验」的条件下工作。
于是竞赛实际上在问一个很本质的问题：当标注不是瓶颈、而是硬天花板时，什么方法能赢？ 冠军方案的答案（合成数据预训练 + 域适应 + 推理时放大 patch）透露了一个信号：在标注稀缺的领域，合成数据与迁移学习不是锦上添花，而是必需品。这与幻影数据集引入 PolNet 合成子集的设计逻辑一脉相承——合成数据用于预训练，真实数据用于精调与评测。
这场竞赛因此不仅是一次排名，更是对 cryo-ET 算法发展路线的一次公开探索：它用竞赛的形式，验证了「合成预训练 + 真实微调」这条路在标注稀缺领域的有效性。
§7 生态与影响：一个研究所的开放科学实践
7.1 机构背景：CZ Imaging Institute 与 CZI
门户由 CZ Imaging Institute（Chan Zuckerberg Institute for Advanced Biological Imaging） 运营，位于 Redwood City, CA。CZ Imaging Institute 由 Chan Zuckerberg Initiative（CZI） 资助建立（基金号 CZII-2023–327779），其领导层包括 Bridget Carragher 与 David Agard 两位资深冷冻电镜学者。
平台工程由 CZI SciTech 团队承建，论文致谢中列出 A. Sweet、B. Nelson、E. M. Wang、R. Agarwal、T. Smith、B. Chu、D. Sadgat、E. Hoops、J. Larsen 等。机构分工清晰：CZ Imaging Institute 负责科学策展与验证，CZI SciTech 负责工程实现。
7.2 论文谱系：一条清晰的产出线
门户相关的学术产出构成了一条脉络：
- 2024-10｜门户主引文：Ermel et al., Nat Methods 21:2200–2202 — 门户本身的方法学介绍（Brief Communication）。
- 2025-05｜MAM 摘要：会议摘要，定格了「17,000+ tomograms / 45 species / 60,000+ annotations」的中期口径。
- 2025｜幻影基准论文：Nat Methods（10.1038/s41592-025-02800-5）— 幻影数据集的构建与基准主张。
- 2025-11｜Kaggle 复盘：bioRxiv 预印本 — 挑战赛的经验总结。
这条线显示门户并非「发一篇论文就结束」，而是以数据平台为支点，持续产出方法、基准与社区活动。
7.3 工具生态：建立 cryo-ET 的 Python 工具基座
门户周边形成了一个完整的开源工具生态（均在 github.com/chanzuckerberg 下）：
| 工具 | 作用 |
|---|---|
| cryoet_data_portal | 官方 Python API client，查询与下载门户数据 |
| copick | cryo-ET 数据/注释的 Python 框架，直连门户，配 PyTorch/TF 示例 |
| octopi | 粒子挑选（particle picking）模型 |
| py2rely | 数据转换/处理脚本（Kaggle 分支用于挑战赛） |
| SABER / Membrain-Seg | 语义分割方法（社区贡献且在门户有注释产出） |
| CryoLens | 模拟训练数据生成 |
这套工具链的意义在于：门户不只是数据的终点，也是工作流的起点。使用者在同一个生态里就能完成「查数据 → 下载 → 训练 → 可视化 → 提交注释」的全循环，这正是「ML-ready」承诺的兑现。
7.3A 从「数据托管」到「工作流托管」的范式转移
门户工具链的设计透露了一个更深的行业趋势：科学数据平台正在从「数据托管」走向「工作流托管」。这个转变值得展开。
旧范式（数据托管）：平台的职责边界止于「把数据放出来」。研究者下载数据后，用自己的脚本处理，遇到格式问题自己解决，遇到加载困难自己写解析器。平台的用户体验是断裂的——下载是一个平台，处理是另一套工具，可视化又是另一套。
新范式（工作流托管）：平台把数据与消费数据的工具打包在一起。CZ CryoET Data Portal 正是这个范式的实践者：
- 数据在门户，加载框架（copick）也在门户生态；
- 数据有标准格式（OME-Zarr），读这个格式的库（Python client / napari 插件）也配套；
- 训练需要数据管道，示例 notebook（PyTorch/TF）直接给。
为什么这个转变重要？因为在数据复杂的科学领域（如 cryo-ET），「数据能不能用」往往不取决于数据本身，而取决于有没有配套工具。一份格式极佳但无人会读的数据，和一份没人能用的数据，实际价值相差无几。门户通过「工作流托管」把「能用」这件事从研究者的肩上卸下来，这正是它被称为「ML-ready」而非仅仅「open data」的原因。
这个范式转移也给其他数据平台一个启示：仅仅开放数据是不够的，还要开放（或至少配套）消费数据的工作流。否则开放只是形式上的开放。
7.3B 开源与许可的「全栈开放」
门户生态的开放是全栈的，值得逐层清点：
| 层 | 开放形式 |
|---|---|
| 数据 | CC0 1.0（图像/注释/元数据） |
| API | GraphQL 公开暴露、Python client 开源 |
| 工具 | copick / octopi / py2rely 在 chanzuckerberg GitHub 开源 |
| 模型与注释 | Kaggle 获奖方案与注释回存门户 |
| 文档 | 文档站公开可访问 |
| 可视化 | Neuroglancer（网页面板）、napari 插件 |
这种全栈开放的稀缺性值得强调。很多项目做到了「数据开放」但在工具层闭源，或「工具开源」但数据需授权。门户把每一层都做成了开放/开源的，这意味着任何人——包括预算有限的学生、来自非顶尖机构的团队、甚至商业开发者——都能完整地用起来，不被任何一层许可或收费挡住。
从公共资金使用的角度看，这也是一种负责任的态度：用公共（慈善基金）资金产出的科学与工具，回馈给整个公共领域。门户的 CC0 + 开源工具链组合，堪称公共资助科研的开放实践样本。
7.4 在冷冻电镜数据景观中的位置
把门户放进更大的冷冻电镜数据版图：
- 对上（上游档案层）：EMPIAR（原始图像总档案）、ETDB（电子断层数据库）。门户建立在其基础上，不取代它们。
- 对平（同层 ML 门户）：与其他「为 ML 重建的科学数据门户」构成一类（如生物图像领域的 IDR、OMERO 等），但 cryo-ET 领域此前缺乏统一注释层，门户填补了这一空白。
- 对下（质/结构层）：EMDB（电子显微镜数据银行，存三维 reconstruction map）、PDB（原子结构）。门户的注释可交叉链接到 EMDB（如幻影的注释 map 存 EMDB 73631–73643）。
门户的战略定位是一个「中间层」：向上承接原始图像档案，向下为结构和 ML 消费提供标准化注释——这个中间层恰恰是过去 cryo-ET 领域最缺失、也最制约算法发展的一环。
7.5 开放科学的方法学意义
抛开技术细节，CZ CryoET Data Portal 更值得关注的是一种开放科学实践范式：
- 全 CC0 开放：图像、注释、元数据无条件开放，是生物医学数据共享中极开放的姿态；
- 标准化优先：不满足于托管，而是强推 schema 与格式统一，从根上解决异构问题；
- 社区共建注释：注释来源多元且可追溯，把「标注」从封闭的实验室工作变成开放的协作资产；
- 竞赛激活生态：用 Kaggle 挑战赛聚拢社区智慧，把竞赛成果沉淀回数据；
- 工具与数据一体：配套完整工具链，降低使用门槛。
这五点构成了一个可迁移的范式——任何面临「数据多而标注贵」困境的科学领域，都可以参考这套「标准化 + 开放许可 + 社区注释 + 竞赛 + 工具链」的组合拳。门户的论文标题用的是「providing standardized annotations」而非「collecting data」——这个措辞本身，就透露了它的核心洞见：在数据爆炸时代，真正的瓶颈与价值都不在采集，而在标准化与注释。
§8 AI-Ready 评估：为机器学习而生的三层可获取性
8.1 什么是「AI-Ready」
「AI-Ready（人工智能就绪）」在千方病案医数集的评价框架里，指的是数据集能否被机器学习工作流直接消费的综合能力——不只看数据有没有，更看它是否以算法友好的形式可获取、可解析、可复现。一个数据集可能有海量数据却完全不 AI-Ready（如只有 PDF 报告或需要填表申请的私有库），也可能数据量不大但 AI-Ready 程度极高（标准化、开放、带 API）。
CZ CryoET Data Portal 是一个AI-Ready 程度罕见的标杆。下面按三层拆解。
8.2 第一层：数据可获取性（Accessibility）
| 维度 | 表现 | 评级 |
|---|---|---|
| 许可 | CC0（公共领域，无限制） | ★★★★★ |
| 通道数 | 网页 / S3 / GraphQL / Python API（四条） | ★★★★★ |
| 凭证要求 | 无（S3 免凭证，资源公开） | ★★★★★ |
| 可视化 | 网页内嵌 Neuroglancer（零安装） | ★★★★★ |
| 批量能力 | S3 + Python client 下载方法 | ★★★★★ |
这一层几乎满分。四条获取通道覆盖了从「只会点鼠标」到「写自动化流水线」的全部用户，且全程零凭证、零授权障碍。
8.3 第二层：数据可用性（Usability）
| 维度 | 表现 |
|---|---|
| 格式 | MRC（通用）+ OME-Zarr（云优化、可流式分块读取） |
| 元数据 | 机器可读，含样本/制备/处理/对齐 |
| 标签 | 标准化注释层（分割 + 颗粒位点） |
| 质量标注 | 每 Run 带 Tilt Series Quality Score |
| 结构 | 五级实体 schema，可引用、可追溯 |
| 集成 | copick / napari / PyTorch / TensorFlow / 示例 notebook |
OME-Zarr + 流式读取是这一层的杀手锏。cryo-ET 数据的单体积极大（单张断层图可达数十 GB），传统上「先下载再训练」的模式对存储是巨大负担。OME-Zarr 允许按需拉取整卷或分块，使「训练超出本地存储的数据集」从口号变成工程现实。加上 copick 提供的数据读取抽象和 PyTorch/TF 示例，使用者的心智负担被压到最低。
8.4 第三层：可复现性（Reproducibility）
| 维度 | 表现 |
|---|---|
| 处理管线 | 显式登记（如 AreTomo3、SABER、Membrain-Seg） |
| 对齐参数 | 记录断层对齐（tomographic alignment） |
| 版本/来源 | Deposition/Run 级可追溯，注释来源可查 |
| 基准 | 幻影数据集提供冻结的 train/test 划分 |
| 交叉存档 | 注释 map 存 EMDB，可双向链接 |
这一层是门户区别于「纯数据托管」的关键。它不只是把数据放出来，还把「数据是怎么来的」一并标准化登记——用什么管线处理、怎么对齐、注释由哪套算法产出。这对复现至关重要：没有对齐参数，重建出的断层图无法被可信复用；没有注释来源，就无从判断标注可信度。
8.5 综合评估与相对短板
三门全开、无短板的 AI-Ready 标杆。 若非要挑刺，只有几处「非 AI-Ready 缺陷、属平台成熟度问题」：
- beta 状态：文档站自称 beta release，schema 与 API 可能演进，长期稳定性存疑。
- 规模数字不稳定：门户持续增长，任何引用总量的说法都易过时（这是「活的数据库」的通病，非缺陷但需使用者注意）。
- 标注完备度不均：并非每个 tomogram 都有等量注释，稀疏 deposition 存在。
- 物种偏斜：以人/小鼠/大肠杆菌等模式生物为主，非均衡采样。
这些都不影响它作为 AI-Ready 典范的地位——CC0 + 四通道 + 云原生格式 + 完整工具链 + 可复现元数据的组合，在本库的条目谱系中属于最开放的一档。
8.6 与本库可获取性光谱的对照
若把本库条目按获取难度排列，会得到一条从「申请制」到「全开放」的光谱：
- 最封闭端：需签协议/填申请/限定研究用途的私有库（如部分临床 WSI 重标注集）；
- 中间：CC BY-NC（禁商用）或需注册的学术资源；
- 最开放端：CZ CryoET Data Portal（CC0 + 免凭证 + 多通道）、以及其他公共领域数据。
门户稳居最开放端。对需要「许可洁净」训练数据的研究者，这类条目几乎是首选。
8.7 一个具体的工作流示例：从零到训练
抽象地说「AI-Ready」容易空泛，不如走一遍具体的端到端流程，看门户如何兑现承诺：
场景：你要训练一个在细胞断层图中分割「膜 + 溶酶体」的模型。
- 发现数据。打开 https://cryoetdataportal.czscience.com/ ，在浏览器里用 Neuroglancer 预览若干数据集，直观感受断层图长什么样、注释如何呈现。这一步零安装、零下载。
- 程序化筛选。装上 Python client（
pip install cryoet_data_portal），用脚本按条件筛选——比如「找所有含 lysosome 注释、且 Tilt Series Quality Score ≥ 4 的 Run」。 - 元数据核对。用
dataset.deposition_id与dataset.dataset_publications拉出每条数据的归属与关联论文，确认其来源可信、许可为 CC0。 - 按需取数。通过 S3 或 client 下载——关键是利用 OME-Zarr 的分块读取，只拉取训练需要的区域，避免整卷落地占用巨量磁盘。
- 接入训练循环。用 copick 框架加载数据与注释，套用官方示例 notebook 里的 PyTorch 或 TensorFlow 模板，直接进入建模。
- 基准对照。在幻影数据集（DS-10440 训练 / DS-10445 公开测试）上跑你的模型，与 DeepFindET 基线和 Kaggle 冠军方案结果对比，量化你的方法是否真有进步。
- 回存与致谢。若你产出了新的注释，可通过门户提交回社区；同时用 API 拉取的引用元数据，规范地致谢你所用数据的贡献者。
这个流程里，没有一步需要填申请表、签协议、发邮件等待——这正是 AI-Ready 三层的实际含义：从「想用」到「用上」的路径被压缩到最短。对比一个需要请求制授权的数据集（可能第一步就卡在「等回信」），差距是结构性的。
8.8 与其他「开放数据」条目的对比维度
若要横向比较门户与其他开放数据条目，建议看四个维度：
| 维度 | 门户表现 | 常见对照 |
|---|---|---|
| 许可开放度 | CC0（公共领域） | 常见为 CC BY-NC（禁商用）或请求制 |
| 访问门槛 | 零凭证、四通道 | 常需注册/申请 |
| 格式云化 | OME-Zarr 流式 | 常见为需整体下载的静态文件 |
| 工具链完整度 | copick + 示例 notebook + napari | 常见为「只给数据不给工具」 |
门户在这四个维度上同时处于领先，而非某一项突出、其他拖后腿。这种「全面无短板」本身就是一种稀缺性——很多数据集在某个维度很强（如数据量巨大），却在另一个维度致命短板（如许可禁商用），导致实际可用性大打折扣。
§9 与库内条目的关系
9.1 家族图谱
CZ CryoET Data Portal 在本库中最容易产生混淆的邻居，是名字里带「cryo」的条目。必须严格区分：
| 条目 | rid | 模态 | 对象 | 与本条目关系 |
|---|---|---|---|---|
| czeo/cryoet-data-portal（本条目） | 待入库 | 冷冻电子断层扫描（cryo-ET） | 三维细胞体数据 + 大分子/细胞器注释 | 本条目 |
| cryonuseg | 844 | 光学组织学（H&E 冷冻切片） | 二维核实例分割 | 仅词根相同，模态不同，严禁合并 |
| monuseg | 30 | 光学组织学（H&E） | 二维多器官核分割 | 与 cryonuseg 同族，与本条目无关 |
| empiar（若收录） | — | 冷冻电镜原始图像 | 原始图像总档案 | 上游/同源不同层，分层互链 |
关键辨析：cryonuseg（CryoNuSeg）虽然名字里有「Cryo」，但它是「冷冻切片（cryosection）」的 H&E 光学显微图像，用于细胞核分割——与「冷冻电子断层扫描（cryo-electron tomography）」是完全不同的成像模态（一个是光学显微镜看二维切片，一个是电子显微镜看三维体）。二者的「cryo」都指「冷冻」，但一个冷冻的是组织切片、一个冷冻的是样品并上电镜。把它们混为一条是典型的词根陷阱。
9.2 检索路径建议
- 找 cryo-ET 三维细胞数据 → 本条目（CZ CryoET Data Portal）
- 找冷冻切片的 H&E 核分割 → cryonuseg (rid 844)
- 找任意冷冻电镜原始图像 → EMPIAR（若库内收录）
- 找大规模标准化注释门户的方法学范例 → 本条目 + PANDA-PLUS 类注释流水线条目（作母题对照）
9.3 母题层面的可互链点
在「大规模数据 + 标准化注释 + ML 基准」这一母题上，本条目与库内若干条目有方法论共振，例如：
- 注释流水线与标注质量控制：与 PANDA-PLUS 等「重标注/多层审核」条目的母题相通——都关心「如何低成本产出可信标注」。
- 挑战赛驱动的基准建设：与各类 Kaggle/grand-challenge 派生条目的母题相通——都关心「如何用竞赛激活社区并沉淀资产」。
- 云原生格式与开放科学：与采用 OME-Zarr/Zarr/Parquet 等云格式的条目母题相通——都关心「如何让大数据可流式消费」。
注意（R012 纪律）：以上互链关系只在正文说明，frontmatter 的
relatedLink只允许写纯 URL（https://www.qianfanghub.com/ai-ready-dataset/<slug>/<rid>），禁止把任何中文说明写进 relatedLink。
9.4 检索者最容易犯的三个混淆
混淆一：按「cryo」模糊匹配，把 cryonuseg 当成 cryo-ET。
这是最高频的混淆。cryonuseg（rid 844）名字里的「Cryo」指冷冻切片（cryosection）——组织被冷冻后切成薄片，用光学显微镜看 H&E 染色，做二维细胞核分割。本条目的「cryo」指冷冻样品 + 电子显微镜，看三维细胞结构。两者的成像物理原理完全不同：一个是光子，一个是电子；一个是二维切片，一个是三维体。检索时必须核对模态字段，不能只看名字。
混淆二：把门户当成「EMPIAR 的别名」。
两者虽同属冷冻电镜数据，但层级与职责不同：EMPIAR 是原始图像的总档案馆（跨 cryo-EM 与 cryo-ET，只存原图不统一标注），门户是其之上面向 ML 重建的加工层。一个恰当比喻：EMPIAR 像「底片库」，门户像「带图注的教材」。引用时要分清你用的到底是原始档案还是加工后的标准化数据。
混淆三：把「门户整体」与「某个 deposition」混为一谈。
门户是个平台，其上承载了 90 个 deposition（且持续增长）。谈论「门户有多少数据」时指的是平台总量，谈论「这个数据集有多少 tomogram」时指的是某个具体 deposition。由于规模极不均衡（单个 deposition 可达 27,388 tomogram，而多数仅个位数），混用这两个层级会得出严重误导的结论。
9.5 与库内「机器学习就绪门户」母题的呼应
从更抽象的方法论层面看，本条目与库内若干条目共享一个「为 ML 重建科学数据」的母题。这类条目的共同特征往往包括：
- 强调格式标准化（统一 schema、统一格式），而非仅仅托管原始文件；
- 提供程序化访问（API/SDK），而非只有网页下载；
- 内置基准或评测机制（固定的 train/test 划分、挑战赛），而非只有数据；
- 配套工具链（加载框架、可视化），而非让使用者自己造轮子。
CZ CryoET Data Portal 是这类「ML-ready 门户」在 cryo-ET 领域的教科书级样本。若本库后续收录更多此类门户（如其他模态的标准化数据平台），可以考虑在方法论母题上进行横向对照，形成「ML-ready 门户」的条目簇。这对读者理解「什么才算真正为机器学习准备的数据」大有裨益——门户的价值不只在数据本身，更在它示范了一套可迁移的数据基础设施建设范式。
§10 避坑清单：十个检索者必读的坑
坑 1：域名拼写——是 czscience.com，不是 cziscience.com
门户主站是 https://cryoetdataportal.czscience.com/**。常被误写为 cziscience.com（多一个 i）。后者出现在文件 CDN**（files.cryoetdataportal.cziscience.com）等场景，容易让人把主站域名记错。访问主站请用 czscience.com。
坑 2：规模数字会过时——千万别把某次抓取的计数当固定值
门户是活的数据库，datasets/tomograms/annotations 每天都在增长。任务情报里的「392 datasets / 60,438 tomograms / 51 species / 179,862 annotations」在同一时期的一手页面上无法复现（实抓为 90 depositions；MAM 2025 口径为 17,000+ tomograms / 45 species / 60,000+ annotations）。任何引用规模的说法都必须带抓取日期，并声明其为快照。
坑 3：总量被头部数据集主导——别把「一个巨型 deposition」当「全库特征」
单个 CZCDP-10318 就含 27,388 tomograms，而许多 deposition 只有个位数。全库统计会被少数巨型提交严重拉高。做「典型数据集规模」「每 deposition 平均 tomogram 数」类分析时，务必先画分布、看中位数，别直接拿总量除以数量。
坑 4：与 EMPIAR 的高度区分——层级不同，不可合并
EMPIAR 是原始冷冻电镜图像总档案（跨 cryo-EM/cryo-ET，无统一注释层）；CZ CryoET Data Portal 是在其基础上重建的 ML-ready 门户。门户论文与 MAM 摘要明确用「Building upon the foundational work of other repositories such as EMPIAR and ETDB」表述。两者是上下游/不同层的关系，严禁合并为一条条目。
坑 5：cryonuseg ≠ cryoet——词根陷阱
cryonuseg（CryoNuSeg, rid 844）是冷冻切片 H&E 光学显微核分割；本条目是冷冻电子断层扫描。二者「cryo」同词不同物，模态完全异构。检索时若按「cryo」模糊匹配，务必核对模态。
坑 6：论文是 3 页 Brief Communication——别当成长文
主引文 Ermel et al. Nat Methods 21:2200–2202 只有 3 页，是 Brief Communication/Correspondence 型短文，不是 full article。它的作用是门户的官方引用锚点，而非详尽的方法学论文。若要深入了解幻影与基准，应读 2025 年那篇 Nat Methods 幻影论文和 bioRxiv 挑战赛复盘。
坑 7：CC0 是对「门户托管内容」——第三方论文许可另计
门户的图像/注释/元数据是 CC0（公共领域，无限制）。但若某 deposition 关联了第三方发表论文，论文文本本身的许可另算。引用时遵循门户的致谢规范（Portal Citation + 数据贡献者致谢两层）。
坑 8：文档站仍称 beta——API 与 schema 可能演进
文档站明示门户为「beta release」。这意味着 API 接口、数据 schema 存在变更可能。写依赖门户的生产代码时，应关注版本与变更公告，别把当前 API 当永久契约。
坑 9：幻影训练集只有 7 张 tomogram——是刻意设计，不是数据不足
幻影数据集训练集 DS-10440 只给 7 张断层图，这是刻意模拟「人手实际可标注量」的设计，而非数据采集不足。误以为「7 张太少、数据质量差」会完全错失其评测哲学——评测的重点恰是标注稀缺条件下的方法创新。
坑 10：神经/胶质细胞数据的物种别搞错
门户中不乏小鼠来源数据（如 Mus musculus 的皮层/海马 cryo-FIB lift-out、NIH/3T3 小鼠成纤维细胞、鼠源 DRG 神经元），也有 Homo sapiens（HEK293T）与 Escherichia coli。物种字段在 dataset 页明确标出，引用具体数据时务必核对 organism，别想当然。
坑 11：别把「annotations 计数」与「tomograms 计数」混为一谈
门户的 deposition 列表并列两个计数：Annotations（注释条数） 与 Tomograms（断层图张数）。这两个数字含义不同，且大小关系不固定——有的 deposition 注释多于断层图（如 CZCDP-10335：1,737 annotations vs 200 tomograms，说明单张图平均有多条注释），有的注释少于断层图。引用任一数字前，先确认你要的是「有多少张图」还是「有多少条标注」。
坑 12：deposition ID 与 dataset ID 别写混
门户有多个层级的 ID，格式各异：Deposition ID 形如 CZCDP-10318（注意前缀可为 CZCDP），Dataset ID 形如 DS-10444，Run ID 形如 RN-18897。三者不可互换——引用「某数据集」时通常用 Dataset ID（DS-xxxxx），归属与批次用 Deposition ID（CZCDP-xxxxx），单次采集用 Run ID（RN-xxxxx）。写错层级会导致链接失效或指向错误对象。
坑 13：门户不等于论文——引用对象要分清
引用门户时，应引主引文（Ermel et al., Nat Methods 2024）；引用具体数据时，应引该 deposition 的主作者并附门户致谢。把「门户论文」当成「某个具体数据集的论文」是常见错误——门户论文介绍的是平台本身，不是其上任何单一数据集的科学内容。
坑 14：别指望数字是「官方权威固定值」
门户没有发布「官方总量声明」，任何数字都是从页面或论文中读到的时点快照。若你的用途是「引用一个准确的门户规模」，最稳妥的做法是：自行在写作/投稿日抓取一次，并注明「as of <日期>」。不要二手转引他人博客或本条目正文里的数字而不核实时点。
坑 15：CC0 不等于「无任何义务」
CC0 是法律上的无限制许可，但学术共同体上，使用数据仍应规范致谢贡献者。门户专门提供致谢模板（Portal Citation + 数据贡献者两层）正是因为：如果使用者都无视贡献者，则数据共享的激励机制会崩解。法律允许你不署名，但学术惯例与生态健康都要求你致谢。 这一条是「合规」与「体面」的分界。
§11 DAIMS 数据资产信息表
DAIMS（Data Asset Information & Metadata Schema，数据资产信息与元数据表）——本条目核心属性的结构化速查。
| 字段 | 内容 |
|---|---|
| 资产名称 | CZ CryoET Data Portal（cryoET Data Portal / CZ CDP） |
| slug | cryoet-data-portal |
| 运营机构 | Chan Zuckerberg Institute for Advanced Biological Imaging (CZ Imaging Institute) |
| 机构类型 | 非营利研究所（由 Chan Zuckerberg Initiative 资助） |
| 数据模态 | 冷冻电子断层扫描（cryo-ET）三维体数据 |
| 核心对象 | 倾斜系列、重建断层图、大分子颗粒注释、细胞器/膜结构分割掩码 |
| 实体层级 | Deposition → Dataset → Run → Tomogram → Annotation（五级） |
| 规模（2026-10 实抓） | 90 Depositions；示例 CZCDP-10318 含 27,388 tomograms / 25,210 annotations；全库数万 tomogram 级 |
| 物种覆盖 | MAM 2025 口径 45 species（人/小鼠/大肠杆菌等模式生物为主） |
| 文件格式 | MRC（通用）+ OME-Zarr（云优化、可流式分块读取） |
| 元数据 | 机器可读；含样本/制备/处理管线/断层对齐参数 |
| 质量字段 | Tilt Series Quality Score（1-5：Poor/Moderate/Good/Excellent） |
| 许可 | CC0 1.0（Public Domain Dedication） |
| 获取通道 | ① 网页 + Neuroglancer ② 公共 S3 桶 s3://cryoet-data-portal-public（免凭证） ③ GraphQL API ④ Python client（cryoet_data_portal） |
| 生态工具 | copick、napari 插件、octopi、py2rely、CryoLens、SABER、Membrain-Seg |
| 下游任务 | 语义分割、粒子挑选（particle picking）、亚断层平均（STA）、跨库泛化基准 |
| 基准资产 | 幻影数据集（CZCDP-10310，DS-10440/10441/10445/10446）；Kaggle CZII CryoET Object Identification Challenge |
| 主引文 | Ermel, U., Cheng, A., Ni, J.X. et al. Nat Methods 21, 2200–2202 (2024). DOI: 10.1038/s41592-024-02477-2 |
| 发布时间线 | 2024-10 主论文 / 2025-05 MAM 摘要 / 2025 幻影基准论文 / 2025-11 Kaggle 复盘 |
| AI-Ready 评级 | 三层全开标杆（CC0 + 四通道 + 云原生格式 + 完整工具链 + 可复现元数据） |
| 关联库内条目 | cryonuseg (rid 844，仅词根同勿合并)；empiar（若收录，上游同源不同层） |
11.1 DAIMS 表使用说明
上表是结构化速查，适合快速定位关键属性。使用时注意两点：
- 规模字段有时效性。「90 Depositions」是 2026-10-16 抓取快照，门户持续增长，引用时务必声明抓取日期。
- 许可字段的边界。CC0 覆盖门户托管的图像/注释/元数据；若某 deposition 关联第三方论文，论文文本许可另计。
11.2 与同类数据资产的信息对比框架
评估一个数据资产是否「值得用」，可沿六个维度快速判断。以本门户为例：
| 评估维度 | 提问 | 门户答案 |
|---|---|---|
| 真实性 | 数据来自真实实验还是纯合成？ | 真实实验为主，幻影为真实+合成混合 |
| 规模 | 数据量多大？是否持续增长？ | 数万 tomogram 级，持续增长（活的数据库） |
| 标注 | 有无注释？质量如何保证？ | 标准化注释层；质量分 + 来源追溯 |
| 可获取 | 许可？门槛？通道？ | CC0；零门槛；四通道 |
| 可用性 | 格式？工具？ | MRC+OME-Zarr；copick/API/示例 notebook |
| 可复现 | 处理管线是否登记？ | 管线（AreTomo3/SABER）、对齐参数均登记 |
这个六维框架也可用于评估本库其他数据资产——任何维度上的短板，都会在实际使用中变成真实的摩擦。门户的价值恰在于六个维度上少见地均衡且领先。
FAQ（高频问答 30 问）
A. 基础认知
A1. CZ CryoET Data Portal 到底是什么？
一个冷冻电子断层扫描（cryo-ET）数据的标准化在线门户，由 CZ Imaging Institute 运营，面向机器学习开发与基准测试。它不是「又一个数据下载站」，而是把 cryo-ET 数据重建成统一 schema、云格式、带标准化注释的 ML-ready 语料库。
A2. cryo-ET 是什么？
冷冻电子断层扫描（cryo-electron tomography），一种能在近原子分辨率下、于天然环境中观察细胞大分子三维结构的技术。特点是「原位（in situ）」——在细胞里看分子真实的样子。
A3. 为什么需要这样一个门户？
因为 cryo-ET 数据爆炸但注释极贵：采集能力已能常规产出数百到数千张断层图，而传统手工注释「中等规模数据集也需数月」。机器学习本可解决注释瓶颈，但复现成本高、数据异构阻碍了算法开发。门户正是针对这两点。
A4. 门户的「新」体现在哪？
三点：①标准化（五级实体 schema）；②ML-ready（API + 工具链 + 至少一个注释/tomogram）；③云原生（OME-Zarr 流式读取）。
A5. 是谁在运营？
CZ Imaging Institute（Chan Zuckerberg Institute for Advanced Biological Imaging），Redwood City, CA；由 Chan Zuckerberg Initiative 资助（CZNO-2023–327779 基金）；领导层含 Bridget Carragher、David Agard。
A6. 它是「正式的」还是「beta」？
文档站自称 beta release，但门户已含 90 个 deposition 的正式运营规模。可理解为「beta 起步、持续扩张」——这也意味着 API 与 schema 有演进可能。
A7. 为什么这个门户在 AI 时代重要？
因为它示范了一个关键洞见：在数据爆炸的时代，稀缺的不是图像，而是标准化、可训练、可复现的注释。门户把功夫下在「标准化注释层」上，而非单纯堆数据量，正切中 cryo-ET 发展的真正瓶颈。
A8. 它和「普通数据下载站」的区别？
普通下载站只负责「把文件放出来」；门户做了三件额外的事：①统一 schema 让数据可跨库训练；②OME-Zarr 云格式让大数据可流式消费；③配套工具链（copick/API/示例 notebook）让数据能直接进训练循环。「ML-ready」的「ready」二字，就体现在这些额外工作上。
B. 数据与获取
B1. 数据规模多大？
持续增长，数字会过时。 2026-10-16 实抓 90 个 Deposition；2025-05 MAM 口径 17,000+ tomograms / 45 species / 60,000+ annotations；文档站 beta 描述「近 20,000 tomograms」。总量被少数巨型 deposition 主导（单个 CZCDP-10318 达 27,388 tomograms）。
B2. 怎么访问？
四条通道：网页（内嵌 Neuroglancer）、公共 S3 桶（s3://cryoet-data-portal-public，免凭证）、GraphQL API、Python client（cryoet_data_portal）。
B3. 文件是什么格式？
MRC（通用）+ OME-Zarr（云优化、可流式分块读取）。后者支持训练超出本地存储的数据集。
B4. 许可是什么？
CC0 1.0（公共领域贡献），几乎无限制。图像、注释、元数据均开放。
B5. 要付费吗？要申请吗？
都不用。CC0 许可、免凭证访问、网页即可浏览。
B6. 能商用吗？
可以。CC0 是无限制许可（第三方关联论文的许可另计）。
B7. S3 桶怎么用？
aws s3 ls --no-sign-request s3://cryoet-data-portal-public
无需 AWS 凭证。
B8. Python 怎么读数据？
from cryoet_data_portal import Client, Dataset
client = Client()
dataset = Dataset.get_by_id(client, 10442)
print(dataset.deposition_id, dataset.dataset_publications)
B9. 有现成的训练集成吗？
有。copick 框架直连门户，配 PyTorch 与 TensorFlow 参考实现与示例 notebook。
B10. 单张断层图多大？
cryo-ET 体数据单体积极大（可至数十 GB）。这正是 OME-Zarr 流式读取存在的意义——不必整卷落地。
B11. 门户的计数每天都在变吗？
是的。它是活的数据库，deposition/dataset/tomogram/annotation 持续增长。任何「门户有多少 X」的说法都必须附上抓取日期，否则会迅速过时、误导读者。
B12. 我能一次性把整库下下来吗？
技术上 S3 桶是开放的，但不建议也不现实——全库体量以 TB 计。正确做法是利用 OME-Zarr 按需拉取你训练所需的子集。
B13. CC0 意味着我连署名都不用吗？
严格说 CC0 不强制署名。但强烈建议致谢数据贡献者与门户——门户文档提供了规范的致谢模板（Portal Citation + 数据贡献者两层）。学术共同体里，「用了别人的数据就认真致谢」是基本礼仪，也让开放共享的生态得以延续。
C. 数据结构与注释
C1. 数据怎么组织的？
五级实体：Deposition（提交批次）→ Dataset（可引用单元）→ Run（单次采集）→ Tomogram（三维重建体）→ Annotation（结构注释）。
C2. 注释有哪几类？
两大类：①语义分割（膜、细胞器、溶酶体、囊泡、内质网等）；②大分子颗粒位点（particle picking，服务于 STA）。
C3. 注释是谁产出的？
混合生态：社区直接提交 + ML 方法（SABER、Membrain-Seg、octopi）+ 专家在环引导 + Kaggle 获奖方案回存。
C4. 有质量评分吗？
有。每个 Run 带 Tilt Series Quality Score（1-5：Poor/Moderate/Good/Excellent），可按质量分层筛选。
C5. 每个 tomogram 都有注释吗？
门户设计上「每个 tomogram 至少一个结构注释」，但实抓亦见 objects 为 -- 的 Run。标注完备度在不同 deposition 间不均。
C6. 物种有哪些？
MAM 2025 口径 45 species，以模式生物为主：Homo sapiens（如 HEK293T）、Mus musculus（小鼠皮层/海马/成纤维细胞）、Escherichia coli 等。
C7. 五级实体各自的作用是什么？
Deposition 提供归属（谁提交的）、Dataset 提供可引用 ID（引用锚点）、Run 提供可追溯的单次采集、Tomogram 提供三维体数据、Annotation 提供算法直接消费的标注。这套分层让「引用」与「消费」两件事各得其所。
C8. 为什么注释来源要登记？
防止「用模型训练模型」的循环污染。如果分不清哪条注释是专家真值、哪条是算法预测，就可能把预测当训练目标，污染下游模型。来源登记让使用者能筛选可信注释。
C9. Tilt Series Quality Score 有什么用？
它是数据分层的钥匙。训练时可以只用 Excellent/Good 的样本，用 Moderate 的做压力测试，从而量化模型对低质量输入的鲁棒性。这是把「数据质量差异」变成「可量化评测维度」的手段。
C10. 门户数据是二维还是三维？
三维。 cryo-ET 的产物是三维断层图（tomogram），每个体素属于一个三维结构。这与二维光学显微图像（如 H&E 切片）有本质区别。
D. 基准与评估
D1. 什么是幻影数据集？
「realistic phantom」——由细胞裂解物 + 纯化蛋白按已知配方组合的数据集，其组成已知，故绝对真值可控，专为注释算法基准设计（deposition CZCDP-10310）。
D2. 幻影数据集怎么拆分的？
训练集 DS-10440（7 tomograms）/ 公开测试集 DS-10445（121）/ 私有测试集 DS-10446（364）/ 合成集 DS-10441（27）。
D3. 训练集为什么只有 7 张？
刻意设计——模拟「人手实际能标注的量」，评测重点是标注稀缺条件下的方法创新，而非数据量堆砌。
D4. 办过挑战赛吗？
办过。CZII CryoET Object Identification Challenge（Kaggle），任务是在仅 7 张训练图的条件下开发多类注释算法。冠军方案超过门户团队自身基线 DeepFindET。
D5. 挑战赛成果去哪了？
前十名方案与注释回存门户（CZCDP-10326~10328 等）；注释 map 交叉存入 EMDB（如 ribosome 73631/73633 等六类各一对）。
D6. octopi 是什么？
门户生态中的粒子挑选（particle picking）模型，代码在 chanzuckerberg GitHub 开源。
E. 定位与辨析
E1. 和 EMPIAR 什么关系？
上下游/不同层。 EMPIAR 是原始冷冻电镜图像总档案（跨 cryo-EM/cryo-ET，无统一注释层）；门户是在其基础上重建的 ML-ready 门户（论文原话「Building upon the foundational work of other repositories such as EMPIAR and ETDB」）。不可合并。
E2. 和 ETDB 什么关系？
ETDB（Electron Tomography Data Bank）是较老的 cryo-ET 专用数据库，门户的参照前身之一。
E3. cryonuseg 是这个吗？
不是！ cryonuseg（CryoNuSeg, rid 844）是冷冻切片 H&E 光学显微核分割，与本门户的冷冻电子断层扫描模态完全不同。仅「cryo」词根相同，切勿混淆。
E4. 和 EMDB/PDB 什么关系？
处于不同层：EMDB 存三维 reconstruction map，PDB 存原子结构。门户的注释可交叉链接到 EMDB。
E5. 这个门户的开放程度在同类里算什么水平？
天花板级。 CC0 + 免凭证 + 四通道 + 云格式 + 完整工具链的组合，在生物医学数据共享中属最开放的一档。
E6. 一句话总结门户的核心洞见？
论文标题用的是「providing standardized annotations」——在数据爆炸时代，瓶颈与价值都不在采集，而在标准化与注释。
E7. 用什么比喻最能说清门户的定位？
「带图注的电子底片教材」。EMPIAR 是「底片库」（存原始图像、不统一标注），EMDB 是「成品结构模型库」，而门户是把底片整理成可教学、可训练、带规范图注的中间层——它让「想学的人」有材料可学，让「想教算法的人」有标准答案可对照。
E8. 门户的成功可以复制到别的领域吗？
可以，且方法论清晰。它的组合拳是：标准化 schema（解决异构）+ 云格式（解决体量）+ 开放许可（解决摩擦）+ 工具链（解决门槛）+ 社区注释与竞赛（解决产能）。任何面临「数据多而标注贵」的科学领域——病理、遥感、天文、材料显微——都能参考这套范式。
E9. 这个条目在本库里解决什么检索需求？
它回答了「cryo-ET 三维细胞数据去哪找、怎么用、能不能商用」这三个具体问题，同时把与 cryonuseg（光学冷冻切片）、EMPIAR（原始档案）的分层关系讲清楚，避免读者在「cryo」词根的迷宫里走错路。
E10. 如果只记一句话，记什么？
CZ CryoET Data Portal = 冷冻电子断层扫描领域的 CC0 开放、云原生、带标准化注释的 ML-ready 数据底座，是 EMPIAR 之上的加工层，不是它的别名。
事实清单（硬事实 40 条）
- 官方全名：CZ CryoET Data Portal（亦称 cryoET Data Portal / CZ CDP）。
- 主站域名：https://cryoetdataportal.czscience.com/ （czscience，非 cziscience）。
- 运营机构：Chan Zuckerberg Institute for Advanced Biological Imaging（CZ Imaging Institute）。
- 平台工程：Chan Zuckerberg Initiative（CZI）SciTech 团队。
- 主引文：Ermel, U., Cheng, A., Ni, J.X. et al., Nat Methods 21, 2200–2202 (2024)。
- 主引文 DOI：10.1038/s41592-024-02477-2。
- 主引文在线发表：2024-10-21；卷期：2024 年 12 月，第 21 卷第 12 期。
- 主引文页数：2200–2202（3 页，Brief Communication 型短文）。
- 通讯作者：Bridget Carragher。
- 共同第一作者：Utz Ermel、Anchi Cheng。
- 许可是：CC0 1.0（Public Domain Dedication）。
- 公共 S3 桶：s3://cryoet-data-portal-public（免凭证）。
- 文件格式：MRC + OME-Zarr（云优化）。
- Python client 包名：cryoet_data_portal。
- 程序化接口：GraphQL API + Python client。
- 网页可视化：内嵌 Neuroglancer（无需安装）。
- 桌面可视化：napari 插件。
- 生态框架：copick（直连门户，配 PyTorch/TF 示例）。
- 五级实体：Deposition → Dataset → Run → Tomogram → Annotation。
- 2026-10-16 实抓 deposition 数：90。
- 单个 deposition 最大示例：CZCDP-10318，27,388 tomograms / 25,210 annotations。
- 代表性小 deposition：CZCDP-10337，8 tomograms / 5 annotations。
- MAM 2025 口径：over 17,000 tomograms / 45 species / more than 60,000 annotations。
- 文档站 beta 口径：nearly 20,000 tomograms。
- 质量字段：Tilt Series Quality Score（1-5）。
- 幻影数据集 deposition：CZCDP-10310。
- 幻影训练集：DS-10440（7 tomograms）。
- 幻影公开测试集：DS-10445（121 tomograms）。
- 幻影私有测试集：DS-10446（364 tomograms）。
- 幻影合成集：DS-10441（27 tomograms，PolNet 生成）。
- 幻影六类靶标颗粒：apoferritin、beta-amylase、beta-galactosidase、ribosome、thyroglobulin、VLP。
- 幻影细胞来源：HEK293T，GFP-LAMP1 knock-in（Chan Zuckerberg BioHub）。
- 幻影基准论文：Nat Methods 2025，DOI 10.1038/s41592-025-02800-5。
- Kaggle 挑战赛：CZII CryoET Object Identification Challenge。
- 挑战赛复盘论文：bioRxiv 10.1101/2025.11.03.686153（2025-11-03）。
- 门户团队基线模型：DeepFindET。
- 自动化处理管线示例：AreTomo3。
- 分割方法示例：SABER、Membrain-Seg。
- 粒子挑选工具：octopi（chanzuckerberg GitHub 开源）。
- 上游参照仓库：EMPIAR（EBI）、ETDB。
补充硬事实（编号续）
- 门户由 CZI 基金 CZII-2023–327779 支持。
- 门户主引文被引约 42 次（Google Scholar，抓取时点，2024–2026 累计）。
- 幻影六类颗粒的 ground-truth 与冠军注释各有一对 EMDB 存档（apoferritin 73634/73635、beta-amylase 73640/73641、beta-galactosidase 73638/73639、ribosome 73631/73633、thyroglobulin 73642/73643、VLP 73636/73637）。
- 代表数据类型示例：CZCDP-10341（CZII 2-protein phantom v1.0，2026-01-09，1,516 annotations / 624 tomograms）。
- 代表数据类型示例：CZCDP-10336（E. coli 病毒样颗粒基准，2025-11-07，1,059 annotations / 628 tomograms）。
- 代表数据类型示例：CZCDP-10335（CryoLens 模拟训练数据，2025-11-03，1,737 annotations / 200 tomograms）。
- 代表数据类型示例：CZCDP-10331（SABER 专家在环引导分割，2025-05-22，630 annotations / 738 tomograms）。
- 代表数据类型示例：CZCDP-10312（近最小细胞 Mycoplasma mycoides JCVI-Syn3A，2025-07-25，1,559 annotations）。
- 代表数据类型示例：CZCDP-10332（BYU 细菌鞭毛马达定位挑战赛训练注释，2025-08-06，44 annotations）。
- 代表数据类型示例：CZCDP-10334（小鼠脑分离突触小泡，2025-11-17，380 annotations / 95 tomograms）。
- 门户中可见物种字段示例：Homo sapiens、Mus musculus、Escherichia coli。
- 门户中可见注释 objects 标签示例：membrane、intracellular membrane-bounded organelle、lysosome、virus-like capsid、cytoplasmic vesicle、endoplasmic reticulum、endosomal intralumenal vesicle、sample。
- 部分 dataset 的 objects 数量可达 13（如鼠源 DRG 神经元数据集）。
- 门户中的 cryo-FIB lift-out 数据覆盖小鼠皮层与海马 CA1 各层（如 DS-10527~10534）。
- 门户中 dataset ID 序列为 DS-10xxx，run ID 序列为 RN-18xxx，deposition ID 序列为 CZCDP-103xx。
术语表（关键概念速查）
| 术语 | 英文 | 含义 |
|---|---|---|
| 冷冻电子断层扫描 | cryo-electron tomography, cryo-ET | 在近天然状态下对细胞进行三维电子显微成像的技术 |
| 倾斜系列 | tilt series | 电子束从多个角度拍摄的系列二维投影图像 |
| 断层图 | tomogram | 由倾斜系列三维重建得到的体数据 |
| 亚断层平均 | subtomogram averaging, STA | 对齐并平均同一大分子的多个副本以提升分辨率 |
| 粒子挑选 | particle picking | 在断层图中定位大分子颗粒的位置（与朝向） |
| 语义分割 | semantic segmentation | 把体素划分为语义类别（膜/细胞器/囊泡等） |
| 缺失楔 | missing wedge | 因倾斜角度受限导致重建中缺失的部分空间信息 |
| 冷冻聚焦离子束 | cryo-FIB | 用离子束把厚样品减薄成电子可穿透的薄片（lamella） |
| 薄片 | lamella | cryo-FIB 切出的几百纳米厚的样品片 |
| 原理解析图 | reconstruction map | 由颗粒平均得到的三维密度图（存 EMDB） |
| 云优化格式 | OME-Zarr | 下一代、可分块流式读取的开放图像格式 |
| 机器学习就绪 | ML-ready | 数据可被 ML 工作流直接消费的综合能力 |
| 幻影数据集 | phantom dataset | 组成已知、可用于算法基准的真实感数据集 |
| 提交批次 | Deposition | 一批一起提交的数据集合（归属单位） |
| 采集运行 | Run | 单次数据采集（通常对应一组倾斜系列） |
§12 总结
12.1 三句话总结
- CZ CryoET Data Portal 是冷冻电子断层扫描领域的「标准化注释中间层」——在 EMPIAR/ETDB 等原始档案之上，用统一 schema、云优化 OME-Zarr 格式与标准化注释，重建出机器学习就绪的数据底座。
- 它以 CC0 全开放许可 + 四通道获取（网页/S3/GraphQL/Python）+ 完整工具链（copick/napari/示例 notebook），把 AI-Ready 的三层（可获取/可用/可复现）全部拉满，是本库条目谱系中最开放的一档。
- 它用幻影数据集与 Kaggle 挑战赛，把「注释算法评测」做成了可持续演进的社区资产——训练集刻意只给 7 张，评测的是标注稀缺下的方法创新，而非数据堆砌。
12.2 适合谁
- 开发 cryo-ET 语义分割 / 粒子挑选算法的研究者：门户提供标准化注释与云格式训练数据。
- 需要跨数据集基准的评测者：幻影数据集有冻结的 train/test 划分与社区挑战赛结果。
- 做**亚断层平均（STA）**的结构生物学家：门户提供高质量原位颗粒位点。
- 关心科学数据标准化与开放共享的策展/开放科学研究者：门户是可迁移的范式样本。
- 需要许可洁净训练数据的 ML 工程师：CC0 意味着几乎零法律摩擦。
12.3 不适合谁
- 找光学显微/病理切片数据的人：门户是电子断层扫描，不是 H&E 切片（那是 cryonuseg 一类）。
- 找患者级临床数据的人：门户是细胞/大分子结构成像，无患者个体数据。
- 想要「固定不变」数据快照的人：门户是活的数据库，计数持续变动，引用须带日期。
- 找冷冻电镜原始图像总档案的人：那应去 EMPIAR，门户是其上的 ML 层。
12.4 30 秒决策卡
| 如果你要…… | 用 CZ CryoET Data Portal？ |
|---|---|
| cryo-ET 三维分割训练数据 | ✅ 首选 |
| 粒子挑选基准 | ✅ 首选（幻影 + Kaggle 结果） |
| 冷冻电镜原始图像地毯式检索 | ❌ 去 EMPIAR |
| H&E 切片核分割 | ❌ 去 cryonuseg (rid 844) |
| 无条件可商用的数据 | ✅ CC0 |
| 免安装在线看图 | ✅ 网页 Neuroglancer |
| 批量/程序化获取 | ✅ S3 + Python API |
| 稳定的固定规模数据 | ⚠️ 数字会过时，引用须带日期 |
12.5 结语
CZ CryoET Data Portal 的价值，最终浓缩在它的论文标题里——「providing standardized annotations for cryo-electron tomography」。它没有选择去做「又一个数据托管网站」，而是精准地咬住了 cryo-ET 领域最制约发展的短板：在数据爆炸的时代，真正稀缺的不是图像，而是标准化、可训练、可复现的注释。
它给出的答案是一套组合拳：统一 schema 解决异构、云格式解决体量、开放许可解决摩擦、工具链解决门槛、社区注释与竞赛解决产能。这套组合不仅让 cryo-ET 的机器学习门槛骤降，也为任何「数据多而标注贵」的科学领域提供了一个值得研究的方法学样本。
对于千方病案医数集的读者而言，本条目既是一份数据获取指南（去哪下、怎么下、下什么），也是一份开放科学实践案例（一个平台如何同时做到开放、标准化与可持续）。
条目维护说明：门户规模数字具时效性，本条目正文以 2026-10-16 实抓为准。若后续核对，请以门户实时页面
browse-data/depositions与主站为准，并保留抓取日期。相关论文与工具链接见正文各处与 FACTS.md 来源清单。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：
- empiar — 共享标签：医学图像分割 / 评测基准 / 蛋白质组学 / 多模态
- cell-tracking-challenge — 共享标签：医学图像分割 / 目标检测 / 挑战赛数据集 / 评测基准
- kpis — 共享标签：医学图像分割 / 目标检测 / 挑战赛数据集 / 评测基准
- 3dteethland — 共享标签：目标检测 / 挑战赛数据集 / 评测基准
- psfhs — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
- toothfairy2 — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
- curvas — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
- toothfairy3 — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
- stsr — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
- prostate158 — 共享标签：医学图像分割 / 目标检测 / 评测基准
导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。
