CAMI II — 宏基因组解读关键评估第二轮挑战基准

INFOBOX — CAMI II 一屏速览

维度	内容
本质	社区驱动的宏基因组学软件基准评测（含金标准的挑战赛），非观测型微生物组资源库
全称	Critical Assessment of Metagenome Interpretation — the second round of challenges
论文	Nat Methods 19, 429–440 (2022)；doi:10.1038/s41592-022-01431-4；PMCID PMC9007738
牵头	Helmholtz Centre for Infection Research (HZI)，通讯 Alice Carolyn McHardy
比赛时间	各挑战于 2019 与 2020 年开放，提交窗口数月
数据规模	1,680 微生物基因组 + 599 环状元件（质粒/病毒）；772 新测序
环境	三类：marine（海洋）/ strain-madness（高菌株多样性）/ plant-associated（植物相关）
读长	长读长 + 短读长（CAMI II 相对第一轮的关键升级）
结果	5,002 组结果 / 76 程序版本 / 30 团队
任务	五类：assembly、genome binning、taxonomic binning、taxonomic profiling、+ pathogen detection
评测器	MetaQUAST（组装）、AMBER（分箱）、OPAL（profiling）
核心结论	组装显著进步（长读长助力）；近缘菌株仍是难点；profiler 成熟但对病毒/古菌不足；临床检测复现性待改进
获取	数据仓 PUBLISSO（doi:10.4126/FRL01-006425521）｜官网 cami-challenge.org｜代码 GitHub｜软件产出 Zenodo
许可	论文 CC BY 4.0；数据仓与第三方归档佐证 CC-BY-4.0
库内互链	库内 CAMI 系列首条（DB 无 %cami%）；同域异类：curatedmetagenomicdata、mgnify、american-gut-project

CAMI II 是宏基因组学界的"统一考场"：它不产生新的生物样本，而是计算模拟出三种环境的宏基因组数据，附上完整的金标准（gold standard），然后请全世界的工具开发者来"考试"——把组装器、分箱器、分类学 profiler 统统拉进同一个赛道，用统一的指标排名。比第一轮 CAMI 更狠的是：它加入了长读长数据和高菌株多样性环境（俗称 “strain-madness”，菌株疯狂），并首次把运行时间与内存消耗纳入评测，还开了一个临床病原检测的实战挑战。最终 30 个团队用 76 个程序版本交出了 5,002 组结果。

导语读法三则：

1. 只想拿数据做基准：直奔 §6 获取与许可——数据仓在 PUBLISSO 不在 Zenodo，别跑错门。
2. 关心"哪个工具最好"：直奔 §4 评测结果与 §5 任务拆解——注意条条指标不同、环境不同，没有单一"冠军"。
3. 区分 CAMI 三代：直奔 §3.4 与 §7——第一轮（2017）/ 本轮（2022）/ 第三轮（2026）口径不同，勿混用。

§0 导读：这个数据集解决什么问题

宏基因组学（metagenomics）在过去二十年飞速发展：直接从环境样本中提取全部 DNA 测序，然后靠软件推断"这里有哪些微生物、各有多少、基因组长什么样"。问题是——软件太多、说法太多、谁说了算？ 一个组装器宣称自己拼得最完整，另一个说自己最准，第三个说内存最省，但各自用的测试数据、评价指标都不一样，根本无法公平比较。

CAMI（Initiative for the Critical Assessment of Metagenome Interpretation，宏基因组解读关键评估计划）就是为了回答这个问题而生的社区驱动评测计划。它的做法是：

• 造一个统一的考场：用已知基因组计算模拟出宏基因组数据，因此每个物种、每个菌株的真实身份和丰度都是已知的（这就是"金标准"）；
• 设统一的科目：组装（assembly）、基因组分箱（genome binning）、分类学分箱（taxonomic binning）、分类学 profiling（taxonomic profiling）、病原检测（pathogen detection）；
• 用统一的评分：MetaQUAST、AMBER、OPAL 等标准化评测软件；
• 公开透明：数据、金标准、评测代码全部开放，参赛者须提交可执行软件与参数以保障可复现。

第一轮 CAMI（2017）建立了这套方法论，发现了"无菌株多样性时 binning 表现稳健"这一重要结论。CAMI II（本轮，2022）则把难度全面升级：数据更大更复杂、加入长读长、直面近缘菌株难题、新增效率指标与临床实战挑战。

它解决的三个具体问题：

1. 给工具开发者一把标尺：在同一数据、同一指标下，谁的组装更完整、谁的分箱更准、谁的 profiling 更接近真值，一目了然。
2. 给使用者一张选型地图：面对真实项目，研究者该选哪个工具？CAMI II 的排名与效率分析直接可用。
3. 给领域指出"坑在哪"：近缘菌株组装与分箱仍难、病毒与古菌的 profiling 仍弱、临床检测复现性待改——这些是数据集的"负结论"，同样宝贵。

一个必须澄清的定位：CAMI II 不是一个可供下载来做"微生物组流行病学研究"的观测数据资源；它是评测基准——数据是模拟的，金标准是人工构造的，其价值在于"公平比较方法"，而不在于"代表真实菌群"。库内同域的 curatedmetagenomicdata、mgnify、american-gut-project 都是观测型资源，与本条性质截然不同，切勿因为标签相近就合并理解（详见 §9）。

§1 数据集速览：十问十答

Q1：CAMI II 是什么？
宏基因组解读关键评估计划（CAMI）第二轮挑战赛的官方数据集与评测结果集合，2022 年发表于 Nature Methods。它是一个社区驱动的软件基准评测，核心资产是"模拟数据 + 金标准 + 统一评测结果"三件套。

Q2：谁做的？
德国 Helmholtz Centre for Infection Research (HZI) 计算感染生物学组牵头，通讯作者 Alice Carolyn McHardy；共同一作 Fernando Meyer 与 Adrian Fritz。作者是数十人的社区合集。

Q3：数据规模多大？
1,680 个微生物基因组 + 599 个环状元件（质粒与病毒）用于模拟。其中 772 个基因组和全部环状元件为新测序；901 个为 unique（与库内其他基因组 ANI<95%）、779 个为 common。

Q4：覆盖哪些环境？
三类：marine（海洋）、strain-madness（高菌株多样性）、plant-associated（植物相关，含真菌基因组与宿主植物材料）。每类都提供长读长与短读长模拟数据。

Q5：有哪些任务？
五类：assembly（组装）、genome binning（基因组分箱）、taxonomic binning（分类学分箱）、taxonomic profiling（分类学 profiling）、pathogen detection（临床病原检测）。

Q6：多少人参与、产出多少结果？
30 个团队、76 个程序版本、共 5,002 组结果。

Q7：怎么评测的？
组装用 MetaQUAST v5.1.0rc（适配 strain-resolved），分箱用 AMBER v2.0.3（ARI + 分箱比例），profiling 用 OPAL v1.0.10（completeness/purity/F1/L1/Bray-Curtis/UniFrac 等）。模拟数据由 CAMISIM 生成，基因组质量用 CheckM v1.0.11 把关，分类学归类用 CAMITAX。

Q8：核心发现是什么？
① 组装显著进步（长读长助力）；② 近缘菌株仍是组装与分箱的失效区；③ 分类学 profiler 显著成熟，但在病毒与古菌上表现不足；④ 临床病原检测复现性待改进；⑤ 效率分析识别出高性价比程序。

Q9：数据在哪下？许可如何？
数据仓 PUBLISSO（DOI 10.4126/FRL01-006425521），官网 cami-challenge.org 有入口。论文 CC BY 4.0（Open Access）。被测评软件的产出在 Zenodo CAMI 社区。评测代码在 GitHub。

Q10：和第一轮 CAMI 什么关系？
同一计划的前后两轮。第一轮（Nat Methods 2017）数据集为 high/medium/low complexity 三档；CAMI II 换了全新数据（新基因组、新环境），新增长读长、效率指标与临床病原检测。两者不可混为一谈。

§2 数据构成与规格

2.1 规模、来源与机构构成

CAMI II 的数据不是采集来的，而是算出来的。组织方从基因组库中挑选、补充测序，得到 1,680 个微生物基因组和 599 个环状元件（circular elements，涵盖质粒与病毒），然后用群落模拟器 CAMISIM 按设定的丰度与覆盖度生成"读长"（reads）——就像先写好答案再倒推出考卷。

新测序部分（一手核实）：论文 Methods 段明确，796 个新测序基因组的 Illumina 双端读长数据来自：

• 224 个拟南芥（Arabidopsis thaliana）根环境；
• 176 个海洋环境；
• 384 个临床肺炎链球菌（Streptococcus pneumoniae）菌株；
• 12 个鼠肠道（murine gut）菌株。

这 796 个新测序基因组组装后，与其余高质量公共基因组合并为 1,680 的模拟库。全部 599 个环状元件均为新测序。

unique vs common 的划分：沿用第一轮 CAMI 的定义，与任何其他基因组平均核苷酸一致性（ANI）<95% 者记为 unique，否则为 common。第二轮中：

• unique：901 个（marine 474 / plant-associated 414 / strain-madness 13）；
• common：779 个（marine 303 / plant-associated 81 / strain-madness 395）。

这个分布透露了设计意图：strain-madness 环境几乎全是 common（395/13）——即刻意塞入大量近缘菌株，制造"菌株分辨"难题；而 plant-associated 则以 unique 为主（414/81），强调物种多样性。

2.2 三类环境与两类读长

环境	设计意图	特性
marine（海洋）	常规复杂群落基线	物种多样、覆盖度梯度，提供 short/long/hybrid 三套金标准
strain-madness（高菌株多样性）	专攻"菌株分辨"极限	大量近缘菌株共存，common 基因组占绝对多数
plant-associated（植物相关）	引入真核与宿主成分	含真菌基因组与宿主植物材料，考验对非细菌序列的处理

两类读长：每个环境同时提供**短读长（short-read，Illumina 风格）与长读长（long-read，如 PacBio/Nanopore 风格）模拟数据，并支持混合（hybrid）**组装评测。这是 CAMI II 相对第一轮最实质的升级之一——它直接回应了测序技术向长读长演进的时代背景。

2.3 金标准的构造与规模

“金标准”（gold standard）是评测的基石：它给出正确答案，让评测器能算出每个提交"错在哪、错多少"。CAMI II 沿用第一轮做法，提供：

• 金标准组装（co-assembly 共组装 + single-sample 单样本组装两套）；
• 金标准分箱（哪些序列属于哪个基因组）；
• 金标准分类学 profile（每个分类阶元的真实丰度）。

海洋数据的金标准组装规模（一手核实）：

数据类型	金标准组装量
short-read marine	2.59 Gb
long-read marine	2.60 Gb
hybrid marine	2.79 Gb
strain-madness（各类型）	1.45 Gb

（单位 Gb = gigabase，十亿碱基。）

2.4 与第一轮 CAMI（CAMI I）的边界

CAMI I（Sczyrba et al., Nat Methods 14, 1063–1071, 2017）与本轮的差异必须记清，否则会张冠李戴：

维度	CAMI I（2017）	CAMI II（本轮，2022）
数据集	high / medium / low complexity 三档（DOI 10.5524/100344）	三环境全新模拟数据（marine/strain-madness/plant-associated）
读长	以短读长为主	新增长读长 + hybrid
环境难点	不同进化距离	新增高菌株多样性、真核/宿主成分
评测维度	精度类指标	新增 runtime 与内存消耗
特殊挑战	无	临床病原检测挑战
主要结论	无 strain diversity 时 binning 稳健	近缘菌株仍是难点；profiler 对病毒/古菌不足

一句话：CAMI I 建立了"统一考场"的方法论，CAMI II 把考场升级为"更难的科目 + 更多的维度 + 一场实战"。二者数据完全不重叠，引用时务必注明轮次。

2.5 基因组来源与 unique/common 分布详解

CAMI II 的 1,680 个微生物基因组并非平均分配，其 unique/common 构成在各环境间差异悬殊，这一分布直接决定了各环境的难度定位：

环境	unique（ANI<95%）	common	设计含义
marine（海洋）	474	303	unique 略多，物种多样与近缘共存
plant-associated（植物相关）	414	81	unique 压倒性多数，强调物种/真核多样性
strain-madness（高菌株多样性）	13	395	common 压倒性多数，专攻近缘菌株分辨
合计	901	779	—

读这张表的两个要点：

1. strain-madness 的 common 占比高达 96.8%（395/408）。这意味着该环境的群落几乎完全由"彼此 ANI≥95% 的近缘菌株"构成——正是组装器与分箱器最容易"合并同类项"（产生 consensus 或混合 bin）的场景。数据集这样设计，就是要逼出工具的失效边界。
2. plant-associated 的 unique 占比高达 83.6%（414/495）。这里的挑战不是菌株分辨，而是物种/谱系跨度大——尤其是引入了真菌基因组与宿主植物材料后，工具必须处理真核序列、非细菌分类阶元，这对传统偏向细菌的宏基因组工具是额外考验。

新测序 796 个基因组的来源构成（Methods 段）：

来源环境	数量	服务对象
临床肺炎链球菌（S. pneumoniae）菌株	384	提供同物种近缘菌株素材（strain-madness）
拟南芥（A. thaliana）根环境	224	plant-associated
海洋环境	176	marine
鼠肠道	12	通用/补充
合计	796	—

需要强调的是：新测序的 796 个基因组并非全部独立计入 1,680，而是经组装、CheckM 质控后，与公共高质量基因组合并、去冗余（按 ANI 阈值划分 unique/common），最终形成 1,680 的模拟库；而全部 599 个环状元件均为新测序，即质粒与病毒的参考序列在这一轮被系统性刷新。

2.6 数据规模的一句话摘要（供快速引用）

若只需一句话概括 CAMI II 的数据规模，可用：

CAMI II 基于 1,680 个微生物基因组 + 599 个环状元件（其中 772 个基因组与全部环状元件为新测序），模拟出海洋、高菌株多样性、植物相关三类环境的长读长与短读长宏基因组数据，附精确金标准，供组装、基因组分箱、分类学分箱、分类学 profiling、病原检测五类任务评测。

这句话包含了官方名、规模、环境、读长、任务五要素，适合作为综述或幻灯片中的标准表述。

2.7 数据格式与文件组织（AI-Ready 视角）

从 AI-Ready 语料的视角看，CAMI II 的数据组织遵循生物信息学的通用格式惯例：

内容	常见格式	说明
模拟读长	FASTA / FASTQ	序列 + 质量值，标准测序输出格式
金标准组装	FASTA	参考序列集合
金标准分箱	TSV	序列到基因组的映射表
金标准 profile	TSV	分类阶元 + 真实丰度
评测结果	TSV / 表格	各方法在各指标上的取值

结构化的优势：金标准以表格形式给出"标准答案"，使任何方法的输出都可被机器自动比对打分——这正是"AI-Ready"所需的结构化监督信号。数据集附带丰富的 Supplementary Tables（论文补充材料），逐项记录了基因组清单、提交详情、评测细节，为自动化处理与复现提供了充分元数据。

模拟数据的 AI 使用注意：由于读长是模拟生成的，其质量分布、错误模型、GC 偏差等都遵循模拟器的假设。将 CAMI II 用于训练或评测机器学习模型时，应把它视为受控条件下的基准语料，而非真实世界的完整采样——模型在此表现优异，不代表在真实测序数据上同样优异。

§3 组织与运作：一场"公平考试"是怎么设计的

3.1 计划与治理：HZI 牵头的社区努力

CAMI 由 Helmholtz Centre for Infection Research（HZI，亥姆霍兹感染研究中心，位于德国布伦瑞克） 的计算感染生物学组牵头，协同 Braunschweig Integrated Centre of Systems Biology（BRICS，布伦瑞克系统生物学综合中心，隶属布伦瑞克工业大学）。通讯作者 Alice Carolyn McHardy 是计划的灵魂人物（论文标注 HZI + BRICS 双单位）。共同第一作者为 Fernando Meyer 与 Adrian Fritz，均出自 HZI/BRICS。

其治理模式的三个特点：

1. 社区驱动（community-driven）：工具开发者不是被评测的"对象"，而是参与评测的"共同体成员"——他们被鼓励提交可执行软件、参数与数据库，使结果可复现；
2. FAIR 与可复现为原则（数据 Findable/Accessible/Interoperable/Reusable + reproducibility）：论文明确把数据 FAIRness 与可复现性列为 defining principles；
3. 开放获取：论文 CC BY 4.0，数据、金标准、评测代码全部公开。

3.2 挑战赛时间线与参与规模

• 2019 与 2020 年：各挑战分批开放（opened in 2019 and 2020），提交窗口开放数月（several months）；
• 30 个团队参与；
• 76 个程序版本被评测（含同一程序的不同版本与不同参数设置）；
• 共收到 5,002 组结果；
• 2022-02-14 论文在线，2022-04-08 正式出版。

一个易被忽略的细节：“程序版本”（program versions）≠“工具数”。同一个工具可能因不同版本、不同参数、不同预处理选项而被多次提交与评测。因此"76"这个数字反映的是提交配置数，而非 76 款独立软件。

3.3 评测流程：从模拟到排名

[1] 基因组准备
      796 个新测序基因组（Illumina 双端）→ 组装
      与高质量公共基因组合并 → 1,680 微生物基因组 + 599 环状元件
      质量把关：CheckM v1.0.11
      分类学归类：CAMITAX
      参考库：NCBI RefSeq / nt / nr（状态 2019/01/08）
            │
            ▼
[2] 群落与数据模拟
      工具：CAMISIM（from_profile 模式）
      产物：三环境 × 长短读长 读长数据 + 金标准（组装/分箱/profile）
            │
            ▼
[3] 参赛者提交
      要求：可执行软件 + 参数设置 + 所用参考数据库（保障可复现）
            │
            ▼
[4] 标准化评测
      assembly           → MetaQUAST v5.1.0rc（strain recall/precision）
      genome binning     → AMBER v2.0.3（ARI + 分箱比例）
      taxonomic binning  → 纯度 / 完整度 / 准确度（per-rank）
      taxonomic profiling→ OPAL v1.0.10（多指标）
      pathogen detection → 人工整理比对
            │
            ▼
[5] 排名与发表
      多指标排名，取各方法最高排名代表值；汇总于论文 + GitHub + Zenodo

评测工具的分工（一手核实）：

• MetaQUAST v5.1.0rc：为"strain-resolved 组装"做了适配（Supplementary Text），并计算 strain recall 与 precision；
• AMBER v2.0.3：用 ARI（Adjusted Rand Index） 结合分箱数据比例来量化分箱表现；
• OPAL v1.0.10：从 completeness、purity 出发，扩展到 F1-score、L1-norm error、Bray–Curtis、Shannon equitability、weighted UniFrac error 等多维指标。

3.4 三源互证与口径纪律

本节的所有硬数字均经三源互证：论文 Results 段（精确值）+ 摘要（约数）+ 官网 datasets 页（数据集清单）。核验中发现并已存照的口径问题：

• 摘要 vs 正文：摘要写"around 1,700 genomes, 600 new plasmids and viruses"，正文 Results 段精确为 1,680 基因组 / 599 环状元件。引用精确值，勿用约数。
• 本轮 vs Portal 累计：官网 Stats 栏显示的 14 datasets / 42,441 results / 126 methods 是 CAMI I+II+III 全 portal 累计（Portal 2024 上线后持续累加），不是第二轮的 5,002。两者必须分清。

3.5 "考卷"是如何造出来的：三步法细节

CAMI II 的考卷构造可分为三步，每一步的工程选择都会影响最终评测的公平性：

第一步：基因组选材与补测。
组织方从公共库中挑选高质量基因组，同时补测了 796 个新基因组以覆盖特定环境。新测序部分的构成极具针对性：

• 224 个拟南芥（Arabidopsis thaliana）根环境基因组——服务 plant-associated 环境；
• 176 个海洋环境基因组——服务 marine 环境；
• 384 个临床肺炎链球菌（Streptococcus pneumoniae）菌株——为高菌株多样性提供近缘素材（同一物种的数百菌株是天然的 strain-madness 原料）；
• 12 个鼠肠道菌株。

这 796 个基因组的 Illumina 双端读长数据经组装后，与公共高质量基因组合并，才得到 1,680 微生物基因组 + 599 环状元件的模拟库。

第二步：质量把关与分类学归类。

• 组装质量用 CheckM v1.0.11 评估（完整性/污染度），确保入库基因组"干净"；
• 分类学地位用 CAMITAX 归类，建立模拟时的物种标签；
• 参考序列集合采用 NCBI RefSeq、nt、nr，状态定格在 2019/01/08——这个日期很重要，它意味着评测使用的是"当时可用的参考库"，避免了因参考库持续更新导致的结果漂移。

第三步：群落模拟与金标准生成。
用 CAMISIM（from_profile 模式）按设定的群落结构生成读长数据。由于群落结构、基因组序列、丰度都是已知的，金标准天然获得：哪些序列属于哪个基因组（金标准分箱）、各分类阶元真实丰度是多少（金标准 profile）、原始基因组拼起来什么样（金标准组装）。

工程上的一个关键抉择：CAMI II 同时提供 co-assembly（多样本共组装）与 single-sample assembly（单样本组装）两套金标准。这不是冗余，而是因为两种策略各有适用场景——共组装可利用跨样本的覆盖度信息，单样本组装则避免把不同样本的近缘菌株混在一起。提供两套金标准，才能公平评价两类策略。

3.6 为什么"参与者须提交软件和参数"

CAMI II 有一条看似苛刻的要求：参赛者提交结果时，必须同时提供可执行软件、参数设置与所用参考数据库。这条要求的背后，是对**可复现性（reproducibility）**的坚持：

• 宏基因组分析高度依赖参考库版本与参数设置，同样一款工具、不同参数，结果可能天差地别；
• 若不记录这些，评测结果就变成"不可复现的黑箱输出"，排名失去科学意义；
• 论文把这理解为 CAMI 的"defining principles"之一（数据 FAIRness 与可复现性）。

一个耐人寻味的反差：恰恰是最强调可复现性的 CAMI II，在临床病原检测这一科目上发现了"复现性不足"的现实——说明可复现性在从"竞赛"走向"临床落地"时，面临着远超技术层面的挑战。

§4 评测结果：第一轮之后，工具们进步了多少

CAMI II 的核心价值，在于它给出的"进步体检报告"。下面按任务拆解，先给总览，再给关键数字与结论。

4.1 总览：谁提交了什么

任务	提交规模	程序/方法数	说明
Assembly（组装）	155 submissions	20 assembler versions	含多参数/多预处理设置
Genome binning（基因组分箱）	95 results	18 binner versions	仅短读长组装上评测
Taxonomic binning（分类学分箱）	547 results	9 methods/versions	reads 或 GSA 上
Taxonomic profiling	4,195 results	22 method versions	最多的一类
Pathogen detection（病原检测）	10 条人工整理结果	—	临床实战挑战

Genome binning 的 95 条细分（一手核实）：strain-madness GSA 22 条、strain-madness MEGAHIT 组装（MA）17 条、marine MA 19 条、marine GSA 15 条、plant-associated GSA 12 条、plant-associated MA 10 条。

Taxonomic binning 的 547 条细分：marine 75 条、strain-madness 405 条、plant-associated 67 条。

Profiling 的 4,195 条细分：marine 292 条、strain-madness 2,603 条、plant-associated 1,300 条；以短读长样本结果为主，少数为长读长、组装或跨样本平均。

一个直观感受：profiling 提交量（4,195）是组装的（155）近 27 倍。这反映了领域的工具分布——profiling 工具数量多、门槛低、迭代快；而组装器本身数量少、每个提交的算力成本高。

4.2 组装：显著进步，但近缘菌株仍是硬骨头

核心结论（论文原文口径）：组装出现 substantial improvements（实质性进步），其中部分得益于长读长数据。

具体观察：

• 组装质量随基因组间进化距离降低而下降（low evolutionary divergences → 易产生 consensus 或碎片化组装）；
• 近缘菌株（related strains）的 strain-resolved 组装仍具挑战；
• 长读长数据在 strain-madness 数据上显示出优势；
• 对于确需区分近缘菌株且覆盖度足够的场景，论文指出单样本组装（如 HipMer）可能优于共组装。

衡量组装的指标：strain recall 与 strain precision（经 MetaQUAST 适配版计算）。

4.3 基因组分箱：依赖组装质量，参数影响出人意料地小

关键数字（一手核实）：对海洋 GSA（gold standard assembly），平均 bin purity = 81.3 ± 2.3%，genome completeness = 36.9 ± 4.0%。

这意味着：即便在精心构造的金标准组装上，回收基因组平均只覆盖了约 37% 的完整度——分箱的"天花板"受制于组装，而组装又受制于近缘菌株。这是一个典型的"上游决定下游"的案例。

一个反直觉的发现：分箱器的性能跨指标、跨版本、跨数据集、跨组装类型差异很大，但参数设置对性能的影响多数小于 3%。换句话说，选对工具比调参重要得多——这对实际使用者的选型决策极具指导意义。

4.4 分类学 profiling：成熟了，但病毒与古菌仍是短板

核心结论：profiler 显著成熟（markedly matured）；分类学 profiler 与 binner 在较高细菌分类阶元（higher bacterial ranks）表现优异，但在病毒（viruses）与古菌（Archaea）上表现不足（underperforming）。

这一结论延续了第一轮的观察——病毒与古菌始终是宏基因组解读的"困难户"：它们的基因组小、参考库不全、分类学地位模糊，导致 profiling 与 binning 都易失手。CAMI II 用更复杂的模拟数据再次印证了这一点。

profiling 的评估维度（OPAL）：completeness、purity、F1-score、L1-norm error、Bray–Curtis、Shannon equitability、weighted UniFrac error——既有"有没有找到"（completeness）、“找得纯不纯”（purity），也有"丰度估得准不准"（L1/Bray-Curtis）与"群落结构像不像"（UniFrac）。

最佳方法示例（跨指标，海洋数据，一手核实）：

• 分类学 profiling：mOTUs 2.5.1、MetaPhlAn 2.9.22 与 v.cami1 表现突出；
• 分类学分箱：Kraken 2.0.8 beta、Ganon 0.1.4、MEGAN 6.15.2 表现突出。

植物相关数据上的细节：在属（genus）阶元，sourmash_gather v3.3.2_k31_sr 综合最佳（completeness 53.3%、purity 89.5%）；在 PacBio（长读长）上，sourmash_gather v3.3.2_k31 与 MetaPhlAn v3.0.7 的 purity 最高（属 98.5%/95.5%，种 64.4%/68.8%）。

4.5 效率维度：CAMI II 的新增科目

CAMI II 首次把 runtime（运行时间） 与 内存消耗（memory usage） 纳入正式评测，识别出"高性价比"程序。这回应了一个真实痛点：精度最高的工具往往算不动大项目，而效率数据能帮使用者在精度与资源之间做权衡。

效率冠军示例（一手核实）：

• 最快（Fastest）：MetaHipMer 2.0.1.2、MEGAHIT 1.2.7（组装）；
• 最省内存：MEGAHIT 1.2.7、GATB 1.0（组装）等。

一个值得注意的现象：部分在其他指标上排名靠前的工具同时也很高效（“including top performers with other metrics”），打破了"高精度必然高消耗"的刻板印象。

4.6 临床病原检测：一次暴露复现性短板的实战

这是 CAMI II 相对第一轮的全新挑战：给定一名危重患者（未知感染）的临床宏基因组样本，要求参赛者识别病原并指出可能致病的元凶。

结果与关键数字：

• 共收到 10 条人工整理（manually curated） 的结果；
• 每条结果识别出的分类阶元数量差异很大；
• 3 条提交正确识别出致病病原——克里米亚-刚果出血热正内罗病毒（Crimean–Congo hemorrhagic fever orthonairovirus, CCHFV）。

核心结论：临床病原检测结果暴露出可复现性（reproducibility）亟待改进的问题。这一发现对临床宏基因组诊断的落地极具警示意义——检测出病原不难，难的是稳定、可重复地检测出。

4.7 三环境的表现差异：一份"难度梯度"报告

CAMI II 的三个环境并非等价，它们构成了一条难度梯度：从常规复杂的 marine，到专攻菌株分辨的 strain-madness，再到引入真核与宿主成分的 plant-associated。方法在三者上的表现差异，本身就是重要信息。

marine（海洋）——常规复杂群落的试金石

• 提交量适中（profiling 292、taxonomic binning 75），是多数工具的"基准战场"；
• 组装金标准三套齐全（short 2.59 / long 2.60 / hybrid 2.79 Gb），便于横向比较长读长收益；
• 分箱表现有明确数字：GSA 平均 bin purity 81.3±2.3%、completeness 36.9±4.0%。

strain-madness（高菌株多样性）——极限压力测试

• common 基因组 395 个 vs unique 仅 13 个，即群落几乎全由近缘菌株构成；
• taxonomic binning 提交 405 条（三环境之最）、profiling 提交 2,603 条（三环境之最）——社区最想攻克的就是这块；
• 组装与分箱在此普遍失手，正是数据集刻意暴露的"失败样本库"。

plant-associated（植物相关）——真核与宿主的干扰场

• unique 基因组 414 个 vs common 81 个，即物种多样、菌株压力小；
• 额外引入真菌基因组与宿主植物材料，考验工具对非细菌序列的鲁棒性；
• 一个具体发现：在属（genus）阶元，sourmash_gather v3.3.2_k31_sr 综合最佳（completeness 53.3%、purity 89.5%）；在 PacBio 长读长上，sourmash_gather v3.3.2_k31 与 MetaPhlAn v3.0.7 的 purity 最高（属 98.5%/95.5%，种 64.4%/68.8%），而 sourmash_gather v3.3.2_k21_sr 的 completeness 最高（属 61.9%、种 53.8%）。

难度梯度小结：marine 看"基本盘"，strain-madness 看"极限"，plant-associated 看"杂质干扰"。选择评测子集时，应按你的真实场景对应选择——做肠道菌群研究就重点参考 strain-madness，做环境/农业微生物组则重点参考 plant-associated。

4.8 长读长到底带来了多大收益

CAMI II 把长读长作为核心升级，其收益在组装任务上体现得最明显：

• 论文总体判断是组装出现"实质性进步，部分得益于长读长数据"；
• 在 strain-madness 数据上，长读长与混合（hybrid）策略显示出优于纯短读长组装的潜力；
• 具体到方法表现（跨指标最佳示例，一手核实）：strain-madness 组装中，GATB 1.0（hybrid）、HipMer 1.0（短读长）、OPERA-MS 0.8.3（hybrid）表现突出；marine 组装中，HipMer 1.0、metaSPAdes 3.13.1、ABySS 2.1.5（均短读长）表现突出。

一个务实的结论：长读长是"缓解"而非"根除"近缘菌株难题。它能跨过重复区、拉长 contig，但当菌株间差异小到一定程度，组装仍会退化为 consensus。使用者在预算允许时应优先考虑长读长或 hybrid，但不要期待它能彻底解决 strain 分辨。

4.9 读这组结果的三条守则

1. 没有单一冠军：组装、分箱、profiling 是不同科目，每个科目内又有多套指标（完整度 vs 纯度 vs 效率），"最好"取决于你的场景。选型时应先明确自己最在意哪一项。
2. 上游决定下游：分箱质量高度依赖组装质量；profiling 质量部分依赖分箱质量。看单科目排名时，别忘了它背后的数据前提（用的是 GSA 还是 MA、short 还是 long）。
3. 负结论同样重要：近缘菌株、病毒、古菌、临床复现性——这四块"没做好"的领域，是数据集留给领域最有价值的方向指引。

§5 五类任务详解：每个科目考什么、怎么考

CAMI II 的"考卷"分为五个科目。理解每个科目的输入、输出与评分逻辑，是用好这份数据集的前提。

5.1 Assembly（组装）：把碎片拼成基因组

• 输入：模拟的读长（reads）——长短读长均有；
• 任务：把这些短片段拼成更长的连续序列（contigs），目标是尽可能还原原始基因组；
• 输出：组装序列（FASTA）；
• 评分：MetaQUAST v5.1.0rc，计算 strain recall 与 precision（经适配以评估 strain-resolved 组装）；
• 难点：近缘菌株会产生"consensus 组装"（把两个菌株误拼成一个）或碎片化；
• 金标准：共组装 + 单样本组装两套；海洋 short/long/hybrid 三套金标准的规模分别为 2.59/2.60/2.79 Gb。

给使用者的提示：如果你的样本菌株多样性高（如肠道、发酵食品），CAMI II 的 strain-madness 结论直接适用——别指望组装器能干净地区分近缘菌株，必要时考虑单样本组装或长读长策略。

5.2 Genome binning（基因组分箱）：把 contigs 归回各自的基因组

• 输入：组装产物（contigs）或读长；
• 任务：把属于同一基因组的序列聚成"箱"（bin），每个 bin 理论上对应一个微生物基因组；
• 输出：bin 集合；
• 评分：AMBER v2.0.3，用 ARI（Adjusted Rand Index） + 分箱数据比例；
• 关键发现：海洋 GSA 上平均 bin purity 81.3±2.3%、genome completeness 36.9±4.0%——完整度显著低于纯度，说明"分得纯但分不全"是普遍现象；
• 反直觉结论：参数影响 <3%，工具选择远比调参重要。

5.3 Taxonomic binning（分类学分箱）：给每个 bin 贴上物种标签

• 输入：读长或组装序列；
• 任务：把序列分成带分类学标识的箱——即不仅分组，还要说出每组是什么物种；
• 输出：带 taxon ID 的 bin；
• 评分：bin 的平均纯度（purity）与完整度（completeness），以及各阶元的准确度；
• 规模：547 条结果，9 个方法/版本（marine 75、strain-madness 405、plant 67）；
• 观察：strain-madness 的提交量（405）远超其他环境，说明"高菌株多样性下的分类学分箱"是社区最关心的难题。

5.4 Taxonomic profiling（分类学 profiling）：不组装，直接说"有什么、有多少"

• 输入：原始读长（reads）；
• 任务：直接给出样本中的物种组成与相对丰度（哪些微生物、各占多少），不经过组装；
• 输出：分类学 profile（taxon + relative abundance）；
• 评分：OPAL v1.0.10，多维指标——completeness、purity、F1-score、L1-norm error、Bray–Curtis、Shannon equitability、weighted UniFrac error；
• 规模：4,195 条结果、22 个方法版本——是五类任务中参与最火热的；
• 结论：profiler 显著成熟，但对病毒与古菌不足。

为什么 profiling 这么火？ 因为它便宜：不需要组装，直接从 reads 出结果，速度快、内存省，是大量微生物组研究的"第一站"。也因此，它的工具生态最繁荣，CAMI II 的评测对选型最有参考价值。

5.5 Pathogen detection（临床病原检测）：真实临床的实战

• 输入：一例危重患者（未知感染）的临床宏基因组样本；
• 任务：识别样本中的病原，并指出最可能导致症状的那一个；
• 输出：病原列表 + 判定；
• 规模：10 条人工整理结果；
• 结果：3 条正确识别出 CCHFV（克里米亚-刚果出血热正内罗病毒）；
• 核心结论：暴露出复现性不足——这正是临床宏基因组诊断从"能做"到"可靠"之间的鸿沟。

5.6 五任务对照总表

任务	输入	输出	评测工具/指标	提交数	核心难点
Assembly	读长	组装序列	MetaQUAST（strain recall/precision）	155	近缘菌株
Genome binning	contigs/reads	序列分组	AMBER（ARI + 比例）	95	依赖组装质量
Taxonomic binning	reads/GSA	带 taxon 的 bin	纯度/完整度/准确度	547	高菌株多样性
Taxonomic profiling	reads	丰度 profile	OPAL（多维）	4,195	病毒/古菌
Pathogen detection	临床 reads	病原判定	人工整理	10	复现性

5.7 五类任务的实用选型建议

把 CAMI II 的结论落到"我该怎么做"的层面，可归纳如下：

如果你做组装（assembly）：

• 优先考虑长读长或 hybrid，尤其在菌株多样性高的样本上；
• 若覆盖度足够且需要区分近缘菌株，单样本组装可能优于共组装；
• 对效率敏感的场景，MEGAHIT 1.2.7 在速度与内存上都表现优秀，MetaHipMer 2.0.1.2 也在最快之列。

如果你做基因组分箱（genome binning）：

• 不要在调参上浪费时间（影响 <3%），把精力放在提高组装质量上；
• 预期"分得纯但分不全"（marine GSA 上 purity 81% vs completeness 37%），不要把"完整回收所有基因组"当作默认目标；
• 效率优先时，MetaBAT 2.13、MaxBin 2.0.2 的内存表现较好。

如果你做分类学分箱（taxonomic binning）：

• marine 场景下 Kraken 2.0.8 beta、Ganon 0.1.4、MEGAN 6.15.2 表现突出；
• 高菌株多样性场景要格外谨慎——这是最容易出错的地方（405 条提交中大量方法未能良好区分近缘菌株）。

如果你做分类学 profiling：

• 这是最成熟的科目，工具生态最繁荣（4,195 条提交来自 22 个方法版本）；
• 细菌高分类阶元可靠，病毒与古菌需谨慎——若你的研究关注病毒组或古菌，务必选用专门的工具并做额外验证；
• 植物相关数据上，sourmash_gather 系列与 MetaPhlAn v3.0.7 在属/种阶元表现较好；
• 效率优先时，FOCUS 1.5、Bracken 2.2、mOTUs 1.1.1 值得考虑。

如果你做临床病原检测：

• 参考 CAMI II 的警示——检测灵敏度不是唯一目标，可复现性才是落地瓶颈；
• 建立标准化的参考库版本管理与结果复核流程。

5.8 从"竞赛"到"服务"：CAMI 的使用姿势演化

CAMI II 作为一轮挑战赛，其产物是"论文 + 数据集 + 快照式排名"。但工具是持续更新的，2022 年的排名会过时。因此，CAMI 生态演进出两种使用姿势：

1. 静态使用：直接引用 CAMI II 论文的结论与数据集，适合方法学综述、历史对比、教学案例；
2. 动态使用：借助 CAMI Benchmarking Portal（2024 上线）在线提交自己的结果并获得实时排名，适合工具开发者持续迭代。

建议：写论文引用"某工具在 CAMI II 中表现如何"时，注明是第二轮快照；若要声称"当前最优"，应查询 Portal 的最新排名（口径 B），并明确区分两套数字。这是避免口径混淆的实操方法。

§6 获取与许可：数据在哪、怎么拿、能不能商用

这是检索者最关心、也最容易被误导的一节。CAMI II 的数据托管地与 brief 的常见说法不同，务必按本节为准。

6.1 三处资产、三个入口

CAMI II 的资产分散在三处，性质各异：

资产	托管地	入口	许可
主数据集（三环境模拟数据 + 金标准）	PUBLISSO 数据仓（德国 ZB MED 运营）	DOI 10.4126/FRL01-006425521	记录页未逐字确认；第三方归档佐证 CC-BY-4.0
官方清单与跳转	CAMI 挑战赛官网	https://cami-challenge.org/datasets/	随各数据集条目
评测代码	GitHub	https://github.com/CAMI-challenge/second_challenge_evaluation	见仓库
被测评软件产出	Zenodo CAMI 社区	https://zenodo.org/communities/cami/	各记录自述
新测序基因组原始数据	ENA（BioProject）	PRJEB50270 / PRJEB50297 / PRJEB50298 / PRJEB50299 / PRJEB43117 / PRJEB37696	见 ENA 记录
论文本体	Nature Methods	doi:10.1038/s41592-022-01431-4	CC BY 4.0

⚠️ 关键纠正：网络二手资料常称"CAMI II 托管于 Zenodo"。实核结论：主数据集（模拟数据 + 金标准）托管于 PUBLISSO（DOI 10.4126/FRL01-006425521）；Zenodo 托管的是被测评软件的产出（benchmarked software outputs）。二者不可混。Zenodo 上确有第三方衍生数据集（如 COMEBin 归档的 CAMI II marine 输入、CAMI2 MEGAHIT 组装等），但那是社区衍生物，非官方主数据。

6.2 逐数据集下载入口

官网 datasets 页列出 CAMI II 的四类数据集及直链：

数据集	下载入口	DOI
Marine（海洋）	https://frl.publisso.de/data/frl:6425521/marine/	10.4126/FRL01-006425521
Strain-madness（高菌株多样性）	https://frl.publisso.de/data/frl:6425521/strain/	10.4126/FRL01-006425521
Plant-associated（植物相关）	https://frl.publisso.de/data/frl:6425521/plant_associated/	10.4126/FRL01-006425521
Clinical pathogen detection（临床病原检测）	https://frl.publisso.de/data/frl:6425521/patmgCAMI2.tar.gz	10.4126/FRL01-006425521

另有 CAMI II 相关的练习数据集（Toy / practice benchmark），供参赛者提前熟悉数据格式：

• Toy Mouse Gut：DOI 10.4126/FRL01-006421672（frl:6421672）；
• Toy Human Microbiome Project：DOI 10.4126/FRL01-006425518（frl:6425518）。

6.3 许可与商用：能用到什么程度

• 论文：CC BY 4.0（署名即可，允许改编、分发、商用）；
• 主数据集：PUBLISSO 记录页的许可字段未在本次可核范围内逐字确认。第三方归档佐证：Zenodo 上 COMEBin 数据集明确称"CAMI II marine 数据……为基准保存目的按 CC-BY-4.0 逐字归档"。据此合理推断 CAMI II 数据适用 CC-BY-4.0，但如需精确商用授权，建议发布前另行核 PUBLISSO 记录页（见 §10 坑点 3）；
• 软件产出与评测代码：各 Zenodo 记录 / GitHub 仓库自述的许可为准，逐个核对。

6.4 AI-Ready 评估：这份基准的"可获取性光谱"

从 AI-Ready 角度看 CAMI II 的获取友好度：

• 优势：数据托管于带 DOI 的学术数据仓（PUBLISSO），有稳定的引用标识；官网有清晰的数据集清单与直链；金标准、评测代码、软件产出多处公开；论文 CC BY 4.0。
• 劣势：资产分散在三处以上（数据仓 + GitHub + Zenodo + ENA），检索者需拼图；PUBLISSO 记录页许可字段不够显眼；模拟数据的复用需要在方法学上说明模拟器假设，不能直接当真实样本用。

一句话建议：数据去 PUBLISSO，代码去 GitHub，软件产出与衍生分析去 Zenodo，原始测序去 ENA——四个入口各司其职，别指望一个链接搞定全部。

§7 生态与谱系：CAMI 三代与宏基因组基准版图

7.1 CAMI 三代时间线

CAMI 不是一次性项目，而是一个持续演进的评测计划。理解谱系，才能准确定位本条：

代次	关键论文	时间	数据集	主要升级
CAMI I	Sczyrba et al., Nat Methods 14, 1063–1071	2017	high/medium/low complexity（DOI 10.5524/100344）	建立统一考场方法论；发现无菌株多样性时 binning 稳健
CAMI II（本条）	Meyer, Fritz, Deng, Koslicki, McHardy et al., Nat Methods 19, 429–440	2022	marine / strain-madness / plant-associated（DOI 10.4126/FRL01-006425521）	新增长读长、效率指标、临床病原检测
CAMI III	进行中（官网公告）	2026 起	Longitudinal Human Gut、Toy Longitudinal Human Gut 等（DOI TBA）	引入**纵向（时间序列）**人体肠道数据、GTDB-based taxonomic profiles

CAMI III 的动向（官网 2026 年公告，一手核实）：

• 2026-03-19：CAMI III 启动，发布 pre-challenge 基准数据集"CAMI III Toy Longitudinal Human Gut"；
• 2026-07-14：CAMI III Challenges 正式开放；
• 2026-08-03：profiling challenge 更新，开始接受 GTDB-based taxonomic profiles；
• 2026-08-10：CAMI III Toy Longitudinal Human Gut 的样本-个体分配作出更正；
• 2026-10-15：CAMI III Longitudinal Human Gut 的金标准与真实组装发布，binning 与 profiling 挑战截止日期为 2027-01-31。

可以看出 CAMI III 的两大新方向：纵向/时间序列（不再只是静态快照）与 GTDB 分类体系（回应分类学框架的更新）。这反衬出 CAMI II 的定位——它是"静态、单样本、传统分类体系"时代的成熟期成果。

7.2 评测工具生态

CAMI II 不仅评测工具，还产出工具——其评测管线本身已成为生态基础设施：

• MetaQUAST（组装评测）、AMBER（分箱评测）、OPAL（profiling 评测）三大评测器，均有 biocontainer 镜像（quay.io），可被复用于其他基准；
• CAMISIM（群落模拟器）、CAMITAX（分类学归类）、CheckM（基因组质量）构成了"造考场"的工具链。

7.3 CAMI Benchmarking Portal：从论文到在线服务

2024-12-05，CAMI 上线了在线评测门户（CAMI Benchmarking Portal），2025 年在 Nucleic Acids Research 发表（DOI 10.1093/nar/gkaf369）。门户提供在线的评测与排名服务，是 CAMI II 从"一次性论文"走向"持续性服务"的标志。

门户的累计统计（口径 B，务必与第二轮区分）：

• 14 datasets / 42,441 total results / 582 samples / 126 methods；
• 分类：Assembly 120、Genome binning 491、Taxonomic binning 6,516、Taxonomic profiling 35,314；
• 方法数按类别：Assembly 30、Genome binning 40、Taxonomic binning 19、Taxonomic profiling 45。

再次强调：这 42,441 是 CAMI I+II+III 全 portal 累计，包含历轮全部提交并持续增长；CAMI II 第二轮本身只有 5,002 组结果。两者相差近 8.5 倍，混用会导致严重的数据规模错误陈述。

7.4 在宏基因组数据版图中的位置

宏基因组领域的数据资源大致可分两类：

• 观测型资源（observational）：真实测序样本的集合，用于发现新的微生物、研究菌群与疾病的关系。例：curatedmetagenomicdata、mgnify、american-gut-project。
• 评测基准（benchmark）：模拟或精心构造的数据 + 金标准，用于公平比较方法。例：CAMI 系列、以及各类模拟基准。

CAMI II 属于后者，且是这一类别中最具权威性和社区共识度的代表之一。它的价值不在于"数据本身有多少生物信息"，而在于它定义了什么叫做"工具好不好"。

7.5 对下游方法学的影响

CAMI II 的影响不止于"排名"，它实际上重塑了宏观基因组工具开发与使用的方法学惯例：

1. "上 CAMI 考一次"成为工具发布的惯例。许多组装器、分箱器在论文中会报告其在 CAMI 数据集上的表现，CAMI 结果逐渐成为事实上的"行业认证"。
2. 效率与精度的双维度思考。CAMI II 引入 runtime/内存评测后，"这个工具跑得动吗"与"这个工具准吗"被并列为选型决策的两个维度。
3. 负结论驱动攻关方向。近缘菌株、病毒/古菌、临床复现性三块短板被明确指出后，成为后续研究与工具改进的重点靶向。
4. 可复现性成为提交门槛。参赛须附软件与参数的要求，推动社区形成"可复现优先"的规范。

从生态位看：CAMI II 处在一个独特的位置——它既不产生新的生物学知识，也不直接服务临床应用，却是连接"工具开发者"与"工具使用者"的关键基础设施。用一句话概括其价值：它让宏基因组领域从"各自吹牛"走向"同台竞技"。

7.6 与同时期其他基准的比较视角

宏基因组领域并非只有 CAMI 一家基准。与之并存的还有各类针对特定任务、特定环境或特定工具的评测工作。CAMI II 的独特之处在于：

• 广度：一次覆盖组装、分箱、profiling、病原检测四类核心任务（外加分类学分箱），是少有的"全科考试"；
• 社区性：由社区共同参与而非单一团队闭门评测，公信力更高；
• 持续演进：从 CAMI I 到 II 再到 III，形成了十余年的连续性；
• 完全开放：数据、金标准、评测代码全部公开，可被独立复现与复用。

给使用者的建议：如果你的任务恰好在 CAMI II 的覆盖范围内（大多数宏基因组核心任务都在），优先参考 CAMI II 的结论；若你的任务更细分（如特定环境、特定长读长平台），可在参考 CAMI II 的基础上补充针对性评测。

§8 方法学启示：四条可迁移的经验

CAMI II 作为一份成熟的基准工作，留下了四条超越"哪个工具最好"的方法学启示。

8.1 金标准 + 模拟是评测方法的黄金组合

真实数据没有"标准答案"，所以无法客观评测工具。CAMI 的解法是：用已知基因组模拟出数据，从而获得精确金标准。代价是模拟器的假设会带来偏差（模拟得再像也不等于真实），收益是可复现、可量化、可排名。这一组合已成为生物信息学基准的范式。

迁移建议：任何需要"公平比较方法"的领域，都可借鉴"构造已知真值的模拟数据 + 统一评测管线"这一结构。

8.2 把"效率"纳入评测：精度之外的维度

CAMI II 首次评测 runtime 与内存。这是对领域真实痛点的回应——一个精度最高但跑不动的工具在实际项目中毫无价值。"精度-效率"二维视角，让评测结果更贴近使用者的决策场景。

迁移建议：任何软件基准都应至少覆盖"效果"与"成本"两个维度，否则排名会误导使用者。

8.3 负结论与正结论同等重要

CAMI II 花大量篇幅报告"没做好的地方"：近缘菌株、病毒、古菌、临床复现性。这些**负结论（negative results）**为领域指明了攻关方向，其价值不亚于"哪个工具最好"的正结论。

迁移建议：撰写基准工作时，应系统性地报告失败模式（failure modes），而非只列排行榜。

8.4 可复现性是评测的底线要求

CAMI II 要求参赛者提交可执行软件 + 参数 + 数据库。这不是苛求，而是评测的前提——如果结果不可复现，排名就失去意义。而讽刺的是，恰恰在临床病原检测这一最需要可复现的场景，CAMI II 发现了严重的复现性问题。

迁移建议：任何评测都应把"可复现性"作为提交的硬性门槛，并在结果中显式评估它。

8.5 第五点补充：评测的"时效性"问题

CAMI II 还暴露了一个常被忽视的方法学问题：基准是有时效的。2022 年的排名反映的是当时的工具生态；工具迭代极快，两三年前的排名可能已不适用。CAMI 的解法是从论文走向在线门户（CAMI Benchmarking Portal），把一次性的排名变成持续更新的服务。

迁移建议：设计基准时，应同时规划"快照（论文）"与"持续（门户）“两种形态，前者提供可引用的稳定结论，后者提供随时更新的现实参考。引用者则应明确区分两者，避免用旧快照声称"当前最优”。

§9 与库内条目的关系

9.1 家族图谱与消歧

本条是库内 CAMI 系列的首条（DB 实查 url_name ILIKE '%cami%' 为 0 rows）。以下为同域但性质不同的库内条目，检索时务必区分：

库内条目	性质	与 CAMI II 的关系	消歧要点
CAMI I（若将来入库）	评测基准	同一计划的前一轮	轮次不同，数据不重叠
curatedmetagenomicdata	观测型数据资源	同属宏基因组域	它是真实样本集合，CAMI II 是模拟评测基准
mgnify	观测型分析平台	同属宏基因组域	它做真实数据在线分析，CAMI II 做方法评测
american-gut-project	观测型队列	同属微生物组域	它是真实人群队列，CAMI II 是合成基准

一句话消歧：观测型资源回答"自然界有什么微生物"，CAMI II 回答"哪个工具算得准"。前者是研究对象，后者是研究方法，绝非同一物的别名或版本。

9.2 检索路径建议

• 想找真实菌群数据做流行病学/关联分析 → 用观测型资源（curatedmetagenomicdata、mgnify、american-gut-project）；
• 想评测/选型宏基因组工具 → 用 CAMI II（本条）；
• 想评测长读长下的工具表现 → 用 CAMI II 的 long-read 子集；
• 想评测近缘菌株分辨能力 → 用 CAMI II 的 strain-madness 子集；
• 想找更新的纵向/GTDB 基准 → 关注 CAMI III（https://cami-challenge.org/）。

9.3 库内标签与互链说明

本条目在库内的 category_tags 取 基因组学与多组学 / 微生物组 / 评测基准 / 挑战赛数据集 / 测序数据 五个受控标签。这些标签会驱动库内的"相关条目推荐算法"，因此与观测型宏基因组资源标签重叠是预期行为——但读者应通过本节 §9.1 的消歧表理解它们性质上的根本差异：

• 微生物组 标签同时覆盖观测型资源（真实菌群数据）与评测基准（本条），二者在"研究对象 vs 研究方法"上分属两端；
• 评测基准 + 挑战赛数据集 两个标签是本条的核心定位，把 CAMI II 与观测型资源区分开；
• 测序数据 反映其底层是序列数据（尽管是模拟的）。

给库内互链的提示：若将来 CAMI I 或 CAMI III 入库，应优先与本条建立"同系列不同轮次"的互链；互链 rid 一律按 §R018 纪律占位 /0 或留待主会话回填，禁止猜测。

消歧说明（不进 frontmatter relatedLink，按 §R012 纪律写于正文）：

• curatedmetagenomicdata、mgnify、american-gut-project 与本条同域不同性质——它们是观测型资源（真实样本），本条是评测基准（模拟数据 + 金标准）。勿合并、勿视为版本关系。
• 若库内出现 CAMI I / CAMI III 条目，与本条是同系列不同轮次关系，同样勿合并。

§10 避坑清单：八个已踩过的坑

使用或引用 CAMI II 时，以下八点最易出错，逐条列出。

坑点 1：DOI 认错。
常见二手资料（包括部分派发情报）把 DOI 写成 10.1038/s41592-022-01535-x。正确 DOI 是 10.1038/s41592-022-01431-4（经 Nature、PMC、Springer、KU-IT 四源一致核验）。引用前务必核对。

坑点 2：把 CAMI II 与 CAMI I 混为一谈。
两轮数据集完全不同：CAMI I 是 high/medium/low complexity（DOI 10.5524/100344），CAMI II 是 marine/strain-madness/plant-associated（DOI 10.4126/FRL01-006425521）。引用时必须注明轮次，否则数据规模与结论都会张冠李戴。

坑点 3：许可口径未定。
论文明确 CC BY 4.0，但主数据集在 PUBLISSO 记录页的许可字段未在本次可核范围内逐字确认。第三方归档佐证适用 CC-BY-4.0。商用前建议另行核 PUBLISSO 记录页，勿仅凭论文许可推断数据许可。

坑点 4：摘要约数 vs 正文精确值。
摘要写"around 1,700 genomes / 600 circular elements"，正文精确为 1,680 / 599。引用精确值；若引用摘要则注明为约数。

坑点 5：混淆"结果总数"的两个口径。
本轮 5,002 组结果 / 76 程序 / 30 队；CAMI Benchmarking Portal 累计 42,441 组 / 126 methods（含 CAMI I/III）。相差近 8.5 倍，混用会严重失真。

坑点 6：误以为数据托管在 Zenodo。
主数据集在 PUBLISSO（DOI 10.4126/FRL01-006425521）；Zenodo 托管的是被测评软件产出（以及第三方衍生集）。找数据去 PUBLISSO。

坑点 7：把模拟数据当真实数据用。
CAMI II 数据是 CAMISIM 计算模拟的，金标准是人造的。它适合评测方法，不适合直接推断真实菌群的生态学或流行病学结论。用于方法学训练/测试可以，用于生物学发现不行。

坑点 8："程序版本数（76）“误读为"76 款软件”。
76 是提交配置数（含同工具的不同版本与参数），实际独立工具数更少。同样，"95 条 genome binning 结果"也不等于 95 款 binner。

附加提示（口径卫生）：本条目所有硬数字均标源。凡遇任何二手来源给出的 CAMI II 数字与本文不一致，以 Nature Methods 论文正文 Results 段为准——那是唯一权威口径。

§11 总结

11.1 三句话总结

1. CAMI II 是宏基因组学界的统一考场：用 1,680 个微生物基因组 + 599 个环状元件模拟出三环境、长短读长的宏基因组数据，附精确金标准，请全球工具来考试。
2. 它给出了领域进步的体检报告：30 队 76 程序提交 5,002 组结果，组装显著进步、profiler 成熟，但近缘菌株、病毒、古菌、临床复现性仍是短板。
3. 它是评测基准，不是观测资源：数据是模拟的、金标准是人造的，价值在于"公平比较方法"，不适用于直接推断真实菌群——与库内观测型宏基因组资源须严格区分。

11.2 适合谁

• 宏基因组工具开发者：需要知道自己的工具在标准考场上排在什么位置；
• 微生物组分析团队：需要在多个候选工具中做选型决策，尤其关心"精度 vs 效率"权衡；
• 长读长方法研究者：需要评测长读长/混合策略的表现；
• 菌株分辨难题攻关者：需要 strain-madness 这一极限测试集；
• 临床宏基因组诊断开发者：需要参考病原检测的复现性基准；
• 基准方法学研究者：想学习如何设计"模拟数据 + 金标准 + 统一评测"的基准工作。

11.3 不适合谁

• 想找真实菌群数据做生物学/流行病学发现的研究者：请改用观测型资源（curatedmetagenomicdata、mgnify、american-gut-project）；
• 想直接下载"人类肠道宏基因组"做疾病关联的人：CAMI II 只覆盖海洋/高菌株多样性/植物相关三环境，无人肠道真实数据（CAMI III 的 Longitudinal Human Gut 才是相关方向，但那是另一条目）；
• 把 CAMI II 当作"最新"基准的人：截至 2026 年，CAMI III 已启动，CAMI II 是 2022 年的成熟期成果。

11.4 30 秒决策卡

你的需求	行动
要数据文件	去 PUBLISSO，DOI 10.4126/FRL01-006425521
要评测代码	去 GitHub CAMI-challenge/second_challenge_evaluation
要软件产出/衍生分析	去 Zenodo CAMI 社区
要原始测序数据	去 ENA，BioProject PRJEB50270 等六个号
引用论文	doi:10.1038/s41592-022-01431-4（不是 …01535-x）
查最新基准	去 cami-challenge.org，关注 CAMI III

11.5 五条不可动摇的事实底线

无论从哪个角度使用 CAMI II，以下五条事实必须准确：

1. DOI 是 10.1038/s41592-022-01431-4（不是 …01535-x）；
2. 规模是 1,680 基因组 + 599 环状元件（不是摘要约数的 1,700/600）；
3. 结果是 5,002 组 / 76 程序 / 30 队（不是 Portal 累计的 42,441）；
4. 主数据在 PUBLISSO（DOI 10.4126/FRL01-006425521，不是 Zenodo）；
5. 它是评测基准，不是观测资源（模拟数据 + 金标准，非真实菌群）。

11.6 一句话记住 CAMI II

CAMI II 是宏基因组学界的统一考场——1,680 个基因组搭出三种环境的模拟考卷，30 队 76 程序交出 5,002 份答卷，评出了进步，也评出了四个老大难：近缘菌株、病毒、古菌、临床复现性。

FAQ（高频问答 36 问）

A. 基础认知

Q1：CAMI II 全称是什么？
Critical Assessment of Metagenome Interpretation — the second round of challenges（宏基因组解读关键评估·第二轮挑战）。

Q2：CAMI 是什么的缩写？
Critical Assessment of Metagenome Interpretation，一个社区驱动的宏基因组软件评测计划。

Q3：CAMI II 是哪一年做的？
挑战赛于 2019 与 2020 年开放，论文 2022 年 2 月在线、4 月出版。

Q4：谁主导的？
德国 Helmholtz Centre for Infection Research (HZI)，通讯作者 Alice Carolyn McHardy。

Q5：CAMI II 和 CAMI I 有什么区别？
CAMI I（2017）是 high/medium/low complexity 三档数据集；CAMI II（2022）换了全新数据（三环境）、新增长读长、效率指标与临床病原检测。数据完全不重叠。

Q6：CAMI II 之后还有吗？
有。CAMI III 已于 2026 年启动，引入纵向人体肠道数据与 GTDB 分类体系。

B. 数据与获取

Q7：数据在哪里下载？
主数据集在 PUBLISSO 数据仓，DOI 10.4126/FRL01-006425521；官网 https://cami-challenge.org/datasets/ 有各数据集直链。

Q8：是不是在 Zenodo？
不是主数据集。 Zenodo 托管的是被测评软件的产出（以及第三方衍生集）。主数据在 PUBLISSO。

Q9：许可是什么？
论文 CC BY 4.0。数据许可 PUBLISSO 记录页未逐字确认，第三方归档佐证 CC-BY-4.0；商用前建议另行核实。

Q10：数据有多大？
涵盖三环境长短读长模拟数据 + 金标准。金标准组装规模：海洋 short/long/hybrid 为 2.59/2.60/2.79 Gb，strain-madness 各 1.45 Gb。完整下载量取决于所选子集。

Q11：原始测序数据在哪？
ENA，BioProject 号 PRJEB50270、PRJEB50297、PRJEB50298、PRJEB50299、PRJEB43117、PRJEB37696。

Q12：有练习数据集吗？
有。Toy Mouse Gut（DOI 10.4126/FRL01-006421672）、Toy Human Microbiome Project（DOI 10.4126/FRL01-006425518）。

C. 数据构成

Q13：有多少基因组？
1,680 个微生物基因组 + 599 个环状元件（质粒与病毒）。摘要约数表述为"约 1,700 基因组 / 600 环状元件"。

Q14：哪些是新测序的？
772 个基因组和全部 599 个环状元件为新测序。新测序部分源自 796 个 Illumina 双端测序基因组（224 拟南芥根 / 176 海洋 / 384 临床肺炎链球菌 / 12 鼠肠道）。

Q15：unique 和 common 是什么？
与任何其他基因组 ANI<95% 者为 unique（901 个），否则为 common（779 个）。这是沿用 CAMI I 的定义。

Q16：有哪些环境？
三类：marine（海洋）、strain-madness（高菌株多样性）、plant-associated（植物相关，含真菌与宿主植物材料）。

Q17：有长读长吗？
有。CAMI II 每个环境都提供长读长与短读长模拟数据，并支持混合（hybrid）组装评测——这是相对第一轮的关键升级。

Q18：数据是怎么造的？
用 CAMISIM（from_profile 模式）模拟；基因组质量用 CheckM v1.0.11 把关，分类学用 CAMITAX 归类；参考库为 NCBI RefSeq/nt/nr（2019/01/08 状态）。

D. 任务与评测

Q19：有哪些任务？
五类：assembly（组装）、genome binning（基因组分箱）、taxonomic binning（分类学分箱）、taxonomic profiling（分类学 profiling）、pathogen detection（病原检测）。

Q20：多少人参与、多少结果？
30 个团队、76 个程序版本、共 5,002 组结果。

Q21：76 是 76 款软件吗？
不是。76 是提交配置数（含同工具的不同版本与参数），实际独立工具更少。

Q22：用什么评测的？
组装用 MetaQUAST v5.1.0rc，分箱用 AMBER v2.0.3（ARI），profiling 用 OPAL v1.0.10（多维指标）。

Q23：profiling 为什么提交这么多？
4,195 条，占绝对多数。因为 profiling 直接从 reads 出结果，不需组装，速度快、内存省、工具生态繁荣。

E. 结论与发现

Q24：最重要的发现是什么？
① 组装显著进步（长读长助力）；② 近缘菌株仍是组装与分箱的难点；③ 分类学 profiler 显著成熟，但对病毒与古菌表现不足；④ 临床病原检测暴露出复现性不足；⑤ 效率分析识别出高性价比程序。

Q25：分箱的效果如何？
海洋 GSA 上平均 bin purity 81.3±2.3%、genome completeness 36.9±4.0%——“分得纯但分不全”。

Q26：参数重要还是工具重要？
在 gene binning 中，参数影响多小于 3%，工具选择远比调参重要。

Q27：临床病原检测的结果怎样？
收到 10 条人工整理结果，3 条正确识别出 CCHFV（克里米亚-刚果出血热正内罗病毒）；核心结论是复现性待改进。

Q28：CAMI II 和 CAMI Portal 的数字为什么不一样？
CAMI II 论文口径是第二轮本身（5,002 结果）；Portal（2024 上线）是 CAMI I+II+III 累计（42,441 结果）。两者不可混用。

F. 使用与选型

Q29：我应该用 CAMI II 的哪个子集？
看你关心的场景：做肠道/发酵食品等高菌株多样性场景 → strain-madness；做环境/农业微生物组 → plant-associated；做通用工具基线对比 → marine。

Q30：CAMI II 能用来训练机器学习模型吗？
可以，且很有价值——它有精确金标准，适合作为监督学习的训练/评测语料。但要注意：数据是模拟的，模型在真实数据上的泛化仍需另行验证。

Q31：分箱工具该怎么选？
论文的核心提示是参数影响 <3%，工具选择远比调参重要。先在 CAMI II 上确认你的场景对应的最佳工具，再把精力花在流程与数据质量上。

Q32：CAMI II 的结论现在还适用吗？
CAMI II 是 2022 年的快照。此后工具持续更新、CAMI III 也已启动。其结论可作为方法论与历史基线参考，但选型时应补充查询 CAMI Portal 的最新排名。

Q33：为什么"病毒和古菌"表现差？
因为它们的基因组小、参考库覆盖不全、分类学地位模糊，导致组装、分箱、profiling 都易失手。这是领域公认的老大难，CAMI II 用更复杂的数据再次印证。

Q34：临床病原检测结论对诊断落地意味着什么？
检测出病原不难（10 条里有 3 条正确识别 CCHFV），难的是稳定、可重复地检测出。这提示临床宏基因组诊断工具在走向常规应用前，必须把可复现性作为硬指标来优化。

Q35：CAMI II 有没有人肠道样本？
没有。CAMI II 只覆盖 marine / strain-madness / plant-associated 三环境。人体肠道纵向数据是 CAMI III 的方向（Longitudinal Human Gut），属另一条目。

Q36：想引用 CAMI II，标准格式是什么？
见附录 H。核心是：Meyer, F., Fritz, A., et al. (2022). Nature Methods, 19(4), 429–440. https://doi.org/10.1038/s41592-022-01431-4

事实清单（硬事实 30 条）

1. 官方名：Critical Assessment of Metagenome Interpretation — the second round of challenges。
2. 论文期刊：Nature Methods，volume 19，pages 429–440，2022。
3. DOI：10.1038/s41592-022-01431-4。
4. PMCID：PMC9007738。
5. 在线发表：2022-02-14；正式出版：2022-04-08。
6. 微生物基因组：1,680。
7. 环状元件：599（质粒与病毒）。
8. 新测序基因组：772；全部环状元件为新。
9. 新测序来源：796 个 Illumina 基因组（224 拟南芥根 / 176 海洋 / 384 临床肺炎链球菌 / 12 鼠肠道）。
10. unique 基因组：901（marine 474 / plant 414 / strain-madness 13）。
11. common 基因组：779（marine 303 / plant 81 / strain-madness 395）。
12. 环境：marine、strain-madness、plant-associated 三类。
13. 读长：长读长 + 短读长 + hybrid。
14. 挑战赛开放：2019 与 2020 年。
15. 结果总数：5,002。
16. 程序版本：76。
17. 团队：30。
18. Assembly 提交：155 条 / 20 assembler versions。
19. 海洋金标准组装：short 2.59 Gb / long 2.60 Gb / hybrid 2.79 Gb。
20. strain-madness 金标准：1.45 Gb。
21. Genome binning：95 条 / 18 binner versions。
22. Taxonomic binning：547 条 / 9 methods。
23. Profiling：4,195 条 / 22 method versions。
24. 病原检测：10 条人工整理结果；3 条正确识别 CCHFV。
25. 海洋 GSA binning 平均：purity 81.3±2.3%、completeness 36.9±4.0%。
26. 评测工具：MetaQUAST v5.1.0rc、AMBER v2.0.3、OPAL v1.0.10。
27. 模拟/标注工具：CAMISIM、CAMITAX、CheckM v1.0.11。
28. 数据托管：PUBLISSO，DOI 10.4126/FRL01-006425521。
29. 论文许可：CC BY 4.0。
30. CAMI III：2026 年启动，含 Longitudinal Human Gut。

术语表（24 条）

术语	英文全称/说明
宏基因组学	metagenomics，直接对环境样本全部 DNA 测序并分析的技术
宏基因组	metagenome，环境样本中全部遗传物质的总和
CAMI	Initiative for the Critical Assessment of Metagenome Interpretation，宏基因组解读关键评估计划
金标准	gold standard，模拟数据中已知的真实答案，用于评测
组装	assembly，把短读长片段拼成长连续序列
contig	连续序列，组装产物的一段连续 DNA
分箱	binning，把序列按所属基因组或物种分组
基因组分箱	genome binning，以单个基因组为单位分箱
分类学分箱	taxonomic binning，给每个箱贴分类学标签
分类学 profiling	taxonomic profiling，不组装直接给出物种组成与丰度
读长	read，测序仪输出的一段 DNA 序列
短读长	short-read，如 Illumina 风格，读长较短但精度高
长读长	long-read，如 PacBio/Nanopore 风格，读长很长利于跨重复区
混合组装	hybrid assembly，长短读长结合使用
菌株	strain，同一物种下遗传上高度相似的亚型
strain-madness	CAMI II 中故意塞入大量近缘菌株的高难度环境
strain-resolved	菌株分辨，能区分到菌株层级的分析
ANI	Average Nucleotide Identity，平均核苷酸一致性，判定基因组相似度
unique/common	与任何其他基因组 ANI<95% 为 unique，否则为 common
ARI	Adjusted Rand Index，衡量分箱与真值吻合度
recall / precision	召回率 / 精确率
completeness / purity	完整度 / 纯度
L1-norm error	L1 范数误差，衡量丰度估计偏差
UniFrac	基于系统发育树的群落差异度量

附录

附录 A：条目信息速查卡

字段	内容
slug	cami2
官方名	CAMI II — Critical Assessment of Metagenome Interpretation: the second round of challenges
论文	Nat Methods 19, 429–440 (2022)
DOI	10.1038/s41592-022-01431-4
PMCID	PMC9007738
牵头	Helmholtz Centre for Infection Research (HZI)
通讯	Alice Carolyn McHardy
数据仓	PUBLISSO，DOI 10.4126/FRL01-006425521
许可	论文 CC BY 4.0
规模	1,680 基因组 + 599 环状元件；5,002 结果 / 76 程序 / 30 队
环境	marine / strain-madness / plant-associated
任务	assembly / genome binning / taxonomic binning / taxonomic profiling / pathogen detection
官网	https://cami-challenge.org/

附录 B：DAIMS 评估全表

DAIMS（Data and Information Management System）维度评估：

DAIMS 维度	评估	说明
数据来源可溯（Provenance）	优	有 DOI、论文、GitHub、ENA BioProject 多重溯源；新测序基因组来源清晰
标识稳定（Persistent ID）	优	论文 DOI + 数据仓 DOI 双稳定标识
可获取性（Accessibility）	良	资产分散在 PUBLISSO/GitHub/Zenodo/ENA 四处，需拼图；PUBLISSO 记录页许可字段不显眼
元数据完备（Metadata）	优	数据集、金标准、工具链、评测指标均有文档；Supplementary Tables 提供逐项细节
数据质量（Quality）	优	基因组经 CheckM 把关；模拟流程标准化；金标准构造透明
可复现性（Reproducibility）	优	评测代码公开；参赛者被要求提交可执行软件与参数
许可清晰（Licensing）	中	论文 CC BY 4.0 明确；主数据集许可字段未逐字确认，需另核
AI-Ready 适配（AI-Readiness）	中	模拟数据 + 金标准适合作为 AI 训练/评测语料；但模拟假设限制其向真实场景的迁移
互操作性（Interoperability）	良	标准 FASTA/FASTQ/TSV 格式；评测器有 biocontainer 镜像
长期维护（Maintenance）	优	有计划已演进至 CAMI III；Portal 持续服务

附录 C：逐项证据链自证

硬数字	来源
1,680 / 599	论文 Results 段
772 新测序	论文 Results 段
901 unique / 779 common	论文 Results 段
5,002 / 76 / 30	论文 Abstract + Results 段
155 / 20 assembler	论文 Results 段
2.59 / 2.60 / 2.79 / 1.45 Gb	论文 Results 段
95 / 18 binner	论文 Results 段
547 / 9	论文 Results 段
4,195 / 22	论文 Results 段
10 条 / 3 条 CCHFV	论文 Results 段
81.3±2.3% / 36.9±4.0%	论文 Results 段
PUBLISSO DOI	论文 Data availability + 官网 datasets 页
CC BY 4.0	论文版权声明
42,441 Portal 累计	官网 Stats 栏（口径 B）

附录 D：数据获取决策树

你要什么？
├── 主数据集（模拟数据 + 金标准）
│     └── → PUBLISSO，DOI 10.4126/FRL01-006425521
│           ├── marine        → frl:6425521/marine/
│           ├── strain-madness → frl:6425521/strain/
│           ├── plant-associated → frl:6425521/plant_associated/
│           └── clinical       → frl:6425521/patmgCAMI2.tar.gz
├── 练习数据集
│     ├── Toy Mouse Gut → DOI 10.4126/FRL01-006421672
│     └── Toy HMP       → DOI 10.4126/FRL01-006425518
├── 评测代码 → GitHub CAMI-challenge/second_challenge_evaluation
├── 软件产出 → Zenodo CAMI 社区
└── 原始测序 → ENA，BioProject PRJEB50270 等六个

附录 E：四类环境 × 任务矩阵

环境 \ 任务	Assembly	Genome binning	Taxonomic binning	Profiling	Pathogen
marine	✓	✓	✓ (75)	✓ (292)	—
strain-madness	✓	✓	✓ (405)	✓ (2,603)	—
plant-associated	✓	✓	✓ (67)	✓ (1,300)	—
clinical	—	—	—	—	✓ (10)

附录 F：CAMI 三代对照速查

维度	CAMI I (2017)	CAMI II (2022)	CAMI III (2026+)
论文	Nat Methods 14:1063	Nat Methods 19:429	进行中
数据 DOI	10.5524/100344	10.4126/FRL01-006425521	TBA
数据集	high/medium/low	marine/strain-madness/plant	Longitudinal Human Gut
长读长	否	是	是
效率指标	否	是	是
病原检测	否	是	—
纵向/时序	否	否	是

附录 G：结果口径对照表（务必区分）

口径	结果数	程序数	团队数	适用范围
CAMI II 第二轮（本文口径 A）	5,002	76	30	本条目
CAMI Portal 累计（口径 B）	42,441	126	—	CAMI I+II+III

附录 H：引用格式建议

• 论文：Meyer, F., Fritz, A., Deng, Z. L., Koslicki, D., Lesker, T. R., Gurevich, A., … McHardy, A. C. (2022). Critical Assessment of Metagenome Interpretation: the second round of challenges. Nature Methods, 19(4), 429–440. https://doi.org/10.1038/s41592-022-01431-4
• 数据：CAMI II challenge datasets. PUBLISSO. https://doi.org/10.4126/FRL01-006425521
• 评测服务（如使用 Portal）：Meyer, F., et al. (2025). CAMI Benchmarking Portal. Nucleic Acids Research, 53, W102–W109. https://doi.org/10.1093/nar/gkaf369

附录 I：评测指标速查

指标	含义	用于
strain recall / precision	菌株级召回/精确	assembly
ARI	调整兰德指数	genome binning
completeness	完整度（找全了多少）	binning / profiling
purity	纯度（找得纯不纯）	binning / profiling
F1-score	精确率与召回率的调和平均	profiling
L1-norm error	丰度估计的绝对偏差	profiling
Bray–Curtis	群落组成差异度量	profiling
Shannon equitability	均匀度	profiling
weighted UniFrac error	系统发育加权的群落差异误差	profiling
runtime / memory	运行时间 / 峰值内存	全部（效率）

附录 J：遗留疑点存照

1. 主数据集的 license 字段：PUBLISSO 记录页未在本次可核范围内逐字确认。论文 CC BY 4.0；第三方归档佐证数据适用 CC-BY-4.0。商用前建议另行核实。
2. 作者全名单：本文为社区合集（75+ 作者），正文与事实清单只列共同一作、通讯与代表性作者。完整名单见论文。
3. 口径 B（Portal 累计）的 team 数：官网 Stats 栏给 methods 数（126）而非 teams 数，故附录 G 该格留空。

附录 K：三环境 × 读长 × 金标准 矩阵

环境	short-read	long-read	hybrid	金标准组装（Gb）
marine	✓	✓	✓	short 2.59 / long 2.60 / hybrid 2.79
strain-madness	✓	✓	✓	各 1.45
plant-associated	✓	✓	✓	—（含真菌与宿主材料）

附录 L：Genome binning 提交分布（95 条 / 18 binner versions）

数据集	提交数
strain-madness GSA	22
strain-madness MEGAHIT 组装（MA）	17
marine MA	19
marine GSA	15
plant-associated GSA	12
plant-associated MA	10

附录 M：效率冠军速查

维度	组装	分箱	分类学分箱	profiling
最快	MetaHipMer 2.0.1.2、MEGAHIT 1.2.7	—	Kraken 2.0.8 beta（GSA,SR）、DIAMOND（GSA）	FOCUS 1.5、Bracken 2.2
最省内存	MEGAHIT 1.2.7、GATB 1.0	MetaBAT 2.13、MaxBin 2.0.2	Kraken 2.0.8 beta（GSA,SR）、DIAMOND（GSA）	FOCUS 1.5、mOTUs 1.1.1

（注：GSA = gold standard assembly，SR = short read，MA = MEGAHIT assembly。）

附录 N：全文数字口径速核表

数字	含义	是否精确值
1,680	微生物基因组	精确（正文）
599	环状元件	精确（正文）
1,700 / 600	同上的摘要约数	约数（摘要）
5,002	第二轮结果总数	精确
42,441	Portal 累计结果	精确（口径 B）
76	第二轮程序版本数	精确
30	第二轮团队数	精确
126	Portal 累计 method 数	精确（口径 B）
2.59 / 2.60 / 2.79	marine 金标准组装 Gb	精确
1.45	strain-madness 金标准 Gb	精确
81.3±2.3% / 36.9±4.0%	marine GSA bin purity/completeness	精确

附录 O：常见误用警示清单

误用	正确做法
引用 DOI …01535-x	用 …01431-4
说"CAMI II 托管于 Zenodo"	主数据在 PUBLISSO（DOI 10.4126/FRL01-006425521）
说"CAMI II 有 42,441 组结果"	第二轮是 5,002；42,441 是 Portal 累计
用摘要约数"约 1,700"当精确	用 1,680
把模拟数据当真实菌群做生态学推断	仅用于方法评测
把 CAMI II 与 CAMI I 数据混谈	注明轮次，数据不重叠
以为 76 是 76 款软件	是 76 个提交配置（含版本与参数）

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• hmp — 共享标签：基因组学与多组学 / 微生物组 / 测序数据
• mgnify — 共享标签：基因组学与多组学 / 微生物组 / 测序数据
• curatedmetagenomicdata — 共享标签：基因组学与多组学 / 微生物组 / 测序数据
• american-gut-project — 共享标签：基因组学与多组学 / 微生物组 / 测序数据
• gmrepo-v3 — 共享标签：基因组学与多组学 / 微生物组 / 测序数据
• ckm-gut-metagenome — 共享标签：基因组学与多组学 / 微生物组 / 测序数据
• gnomad — 共享标签：基因组学与多组学 / 测序数据
• uniprot — 共享标签：基因组学与多组学 / 测序数据
• 1000-genomes — 共享标签：基因组学与多组学 / 测序数据
• encode — 共享标签：基因组学与多组学 / 测序数据

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。