信息速览
Flatiron Health — 肿瘤真实世界数据引擎 AI-Ready Wikipedia
INFOBOX
| 字段 | 内容 |
|---|---|
| 数据集名称 | Flatiron Health 肿瘤真实世界数据网络 |
| 英文全称 | Flatiron Health Research Database（美国肿瘤 EHR 衍生研究数据库族） |
| 别名/简称 | OncologyCloud；Flatiron RWD；FH-FMI Clinico-Genomic Database（CGDB） |
| 疾病分类（ICD-11） | 2A00-2F9Z（恶性肿瘤全谱系；22 个病种专属数据集） |
| SNOMED CT | 363346000（Malignant neoplastic disease）；病种级映射见 §2.1b |
| 数据模态 | EHR 结构化与文本派生临床数据；CGDB 子集含综合基因组测序 |
| AI 任务类型 | 生存分析、治疗模式与治疗线重建、队列识别 NLP、生物标志物流行率估计、RWE 复现 |
| 样本总数 | 5M+ 患者（美国主数据库）；NCCN 合作网络覆盖 6M+ 患者 |
| 数据大小 | 无公开总量；按批准提案以单病种数据集交付 |
| 数据格式 | 关系表 + 数据字典（通用数据模型 + 病种扩展） |
| 许可证 | Flatiron Health 数据使用协议（DUA，专有） |
| 访问级别 | 申请审核（学术提案制免费；商业合作另行授权） |
| DUO 标签 | IRB、PUB（发表前须经合作方审阅）、DS（限于批准提案范围） |
| 语言 | 英语（源临床文档与数据字典） |
| 首发日期 | 2014（学术数据合作网络起步，与 NCCN 合作启动） |
| 最后更新 | 滚动更新（截至 2026-09 持续活跃） |
| 发布机构 | Flatiron Health（罗氏集团独立成员） |
| 官方主页 | flatiron.com |
| 下载地址 | Flatiron Explore 平台（批准后交付，无公开下载） |
| DOI | 无单一 DOI（数据集族；方法学引用见 §9） |
| 引用次数 | 2,000+ 篇发表研究采用 Flatiron 真实世界数据（官网统计，截至 2026-09） |
| AI 就绪度评分 | ⭐⭐⭐（3/5）— 通用数据模型与数据字典完备、抽取变量有 VALID 验证框架背书；扣分项：需提案审核获取、多表关系数据需自行组装、无官方划分 |
| 页面状态 | published |
§0 E-E-A-T 审核信息
医学审核：[千方病案医学编辑部]交叉审核：§2 医学背景（实体瘤与血液肿瘤 ICD-11 及 SNOMED CT 双映射、肿瘤流行病学）、§7 偏倚分析。
数据工程审核：[千方病案医学编辑部交叉审核] 医疗 AI 数据工程师，审核范围：§4 DAIMS 数据字典、§5 数据划分策略、§6 预处理 Pipeline 和坑点。
审核日期：2026-09-05
医疗免责声明：本页面提供的医学信息仅供研究和教育目的，不构成医疗建议、诊断或治疗方案。数据集的医学描述基于公开发表的文献，未经逐一临床验证。任何基于该数据集训练的 AI 模型在应用于临床决策前，必须经过独立的临床验证和监管审批。
技术免责声明：本页面的代码示例、预处理建议和基准性能数据基于公开资料整理，不保证在特定环境下的准确性和适用性。使用者应自行验证代码安全性和数据预处理流程的正确性。千方病案医数集不对因使用本页面信息而导致的任何直接或间接损失承担责任。
数据使用合规：使用本页面描述的数据集前，请务必阅读并遵守数据集原始许可协议。Flatiron Health 研究数据要求研究团队完成提案可行性审查、签署数据使用协议（DUA）并提供 IRB 伦理批准文件后方可交付；数据仅限批准提案范围内的分析使用，严禁再识别。DUO 标签仅供参考，具体使用限制以数据集官方协议为准。
§1 数据集概览
§1.0 30 秒速览
这是什么？ Flatiron Health 是一家总部位于纽约、2012 年成立、2018 年被罗氏以 19 亿美元收购的医疗科技公司。它把美国 280 余家社区肿瘤诊所与学术癌症中心的电子病历（EHR），用「人工抽取 + NLP/机器学习/大语言模型」的混合流水线，整理成 22 个病种、500 万以上患者的去标识化纵向研究数据库——癌症诊疗过程中的诊断、分期、每一线治疗、生物标志物与结局都被结构化为可直接分析的研究数据。它是罗氏集团的独立成员，但服务对象是整个行业。
为什么重要？ 癌症研究最缺的不是数据，而是「能用于研究」的数据：肿瘤科医生的关键信息大多写在自由文本里，常规 EHR 无法直接分析。Flatiron 的整理质量达到了「监管级」——其数据已被 2,000 余篇发表研究采用，并参与真实世界证据的监管决策方法探索。它证明了 EHR 深度加工可以产出接近注册登记研究质量的真实世界证据。
我能用它做什么？ 若你所在机构是其学术合作伙伴，可经提案制免费申请病种数据集（EDM、PANORAMICS、CGDB 三类），开展真实世界生存分析、治疗模式挖掘、生物标志物流行率估计；若你在做肿瘤临床 NLP 或 LLM 病历抽取研究，Flatiron 公开的验证方法学（如 VALID 框架、ECOG 体能状态 NLP 算法的准确率数据）是极好的对标基准。
§1.1 摘要
Flatiron Health 由两位前 Google 员工 Nat Turner 与 Zach Weinberg 于 2012 年在纽约创立，2016 年完成罗氏领投的 1.75 亿美元 C 轮融资，2018 年 4 月被罗氏以 19 亿美元完成收购后继续作为独立法人运营。其技术底座是肿瘤专用 EHR（OncoEMR）与覆盖社区诊所和学术中心的数据网络：结构化字段直接入库，非结构化文本经「技术辅助人工抽取（technology-enabled abstraction）+ NLP/机器学习/大语言模型」混合流水线转化为研究变量，并按 HIPAA 隐私规则去标识化。研究数据集分三类：EDM（抽样病种临床数据集）、PANORAMICS（早晚期合并、扩大队列）与 CGDB（临床数据链接 Foundation Medicine 基因组）。学术合作者经提案制免费获取，流程从提案到交付约 3-8 个月，数据使用权两年、限批准提案范围。
§1.2 战略价值分析
RWE 基础设施维度：在 Flatiron 出现之前，制药业获取「监管级」真实世界证据的路径极其昂贵——自建数据网络、自聘抽取团队动辄数年。Flatiron 用「诊所端免费 EHR 软件 + 数据研究化整理」的双边模式，把 280 余家诊所、1,000 余个服务网点的诊疗行为持续转化为研究资产，且以独立法人身份同时服务于罗氏与整个行业（含 top 15 肿瘤药企中的 14 家）。对 AI 研究者而言，它示范了「数据网络效应」这一医疗 AI 最难复制的护城河。
方法学标杆维度：Flatiron 把「抽取变量的可信度」做成了可发表的科学：复合真实世界死亡终点的验证（Zhang 等，2021）、机器学习抽取变量的评估框架（Estevez 等，2022）、ML 抽取数据的 RWE 复现（Benedum 等，2023）、以及 2026 年发布的 VALID 框架——用变量级 F1 对标专家双抽取、自动一致性校验、复现分析三支柱来为 LLM 抽取数据「背书」。任何想用 LLM 大规模抽取病历的研究者，都可以把这套方法学作为直接模板。
社区诊疗维度：美国肿瘤治疗的多数场景发生在社区诊所而非学术中心，临床试验对社区人群的覆盖长期不足。Flatiron 以社区为主的网络构成（约 70% 数据来自社区癌症中心）把「临床试验之外的患者」纳入研究视野——老年、共病、接受非标准方案人群的诊疗模式与结局第一次可以被系统量化，这也是监管机构关注真实世界证据的核心动机之一。
§1.3 同类数据集横向对比
| 数据集 | 规模 | 数据设计 | 标注/整理方式 | 差异化定位 |
|---|---|---|---|---|
| Flatiron Health RWD | 5M+ 患者、22 个病种数据集 | 美国肿瘤专科 EHR 纵向数据，社区 + 学术混合网络 | 人工抽取 + NLP/ML/LLM 混合流水线，VALID 框架验证 | 治疗线、生物标志物与结局深度整理，监管级 RWE |
| SEER | 美国人群癌症注册（约 30% 人口覆盖地区） | 人群登记，独立于诊疗机构 | 训练有素的登记员强制编码 | 人群发病率与生存的金标准，但临床细节浅 |
| NPCR / US Cancer Statistics | 美国全人群癌症登记 | 人群登记 | 登记员编码 | 全国覆盖，与 SEER 互补 |
| FH-FMI CGDB | Flatiron 临床 × Foundation Medicine 基因组 | 病种级临床-基因组配对 | NGS 检测 + 临床抽取 | 精准肿瘤学联合建模 |
| TriNetX 等 RWE 网络 | 全球多机构 EHR/理赔网络 | 联邦式查询 | 结构化为主，文本浅加工 | 规模大但肿瘤专科深度不及 Flatiron |
| MIMIC-III/IV | 单机构 ICU 数据库 | 开放获取 + 凭证化 | 结构化波形/检验/用药 | 重症监护场景；方法论（去标识、通用数据模型）与 Flatiron 同源但获取模式相反 |
§1.4 版本时间轴
| 时间 | 里程碑 | 依据 |
|---|---|---|
| 2012 | 公司成立于纽约，目标「从每个癌症患者的经验中学习」 | Healthcare IT News |
| 2014 | Google 体系投资超 1 亿美元；与 NCCN 学术合作启动 | EU 报告、NCCN 公告 |
| 2015-2016 | OncologyCloud 平台（OncoEMR/OncoBilling/OncoAnalytics）服务约 200 家癌症中心、近 100 万活动患者 | emrindustry |
| 2016 | 罗氏领投 1.75 亿美元 C 轮，估值 12 亿美元 | BioPharma Dive |
| 2018-04 | 罗氏以 19 亿美元完成收购，Flatiron 保持独立运营 | 罗氏公告 |
| 2019-05 | 对比研究涵盖 201,570 名患者、19 个癌种 | Ma 等 |
| 2021-2023 | 复合死亡终点、ML 抽取方法学、复现研究相继发表 | Zhang 等、Adamson 等 |
| 2024 | 官方数据库特征说明：5M+ 患者、200+ 机构、1,000+ 网点 | Database Characterization |
| 2025-12 | 学术合作资料口径：280+ 诊所与机构、800+ 网点、5M+ 活动患者 | Utah CODE 资料页 |
| 2026 | NCCN 合作续签至 2028，数据覆盖 6M+ 患者；推出 AI 平台 Flatiron Telescope；VALID 框架发表于 JCO Clinical Cancer Informatics | NCCN 公告 |
§1.5 典型应用场景
- 监管级真实世界终点研究：以复合真实世界死亡终点与真实世界无进展生存（rwPFS）支持疗效外部验证与 HTA 证据（复合终点验证见 Zhang 等 2021）。
- 治疗模式与治疗线演变研究：按癌种刻画一线到后线治疗的regimen序列、人群迁移与指南依从性。
- 罕见生物标志物队列识别：如仅约 1% 患者携带的 ROS1 重排，靠 NLP 规模化识别并刻画治疗与结局（Flatiron 官方叙述）。
- 肿瘤临床 NLP / LLM 抽取基准：以专家双抽取为金标准，对标 ECOG PS（准确率 93%）与癌症进展抽取（14 个癌种 F1 与专家相当）等公开性能数据。
- 临床-基因组联合建模：在 CGDB 中将 Foundation Medicine 综合基因组图谱与临床结局配对，开展标志物-疗效关联与患者分层建模。
§2 医学背景
§2.1 ICD-11 编码映射
Flatiron 覆盖 22 个病种数据集，横跨 ICD-11 第二章恶性肿瘤全谱系（2A00-2F9Z）。下表列出代表性病种与 ICD-11 主干码（编码为 ICD-11 MMS 主干码，最终以 WHO ICD-11 浏览器核验为准）：
| 病种标签 | ICD-11 编码 | 说明 |
|---|---|---|
| 恶性肿瘤（整体覆盖范围） | 2A00-2F9Z | 22 个病种数据集合计覆盖 |
| 支气管与肺恶性肿瘤（NSCLC/SCLC） | 2C25 | Flatiron 最早、文献最多的病种之一 |
| 乳腺恶性肿瘤 | 2C60-2C6Z | 含早期/晚期 Panoramic 合并队列 |
| 结直肠恶性肿瘤 | 2B50-2B5Z | 结肠与直肠亚位 |
| 胃恶性肿瘤 | 2B72 | 美日双区域数据集之一 |
| 前列腺恶性肿瘤 | 2C82 | LLM 抽取 Panoramic 数据集（约 374,000 例分析队列） |
| 皮肤黑色素瘤 | 2C30 | 靶向/免疫治疗模式研究活跃病种 |
| 肾恶性肿瘤（含肾细胞癌） | 2C90 | 分期完整性较弱病种（见 §7.1） |
| 卵巢恶性肿瘤 | 2C73 | 妇科肿瘤代表 |
| 弥漫大 B 细胞淋巴瘤（DLBCL） | 2A81 | 血液肿瘤代表，分期缺失显著病种 |
§2.1b SNOMED CT 映射
| 病种标签 | ICD-11 | SNOMED CT 码 | SNOMED 术语 |
|---|---|---|---|
| 恶性肿瘤（总体） | 2A00-2F9Z | 363346000 | Malignant neoplastic disease (disorder) |
| 原发肺恶性肿瘤 | 2C25 | 254637007 | Primary malignant neoplasm of lung (disorder) |
| 原发乳腺恶性肿瘤 | 2C60-2C6Z | 254837009 | Primary malignant neoplasm of breast (disorder) |
| 结肠恶性肿瘤 | 2B50-2B5Z | 363406005 | Malignant tumor of colon (disorder) |
| 前列腺恶性肿瘤 | 2C82 | 399068003 | Malignant tumor of prostate (disorder) |
| 恶性黑色素瘤 | 2C30 | 372244000 | Malignant melanoma (disorder) |
注：SNOMED CT 编码以官方浏览器核验为准；病种级细码与 Flatiron 数据字典内部取值（如病种缩写）经 Flatiron Explore 查询。
§2.2 疾病简介与流行病学定位
恶性肿瘤是全球主要死因之一，美国的肿瘤诊疗由社区肿瘤诊所与学术癌症中心共同承担——这正是 Flatiron 数据网络的抽样框。与人群癌症登记（SEER、NPCR）不同，Flatiron 数据来自肿瘤专科诊疗场景：患者须在其网络内诊所就诊（分析性研究通常要求至少两次肿瘤科就诊）才会进入数据库，因此它天然刻画的是「接受肿瘤专科治疗的癌症人群」的诊疗轨迹，而非全人群发病与患病状况。官方代表性研究显示：其覆盖人群的性别、年龄与地理分布与美国登记人群总体接近，但晚期诊断患者占比更高、80 岁以上患者比例略低（多数病种低不超过 5 个百分点）、种族字段完整性低于登记系统（Ma 等）。约 70% 数据来自社区癌症中心、30% 来自学术医学中心（均为 NCI 指定综合癌症中心），这一「社区为主」的构成使其成为刻画真实世界常规诊疗的稀缺样本（Database Characterization）。
从治疗格局看，网络覆盖的病种横跨实体瘤与血液肿瘤，其数据年代跨度（诊疗记录可追溯至 2011 年）恰好记录了免疫治疗与靶向治疗大规模进入常规诊疗的转变期；对 AI 研究者，这意味着数据中同时存在「前免疫治疗时代」与「当代」的治疗模式——跨年代建模时必须按 §7.6 处理漂移。
病种覆盖结构亦有讲究：22 个病种既包括 NSCLC、乳腺癌等大癌种，也包括 DLBCL 等血液肿瘤；病种间队列规模、变量完整性与治疗格局差异显著——跨病种合并建模前必须按病种逐一审计（见坑点 6 的分期缺失异质性）。
§2.3 临床任务定义
- 真实世界生存终点（rwOS/rwPFS）：死亡经 EHR 与外部数据（如讣告数据）链接判定，进展经 NLP/LLM 从影像与临床文本抽取——这是 RWE 研究的核心结局定义任务。
- 治疗线（Line of Therapy, LOT）重建：将离散的给药方案（regimen）记录聚合为「治疗线」，需处理维持治疗、联合用药与换药规则。
- 队列识别：按诊断、分期、生物标志物与治疗史从自由文本中识别研究队列（如 mCRPC、ROS1 阳性 NSCLC）。
- 生物标志物流行率估计：估计靶点检测率与突变流行率，支撑精准医学商业化决策。
- AI 就绪的机器学习任务：患者级生存预测、治疗反应分类、治疗次序推荐的监督学习，以及基于 LLM 的病历信息抽取（变量级抽取质量对标专家）。
- 治疗可及性与差距研究：按地域、机构类型（社区 vs 学术）刻画指南依从性与治疗可及性差距，是 NCCN 合作计划的优先研究方向。
§2.4 患者人群画像
| 维度 | Flatiron 数据特征 | 依据 |
|---|---|---|
| 来源场景 | 社区癌症中心约 70%，学术医学中心约 30%（均为 NCI 指定综合癌症中心） | Database Characterization |
| 网络 | 280+ 诊所与学术机构、800+ 网点（学术资料，2025-12）；200+ 机构、1,000+ 网点（官方特征说明页） | Utah CODE 资料页 |
| 性别分布 | 与 SEER/NPCR 总体相当 | Ma 等 |
| 年龄分布 | 总体相近；80 岁以上诊断患者比例多数病种低不超过 5 个百分点 | 同上 |
| 地理分布 | 便利样本，略偏美国南部、西部代表性不足 | 同上 |
| 疾病分期 | 晚期诊断患者占比高于登记系统（专科转诊偏移） | 同上 |
| 种族/族裔 | 缺失比例高于 SEER/NPCR；日常诊疗不强制采集 | 同上 |
| 数据年代 | 患者诊疗记录可追溯至 2011 年 1 月 1 日起；数据库滚动更新 | 同上 |
| 生态影响力 | 2,000+ 篇发表研究采用 Flatiron 真实世界数据 | 官网 |
§2.5 临床价值
对临床与转化研究者，Flatiron 数据的核心价值在于把「真实世界患者如何被治疗、结果如何」量化到方案级粒度：它支持回答「某个靶向药在社区真实人群中按什么顺序使用、真实世界生存与临床试验差多少」这类登记系统无法回答的问题。其数据已支撑新终点的监管方法学探索（如新颖临床终点的设计与验证），并经 NCCN 网络深入 20 余家顶级学术中心的常规研究流程。对 AI 团队，它是肿瘤 NLP 与 RWE 方法学的「对答案」场地——公开的专家双抽取测试集性能、VALID 框架与复现研究为任何自建抽取管线提供了量化对标。
对药物开发与监管科学，「方案级治疗粒度 + 外链结局」的组合支持目标试验模拟（target trial emulation）与外部对照臂构建——这在罕见病与罕见标志物场景几乎不可替代；对卫生经济学研究，社区场景的治疗可及性数据恰好弥补了人群登记系统的空白。
§2.6 金标准与标注体系
| 维度 | 内容 |
|---|---|
| 数据性质 | 回顾性、去标识化、纵向 EHR 衍生真实世界数据（美国为主） |
| 标注方式 | 技术辅助人工抽取（人工 + 软件辅助阅片式界面）与 AI 抽取（NLP/ML/LLM）混合 |
| 标注者资质 | 经临床培训的专业抽取员（clinically trained abstractors）；研究变量采用双抽取测试集 |
| 一致性控制 | VALID 框架三支柱：变量级 F1 对标专家双抽取、自动一致性校验、复现/基准分析 |
| 官方划分 | 无训练/验证/测试官方划分——按提案交付研究队列，划分由研究者自行设计（见 §5） |
| 结局金标准 | 复合真实世界死亡终点（EHR + 外链死亡数据），对标 NDI 金标准的敏感度约 90.6% |
与 MIMIC 类「公开即下载」的 ICU 数据不同，Flatiron 的「金标准」不体现在公开划分与竞赛协议上，而体现在变量生产的全程质控链：标准化抽取协议、双抽取测试集、AI 对标验证、端到端复现。理解这一差异是正确使用它的前提——值得复制的是它的质控流程，而不是排行榜。
§3 数据集规格
§3.0 版本抉择矩阵
Flatiron 以「病种数据集 + 产品线」组合交付，无统一「最新版本」。选型建议：
| 你的需求 | 推荐产品线 | 大小 | 理由 |
|---|---|---|---|
| 快速验证一个病种的疗效/模式问题 | EDM（抽样病种临床数据集） | 中（按病种交付） | 抽样设计、变量精炼，可行性审查通过率高 |
| 大队列生存分析与少见亚组 | PANORAMICS（早晚期合并、扩大队列） | 大 | 队列规模最大化，含早期与晚期患者 |
| 精准医学/标志物-疗效建模 | CGDB（临床 × Foundation Medicine 基因组） | 大（含基因组维表） | 唯一含患者级基因组配对的产品线 |
| 本机构患者的可识别数据研究 | Institutional Datasets（机构数据集） | 小-中 | 含可识别信息，限本机构患者，需相应授权 |
| 日本市场研究（胃/结直肠/乳腺） | 日本本地化数据集（经 TRE 访问） | 小-中 | 法规环境独立，数据经可信研究环境远程分析，不支持下载 |
| 交互式探索可行性再定提案 | Flatiron Explore（数据字典/可行性工具） | — | 提案前的数据字典查询与可行性评估入口 |
§3.1 数据模态详情
- 结构化 EHR 字段：患者人口学（出生年、性别）、诊断与分期、实验室值、给药方案与日期、就诊记录。
- 文本派生变量：肿瘤分期细节、进展事件、转移日期、ECOG 体能状态、生物标志物结果等，由人工抽取与 NLP/ML/LLM 从自由文本（医生记录、病理报告）中抽取。
- 真实世界结局：复合死亡终点（EHR + 外链死亡数据，含讣告数据来源）、真实世界进展与治疗线。
- 基因组模态（仅 CGDB）：Foundation Medicine 综合基因组图谱（NGS）变异层，与临床数据患者级配对。
- 不包含：原始影像（DICOM）、原始病理切片、全量基因组原始测序数据（FASTQ）——交付的是研究就绪的变量层与变异层。
- 抽样与可行性层：EDM 采用抽样设计控制交付规模；提案阶段可在 Flatiron Explore 以数据字典预估目标队列规模，避免过度承诺。
- 变量来源标注：字段按「结构化直采 / 人工抽取 / AI 抽取（NLP/ML/LLM）」区分来源，这一区分决定了变量可用于何等级别的结论（见坑点 3）。
§3.2 按子集样本数
| 子集 | 规模 | 来源 |
|---|---|---|
| 美国主数据库 | 5M+ 患者记录、4,500+ 医疗服务者、200+ 机构、1,000+ 网点 | Database Characterization |
| 学术合作网络 | 280+ 诊所与学术机构、800+ 网点、5M+ 活动患者（2025-12） | Utah CODE 资料页 |
| NCCN 合作数据 | 覆盖 6M+ 患者（2026 续签公告） | NCCN 公告 |
| 2019 年对比研究快照 | 201,570 名患者、19 个癌种 | Ma 等 |
| 前列腺 Panoramic | 库内近 400,000 名患者；分析队列 374,000 例 | VALID 应用博客 |
| 日本本地化数据集 | 胃癌、结直肠癌、乳腺癌三病种（经 Lifebit TRE 访问） | Lifebit 公告 |
| 收购时点网络快照（2018） | 265+ 社区癌症诊所、6 家主要学术研究中心；服务 top 15 肿瘤药企中的 14 家 | 罗氏公告 |
| OncologyCloud 时代快照（约 2015-2016） | 约 200 家癌症中心、2,000+ 临床医生、近 100 万活动患者 | emrindustry |
§3.3 数据格式
| 组件 | 格式 | 说明 |
|---|---|---|
| 研究数据表 | 结构化关系表（通用数据模型 + 病种扩展） | 患者层、治疗层、结局层、标志物层分表 |
| 数据字典 | 随数据集交付，可经 Flatiron Explore 查询 | 每字段定义、取值与缺失约定 |
| 分析工具 | 官方 R 包与知识中心资源（学术伙伴可用） | Utah CODE 资料页 |
| 交付通道 | 经 Flatiron Explore 平台交付 | 批准后交付，无公开下载 |
| 远程分析 | 可信研究环境（TRE，Lifebit 技术） | 日本数据集已启用；数据不出境式访问 |
§3.4 存储大小
官方未公开数据总量；实际体量按批准提案以单病种数据集交付，病种数据集通常为数张关系表（GB 级以内量级，视病种与字段扩展而定）。提案可行性审查阶段可在 Flatiron Explore 中预先评估目标队列规模。
体量估算建议用「患者数 × 表数 × 平均行宽」做数量级推算：数十万患者的病种数据集解压后通常在数百 MB 至数 GB 量级——但精确大小以实际交付为准，任何估算值都不应写入论文。
§3.5 标注方式
- 技术辅助人工抽取（technology-enabled abstraction）：经临床培训的抽取员在软件辅助下阅读病历文本，按标准化协议抽取变量——这是金标准层。
- AI 抽取：NLP/机器学习模型（如 ECOG PS 算法）与大语言模型（如癌症进展抽取、前列腺 Panoramic 全库 LLM 抽取）在全库规模上产出变量。
- 混合策略：AI 抽取变量按 VALID 框架与专家双抽取测试集对标后才进入研究数据集；部分研究数据集（如前列腺 Panoramic）以 LLM 抽取为主要生产方式并附验证证据。
- 覆盖优先级：抽取优先覆盖监管与 HTA 关注的核心变量（分期、治疗线、进展、死亡、关键标志物）；不同病种数据集的变量清单随监管科学讨论迭代扩充。
- 版本化生产：同一病种数据集随抽取流水线升级（如从人工抽取为主到 LLM 辅助）而更新，使用时应记录交付版本与数据字典快照。
§3.6 标注者资质与一致性
抽取员为经临床培训的专职人员；关键变量采用双抽取（double abstraction）测试集评估一致性。公开的量化证据：前列腺 Panoramic 中 LLM 抽取变量的 F1 与专家抽取员差距仅 0.5-2.1 个百分点（初诊与日期 2.10、转移诊断与日期 2.11、去势抵抗 vs 激素敏感状态 0.52）；ECOG PS 的 NLP 算法相对结构化字段准确率 93%、敏感度 88%、PPV 88%；14 个癌种的进展抽取 F1 与专家相当（Medical Economics 报道、ECOG NLP 资源页）。
对 AI 研究者最有用的启示是「双抽取测试集」设计：先让两名抽取员独立标注同一小样本（数百例），以一致性（F1）定标，再让 AI 挑战该测试集——这套协议可直接迁移到任何临床 LLM 抽取项目，是 Flatiron 方法学中最具复用性的部分。
§3.7 采集周期
纵向连续采集：患者诊疗记录可追溯至 2011 年 1 月 1 日起的诊疗（对比研究纳入口径），数据库持续滚动更新并按病种发布更新版本；外部死亡数据按年度节奏更新（NDI 类来源为年度更新）。
| 数据代际 | 说明 | 依据 |
|---|---|---|
| 2011-2019 快照 | 对比研究纳入 2011-01-01 起有诊疗记录的患者 | Ma 等 |
| 2021 年对比口径 | CGDB/FHRD 对比研究纳入 2011-01 至 2021-03 的诊疗记录 | CGDB 代表性研究 |
| 当前（2024-2026） | 5M+ 患者滚动更新；外部死亡数据按年度更新 | Database Characterization |
§3.8 地域覆盖
美国全境（800-1,000 余个服务网点），社区网络略偏南部、西部代表性不足；另有英国、德国、日本业务与本地化数据集（日本已有三个病种数据集经可信研究环境访问）。
网点规模存在两个官方口径：1,000+ 独立服务网点（Database Characterization，按「机构 + 网点」统计）与 800+ 网点（学术合作资料，按「合作诊所与机构 + 网点」统计）——引用时须注明出处与截至日期，避免跨口径混比。
§3.9 源系统与设备规格
- 社区端：OncoEMR（肿瘤专用云 EHR）及配套 OncoBilling、OncoAnalytics，是数据网络的原生入口。
- 学术端：NCI 指定综合癌症中心经 NCCN 合作整合本地 EHR 数据（如 UCHealth EMR 与 Flatiron 数据集整合的案例）。
- 合规基线：Flatiron 数据管道按 SOC 2、HITRUST CSF、HIPAA、GDPR 与 21 CFR Part 11 等标准建设（Clinical Pipe 官方描述披露），跨机构数据协作以此为合规底座。
- 无设备层元数据：数据不含影像设备、检验仪器型号等原始设备信息；放射治疗等非内科肿瘤场景的覆盖有限——这是内科肿瘤 EHR 数据源的固有边界。
§3.10 深度溯源链
- 源头：网络内诊所/学术中心的肿瘤专科 EHR（OncoEMR 与整合 EHR）+ 外部来源（如讣告数据）。
- 抽取：结构化字段直接入库；非结构化文本经人工抽取与 NLP/ML/LLM 混合流水线。
- 质控：Flatiron 质量与性能评估框架 + VALID 三支柱验证（变量级 F1、自动校验、复现分析）。
- 建模：整理为通用数据模型（含病种扩展），去标识化（HIPAA 隐私规则、小细胞抑制、老年出生年转换）。
- 交付：经 Flatiron Explore 按批准提案交付，附数据字典与使用协议。
该溯源链的每一环都有对应的质量证据：队列选择环节的偏倚分析（Birnbaum 等 2020 的模型辅助队列选择）、变量级验证（Adamson 等 2023 的 ML 抽取方法学）、端到端复现（Benedum 等 2023）。撰写涉及 Flatiron 数据的论文时，建议在方法章节按此链条逐环引用对应方法学文献。
§4 数据结构
§4.0 目录树
以下为按通用数据模型交付的研究数据集典型结构（示意——各病种数据集的确切表名、字段与版本以你获准交付的数据字典为准，可在 Flatiron Explore 预先查询）：
flatiron_delivery/
├── README.txt # 交付说明与使用范围
├── data_dictionary/
│ └── <dataset>_data_dictionary.xlsx # 字段定义/取值/缺失约定
├── patient/
│ ├── patient.csv # 患者层：人口学、诊断、分期
│ ├── stage_at_initial_diagnosis.csv # 初诊 AJCC 分期（文本派生）
│ └── mortality.csv # 复合真实世界死亡终点
├── treatment/
│ ├── regimen_administration.csv # 给药方案层：方案名/起止日期
│ └── line_of_therapy.csv # 治疗线归属（病种扩展）
├── biomarker/
│ └── biomarker_result.csv # 标志物名/结果/日期/方法
├── encounter/
│ └── visit.csv # 就诊记录（队列纳入规则基础）
└── genomic/ # 仅 CGDB 交付
├── specimen.csv # 检测标本层
└── variant.csv # 变异层：基因/变异类型/致病性
目录树中的表名与分组是教学示意：不同病种数据集会按其数据模型增删表（如血液病种的疗效评估表、实体瘤的病灶评估表）。获批后的第一步应是通读交付的数据字典，并据此修正你对表名与路径的全部假设。
§4.1 DAIMS 字段字典
核心字段一览（字段名以代表性数据模型为例，正式定义以数据字典为准）：
| 字段名 | 类型 | 说明 | 示例值 | AI 用途 | 观测误差 | 信息性缺失编码 | 取值范围 |
|---|---|---|---|---|---|---|---|
| patient_id | Text | 患者唯一匿名标识，跨表主键 | FH-XXXXXX |
关联各层建样本 | 无（系统生成） | 无缺失 | 字符串 |
| birth_year | Integer | 出生年；85 岁以上患者可能经算法转换 | 1954 | 年龄特征 | 老年组有 ± 偏移 | Unknown | 年份 |
| sex | Text | 性别 | F | 分层/公平性 | 低 | Unknown | F/M/Unknown |
| race_ethnicity | Text | 自报种族/族裔 | White | 公平性分析 | 缺失偏移且族裔映射有歧义 | Unknown（Hispanic/Latino 一律映射为 Unknown） | 类别 + Unknown |
| stage_at_initial_diagnosis | Text | 初诊 AJCC 分期（文本派生） | IIIA | 分层/风险模型 | 抽取误差；因病种缺失差异大 | Not documented / Unknown | I-IV + 亚级 |
| advanced_diagnosis_date | Date | 晚期/转移诊断日期（文本派生） | 2021-06-15 | 生存分析索引日期 | 抽取误差（转移日期是公认难题） | Unknown | ISO 日期 |
| death_date | Date | 复合死亡终点日期 | 2023-02-01 | 生存终点标签 | 相对 NDI 敏感度约 90.6% | 空 = 未观测到死亡 | ISO 日期 |
| regimen | Text | 全身治疗方案（标准命名） | Carboplatin/Pemetrexed |
治疗模式/LOT | 命名归一化已处理 | 无缺失（有药即有方案） | 标准方案名 |
| regimen_start_date | Date | 方案开始日期 | 2021-07-02 | LOT 重建 | 低 | 无缺失 | ISO 日期 |
| line_number | Integer | 治疗线编号（病种扩展） | 1 | 治疗线标签 | 依赖官方 LOT 算法规则 | — | 正整数 |
| biomarker_result | Text | 标志物名 + 结果 + 方法 | EGFR L858R positive |
标志物队列 | 依赖检测率与抽取 | Not tested / Unknown | 组合字符串 |
| variant_gene | Text | 变异基因（仅 CGDB） | BRAF |
基因组建模 | NGS 检测动态偏倚 | — | 基因符号 |
| visit_date | Date | 就诊日期（队列纳入与随访锚点） | 2021-05-10 | 队列定义、随访起点 | 低；随访依赖就诊 | 无缺失（有就诊必有日期） | ISO 日期 |
| specimen_collection_date | Date | 基因组标本采集日期（仅 CGDB） | 2020-11-03 | 纵向基因组分析 | 检测时点与治疗时点对齐需人工确认 | — | ISO 日期 |
| biomarker_method | Text | 标志物检测方法 | NGS tissue |
方法分层分析 | 检测方法构成随年代变化 | Not documented | 类别 |
§4.2 标签分布特征
Flatiron 数据集无单一「分类标签」，监督信号随任务而定，且分布呈典型真实世界形态：
- 死亡终点：晚期病种队列事件率高（生存分析主战场），但死亡漏检会低估事件数（敏感度约 90.6%）；早期病种（如 Panoramic 合并队列）事件率低、删失占比高。
- 治疗线标签：一至多线，后线患者数依病种递减；维持治疗与联合用药的归属由官方算法决定。
- 标志物标签：检出率受检测率驱动（未检测 ≠ 阴性）；罕见标志物（如 ROS1 约 1%）呈极端不平衡。
- 小细胞抑制：任何计数 ≤5 的队列以「≤5」报告，直接约束亚组分析与发布粒度。
- 进展标签：真实世界进展主要由文本抽取产出，其「检出强度」与随访密度、影像复查节奏相关——时间依赖建模时须按风险集时间对齐，勿用基线截断的静态标签。
§4.3 关键统计
- 网络构成：社区癌症中心约 70%、学术医学中心约 30%（全部为 NCI 指定综合癌症中心）。
- 数据可得性增益示例：ECOG PS 经 NLP 补全后变量可得性从 60% 提升至 73%。
- 交付规模：单病种研究数据集患者数从数万（抽样 EDM）到数十万（前列腺 Panoramic 约 374,000 例分析队列）不等。
- 结局质量：aNSCLC 队列死亡登记相对 NDI 金标准敏感度 90.6%；LLM 抽取与人工抽取数据的中位 rwOS 差距在 1 个月内（前列腺 mCRPC 例证）。
- 网络服务能力：4,500+ 医疗服务者（Database Characterization 口径）。
- 进展抽取质量：14 个癌种 LLM 抽取 F1 与专家相当，配对真实世界 PFS 估计几乎一致（2025 年报道）。
§4.4 数据层级
患者（patient）
└─ 就诊（visit） # 队列纳入与随访锚点
└─ 诊断/分期（stage, biomarker）
└─ 治疗线（line_of_therapy）
└─ 给药方案（regimen_administration） # 方案级粒度
└─ 基因组标本（specimen，仅 CGDB）
└─ 变异（variant）
└─ 结局（mortality / progression）
分析设计的关键含义：治疗层为「患者-方案」多行结构，任何聚合到患者层的特征工程都必须显式按 patient_id 分组；基因组层经 specimen 与患者配对，注意同患者多标本（纵向液体活检）的时间性。
层级设计的第二个含义是「分析单位的选择」：生存分析在患者层、治疗模式在患者-线层、剂量强度分析在患者-方案层——分析单位选错是审稿人最常抓的方法学问题。
§4.5 缺失值与信息性缺失
| 缺失场景 | 表现 | 是否信息性 | 处理建议 |
|---|---|---|---|
| 种族/族裔 | Unknown 比例高于登记系统；Hispanic/Latino 一律映射为 Unknown | 是（日常诊疗不强制采集） | 公平性分析须做敏感性分析，勿当随机缺失 |
| AJCC 详细分期 | HCC、恶性胸膜间皮瘤、RCC、SCLC、前列腺癌、DLBCL 缺失显著 | 是（内科肿瘤医生参与初诊程度不同） | 用转移/非转移简化分类或按病种分层敏感性分析 |
| ECOG 体能状态 | 结构化字段仅约 60% 可得（NLP 补全后 73%） | 是（文档习惯） | 优先用含 NLP 派生值的变量并注明来源 |
| 85 岁以上出生年 | 出生年经算法转换以防再识别 | 否（人为规则） | 老年亚组分析按年龄段而非精确年龄建模 |
| 小细胞计数 | ≤5 的队列以「≤5」交付/发布 | 是（合规规则） | 亚组分析前预设最小样本阈值 |
| 死亡事件 | 漏检（敏感度约 90.6%） | 是（随访依赖肿瘤科场景） | 用复合终点定义 + 敏感性分析（见坑点 1） |
| 基因组层（CGDB） | 并非全部患者有 NGS 检测；检测时点与临床时点错位 | 是（检测动态） | 标志物分析限定检测人群，并报告检测率随年代的变化 |
§5 划分与使用建议
§5.1 官方划分
无。Flatiron 按提案交付研究队列，官方不提供训练/验证/测试划分，也不鼓励把数据库当作竞赛基准使用。数据的「正确用法」是：先定义临床问题与目标队列（经可行性审查），再做建模与统计推断。
「无官方划分」不等于「无社区实践」：方法学论文普遍采用患者级分组 + 时间外推验证的组合；部分研究将 ML/LLM 抽取数据与人工抽取数据互为对照做交叉校验——这直接继承了官方复现研究的思路。
§5.2 社区惯例与建议划分
| 方案 | 做法 | 适用 |
|---|---|---|
| 患者级随机划分 | 按 patient_id 分组的 train/valid/test（如 70/15/15） | 单病种预测模型开发 |
| 日历时间划分 | 以治疗引入时间断点切分（模拟前瞻部署） | 治疗效果与漂移敏感任务 |
| 双重稳健划分 | 患者级 + 时间双约束，测试集为最晚时间段 | 发表级严谨性要求 |
| 外部验证 | SEER/NPCR 人群校准、机构数据集、日本数据集（TRE） | 泛化性与地域迁移 |
| 按数据集来源分层 | 训练与测试不跨 EDM/CGDB 来源混拼 | 标志物-结局联合建模 |
§5.3 泄漏风险（重点）
- 患者级重复：治疗层与就诊层每患者多行；row-wise 随机划分会让同一患者的记录跨训练/测试集——必须按 patient_id 分组划分。
- 数据集族交叠：同一患者可能同时出现在 EDM、PANORAMICS 与 CGDB 中（CGDB 是临床库与基因组库的配对子集）；跨数据集拼接训练/测试会造成隐性泄漏，拼接前须确认患者唯一性。
- 时间泄漏：诊断后才产生的变量（分期细化、后续治疗线、结局）不能作为「诊断时点预测」特征；特征窗必须在索引日期前截断。
- 标志物选择偏倚传播：检测率随年代与指南快速变化，把「是否检测」相关的时间性变量混入标签侧会导致乐观估计。
- 标志物状态的时间窗污染：以「任意时点检出」定义标志物状态会把检测后信息泄漏进基线特征——标志物状态应在索引日期前的检测窗口内判定，并区分「未检测」与「阴性」（见 §4.5）。
§5.4 交叉验证与外部验证建议
- 交叉验证统一采用患者分组 K 折（GroupKFold）；生存任务折内保持事件比例（分层）。
- 外部验证优先级：① 同病种 SEER 人群校准（分布层面）；② ML/LLM 抽取数据 vs 人工抽取数据的复现一致性（VALID 第三支柱范式）；③ 跨地域（日本数据集，经 TRE）。
- 报告任何结果时注明数据集版本与提取日期——滚动更新意味着同一提案在不同月份拿到的数据不保证逐位一致。
- 负对照实验（negative control）：用已知无效应的暴露-结局组合检验混杂控制是否充分，是 RWE 研究的标准自检手段。
§6 AI 就绪指南 ⭐
§6.0 云端快速启动
Flatiron 不是公开下载数据集，没有 Colab/Kaggle 式一键入口。云端路径有两条：其一，获准团队在本地受控环境处理交付数据（多数 DUA 要求）；其二，经合作方可信研究环境（TRE）远程分析——日本数据集已通过 Lifebit 联邦 TRE 提供「数据不出境」式访问。提案前的可行性探索在 Flatiron Explore 网页端完成，无需数据交付。
对教学与原型开发，可先基于官方公开的数据库特征说明与数据字典构建「dry-run」代码骨架（如下文示例的目录结构与接口假设），获批后无缝切换到真实交付路径——这是缩短「从获批到首份产出」周期的标准做法。
§6.1 快速上手
以下代码假设你已获准交付的单病种研究数据集解压至 data_root。目录结构预期：data_root 下为 §4.0 所示的 patient/、treatment/ 等子目录；data_root 拼接关系：所有文件路径 = data_root / 子目录 / 文件名；最小可用子集：patient/patient.csv + treatment/regimen_administration.csv + mortality.csv 三张表即可支撑一个生存分析 MVP。
# data_root = Path("/secure/flatiron/<disease>_edm_v<version>") # 按交付路径替换
# 预期结构：
# data_root/patient/patient.csv -> 患者层（1 行/患者）
# data_root/patient/mortality.csv -> 死亡终点
# data_root/treatment/regimen_administration.csv -> 方案层（多行/患者）
import pandas as pd
from pathlib import Path
data_root = Path("/secure/flatiron/nsclc_edm_v2026") # 示意路径
patient = pd.read_csv(data_root / "patient" / "patient.csv") # 1 行/患者
mortal = pd.read_csv(data_root / "patient" / "mortality.csv") # 1 行/患者
regimens = pd.read_csv(data_root / "treatment" / "regimen_administration.csv") # 多行/患者
# 以患者层为主表装配分析宽表（生存分析的起点）
cohort = patient.merge(mortal, on="patient_id", how="left")
print(cohort.shape, regimens["patient_id"].nunique()) # 交验：两表患者数应一致
§6.2 数据获取
学术合作者经提案制免费获取国家数据集（EDM/PANORAMICS/CGDB）。全流程（Utah CODE 资料页）：
| 步骤 | 内容 | 周期 |
|---|---|---|
| 0 | 研究团队申请 Flatiron Explore 访问，下载提案模板与数据字典 | — |
| 1 | 提交提案，进入可行性审查（每月 1 日前提交最快） | 1-2 个月 |
| 2 | 按反馈修改重提 | 0-2 个月 |
| 3 | 合作指导委员会批准 | 0-1 个月 |
| 4 | 签署 Statement of Work + 上传 IRB 文件 | 1-2 个月 |
| 5 | 经 Explore 交付数据（使用权两年，限批准提案范围） | 约 0.5 个月 |
| 6 | 分析 | 不限 |
| 7 | 发表前提交终稿供合作方审阅（截止前 10 个工作日） | 约 0.5 个月 |
补充说明：商业用途（药企研究）走单独的商业协议通道，不适用学术免费提案流程；两类通道的变量范围与交付时线不同，动笔提案前应先与官方确认适用路径。
# 提案自检清单（提高一次通过率的脚本化检查）
checklist = {
"clinical_question": "一句话临床问题 + 目标人群定义",
"feasibility": "用 Explore 数据字典预估目标队列规模（避免 <100 例）",
"variables": "逐字段对照数据字典，标注必需 vs 可选",
"analysis_plan": "统计方法与终点定义（含缺失处理）",
"timeline": "两个月内可交付的初步分析计划",
}
assert all(checklist.values()), "提案材料不完整，先补齐再提交"
§6.3 预处理全流程
从交付表到建模宽表的完整流程：格式确认 → 队列装配 → 索引日期定义 → 特征截断 → 缺失与小细胞处理。核心难点全部与「时间」有关：索引日期（晚期诊断 vs 初诊）决定研究人群，特征窗截断决定有无泄漏，随访起点决定生存时间的语义——三者在动笔前必须白纸黑字写清。
<details>
<summary>完整预处理代码（约 60 行，点击展开）</summary>
import pandas as pd
import numpy as np
from pathlib import Path
data_root = Path("/secure/flatiron/nsclc_edm_v2026")
# 1) 读取核心表（表名以交付数据字典为准）
patient = pd.read_csv(data_root / "patient" / "patient.csv", parse_dates=["advanced_diagnosis_date"])
mortal = pd.read_csv(data_root / "patient" / "mortality.csv", parse_dates=["death_date"])
regimens = pd.read_csv(data_root / "treatment" / "regimen_administration.csv",
parse_dates=["regimen_start_date"])
# 2) 装配生存分析队列：索引日期 = 晚期/转移诊断日期
cohort = (patient
.merge(mortal[["patient_id", "death_date"]], on="patient_id", how="left")
.dropna(subset=["advanced_diagnosis_date"]))
# 3) 特征截断：只允许使用索引日期之前的信息（防时间泄漏）
regimens = regimens.merge(
cohort[["patient_id", "advanced_diagnosis_date"]], on="patient_id", how="inner")
pre_index = regimens[regimens["regimen_start_date"] < cohort.set_index("patient_id")
.loc[regimens["patient_id"], "advanced_diagnosis_date"].values]
# 4) 患者级特征：既往治疗数、首次治疗间隔（仅用索引前信息）
feat = (pre_index.groupby("patient_id")
.agg(n_prior_regimens=("regimen", "nunique"),
first_regimen=("regimen_start_date", "min"))
.reset_index())
cohort = cohort.merge(feat, on="patient_id", how="left")
cohort["n_prior_regimens"] = cohort["n_prior_regimens"].fillna(0)
# 5) 生存标签：time = 末次随访或死亡 - 索引；event = 复合死亡终点
cohort["time_days"] = (cohort["death_date"].fillna(pd.Timestamp("2026-01-01"))
- cohort["advanced_diagnosis_date"]).dt.days.clip(lower=0)
cohort["event"] = cohort["death_date"].notna().astype(int) # 未观测到死亡 = 删失
# 6) 缺失与小细胞治理
cohort["stage_simplified"] = cohort["stage_at_initial_diagnosis"].map(
lambda s: "metastatic" if str(s).startswith("IV") else "non-metastatic")
def suppress_small_cells(df, group_cols):
"""任何 ≤5 的亚组以 '≤5' 输出，遵守交付协议的发布规则"""
counts = df.groupby(group_cols).size()
return counts.where(counts > 5, "≤5")
print(cohort[["time_days", "event"]].describe())
print(suppress_small_cells(cohort, ["stage_simplified"]))
</details>
§6.4 PyTorch DataLoader
以患者级生存预测（DeepSurv 风格）为例——Flatiron 交付的患者层宽表恰好 1 行/患者，天然适配表格深度学习：
<details>
<summary>Dataset + DataLoader 完整代码（约 50 行，点击展开）</summary>
import pandas as pd, numpy as np, torch
from torch.utils.data import Dataset, DataLoader
from sklearn.model_selection import GroupShuffleSplit
# ---- 数据：患者级宽表（1 行/患者；多行表须先按 §6.3 聚合到患者层） ----
df = cohort[["patient_id", "n_prior_regimens", "stage_simplified",
"time_days", "event"]].copy()
df = pd.get_dummies(df, columns=["stage_simplified"], drop_first=True)
feat_cols = [c for c in df.columns if c not in ("patient_id", "time_days", "event")]
X = df[feat_cols].astype("float32").values
X = (X - X.mean(0)) / (X.std(0) + 1e-8) # 表格特征标准化
y_time = df["time_days"].astype("float32").values
y_event = df["event"].astype("float32").values
# ---- 患者级划分（单行/患者时 GroupSplit 等价于普通划分，但保留分组习惯以防拼接多行表） ----
tr_idx, te_idx = next(GroupShuffleSplit(n_splits=1, test_size=0.2, random_state=42)
.split(X, groups=df["patient_id"]))
class FlatironSurvDataset(Dataset):
def __init__(self, X, t, e, idx):
self.X, self.t, self.e, self.idx = X, t, e, idx
def __len__(self):
return len(self.idx)
def __getitem__(self, i):
j = self.idx[i]
return (torch.from_numpy(self.X[j]),
torch.tensor(self.t[j]), torch.tensor(self.e[j]))
def collate(batch):
xs, ts, es = zip(*batch)
return (torch.stack(xs),
torch.tensor(ts), torch.tensor(es),
torch.tensor([x.shape[0] for x in xs])) # 兼容未来序列扩展
train_loader = DataLoader(FlatironSurvDataset(X, y_time, y_event, tr_idx),
batch_size=256, shuffle=True, collate_fn=collate)
test_loader = DataLoader(FlatironSurvDataset(X, y_time, y_event, te_idx),
batch_size=512, shuffle=False, collate_fn=collate)
# ---- DeepSurv 风险头（负偏 Cox 部分似然） ----
model = torch.nn.Sequential(
torch.nn.Linear(X.shape[1], 64), torch.nn.ReLU(), torch.nn.Dropout(0.2),
torch.nn.Linear(64, 32), torch.nn.ReLU(),
torch.nn.Linear(32, 1)) # 输出 = log 风险
</details>
§6.5 坑点清单（8 个）
⚠️ 坑点 1：把死亡记录当完整金标准，OS 被系统性高估（分类：标签理解）
问题：Flatiron 的死亡结局来自 EHR 加外部数据链接，随访依赖肿瘤科场景——患者流失到临终关怀或其他机构后死亡可能漏检；aNSCLC 队列相对 NDI 金标准的敏感度约 90.6%，模拟敏感度降至 63.4%/72.5% 时生存分析结果显著失真。
症状：OS 曲线尾部「异常平坦」、中位生存长于文献、测试集事件率明显低于训练集。
解决：
- 简单方法：一律使用交付数据中的复合真实世界死亡终点字段，不要从就诊记录自推死亡；报告随访起点与数据截止日期。
- 进阶方法：做敏感性分析——按删失比例上/下浮事件数重跑 OS；对生存曲线做 IPCW 校正；对照 SEER 同病种中位生存做合理性检查。
- SOTA 方法：采用官方复合终点验证范式（Zhang 等 2021）——以 NDI 增强数据评估敏感度/特异度，并对低敏感度场景做 bootstrap 模拟，量化漏检对结论的影响。
参考：Zhang 等 2021；死亡漏检影响研究
⚠️ 坑点 2：小细胞抑制与 85+ 出生年转换破坏亚组分析（分类：预处理陷阱）
问题：为防再识别，任何 ≤5 人的队列以「≤5」交付，85 岁及以上患者出生年可能经算法转换——亚组统计与极端年龄分析会直接踩坑。
症状：交叉表出现「≤5」字符串导致数值列报错；80+ 患者年龄分布与 SEER 对不上（多数病种低不超过 5 个百分点）。
解决：
- 简单方法：读表时把「≤5」显式映射为 NaN 并禁止 NaN 参与加总；年龄分析按 5 岁段分箱而非精确年龄。
- 进阶方法：发布前写断言脚本扫描所有输出列，任何计数 ≤5 的单元格一律替换为「≤5」；老年亚组用 age ≥75 的粗分箱。
- SOTA 方法：把抑制规则封装进统计报告管线（所有表格/图共用同一抑制函数），并在协议中预设最小亚组样本量（如 n≥20）。
参考：Database Characterization；Ma 等
⚠️ 坑点 3：把 ML/LLM 抽取变量当 100% 可信标签（分类：标签理解）
问题：数据集中大量变量（分期细节、进展日期、ECOG PS、标志物结果）由 AI 流水线抽取；F1 接近专家（差距 0.5-2.1 个百分点）但不等于 100%，错误会随建模传播。
症状：变量级抽查与原始病历对不上；用抽取变量训练的下游模型在人工标注测试集上掉点；进展日期出现「滞后」模式误差。
解决：
- 简单方法：对研究关键变量做人工抽查（按数据字典标注的抽取来源区分人工/AI 派生），报告抽样误差范围。
- 进阶方法：模仿 VALID 框架第二支柱——为数据集写自动一致性校验（如「mHSPC 患者一线前不得出现去势抵抗诊断」类逻辑规则），把不一致样本隔离。
- SOTA 方法：对高价值变量建立双抽取测试集，量化 F1/敏感度/PPV 后把抽取误差作为标签噪声引入下游训练（噪声感知损失或标签平滑）。
参考：VALID 框架应用；Estevez 等 2022
⚠️ 坑点 4：自造治疗线（LOT）定义与官方算法不一致（分类：工程陷阱）
问题：治疗线由官方 regimen 级算法推导（处理维持治疗、联合用药、换药窗口等规则），自行用「换方案即换线」的朴素规则会与官方 line_number 冲突。
症状：自己算的一线患者数与官方治疗线表对不上；维持治疗被误判为新一线，生存曲线按线分层出现「一线比二线还差」的倒挂。
解决：
- 简单方法：直接使用交付的 line_of_therapy 表，不重算。
- 进阶方法：确需自定义规则时，与官方 line_number 做混淆矩阵级比对，报告一致率并把差异样本人工复核归因（常见分歧：维持治疗、口服药、临床试验方案）。
- SOTA 方法：按病种在提案阶段就锁定 LOT 定义并写入分析计划（含维持治疗归属、转换窗口天数），审稿与复核用同一份定义。
参考：Utah CODE 资料页；Castellanos 等 2024
⚠️ 坑点 5：把便利样本当人群样本，外推发病率与患病率（分类：偏倚陷阱）
问题：Flatiron 是肿瘤专科诊疗场景的便利样本：患者须在网络诊所就诊（通常至少两次）、晚期患者偏多、南部偏重西部不足、80+ 与临终关怀场景覆盖弱——它刻画「被治疗的癌症人群」，不是全人群。
症状：估算的患病率/发病率与 SEER/NPCR 相差数倍；「全人群生存」明显好于登记数据（因为纳入的是接受专科治疗者）。
解决：
- 简单方法：结论措辞严格限定为「接受肿瘤专科治疗的患者人群」；人口学声明引用官方代表性研究。
- 进阶方法：与 SEER/NPCR 同病种做分布对标（年龄/性别/地区/分期），用后分层或 IPW 校准目标人群。
- SOTA 方法：采用 Ma 等的对比框架——逐病种报告与登记系统的系统性差异（含 CLL 须有治疗记录这类纳入规则效应），把「适用人群边界」写进论文限制章节。
参考：Ma 等
⚠️ 坑点 6：AJCC 详细分期缺失的病种异质性（分类：预处理陷阱）
问题：详细 AJCC 分期来自内科肿瘤文本抽取，缺失程度因癌种而异——HCC、恶性胸膜间皮瘤、RCC、SCLC、前列腺癌、DLBCL 显著缺失（外科主导初诊的病种更差），而转移/非转移简化分类基本完整。
症状：complete-case 分析后样本悄悄缩水且构成改变；跨病种合并训练时分期特征在不同病种间缺失机制完全不同。
解决：
- 简单方法：每个病种先统计分期缺失率再决定建模策略；缺失高的病种改用转移/非转移二分类。
- 进阶方法：把「分期是否可得」作为指示特征与缺失类别（Not documented）一并建模，并报告 complete-case vs 缺失类别两套结果。
- SOTA 方法：按病种分别校准的缺失模型（病种内多重插补），并以 SEER 同病种分期分布做插补后校准检查。
参考：Ma 等
⚠️ 坑点 7：种族/族裔字段的缺失与映射歧义毁掉公平性分析（分类：偏倚陷阱）
问题：日常肿瘤诊疗不强制采集种族；Hispanic/Latino 在部分患者中被当作 race 记录、统一映射为 Unknown——缺失非随机且类别语义有偏。
症状：按种族分层时 Unknown 组异常庞大；亚组间效应量差异可能只是「检测/就医差异」的影子；公平性指标随缺失处理方式剧烈波动。
解决：
- 简单方法：公平性分析必须报告 Unknown 比例，并把 Unknown 作为显式类别而非插补目标。
- 进阶方法：做多重敏感性分析（complete-case / Unknown 单列 / 缺失指示法），结论只在跨方案稳定时陈述。
- SOTA 方法：把「医疗可及性」作为中介显式建模（检测率、就诊强度），区分「数据缺失偏倚」与「真实差异」，参考官方对种族完整性的方法论说明。
参考：Ma 等
⚠️ 坑点 8：跨数据集拼接与 row-wise 划分造成患者级泄漏（分类：数据泄漏）
问题：同一患者可能同时存在于 EDM、PANORAMICS 与 CGDB；治疗层/变异层每患者多行——row-wise 随机划分让「同一患者的双胞胎行」分居训练与测试集，指标虚高。
症状：测试性能远高于真实部署；跨数据集实验提升「异常显著」；重复患者率审计发现大量 patient_id 重叠。
解决：
- 简单方法：所有划分按 patient_id 分组（GroupShuffleSplit/GroupKFold）；拼接多数据集前先
drop_duplicates("patient_id")审计重叠率。- 进阶方法：划分前构建「患者注册表」，任何数据集来源的同一患者只允许出现在一个 split；把重叠率写进实验记录。
- SOTA 方法：患者级分组 + 日历时间双约束划分（测试集为最晚时间段），同时防患者泄漏与时间泄漏；对 CGDB 额外报告 NGS 检测动态带来的构成偏移。
参考：CGDB 代表性研究；本 Wiki §5.3
§6.6 数据增强 ✅/❌
| 操作 | 结论 | 理由 |
|---|---|---|
| 特征级 dropout（训练期随机置零表格特征） | ✅ | 提升对 EHR 缺失扰动的鲁棒性，不改变临床语义 |
| 按患者分组的类别重加权 / IPCW 权重 | ✅ | 处理标签不平衡与删失，保持分布真实 |
| 时间窗特征聚合（多粒度滑窗统计） | ✅ | 利用纵向深度，等价于合法的特征增强 |
| SMOTE 直接合成「患者」 | ❌ | 合成患者违背临床分布且破坏共病/用药逻辑一致性 |
| 随机删除就诊/给药行模拟缺失 | ❌ | 与真实缺失机制（信息性缺失）不符，注入错误监督 |
| 跨患者线性插值生成新样本 | ❌ | 治疗序列不可插值，会产生临床上不存在的方案组合 |
§6.7 模型推荐
| 任务 | 推荐模型 | 参考实现 | 备注 |
|---|---|---|---|
| 患者级生存预测 | DeepSurv / DeepHit；Cox + XGBoost | torch 自实现 / xgboost |
小样本病种先用经典 Cox 打基线 |
| 治疗效果比较 | IPW/匹配 + 目标试验模拟 | statsmodels、lifelines |
遵循 target trial emulation 框架 |
| 治疗序列建模 | Transformer（方案序列） | HuggingFace 自训练 | 序列 = 按时间排序的 regimen token |
| 病历文本抽取对标 | 临床 LLM 微调/少样本 | 闭源 API 或开源医学 LLM | 对标官方 F1（ECOG 93%、进展 F1≈专家） |
| 临床-基因组联合 | 多模态融合（表 + 变异集合编码） | 自实现 | 仅限 CGDB；注意 NGS 检测动态偏倚 |
| 队列识别/患者画像 | LLM 结构化输出 + 规则校验 | 闭源 API 或开源医学 LLM | 校验规则参考 VALID 第二支柱的自动一致性检查 |
§6.8 硬件需求
| 场景 | 配置 | 说明 |
|---|---|---|
| 队列装配/统计/RWE 分析 | CPU 16 核 + 64GB RAM | 单病种数据集通常在单机内存可承载 |
| 表格深度学习（生存/分类） | 单卡 24GB GPU（如 RTX 4090 级） | 患者级宽表规模小，训练分钟级 |
| 治疗序列 Transformer | 单卡 40-80GB GPU | 序列短（数十 token），主要成本在调参 |
| LLM 抽取/少样本对标 | API 或 2×80GB GPU | 大规模抽取注意 DUA 对数据出境与推理服务的限制 |
| 远程分析（TRE） | CPU 集群（合作方托管） | 数据不出境场景，代码上传、结果下载 |
§6.9 评估指标代码
<details>
<summary>生存任务评估代码（约 30 行，点击展开）</summary>
import numpy as np, pandas as pd
from lifelines.utils import concordance_index
from sksurv.metrics import cumulative_dynamic_auc
def evaluate_survival(y_time, y_event, risk, times_months):
"""C-index + 时间依赖 AUC（生存任务双指标）"""
cidx = concordance_index(y_time, -risk, y_event) # risk 越大风险越高，取负
print(f"Harrell C-index: {cidx:.3f}")
# sksurv 结构化标签
y_struct = np.array([(e, t) for e, t in zip(y_event.astype(bool), y_time)],
dtype=[("event", "?"), ("time", "<f8")])
test_times = np.percentile(y_time[y_event == 1], [25, 50, 75])
auc, mean_auc = cumulative_dynamic_auc(y_struct, y_struct, risk, test_times)
for t, a in zip(test_times, auc):
print(f"time-dependent AUC @ {t:.0f}d: {a:.3f}")
print(f"mean AUC: {mean_auc:.3f}")
# 报告规范：同时给出绝对量（校准曲线/中位生存）与区分度（C-index/AUC）
# 并附死亡终点敏感性分析（见坑点 1）与患者级划分声明（见坑点 8）
除区分度外，发表级评估应附校准：按预测风险十分位分组绘制观测/预测生存曲线，或检验预测分布的 D-calibration——生存模型的 C-index 相近但校准悬殊是真实世界数据的常态。
</details>
§6.10 MLOps 笔记
- 版本即协议：记录数据集病种、产品线（EDM/PANO/CGDB）、交付日期与数据字典版本于实验追踪系统；DUA 两年有效期到期前规划续期与重跑。
- 抽取来源可追溯：特征工程中为每个人工/AI 派生变量打来源标签（provenance），下游任何性能变化可回溯到变量层。
- 漂移监控：治疗格局演进快（如 CDK4/6 抑制剂、PARP 抑制剂在早期场景的获批扩散），按季度监控队列构成（分期、检测率、方案分布）漂移。
- 合规即代码：把「≤5 抑制」「85+ 年龄段处理」「无再识别尝试」写成 CI 断言，任何分析产物发布前自动扫描。
- 复现包：交付物包含固定随机种子、数据字典快照与 VALID 式一致性校验输出，便于合作方与审稿人复核。
- 访问即依赖：把「获批数据集 + 版本」登记为实验依赖项；DUA 两年有效期到期触发的复现失败要纳入计划管理。
- 协作规范：所有对交付数据的转换脚本纳入版本控制，原始交付目录只读挂载，禁止原地修改。
§7 质量评估与局限性
§7.1 已知偏倚
| 偏倚类型 | 描述 | 严重程度 | 缓解 |
|---|---|---|---|
| 选择偏倚 | 仅纳入肿瘤专科就诊（通常 ≥2 次）患者；晚期诊断占比高于登记系统 | 高 | 明确目标人群；与 SEER 对标后分层 |
| 地理偏倚 | 便利样本略偏南部、西部代表性不足 | 中 | 地区敏感性分析；避免地区级外推 |
| 年龄偏倚 | 80+ 患者比例略低（多数病种 ≤5 个百分点）；临终关怀场景覆盖弱 | 中 | 老年结论谨慎；粗分箱 |
| 种族缺失偏倚 | 缺失比例高于 SEER/NPCR，且 Hispanic/Latino 映射为 Unknown | 高 | 公平性分析多方案敏感性（坑点 7） |
| 分期缺失异质性 | 部分病种 AJCC 详细分期缺失显著 | 中 | 转移/非转移简化 + 缺失指示法（坑点 6） |
| 结局测量误差 | 死亡漏检（敏感度约 90.6%）、进展日期抽取误差 | 高 | 复合终点 + 敏感性分析（坑点 1） |
| 检测/转诊偏倚（CGDB） | NGS 检测动态使基因组子集偏年轻、偏可用药标志物 | 中 | CGDB 结论限定于检测人群（坑点 8） |
| 幸存者偏差 | 记录自网络内首次就诊起，就诊前死亡/快速流失患者代表性弱 | 中 | 明确登记起点；敏感性分析 |
§7.2 标注质量
抽取质量是 Flatiron 最大的公开方法学投入：技术辅助人工抽取为金标准层，关键变量双抽取测试集控制一致性；AI 抽取变量经 VALID 三支柱（变量级 F1 对标专家、自动一致性校验、复现分析）验证后方可进入研究数据集。公开证据包括：LLM 抽取变量 F1 与专家差距 0.5-2.1 个百分点、ECOG PS NLP 准确率 93%/敏感度 88%/PPV 88%、14 个癌种进展抽取 F1 与专家相当、LLM 抽取数据集与人工抽取数据集的中位 rwOS 差距在 1 个月内。使用者仍须牢记：经验证 ≠ 无误差，坑点 3 的处理流程不可省略。
可直接引用的量化锚点（引用时注明所属队列与年代——质量证据是队列特异的，不可全库外推）：
- 死亡终点敏感度约 90.6%（aNSCLC 队列，vs NDI 金标准）。
- ECOG PS NLP 准确率 93%、敏感度 88%、PPV 88%（21 个癌种）。
- LLM 变量抽取 F1 与专家差距 0.5-2.1 个百分点（前列腺 Panoramic）。
- LLM 数据集与人工抽取数据集 rwOS 中位差 ≤1 个月（mCRPC 方案队列）。
§7.3 泛化性
| 场景 | 失效风险 | 证据 |
|---|---|---|
| 人群发病率/患病率推断 | 高 | 便利样本、专科就诊限定（Ma 等） |
| 老年（80+）亚组生存分析 | 中-高 | 老年比例偏低 + 出生年转换（Ma 等） |
| 种族公平性结论 | 高 | 缺失非随机 + 映射歧义（Ma 等） |
| OS 绝对值外推至全人群 | 中-高 | 死亡漏检致生存高估（敏感度 90.6%） |
| 跨国迁移（美→英/德/日） | 中 | 本地化为独立数据集，非同库拼接（Lifebit/NCCN 资料） |
| 社区→学术中心外推 | 中 | 70/30 构成与学术中心的病例构成差异（Database Characterization） |
§7.4 伦理
数据按 HIPAA 隐私规则去标识化：直接标识符移除、≤5 队列抑制、85+ 出生年算法转换、禁止再识别尝试（合同义务）。使用需 IRB 批准文件与数据使用协议；交付数据限于批准提案范围；发表前须经合作方审阅。机构数据集（Institutional Datasets）含可识别信息，仅限本机构患者与相应授权场景。原始授权与患者同意机制由数据源机构与 Flatiron 框架承担，研究者应在论文中如实引用该合规链。
流程上值得注意的是：IRB 文件是数据交付的前置条件（获取流程步骤 4）——官方把伦理审查嵌入获取链而非事后补充；本国伦理体系之外的团队应在提案阶段即确认可接受的替代审批路径。
§7.5 公平性
种族/族裔字段的缺失比例显著高于登记系统，且族裔与种族的映射存在系统性歧义（Hispanic/Latino → Unknown）；检测率、就诊强度等可及性变量在不同人群间分布不均。这意味着任何按人群分层的模型评估都可能把「可及性差异」误读为「生物学差异」。建议：分层报告必须含 Unknown 组、跨缺失处理方案的敏感性分析、以及把检测行为本身作为协变量的中介分析。此外，机构类型（社区 vs 学术）本身是公平性分析的重要维度——同一治疗方案在两类场景的采用速度差异既是 RWE 研究的常见结论，也是模型部署后漂移的先导指标。
§7.6 数据漂移
肿瘤治疗格局演进速度快：新药获批会迅速改变一线/后线构成（如前列腺癌 ARPI/PARPi 在更早分期场景的扩散、NSCLC 靶向药的线序前移），NGS 检测率随医保覆盖扩散而持续上升（直接影响 CGDB 构成），COVID-19 等冲击亦会改变就诊与随访模式。滚动更新的数据库意味着「同名字段、不同年代」的语义可能不同——跨年度合并训练前必须按年代分层审计目标变量与关键特征的分布。
监控建议：按季度审计病种队列构成（年龄/分期/方案分布）、标志物检测率与新方案引入速度；再训练触发条件可设为关键特征分布的 PSI 超阈值或重大指南变更（新获批线序）。
§7.7 DAIMS 数据集成熟度自评
| # | 检查项 | 状态 | 说明 |
|---|---|---|---|
| 1 | 宽格式可得 | ✅ | 通用数据模型支持患者级宽表装配（多行表聚合后） |
| 2 | 唯一患者标识 | ✅ | patient_id 跨表主键，全库贯通 |
| 3 | 特殊字符处理 | ✅ | 文本派生变量经标准化抽取流水线 |
| 4 | 重复行控制 | ✅ | 质量与性能评估框架覆盖去重与一致性 |
| 5 | 缺失编码明确 | ✅ | Unknown/Not documented/≤5 约定清晰 |
| 6 | 标签来源标识 | ⚠️ | 人工 vs AI 抽取来源需经数据字典与提案确认 |
| 7 | 罕见类处理 | ✅ | ≤5 小细胞抑制规则明确 |
| 8 | 偏倚评估 | ✅ | 与 SEER/NPCR 代表性对比研究公开发表 |
| 9 | 数据字典 | ✅ | Flatiron Explore 提供病种数据字典 |
| 10 | 信息性缺失解释 | ✅ | 专科就诊范围的缺失机制有系统研究支撑 |
| 11 | 设备/仪器记录 | ❌ | 无影像/检验设备元数据（EHR 变量层交付） |
| 12 | 共线性提示 | ⚠️ | 治疗、分期、检测变量高度相关，需自行诊断 |
| 13 | 编码映射 | ✅ | ICD/SNOMED 层面可映射；方案名标准命名 |
| 14 | 时间戳处理 | ✅ | 索引日期/特征窗/删失规则明确，出生年转换有说明 |
| 15 | 官方划分 | ⚠️ | 无官方训练/测试划分，需自行设计 |
| 16 | 泄漏讨论 | ✅ | 本 Wiki §5.3 与坑点 8 系统讨论 |
| 17 | 标签分布统计 | ⚠️ | 随病种/版本差异大，须在获批数据上自行统计 |
| 18 | 测量偏倚评估 | ⚠️ | 抽取误差已量化（VALID）但非零，需误差传播意识 |
| 19 | 外部验证建议 | ✅ | §7.8 矩阵 + 官方复现研究范式 |
| 20 | 版本记录 | ⚠️ | 按病种滚动更新，跨病种版本不统一 |
| 21 | 预处理脚本 | ⚠️ | 学术伙伴可获官方 R 包，非全公开脚本 |
| 22 | 合规要求 | ✅ | DUA + IRB + HIPAA 去标识化链完整 |
| 23 | 多模态对齐 | ✅ | CGDB 临床-基因组患者级配对 |
| 24 | 去标识化 | ✅ | HIPAA 规则 + 抑制/转换 + 合同禁止再识别 |
DAIMS 评分：19.5 / 24（✅ 计 1 分 ×16、⚠️ 计 0.5 分 ×7、❌ 计 0 分 ×1）。
评分解读：这是一个「变量层成熟度极高、基础设施层有条件依赖」的数据集——数据字典、去标识化、偏倚评估、结局验证等 YMYL 关键项全部达标，这在小样本人工标注数据集居多的医疗 AI 领域属于第一梯队；扣分集中在「必须经提案获取、无官方划分、版本不统一、无设备元数据」这类交付形态约束，而非数据质量本身。换一个视角：它的 ⚠️ 项大多不是数据集的缺陷，而是「使用方式」对研究者提出的更高要求——补齐这些要求正是你相对其他使用者的竞争力所在。
对你意味着什么：如果你能通过机构获得提案批准，可直接把它当作肿瘤 RWE 与临床 NLP 的生产级数据源，把精力花在终点定义与偏倚控制上；如果你只想要「下载即训」的公开数据，它不适合——请先用 Flatiron Explore 公开数据字典做可行性沙盘，或改用其公开方法学论文作为 LLM 抽取管线的对标基准。无论哪种路径，坑点 1（死亡终点）与坑点 8（患者级泄漏）是必须写进分析计划的两个硬约束。
§7.8 外部验证矩阵
| 外部数据集/场景 | 来源机构 | 评估任务 | 性能指标 | 相对内部变化 | 关键发现 |
|---|---|---|---|---|---|
| NDI 死亡金标准 | 美国 NCHS | aNSCLC 死亡登记 | 敏感度 90.6% | — | 漏检致 OS 高估；低敏感度模拟显著影响结论 |
| SEER / NPCR | NCI / CDC | 基线人群特征对比 | 分布差异 | 80+ 低 ≤5 个百分点 | 便利样本；晚期偏移；种族完整性低 |
| 专家双抽取测试集 | Flatiron 内部 | 前列腺 Panoramic LLM 变量抽取 | F1 差距 0.5-2.1 个百分点 | — | LLM 抽取接近专家表现 |
| 人工抽取数据集 | 同病种配对 | mCRPC rwOS 复现 | 25.3 vs 24.4 个月（1L ARPI）；15.8 vs 15.9 个月（2L PARPi） | 中位差 ≤1 个月 | LLM 抽取与人工抽取数据临床可互换 |
| 多病种 EHR 复现 | 学术合作 | ML 抽取数据的 RWE 复现 | 复现一致性 | — | ML 抽取数据可复现已确立临床结果 |
| 复合死亡终点验证 | NCHS（NDI 增强） | 复合真实世界死亡终点 | 与金标准一致性验证 | — | Zhang 等 2021 的官方验证范式 |
§8 基准性能与生态
§8.1 RWE 一致性基准研究
Flatiron 不是竞赛型基准数据集，不存在传统排行榜；其「基准」是 RWE 方法学一致性研究。下表汇总可作对标的公开结果（数值来自不同队列与终点定义，不可直接横向比较）：
| 序号 | 研究对象 | 性能/结果 | 年份 | 关键技术 | 完整引用 | 代码 |
|---|---|---|---|---|---|---|
| 1 | aNSCLC 死亡登记 vs NDI | 敏感度 90.6%；低敏感度模拟下 OS 显著失真 | 2021 | EHR + 外链死亡数据 | Warren 类死亡漏检评估研究, Pharmacoeconomics/Open, PMID 30873729（Ovid 链接） | 未公开 |
| 2 | 复合真实世界死亡终点 | 与 NDI 增强金标准一致的验证框架 | 2021 | 复合终点建模 | Zhang Q, et al., Health Serv Res, 2021, 56(6):1281-1287. doi:10.1111/1475-6773.13669 | 未公开 |
| 3 | ECOG PS NLP 抽取 | 准确率 93%、敏感度 88%、PPV 88%；可得性 60%→73% | 2023 | NLP + 21 个癌种 | Flatiron 资源页（Huntsman/NYU/Flatiron 合作） | 未公开 |
| 4 | 癌症进展 LLM 抽取 | 14 个癌种 F1 与专家相当；rwPFS 估计几乎一致 | 2025-2026 | LLM（Anthropic 模型） | Medical Economics 报道 | 未公开 |
| 5 | 前列腺 Panoramic LLM 全库抽取 | F1 差距 0.5-2.1 个百分点；rwOS 中位差 ≤1 个月 | 2026 | VALID 框架 | Flatiron VALID 应用博客 | 未公开 |
| 6 | ML 抽取数据 RWE 复现 | 复现已确立临床结果 | 2023 | ML 抽取 + 复现分析 | Benedum CM, et al., Cancers, 2023, 15(6):1853. doi:10.3390/cancers15061853 | 未公开 |
§8.2 SOTA 总结与选型建议
- 生存/RWE 任务：先用经典 Cox + IPW 建立统计基线，再上 DeepSurv/DeepHit；任何深度模型必须报告与统计基线的差值与校准。
- 抽取任务：直接对标官方公开数字（ECOG 93% 准确率、进展 F1≈专家），用 VALID 三支柱设计自己的评估——这是目前肿瘤 LLM 抽取最完整的公开方法学。
- 基因组联合建模：CGDB 是稀缺资源，但先审计 NGS 检测动态构成偏倚再建模。
- 统计基线不可跳过：Flatiron 数据的分析型使用以统计推断为主语言，深度模型的价值必须相对 Cox/IPW 基线陈述——这是 RWE 审稿的默认期待。
- 抽取任务的评估设计：自建抽取管线时先固定双抽取测试集再跑模型，避免「先看答案再调参」的隐性过拟合；对标数字直接引用 §8.1 的公开结果。
§8.3 评测协议
- 患者级分组划分（+日历时间约束，见 §5.3）；2. 终点用官方复合定义并做漏检敏感性分析；3. 指标组合：C-index + 时间依赖 AUC + 校准（生存）；F1/敏感度/PPV 对专家双抽取（抽取）；4. 全部结果附数据集版本与提取日期；5. 产出物通过 ≤5 抑制与 85+ 处理的合规断言；6. 数据描述统一引用 Database Characterization 说明页并注明截至日期；7. 发表终稿按规定提前提交合作方审阅。
§8.4 相关数据集
| 数据集 | 关系 | 互补点 |
|---|---|---|
| SEER / NPCR | 人群登记对照 | 全人群发病率与生存金标准，用于校准偏倚 |
| FH-FMI CGDB | 同源子集 | 临床 × 基因组配对（Flatiron 生态内） |
| NCCN 学术数据计划 | 同源分发 | 顶级学术中心的制度化使用与资助通道 |
| MSK-IMPACT 类机构队列 | 异源对照 | 单中心深度基因组队列，可与 CGDB 结论互证 |
| TriNetX 等 RWE 网络 | 异源对照 | 更广病种谱但肿瘤专科整理深度较浅 |
| MIMIC-III/IV | 异源对照 | ICU 重症场景 EHR，方法论（去标识、CDM）同源思想 |
§8.5 关键论文 Top 8
- Ma X, Long L, Moon S, Adamson BJS, Baxi SS. Comparison of population characteristics in real-world clinical oncology databases in the US: Flatiron Health, SEER, and NPCR. medRxiv, 2023. doi:10.1101/2020.03.16.20037143 — 代表性与偏倚的官方对标研究。
- Zhang Q, Gossai A, Monroe S, Nussbaum NC, Parrinello CM. Validation analysis of a composite real-world mortality endpoint for patients with cancer in the United States. Health Serv Res, 2021, 56(6):1281-1287. doi:10.1111/1475-6773.13669 — 死亡终点可信度的基石文献。
- Adamson B, Waskom M, Blarre A, et al. Approach to machine learning for extraction of real-world data variables from electronic health records. Front Pharmacol, 2023, 14:1180962. doi:10.3389/fphar.2023.1180962 — ML 抽取变量体系的官方方法学。
- Estevez M, Benedum CM, Jiang C, et al. Considerations for the use of machine learning extracted real-world data to support evidence generation: a research-centric evaluation framework. Cancers, 2022, 14(13):3063. doi:10.3390/cancers14133063 — ML 抽取数据的评估框架。
- Benedum CM, Sondhi A, Fidyk E, et al. Replication of real-world evidence in oncology using electronic health record data extracted by machine learning. Cancers, 2023, 15(6):1853. doi:10.3390/cancers15061853 — 证明 ML 抽取数据可复现 RWE。
- Castellanos EH, Wittmershaus BK, Chandwani S. Raising the bar for real-world data in oncology: approaches to quality across multiple dimensions. JCO Clin Cancer Inform, 2024, 8:e2300046. doi:10.1200/CCI.23.00046 — 质量多维框架。
- Birnbaum B, Nussbaum N, Seidl-Rathkopf K, et al. Model-assisted cohort selection with bias analysis for generating large-scale cohorts from the EHR for oncology research. arXiv, 2020. doi:10.48550/arXiv.2001.09765 — 规模化队列选择与偏倚分析。
- Flatiron Health. VALID framework（Validation of Accuracy for LLM/ML-Extracted Information and Data）. JCO Clin Cancer Inform, 2026（见官方应用说明）— LLM 抽取数据质量的行业标杆框架。
§8.6 社区活跃度
- 文献影响力：Flatiron RWD 已支撑 2,000+ 篇发表研究（官网统计，截至 2026-09），在 ASCO、ISPOR、WCLC 等肿瘤学与卫生经济学会议保持高频产出。
- 制度化学术生态：与 NCCN 的合作自 2014 年延续至 2028 年，含每半年最多 7 项的 Flatiron Grants 资助计划。
- 开发者资源：Flatiron Knowledge Center 提供学术伙伴 R 包与教程；数据字典公开可查（Flatiron Explore）。
- 方法学外溢：VALID 框架、复合死亡终点验证等方法学产物已成为行业引用标准——即使无法获取数据，跟踪这些方法学发表本身就有价值。
§8.7 生态快照
| 资源 | 类型 | 链接 | 状态（截至 2026-09） | 推荐理由 |
|---|---|---|---|---|
| Database Characterization | 官方说明文档 | flatiron.com/database-characterization | 持续维护 | 投稿/审稿必备的数据特征引用源 |
| Flatiron Explore | 数据字典/提案平台 | 经官方主页进入 | 活跃 | 提案前可行性评估的唯一入口 |
| Flatiron Knowledge Center | 教程/R 包 | 学术伙伴专享 | 活跃 | 官方分析工具链 |
| Flatiron Telescope | AI 洞察平台 | 官方公告 | 2026 推向 NCCN 网络 | 无需深度技术背景的队列探索 |
| Flatiron Clinical Pipe | EHR→EDC 工具 | CU Anschutz 页面 | 试点机构部署 | 临床试验数据自动回填 |
| Lifebit TRE 集成 | 可信研究环境 | 官方公告 | 日本数据集启用 | 数据不出境的远程分析范式 |
| Flatiron Grants | 资助计划 | NCCN 渠道 | 每半年最多 7 项 | 学术研究经费通道 |
§9 相关资源与引用
§9.1 官方资源
- 官方主页：flatiron.com
- 数据库特征说明（引用格式规范）：Database Characterization
- 研究资源与证据库：flatiron.com/resources
- 新闻稿中心：resources.flatiron.com/press
- 学术获取入口：Flatiron Explore（经机构合作渠道申请）
- 机构使用范例：Huntsman Cancer Institute (Utah CODE)、CU Anschutz Cancer Center
- 学术合作咨询：AskResearch@flatiron.com（学术合作资料披露的官方咨询邮箱）
§9.2 BibTeX 引用
<details>
<summary>核心方法学论文 BibTeX（点击展开）</summary>
@article{ma2023comparison,
author = {Ma, Xinran and Long, Lura and Moon, Sharon and Adamson, Blythe J. S. and Baxi, Shrujal S.},
title = {Comparison of Population Characteristics in Real-World Clinical Oncology Databases in the {US}: Flatiron Health, {SEER}, and {NPCR}},
journal = {medRxiv},
year = {2023},
doi = {10.1101/2020.03.16.20037143}
}
@article{zhang2021validation,
author = {Zhang, Qinlian and Gossai, Amanda and Monroe, Scott and Nussbaum, Nancy C. and Parrinello, Catherine M.},
title = {Validation Analysis of a Composite Real-World Mortality Endpoint for Patients with Cancer in the {United States}},
journal = {Health Services Research},
volume = {56},
number = {6},
pages = {1281--1287},
year = {2021},
doi = {10.1111/1475-6773.13669}
}
@article{adamson2023approach,
author = {Adamson, Blythe and Waskom, Michael and Blarre, Aude and others},
title = {Approach to Machine Learning for Extraction of Real-World Data Variables from Electronic Health Records},
journal = {Frontiers in Pharmacology},
volume = {14},
pages = {1180962},
year = {2023},
doi = {10.3389/fphar.2023.1180962}
}
@article{estevez2022considerations,
author = {Estevez, Michelle and Benedum, Natasha C. and Jiang, Connie and others},
title = {Considerations for the Use of Machine Learning Extracted Real-World Data to Support Evidence Generation: A Research-Centric Evaluation Framework},
journal = {Cancers},
volume = {14},
number = {13},
pages = {3063},
year = {2022},
doi = {10.3390/cancers14133063}
}
@article{benedum2023replication,
author = {Benedum, Christine M. and Sondhi, Arjun and Fidyk, Emily and others},
title = {Replication of Real-World Evidence in Oncology Using Electronic Health Record Data Extracted by Machine Learning},
journal = {Cancers},
volume = {15},
number = {6},
pages = {1853},
year = {2023},
doi = {10.3390/cancers15061853}
}
@article{castellanos2024raising,
author = {Castellanos, Elizabeth H. and Wittmershaus, Brooke K. and Chandwani, Sangeeta},
title = {Raising the Bar for Real-World Data in Oncology: Approaches to Quality Across Multiple Dimensions},
journal = {JCO Clinical Cancer Informatics},
volume = {8},
pages = {e2300046},
year = {2024},
doi = {10.1200/CCI.23.00046}
}
@misc{birnbaum2020model,
author = {Birnbaum, Birgit and Nussbaum, Nathalie and Seidl-Rathkopf, Kerstin and others},
title = {Model-Assisted Cohort Selection with Bias Analysis for Generating Large-Scale Cohorts from the {EHR} for Oncology Research},
year = {2020},
doi = {10.48550/arXiv.2001.09765}
}
</details>
§9.3 引用指南
引用本数据集族时：因无单一 DOI，建议同时引用① Database Characterization 说明页（数据特征）、② 与你研究最相关的病种/方法学论文（如死亡终点验证或 VALID 框架）、③ 你获批数据的具体数据集名称与交付日期。禁止把本 Wiki 的概述性数字直接写入论文——一律回溯到上述一手来源。引用 Flatiron 生态工具（Telescope、Clinical Pipe、TRE 集成）时引用对应官方公告；引用网络规模数字时优先 Database Characterization（官方口径）并注明截至日期。
§10 AI 使用声明卡
§10.1 AI 模型列表
- 条目撰写与结构化：fast-model 大型语言模型（千方病案平台内置）。
- 事实核查：网络检索（WebSearch）5 次，检索日期 2026-09-13。
§10.2 AI 参与范围
AI 完成检索汇总、初稿撰写、代码示例与表格组织；医学编辑部与数据工程师完成事实核验、医学与工程审核（见 §0）。关键数字（规模、收购金额、性能指标、访问流程）均经来源核对并内联链接；未能核实的字段已整行省略。数字核实策略：规模类数字优先官方口径（Database Characterization、NCCN 公告），媒体口径（BioPharma Dive 等）仅用于公司史叙述；两口径冲突时（如网点数 1,000+ vs 800+）并列呈现并注明出处。
§10.3 输入来源列表
- Roche. Roche to acquire Flatiron Health… 媒体公告, 2018-02-15. roche.com
- Roche. Roche completes acquisition of Flatiron Health. 媒体公告, 2018-04-06. assets.roche.com
- Elvidge S. Roche buys cancer data company Flatiron Health for $1.9B. BioPharma Dive, 2018. biopharmadive.com
- Roche pens $1.9B deal to buy oncology data firm Flatiron. Fierce Biotech, 2018. fiercebiotech.com
- Roche acquires oncology EHR company Flatiron Health for $1.9 billion. Healthcare IT News, 2018. healthcareitnews.com
- Flatiron Health. Database Characterization Guide. flatiron.com
- Huntsman Cancer Institute (CODE). Real-World Data from 5M+ Oncology Patients — Flatiron Health National Datasets for Academic Research. 2025-12. code.hci.utah.edu
- University of Colorado Anschutz. Using Flatiron. research.cuanschutz.edu
- NCCN & Flatiron Health. Renewal of Collaboration… 2026. resources.flatiron.com
- Lifebit & Flatiron Health. …real-world data in Japan. 2024. resources.flatiron.com
- Flatiron Health. 官方主页. flatironhealth.com
- Flatiron Health. Using Machine Learning to Reimagine the Infrastructure of Cancer Care. resources.flatiron.com
- Flatiron Health. High-quality, validated AI-enabled research: Insights from recent prostate cancer research. resources.flatiron.com
- Flatiron Health study shows AI can match human experts in tracking cancer progression. Medical Economics, 2025. medicaleconomics.com
- Flatiron Health. A natural language processing algorithm to improve completeness of ECOG performance status in real-world data. flatiron.com
- Ma X, et al. medRxiv, 2023. doi:10.1101/2020.03.16.20037143
- An evaluation of the impact of missing deaths on overall survival analyses… Ovid/PMID 30873729
- European Commission. Study on Big Data in Public Health… 2016. health.ec.europa.eu
- Flatiron Health Unveils New Features to its OncologyCloud™ Software Platform. emrindustry, 2015. emrindustry.com
§10.4 人工校验记录
| 内容模块 | 审核者 | 审核方式 | 审核状态 |
|---|---|---|---|
| §1 概览与公司史 | 千方病案医学编辑部 | 逐条对照罗氏公告与行业媒体原始报道 | ✅ 已通过 |
| §2 医学背景与编码映射 | 千方病案医学编辑部 | ICD-11/SNOMED 编码对照官方浏览器口径复核 | ✅ 已通过 |
| §3-§4 规格与数据结构 | 千方病案医学编辑部（数据工程） | 对照 Database Characterization 与学术合作资料逐项核对 | ✅ 已通过 |
| §5-§6 使用指南与坑点 | 千方病案医学编辑部（数据工程） | 代码在模拟目录结构下逻辑走查；坑点逐条溯源 | ✅ 已通过 |
| §7 质量评估与 DAIMS | 千方病案医学编辑部（医学 + 数据工程双审） | 偏倚/局限逐条对照 Ma 等原始论文 | ✅ 已通过 |
| §8-§9 基准与引用 | 千方病案医学编辑部 | BibTeX 与 DOI 逐条核对 | ✅ 已通过 |
§10.5 AI 生成章节标注
全部章节由 AI 起草（模型与范围见 §10.1-10.2）；§0、§2、§7 的医学与偏倚表述经编辑部逐段改写确认；§6 代码示例为 AI 起草、工程师走查的逻辑示意（非官方代码）；所有性能数字来自 §10.3 所列来源原文。
§10.6 最后人工审核日期
2026-09-05（与 §0 审核日期一致）。
页面状态：published（全部内容已完成审核并发布）
§C JSON-LD 结构化数据
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：
- cancerlinq — 共享标签：电子健康记录 / 真实世界数据 / 肿瘤学
- truveta — 共享标签：电子健康记录 / 真实世界数据 / 临床电子病历
- opensafely — 共享标签：电子健康记录 / 真实世界数据 / 临床电子病历
- cprd — 共享标签：电子健康记录 / 真实世界数据 / 临床电子病历
- cgrd — 共享标签：电子健康记录 / 真实世界数据 / 临床电子病历
- million-veteran-program — 共享标签：电子健康记录 / 肿瘤学 / 临床电子病历
- epic-cosmos — 共享标签：电子健康记录 / 真实世界数据 / 临床电子病历
- iqvia-disease-analyzer — 共享标签：电子健康记录 / 真实世界数据 / 临床电子病历
- gemini — 共享标签：电子健康记录 / 真实世界数据 / 临床电子病历
- nhs-hes — 共享标签：电子健康记录 / 真实世界数据 / 临床电子病历
导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。
