信息速览
Flatten 新冠症状自报调查是加拿大非营利组织 Flatten 于 2020 年 3 月 23 日至 7 月 30 日在网页上收集的 COVID-19 症状问卷记录,由 Jain、Charpignon、Celi、Ghassemi 等七人署名,2021 年 3 月 8 日托管于 PhysioNet(版本 1.0,DOI 10.13026/v8eq-8v80)。原始收集量接近五十万份提交;三套问卷版本合计约二十九万条可分析记录;因伦理与隐私原因,公开发布的只有不到两万条安大略省去标识记录,且需签署受限数据使用协议。
它补上的是传统监测体系看不见的那一层。实验室报告与住院登记只覆盖走到检测和就诊环节的人,而轻症、无症状、不愿就医的绝大多数人在这些系统里不存在。Flatten 这类参与式症状监测用网页问卷把这些人拉进来,代价是样本完全由自愿填写者组成:没有抽样框、没有回应率、人群构成随媒体报道起落。所以它能回答的是「填写者里有多少人说自己在发烧」,而不是「人群里有多少人感染」。
使用这份数据,第一件事是分清三个数量级——收到多少、可分析多少、能下载多少,三者相差两个数量级;第二件事是把每一列的健康状态变量当作规则派生的近似值,而不是检验结果;第三件事是在任何比率上标注样本的自选属性,而不是把它当作患病率放进模型。
§1 它是什么
1.1 一句话定义
Flatten 新冠症状自报调查(Flatten COVID-19 Symptom Survey)是一份横断面的、由受访者自己填写的症状问卷记录集。受访者在 Flatten 的网站上回答一组固定问题——最近有没有发热、咳嗽、气短,最近两周有没有出过加拿大,最近两周有没有接触过疑似感染者——回答被逐条存为数据库中的一行。每一行对应一次问卷提交,不是一个患者,也不是一次就诊。
它与医院或公共卫生部门掌握的监测数据在性质上截然不同。检验报告描述的是一次实验室测量,住院记录描述的是一次诊疗过程,二者都有外部机构对事实的确认。问卷记录描述的是填写者当时的自我感受与记忆,确认环节由填写者本人完成。这个差别决定了它的全部价值与全部局限:它能触及那些从未进入医疗系统的轻症者,但无法确证任何一个人的感染状态。
1.2 谁做的、为什么做
发起方是加拿大非营利组织 Flatten(flatten.ca),官方定位是「全球人道主义援助非营利组织」。项目在 2020 年 3 月加拿大疫情初期上线,目标是建立一个社区症状监测(syndromic surveillance)工具:让普通居民在几分钟内报告自己的症状与风险接触史,由平台汇总成地区层面的趋势图,帮助公共卫生决策者看到检测能力之外的疫情信号。
这一思路在 2020 年春天有明确的现实背景。检测资源极度紧张,只对特定人群开放,实验室确诊数严重滞后于真实传播,任何能提前一周看到社区信号的工具都有价值。同一时期全球出现了多个类似项目——英国的 Zoe 症状研究应用、美国的 COVID Near You、以及剑桥的 COVID-19 Sounds 语音众包——它们共享同一个结构:网页或应用端自报,样本自选,以规模换代表性。
1.3 时间线与版本
| 节点 | 时间 | 内容 |
|---|---|---|
| 问卷上线 | 2020-03-23 | Schema 1 开始收集 |
| 问卷改版 | 2020-04-08 | 切换至 Schema 2,增加人口学与社会经济需求问题 |
| 问卷再改版 | 2020-04-28 | 切换至 Schema 3,细化问题与选项 |
| 停止收集 | 2020-07-30 | 收集窗口结束 |
| 公开发布 | 2021-03-08 | PhysioNet 上线 Version 1.0 |
| 去标识方法论文 | 2022-06-17 | PLOS ONE 发表所采用的风险估计方法 |
值得注意的是,官方页面明确指出这份数据没有配套的数据论文(data descriptor)。学术期刊上能找到的只有去标识方法的技术论文,而非对数据本身的描述与验证。这在这类平台数据集中并不罕见,但对使用者有实际影响:没有第二份独立文档可以交叉核对字段定义、缺失机制与采集细节,全部信息以 PhysioNet 页面为唯一权威来源。
1.4 所属类别与相邻概念
在公共卫生数据谱系里,Flatten 属于参与式监测(participatory surveillance)或众包症状监测,与下列几类数据相邻但不同:
| 类别 | 样本来源 | 代表 | 与 Flatten 的差别 |
|---|---|---|---|
| 概率抽样健康调查 | 抽中的家庭户 | NHANES、BRFSS | 有抽样框与权重,可外推;Flatten 没有 |
| 实验室/医院监测 | 就诊与检测 | 各地法定传染病报告 | 有检验确认;Flatten 没有 |
| 人群病例计数 | 各级卫生部门汇总 | 霍普金斯时间序列 | 群体层面汇总;Flatten 是个体层面自报 |
| 临床队列 EHR | 医院信息系统 | N3C、VIRUS 注册库 | 有诊断编码与治疗记录;Flatten 只有问卷 |
| 参与式症状监测 | 自愿填写的任何人 | Flatten、Zoe、COVID Near You | 同属一类,缺陷同构 |
把 Flatten 放进这张表的位置是理解它的关键:它既不是「缩小的」概率调查,也不是「缺少检验结果」的临床队列,而是一个规则完全不同的第三种数据。
§2 数据构成
2.1 三套 schema 各自记录了什么
问卷在三个月内改版两次,每一版对应一批记录,形成三个物理上独立的子集。改版的原因是疫情议题本身在变化:3 月时公众最关心的是「我有没有症状、要不要去检测」;到 4 月中下旬,居家令、失业、食物短缺与心理压力成为新的主要问题,问卷随之增加相应条目。
Schema 1(2020-03-23 至 04-08) 是设计最简的一版,记录数占三版合计的绝大部分,字段大致为:时间(周序或月份)、地区(粒度经泛化后的地理标识)、年龄的 60 岁及以上二值指示、三项症状(发热、咳嗽、气短)、14 天内是否离开过加拿大、14 天内是否接触过确诊或疑似病例。它只有「是/否」与少量分类,没有年龄具体值、没有性别、没有族裔、没有社会经济状况。
Schema 2(2020-04-08 至 04-28) 在 Schema 1 基础上加入了人口学与社会经济维度:种族、族裔、性别、年龄段,以及「疫情带来的最紧迫需求」,选项覆盖食物、医疗、财务、情绪等。
Schema 3(2020-04-28 至 07-30) 沿用 Schema 2 的框架,对既有问题的措辞与答案选项做了细化。官方表述是「后续版本或者增加新问题,或者细化已有问题的问法与选项」。
2.2 三版演进的解读:一份公卫关注点的档案
三个版本的字段演进本身就是可读的信息,它按时间顺序记录了疫情从「急性传染病事件」到「社会危机」的认知转变。3 月下旬的问卷只问症状与接触史,这是纯粹的传染病学视角:谁病了、谁可能被传染。4 月中旬加入族裔与性别,反映的是当时关于不平等暴露的讨论——某些族裔群体从事无法居家的 frontline 工作,感染风险结构性偏高,而当时的监测系统不采集族裔,导致差异不可见。同一版加入「最紧迫需求」,承认了防疫措施本身制造了次级危机:收入中断、食物不安全、就医延后、心理压力。
从建模角度看,这一演进有一个直接后果:跨 schema 的纵向分析受到严重限制。Schema 1 占全部可分析记录的 89.6%,却没有性别与族裔;有这些字段的 Schema 2 与 Schema 3 合计仅占 10.4%,且时间窗口只覆盖 4 月至 7 月。任何「族裔差异如何随时间变化」的问题,都只能在 4 月之后的那一小段里回答,而在那一小段里,样本量降到万级以下,日粒度上可能只剩几十条。
2.3 派生变量:四个不是问出来的字段
除逐题答案外,数据还包含四个由规则计算出的健康状态变量:probable、vulnerable、is_most_recent、any_medical_conditions。它们的定义不是调查问卷的一部分,而是发布方根据多伦多大学 Dalla Lana 公共卫生学院教授的意见事后设定的。
probable(疑似病例)的判定规则由三条并列组合构成,满足其一即标记为疑似:
- 曾接触过患病者;
- 曾离开加拿大且有症状(发热、咳嗽、气短);
- 曾离开加拿大且有症状(咳嗽、气短)。
第三条组合不含发热,只列咳嗽与气短,而第二条三项全列。这是官方页面的原始写法,条目照录,不做推断性修正。在实务上应当把它理解为发布方对「症状组合权重」的一种判断,而不是可以照搬的病例定义。
vulnerable(易感)标记的是按年龄或合并症判断风险较高者;any_medical_conditions 标记是否报告了基础疾病;is_most_recent 标记同一参与者多次提交中的最新一条,用于在去重时保留最后状态。
2.4 字段规格与可靠性
| 字段组 | 内容 | 取值形态 | 可靠性判定 |
|---|---|---|---|
| 时间 | 周序或月份(泛化后) | 粗粒度分类 | 依官方说明推定;具体泛化档位官方未列出,语义存疑 |
| 地理 | Forward Sortation Area 或其泛化形式 | 分类 | 依官方说明推定;泛化程度随披露风险动态调整,不可跨版本假定一致 |
| 年龄 | 60 岁及以上为真/假(Schema 1);年龄段(Schema 2/3) | 二值 / 区间 | 自报,未经核验 |
| 症状 | 发热、咳嗽、气短 | 三项二值 | 自报,无检验确认 |
| 出行与接触 | 14 天内出境、14 天内接触疑例 | 二值 | 自报;回忆窗口为 14 天,回忆偏差显著 |
| 人口学 | 种族、族裔、性别、年龄段 | 分类 | 仅 Schema 2/3 具备;自报 |
| 社会经济需求 | 食物、医疗、财务、情绪、其他 | 多选或单选 | 仅 Schema 2/3 具备;选项随时间细化 |
| 派生健康状态 | probable / vulnerable / is_most_recent / any_medical_conditions | 二值 | 规则派生,非测量值;定义依据为专家意见 |
| 自由文本 | 原有开放题 | 已全部删除 | 不可用 |
这张表的「可靠性判定」一列需要逐类理解。凡是标注「自报」的字段,其误差来源不是录入错误,而是受试者的主观判断本身:一个人是否认为自己在发烧,取决于体温计、体感与注意力;是否记得两周前去过哪里,取决于记忆与题目的提示强度。这类误差不会因为样本变大而消失,只会在均值上部分抵消,而且抵消的方向不可知。
2.5 记录的物理组织
每一行是一次问卷提交,因此同一名参与者可以出现多行。官方给出的原始数据中 90.81% 的提交来自唯一参与者,反过来说约 9.19% 的提交是同一人的重复填写。对于需要「一人一条」的分析,必须用 is_most_recent 字段保留最后一条,否则单一活跃用户的多日打卡会按天数加权,把「填得勤的人」放大成「人群中的多数」。
三套 schema 的记录在物理上是分开的子集,字段集不同。跨版本合并需要先对齐列名与取值域,并对 Schema 1 缺失的那些列显式标记为缺失,而不是填零——把「没有问」当作「没有」是这类数据最常见的一类错误,后果是把 Schema 1 的 26 万余条全部记为「未报告族裔」,从而在任何按族裔分组的统计里制造一个虚假的多数类。
§3 怎么拿到
3.1 访问级别:受限,不是开放
PhysioNet 对该条目标注的访问级别是 Restricted Access(受限访问),官方逐字说明为「只有注册并签署了指定数据使用协议的用户才能访问文件」。这一点需要在检索时特别注意:PhysioNet 上多数知名数据集(如 MIMIC 系列为 Credentialed,部分挑战赛数据为 Open Access)的获取路径各不相同,而这一条目既不是「注册即下」的 Open,也不是 MIMIC 那种需要机构担保的 Credentialed,而是以逐一签署数据使用协议为门槛的 Restricted 级别。
3.2 获取流程
- 在 PhysioNet 注册账号并完成邮箱验证;
- 完成平台要求的研究者培训。PhysioNet 对需要签署数据使用协议的项目普遍要求完成 CITI 项目的「Data or Specimens Only Research」课程并提交证书编号——这条属于平台级通用流程,PhysioNet 页面只写「签署数据使用协议」,未逐条列出培训要求;
- 在条目页签署 PhysioNet Restricted Health Data Use Agreement 1.5.0;
- 签署后文件区开放,按页面提供的链接下载。
3.3 许可与义务
数据按 PhysioNet Restricted Health Data License 1.5.0 授权。这一许可与常见的开放许可(CC 系列)在性质上不同:它不是授予任意使用权的版权许可,而是一份附条件的访问合同。签署方承诺的核心义务通常包括:不得尝试重新识别任何个人、不得将数据再分发给未签署协议的第三方、按约定方式引用来源、在发表时遵守相应的报告规范。
对工程实践的直接含义是:这份数据不能被放进公开的镜像或数据仓库,也不能打包进开源项目的示例数据里。任何以「下载后转手分发」为前提的流水线设计(例如把原始文件提交到代码仓库作为测试夹具)都违反协议。
3.4 代码与数据的分离
一个容易被忽略的事实是:Flatten 的工具代码是开放的,数据不是。PhysioNet 页面明确说明,用于构建加拿大站点症状监测工具(syndromic surveillance tool)的代码公开在 GitHub 的 flatten-official 组织下,采用 MIT 许可。这意味着问卷结构、派生变量的计算逻辑、乃至站点前端的交互流程都可以公开审查与复用,而具体的回答记录受协议保护。
这种「代码开放、数据受限」的分离在实践中很有用:想复刻一套症状监测系统,不需要数据;想验证派生变量的算法,可以读代码;只有在需要真实回答做统计时,才需要走签署流程。
3.5 拿不到的东西
以下几类内容即便签署协议也拿不到,因为它们在最上游就被移除:
- 自由文本回答:官方明确说明,为保护隐私,最终发布版本删除了全部自由文本字段。这意味着「用这批数据做症状描述的文本挖掘」这类设想在公开版本上不成立。
- 安大略省以外的记录:只保留自报居住在安大略省的记录。加拿大其余省份与地区的回答不在发布范围内。
- 未经泛化的精确日期与邮编:日期、Forward Sortation Area、年龄、合并症等准标识符都经过泛化处理,泛化程度由披露风险决定,原始精确值不可恢复。
- 参与者标识:没有可跨记录追踪个体的稳定 ID,同一人的多条记录之间无法可靠链接(只能通过
is_most_recent间接处理)。
§4 质量与已知问题
4.1 三个数量级必须先分清
这是使用这份数据时最容易出错的一处,也是官方页面本身并存多组数字造成的。同一页面上同时出现:
- 收到的提交:官方原文给出提交总数,并说明其中 90.81% 来自唯一参与者;
- 可分析记录:列表页摘要使用的「survey responses」数,恰好等于三套 schema 记录数之和(见 2.1 三行记录数);
- 可下载记录:约 1.89 万条,为去标识后实际公开发布的安大略省记录,数额出自记录去标识方法的 PLOS ONE 论文。
三者是层层收窄的关系,不是互相矛盾的表述:收到的提交(49.8 万)经过清理与归集成可分析记录(29.4 万),再经过隐私保护、地理裁减与低风险子群删除,剩下可下载的部分(约 1.9 万)。从收到到可下载,规模缩减到约 3.8%。
把收到的提交数当作可下载量是最常见的错误,后果很直接:按 50 万条规划存储、分片与训练轮数,实际拿到的数据少一个数量级以上,且地理与人口结构完全不同。
4.2 自选样本:没有分母的比率
参与者是自己找上门来的。Flatten 通过媒体曝光、社交网络与合作伙伴推广吸引填写,没有人被抽中,也没有人被要求必须填写。这带来三个连锁后果:
没有抽样框,就没有设计权重。 概率抽样调查(如 NHANES)之所以能给出全国代表性估计,靠的是已知的入样概率与据此计算的设计权重。Flatten 的入样概率对每个人都是未知的,且显然不等——会用智能手机、看得懂英文或法文、关注疫情新闻、有空闲时间的人更可能填写。没有权重,任何「把样本调整成总体」的尝试都只能依赖对选择机制的外部假设,而这些假设无法用数据自身检验。
没有回应率,就没有无应答偏差的量化。 在电话调查里,回应率低可以用加权或敏感性分析部分处理;在这里连分母都不存在,因为根本不知道「被邀请而未填」的人有多少。
样本结构随曝光波动,而不是随疫情波动。 官方明确指出,Schema 1 的记录集中在收集启动后的两周半,而这段时间正是 Flatten 在媒体上的曝光高峰。这句话的信息量很大:样本量的时间分布由公关与新闻周期决定。用它画「症状报告数随时间的变化曲线」,得到的首先是一条媒体曝光曲线,疫情信号只是叠加在上面的成分。
4.3 自报偏差的三个来源
即使忽略样本代表性问题,只看填写者内部,症状字段仍有三层误差:
回忆偏差。 「14 天内是否接触过疑似病例」要求受访者回溯两周并对「疑似」作判断。两周是相当长的回忆窗口,且「疑似」在不同时期的定义(是否包含无症状接触、是否包含家庭成员)随公众认知变化。
症状定义的主观性。 「发热」在问卷里是一个是/否问题,但受访者的判断标准差别巨大:有人以体温计读数 37.5℃ 为准,有人以「感觉发冷出汗」为准。咳嗽与气短同理。这类误差不是随机噪声,而与年龄、健康素养、是否有基础肺病系统性相关。
社会期望与动机。 部分填写者可能因为希望获得关注、希望被纳入「需要帮助」的名单,而倾向于报告更多症状或更多需求;也可能因为不愿被视为违反防疫规定而低报出境与社交接触。方向不可先验确定。
4.4 去标识带来的信息损失
去标识由 Replica Analytics 按通用统计披露控制(statistical disclosure control, SDC)协议执行,方法细节发表于 2022 年 PLOS ONE 的论文。核心流程是:用合成估计量估计再识别风险,反复泛化准标识符,直到估计的平均风险低于 0.09(欧洲药品管理局与加拿大卫生部采用的常用阈值);同时关联加拿大普查数据,按 Forward Sortation Area 检查人口学子群,凡子群人数少于 11 的记录一律删除。
论文报告的结果是:安大略省数据集的 sample-to-population 风险为 0.0723,population-to-sample 风险为 0.0009。
这套方法在隐私保护上是严谨的,但对分析的代价必须明说:
- 地理粒度被压到 FSA 或更粗。FSA 是加拿大邮编的前三位,一个 FSA 覆盖的居民数从数千到数万不等,城市中心与乡村差异极大。以 FSA 为单位的空间分析无法分辨同一城市内的街区差异。
- 时间粒度被压到周或月。日级传播动态分析不可行。
- 年龄被二值化或区间化。Schema 1 只有「60 岁及以上」一个切点,精细的年龄梯度分析不可能。
- 低风险子群被整条删除。这不是随机缺失:被删的恰恰是人口学上稀有的组合,因此发布版本在族裔、年龄与地理的交叉表上会比原始数据更「平坦」,稀有组合被系统性地抹掉。
4.5 假设—支持—反对
| 假设 | 支持证据 | 反对证据 | 结论强度 |
|---|---|---|---|
| 公开版本可用于估计安大略省人群的症状流行率 | 样本量大;覆盖整个 3–7 月窗口 | 自选样本无抽样框;地理裁减;低风险子群删除;官方从未宣称代表性 | D(不成立) |
| 公开版本可用于比较不同族裔的症状报告差异 | Schema 2/3 采集了族裔 | 族裔字段仅在 10.4% 的记录中存在;稀有族裔组合最可能被 SDC 删除 | C(仅可作探索性描述) |
| 症状报告数的时间曲线反映疫情传播 | 曲线确与 2020 年春季安大略省第一波时间上重合 | 官方明示 Schema 1 的高峰对应媒体曝光高峰;填写量随新闻周期波动 | C(信号与曝光混杂,需外部数据校正) |
probable 变量可当作病例定义使用 |
由公共卫生教授参与定义 | 无检验确认;三条组合不对称(第三条不含发热);未在外部数据上验证 | C(仅作内部一致性变量) |
| 去标识后的数据再识别风险可忽略 | 估计风险 0.0723 低于 0.09 阈值;FSA 子群小于 11 者已删除 | 论文自述假设攻击者采用精确匹配,近似或概率匹配可能改变结果 | B(风险低但非零,且估计依赖方法假设) |
| 收到的提交数就是可获取的记录数 | 官方页面确实列了这个数 | 同一页面另有两组更小的数字;发布说明明确只发布子集 | A(不成立) |
4.6 官方页面自身的不一致
除三个数量级外,还有两处小问题值得记录:
其一,Schema 1 的时间窗口写为 3 月 23 日至 4 月 8 日,Schema 2 写为 4 月 8 日至 4 月 28 日,4 月 8 日这一天同时出现在两个区间里。页面没有说明当日切换发生在几点、当天的记录归入哪一版。对按日切分窗口的分析,这一天的归属需要自行假设并写明。
其二,probable 的第二条与第三条组合在症状列举上不对称(见 2.3)。就文本本身而言可以确定是原样如此,但无法判断这是有意设定(认为出境且有咳嗽或气短已足够提示)还是编辑疏漏。使用该变量时应完整引用三条规则,不要只写「符合症状与出行史」。
§5 能做什么
5.1 任务分级:由可靠到勉强
不是所有能算的任务都值得做。下表按「数据能支撑到什么程度」从高到低排列,最后一行是需要明确回避的方向。
| 任务 | 数据支撑程度 | 必要前提 | 产出形态 |
|---|---|---|---|
| 问卷与字段演进研究 | 强 | 无 | 版本对照表、问题设计评论 |
| 派生变量规则的事后审计 | 强 | 拿到派生变量的计算说明(代码公开) | 一致性分析、敏感性表 |
| 去标识方法的效果评估 | 强 | 配合 PLOS ONE 论文的方法部分 | 风险-效用权衡分析 |
| 症状报告的空间聚类探索 | 中 | 以 FSA 为单位,明确不推断个体 | 探索性热图、聚类描述统计 |
| 症状与自报风险因素(出行、接触)的关联 | 中 | 控制时间与地区,报告为关联而非因果 | 分层描述、简单回归 |
| 时点序列的症状报告趋势 | 弱 | 必须同时给出填写量曲线作为混杂对照 | 双曲线图 + 说明 |
| 任何「感染率」「患病率」估计 | 不可行 | — | 不产出 |
| 任何个体级别的临床推断 | 不可行 | — | 不产出 |
5.2 最小可执行示例:一条「先看再算」的检查
拿到数据后,第一件该做的事不是建模,而是把三个问题问清楚。下面的流程用纯文本描述,不依赖具体文件格式(格式需签署协议后在文件区确认)。
第一步,数记录。 分别统计三个 schema 子集的行数,核对是否与官方给出的三版记录数一致。不一致说明拿到的是别的处理版本,后续所有推断的基数都要重算。同时统计含族裔字段的行数,确认它是只出现在 Schema 2/3 中,而不是被补零填满。
第二步,数人。 用 is_most_recent 过滤,只保留每个参与者的最新记录,再数一遍行数。两个数字的差就是重复提交的比例。若分析单位是「人」,后续一律用过滤后的表;若分析单位是「次」,则必须在图表标题里写明是「次」。
第三步,数时间。 按周聚合记录数,画出填写量曲线。把这条曲线放在同一张图里与症状阳性比例并列,而不是只看阳性比例。如果两者同时起伏,说明任何「症状随时间增加」的结论都可能是填写人群构成变化造成的,需要在正文中排除这一解释或明确承认无法排除。
5.3 一个具体的分析设计:症状报告比例的时空分层
以「某周某 FSA 的咳嗽报告比例」为例,一个诚实的做法是:
- 分母明确为该周该 FSA 的全部提交数(按人去重后),而不是该 FSA 的居民数;
- 分子为该周该 FSA 报告咳嗽的提交数;
- 同时报告该单元格的提交数 n。n 小于某阈值(例如 30)的单元格不展示比例,只标「样本不足」;
- 不跨 FSA 比较绝对值。不同 FSA 的填写者构成差异远大于空间差异,比较相对变化(同一 FSA 前后周的比值)比比较绝对水平更稳;
- 在图上标注主要媒体事件的时间点。因为填写量的峰值与新闻周期绑定,不标出来,曲线看起来就像疫情曲线。
这套做法不会给出「哪个地区疫情更严重」的答案,因为数据不支持这个答案。它给的是「在填写者中,报告比例相对上升的地区是哪些」,这是一个描述性结论,可以用于生成假设并引导后续用检验数据验证。
5.4 与其他数据源拼接的正确姿势
Flatten 与外部数据拼接时,最大的诱惑是把症状比例与病例计数放在一起,宣称前者「领先」后者。这类分析在 2020 年被做过很多次,问题在于两个序列的驱动因素完全不同:病例计数的变化由真实传播与检测策略共同决定,症状报告比例的变化由真实传播与填写人群构成共同决定。两条曲线在时间上重合,不能区分为「信号领先」还是「共同的第三因素」(例如同一批新闻事件同时推动了检测需求与填写量)。
可行的替代设计是:把 Flatten 的比例序列与同一地区、同一周的检测阳性率并列,检验两者是否同步;若同步,说明自报数据至少没有与检验数据背离,这可作为质量控制证据,而不是领先性证据。这类设计把结论降级为「一致性检验」,反而是可以发表的。
5.5 不适合的方向
- 建立个体风险预测模型。 数据缺少检验标签,也没有可追踪个体的纵向记录,训练出的模型只能预测「这个人会不会说自己有症状」,这在临床上没有意义。
- 因果推断。 没有干预、没有对照、没有时间零点的清晰定义,任何「某措施导致症状报告下降」的说法都无法排除混淆。
- 时间序列预测。 样本量的驱动因素是媒体曝光,而曝光本身不可预测,序列的统计性质不稳定。
- 跨国的可比分析。 问卷措辞、语言、推广渠道都不同,与 Zoe 或 COVID Near You 的比例不可直接比较。
§6 常见误读与引用陷阱
6.1 误读对照表
| 常见说法 | 实际口径 | 证据位置 |
|---|---|---|
| 这是 49.8 万人的新冠数据 | 该数仅为提交数;90.81% 来自唯一参与者;发布的可下载记录约 1.89 万条 | PhysioNet 数据描述段 |
| 数据覆盖全加拿大 | 公开发布版只保留自报居住在安大略省的记录,因该省占 60.3% | PhysioNet 数据描述段 |
| 可以直接下载 | 受限访问,需注册并签署数据使用协议 | PhysioNet 页面访问级别标注 |
| 数据包含核酸检测结果 | 无任何检验字段,全部自报 | 字段清单 |
| 这是 29 万人的队列 | 该数为三套 schema 的记录数之和,且其中 89.6% 只有症状与出行史字段 | 三版记录数相加 |
| 属于开放数据,可以二次分发 | 受限许可,禁止再分发与再识别尝试 | PhysioNet Restricted Health Data License 1.5.0 |
| 症状比例可以直接当患病率 | 自选样本无抽样框与权重,不可外推 | 采集方式 |
| 数据里有受访者的文字描述 | 自由文本字段已在发布前全部删除 | PhysioNet 数据描述段 |
| 这是 Flatten 的完整数据库 | 是去标识子集,且经地理裁减与低样本子群删除 | PhysioNet + PLOS ONE 2022 |
| 附有正式的数据论文 | 无数据描述论文,只有去标识方法论文 | 检索结论 |
6.2 技术陷阱八则
坑 1:把「没问」当成「没有」。 Schema 1 完全没有族裔与性别字段。合并三版时若用零值或默认类别填补,会让 89.6% 的记录被归入一个虚假的「未报告」或「默认」类别,任何按族裔的分组统计都会失真。正确做法是保留缺失标记,并在分析时明确排除或单独报告。
坑 2:以提交为单位还是以人为单位。 约 9.19% 的提交是重复填写。按提交聚合时,高频填写者被按天加权;按人去重时,需要决定保留哪一条(is_most_recent 提供了现成规则)。两种口径给出的比例通常不同,且差异在活跃用户多的地区更大。
坑 3:把 4 月 8 日算两次。 Schema 1 与 Schema 2 的日期区间在这一天重叠。做日级切分时若不处理,该日的记录可能被计入两个子集,或按不同规则分配到不同子集。这是文档层面的事实,与数据无关。
坑 4:把 probable 当标签。 它是规则派生的近似值,且第三条组合不含发热。用它训练分类器,等于让模型学习发布方的规则,而不是学习疾病。若要使用,应把它当作一个「疑似标记」特征,而非金标准。
坑 5:FSA 不是街区。 Forward Sortation Area 是邮编前三位,覆盖范围从数千到数万人不等,且城乡差异极大。按 FSA 计算「每万人报告数」时,分母用的是普查人口,而分子来自自选样本,二者的比例不具可比性。若必须做比率,应明确说明分母是提交数而非人口。
坑 6:把去标识等同于零风险。 风险估计值 0.0723 低于 0.09 阈值,这是方法学意义上的「低于常用阈值」,不是「零」。论文自身也说明,估计建立在攻击者采用精确匹配的假设上。使用者在任何二次加工(例如把 Flatten 与外部人口数据拼接)时都可能改变风险水平,这类操作应重新评估。
坑 7:把 60.3% 反推成原始记录数。 60.3% 是「安大略省记录占收集记录的比重」,但分子分母的基础是哪一个总数(收到数还是可分析数),官方未明说。用不同基数反推会得到相差近一倍的结果,因此只应引用比例本身,不应据此推算绝对量。
坑 8:以为版本号会带来新数据。 页面上同时给出 v1.0 与 latest 两个 DOI(10.13026/v8eq-8v80 与 10.13026/3pqw-8411),后者是 PhysioNet 的「始终指向最新版本」的 DOI 写法,不代表存在更新的数据版本。引用时应固定到具体版本 DOI,避免引用漂移。
§7 在生态中的位置
7.1 参与式监测这一支
2020 年春天是全球参与式症状监测的一次集体实验。同一时期有若干个结构相似的系统:英国的 Zoe 症状研究应用在两周内吸引了数百万用户,美国的 COVID Near You 由波士顿儿童医院与 Google 合作推出,剑桥的 COVID-19 Sounds 收集咳嗽与呼吸音频,瑞士的 COUGHVID 收集众包咳嗽录音。它们的共同点是:入口廉价(网页或应用)、样本自选、以规模换覆盖。
这一支的价值主张是一致的:在检测能力不足的窗口期,把「人自己报告的感受」作为一种低成本的补充信号。这一主张在后来经过了大规模检验,结论并不统一——部分研究显示自报症状与后续检验阳性存在相关性,另一些研究显示相关性在志愿者偏差校正后大幅减弱。Flatten 处于这一支的中段:规模不如 Zoe,模态不如 COVID-19 Sounds 丰富,但它的数据在去标识上做得比多数同类项目更公开(方法与风险数值都有论文),这使它在方法学讨论里反而更常被引用。
7.2 与概率调查的对照
公共卫生统计的经典工具是概率抽样调查,例如美国的 NHANES 与 BRFSS、加拿大的加拿大社区健康调查(CCHS)。这类调查从抽样框里抽人,通过加权把样本还原成总体,代价是成本高、周期长、样本量受限于预算。Flatten 走的是完全相反的路:零边际成本、样本量巨大、但还原总体的数学基础不存在。
把两者放在一起看,得到的是一个清晰的取舍谱:
| 维度 | 概率调查(NHANES/BRFSS) | 参与式监测(Flatten) |
|---|---|---|
| 入样机制 | 随机抽样,概率已知 | 自愿填写,概率未知 |
| 代表性能否论证 | 能(设计权重) | 不能 |
| 样本量 | 数千至数十万 | 数十万至数百万 |
| 时效 | 滞后数月到数年 | 近乎实时 |
| 测量深度 | 有体检、生物样本 | 仅自报 |
| 适合的问题 | 患病率、风险因素分布 | 趋势、早期信号、假设生成 |
这条谱系说明:参与式监测不能替代概率调查,它的位置是「概率调查还没有数据的那几个月里,提供一个方向大致正确的信号」。一旦概率调查的数据到位,自报数据的价值就从「估计」退到「对照」。
7.3 与新冠影像数据的对照
库内新冠类数据大多集中在影像方向——胸片、CT、分割掩码。这类数据描述的是「已经进入医院、已经做了影像检查」的患者的肺部表现,样本天然偏向重症。Flatten 描述的是相反的一端:绝大多数填写者从未做影像,也从未住院。
两者拼起来才构成完整的疾病谱:影像数据覆盖重症端,自报数据覆盖轻症与未就诊端,中间的「检测阳性但未住院」由检测登记数据覆盖。任何只用其中一端训练的模型,都会在另一端系统性失效——用重症影像训练的分诊模型,在社区轻症人群里表现必然低于报告值;用自报数据估计的流行率,无法与住院数据校准。
7.4 与合成数据的对照
当真实数据因隐私受限而无法获取时,一条常见替代路径是合成数据。Synthea 及其新冠模块可以生成任意规模的合成患者,完全绕开隐私问题,代价是合成分布本身由假设决定,无法呈现真实世界中的未知结构。
Flatten 走的是另一条路:保留真实记录,通过泛化与删除把风险压低到可接受阈值。两条路的取舍很清楚——合成数据没有隐私风险但没有真实信号,去标识真实数据保留信号但失去粒度。Flatten 发布的那不到两万条记录正是这种取舍的结果:地理被压到 FSA、时间被压到周月、稀有子群被删除,换来的是可以合法发布的真实回答。
7.5 库内互链
| 条目 | 关系 |
|---|---|
| covid-19-sounds(436) | 同为网页众包自报,模态为音频,对照可看「自选样本」缺陷的共性 |
| jhu-csse-covid-19(410) | 群体层面的病例计数,与 Flatten 的个体层面自报构成观察层级对照 |
| n3c(199) | 新冠 EHR 队列平台,覆盖住院端,与 Flatten 覆盖轻症端互补 |
| virus-registry(206) | 全球 ICU 新冠登记,代表最重的一端 |
| nhanes(99)、brfss(165) | 概率抽样调查,作为「有抽样框」的参照系 |
| synthea(460)、synthea-covid(714) | 合成数据路径,对照隐私-效用取舍 |
| deidentified-medical-text(980)、mimic-iv-note(47) | 去标识文本语料,与 Flatten 的「自由文本全删」形成对照 |
| cdsl-covid-data-shared-learning(605)、bimcv-covid(207)、covidx-cxr(197) | 新冠影像类,用于说明 Flatten 并非影像数据 |
| coughvid(427) | 众包咳嗽录音,与 covid-19-sounds 同属音频自报支线 |
§8 局限与争议的再审视
8.1 志愿者偏差能校正吗
一个反复出现的问题是:既然知道样本自选,能不能通过事后加权把它「校正」回代表性?
标准的加权方法需要知道目标总体在每个分层上的分布,以及样本在每个分层上的入样概率。前者可以从普查数据拿到(Flatten 的去标识流程本身就用到了普查数据),后者拿不到。实践中的替代做法是按边际分布事后分层(post-stratification):假设样本在年龄、性别、地区上的偏差可以完全由这些变量的边际分布解释,用普查比例重新加权。
这个假设在 Flatten 身上很难成立。原因有三:其一,Schema 1 没有性别与年龄细分,无法事后分层;其二,即使有,选择性还沿着健康状况、健康素养、对疫情的关注度这些没有普查分布可依的维度发生;其三,事后分层会放大权重方差,在稀有组合上产生极不稳定的估计。因此,加权在 Flatten 上可以做,但做了之后仍然不能宣称代表性——它只是把一个已知有偏的估计换成另一个假设更强、方差更大的有偏估计。
8.2 「症状监测」这个标签是否名副其实
严格意义上的症状监测(syndromic surveillance)是公共卫生的既有实践:在急诊分诊数据里按主诉分组(如「发热伴咳嗽」),监控其相对基线的时间异常。它的关键优势是有稳定的分母——某地区某周的全部急诊量是已知的,因此比例的波动可以被解读。
Flatten 借用了这个名称,但缺少那个分母。它的「分母」是填写量,而填写量由媒体曝光驱动。这意味着它在形式上像症状监测,在统计性质上更接近一次持续三个半月的、无抽样框的自愿网络调查。把两者混为一谈,是引用这类数据时最常见的一类概念滑移。
这一批评不影响数据的价值,但改变了它的用法:它应当是「生成假设」的工具,而不是「监测基线」的工具。
8.3 去标识的边界在哪里
去标识的目标是降低再识别风险,而「降低到什么程度算够」是一个政策判断。0.09 这个阈值来自监管机构的常用实践,不是理论最优。若某研究者的外部辅助信息比方法论文假设的更丰富(例如掌握安大略省某 FSA 的选民名册、业主登记或商业会员数据),实际风险会高于估计值。
论文对此的表述是诚实的:它假设攻击者采用精确匹配,近似匹配或概率匹配可能给出不同结果。这句话的含义是,0.0723 是一个在特定攻击模型下的上界估计,而不是普适的安全保证。使用者若把 Flatten 与其他含地理标识的数据拼接,实质上是在构造一个论文没有评估过的攻击模型。
8.4 三个「不够」的诚实总结
- 不够快:数据 2021 年 3 月才发布,距收集结束已过七个多月。作为「早期预警」工具,它的时效价值在发布时已经过期,剩下的价值是作为历史档案与方法学样本。
- 不够全:从收到到可下载缩减到约 3.8%,地理压缩到单省,自由文本全删。任何以「全国、全字段」为前提的研究设计都用不上。
- 不够准:无检验确认,症状靠自报,派生变量靠规则。它的准确度上限由问卷设计决定,而不由样本量决定——把样本从 1.9 万扩到 190 万,症状定义的主观性一点也不会减少。
§9 与其他自报数据的横向比较
9.1 同类系统的结构对照
| 系统 | 采集窗口 | 采集通道 | 峰值规模 | 是否有检验链接 | 去标识方法是否公开 |
|---|---|---|---|---|---|
| Flatten | 2020-03 至 2020-07 | 网页 | 数十万份提交 | 无 | 是(PLOS ONE 2022) |
| Zoe 症状研究 | 2020-03 起持续 | 手机应用 | 数百万用户 | 部分子队列有 | 部分公开 |
| COVID Near You | 2020-03 至 2021 | 网页 | 数十万 | 无 | 未系统公开 |
| COVID-19 Sounds | 2020-04 起持续 | 网页与应用 | 数万参与者 | 部分自报 | 有 |
| COUGHVID | 2020-04 起 | 网页 | 数万条录音 | 人工标注子集 | 有 |
这张表的价值不在排名,而在指出 Flatten 的一个独特之处:它的去标识过程有独立的、可引用的方法论文,并且给出了具体的风险数值。多数同类系统的隐私处理只写在项目说明里,没有经过同行评审的风险估计。这使得 Flatten 成为研究「如何在发布自报健康数据的同时控制再识别风险」时最常被拿来做例子的数据集之一。
9.2 与「症状日记」类数据的区别
另一类常被混淆的数据是症状日记(symptom diary)或患者报告结局(patient-reported outcome, PRO)数据集。这类数据同样是自报,但通常有明确的入组标准、固定的随访间隔、以及与研究者的持续关系,因此在个体内部的纵向可比性上有保证。
Flatten 不具备这些条件:没有入组标准,随访依赖用户主动回访,个体间的填写次数差异巨大。因此它不能用于个体轨迹分析,只能用于横断面的组间比较。把两者混用,会得到「某人症状在两周内恶化」这类无法验证的结论。
9.3 与检测登记数据的互补关系
真实的疫情监测由三层数据叠加而成:检测登记(谁被确诊)、住院与死亡登记(谁病重)、症状自报(谁感觉不适)。三层的覆盖率依次递减、时效性依次递增。Flatten 属于最外层,它的任务是在内两层还没有反应的窗口里提供方向。
一旦内两层的数据齐备,外层的价值转为两类:一是作为内层的「预警哨」,检验自报信号是否确实领先;二是作为内层的「盲区补丁」,覆盖那些从未被检测到的人。这两类用法都需要外部数据配合,单用 Flatten 无法完成。
§10 总结
10.1 三句话
第一,Flatten 是 2020 年 3 月至 7 月在加拿大安大略省通过网页收集的症状自报数据,原始收到约 49.8 万份提交,实际可下载的约 1.9 万条,需签署受限数据使用协议。
第二,它的价值在于覆盖了检测与住院系统看不见的轻症与未就诊人群,代价是样本完全自选、无抽样框、人群构成随媒体曝光波动,因此只能描述填写者,不能外推人群。
第三,它的方法学贡献可能大于数据本身——三套 schema 记录了疫情议题从「症状」到「族裔与生存需求」的漂移,而去标识流程与风险数值有独立论文,可作为发布自报健康数据的合规范例。
10.2 适合谁
| 使用者 | 用途 |
|---|---|
| 公共卫生方法论研究者 | 研究自选样本的偏差结构、参与式监测的适用范围 |
| 症状监测系统设计者 | 参考问卷设计与 schema 演进,复用公开的 MIT 代码 |
| 健康数据隐私研究者 | 作为「真实数据 + 公开去标识方法」的案例 |
| 疫情史料研究者 | 作为 2020 年春季加拿大公众感受的一手记录 |
| 教学场景 | 用它讲「为什么没有抽样框就不能算患病率」 |
10.3 不适合谁
| 使用者 | 原因 |
|---|---|
| 需要患病率估计的流行病学家 | 无代表性,无法外推 |
| 需要检验标签的监督学习团队 | 没有任何检验结果 |
| 需要精细时空分析的研究者 | 地理压到 FSA、时间压到周月 |
| 需要个体纵向轨迹的项目 | 无可追踪的个体 ID |
| 想直接下载做 demo 的开发者 | 受限访问,需签署协议 |
10.4 DAIMS 评估
| 维度 | 评分(1–10) | 依据 |
|---|---|---|
| D 可发现性 | 7 | PhysioNet 条目页完整、DOI 稳定、有列表页摘要;无独立数据论文,检索时容易只看到平台页 |
| A 可获取性 | 4 | 受限访问,需注册 + 签署协议;公开发布仅为去标识子集,规模缩减到约 3.8% |
| I 可互操作 | 5 | 结构化问卷字段便于直接读表;但与常见标准(FHIR、OMOP)无映射,需自行转换 |
| M 元数据质量 | 6 | 字段、版本、去标识方法均有说明;但三组规模数字并存且无换算说明,页面存在日期重叠与规则不对称 |
| S 可持续性 | 6 | 托管于 PhysioNet,长期可得;但无数据论文、无更新版本,方法细节依赖单篇外部论文 |
| 综合 | 5.6/10(中等) | 文档透明度高于同类众包数据集,可获取性与代表性是主要短板 |
§11 深读:去标识流程的能力与代价
11.1 复述一遍流程,看它删掉了什么
把 PLOS ONE 论文的流程按顺序拆开,每一层删除都能对应到一个具体的数据损失:
第一层,确定准标识符清单。 官方列举的准标识符是日期、Forward Sortation Area、年龄与合并症。这四类正是典型的「单独看不到问题、组合起来可能指认到人」的变量:一个居住在人口稀少 FSA 的 75 岁、有两种基础病的居民,在小范围内几乎可以被唯一地指认出来。
第二层,估计风险。 论文使用合成估计量(copula 方法)构造一个模拟总体,再从总体里抽样,估计「样本中的唯一组合在总体里有多少个同样的人」。这一步在技术上把「我不知道攻击者有多少外部信息」变成了一个可计算的数,代价是必须对总体的联合分布作出假设。
第三层,泛化准标识符。 风险高于阈值时,降低变量的粒度:精确日期变成周或月,完整邮编变成 FSA 或更粗,具体年龄变成年龄段。论文最终报告的 sample-to-population 风险为 0.0723。
第四层,删除低风险子群。 关联 2016 年加拿大普查数据,按 FSA 逐一检查年龄、性别、族裔的组合,任何子群人数少于 11 的 FSA 记录整条删除。
第四层是最容易被低估的一层。它不是把某个字段打码,而是把整行删掉。被删的行恰恰是人口学上稀有的组合——某个小城镇里的少数族裔老人、某个偏远 FSA 里的特定年龄段女性。这意味着发布版本在族裔与地理的交叉上被系统性地「抹平」,而这些恰恰是健康不平等研究最关心的群体。一项在小样本上做的族裔差异分析,若使用发布版本,很可能低估差异,因为差异最大、最小的子群正好被删得最彻底。
11.2 泛化与信息损失的量化直觉
以时间为单位做一个简单的推演:收集窗口从 2020-03-23 到 07-30 约 18 周。若日期被泛化到周,则原本可分辨的 130 天变成 18 个格子,平均每格约 7 天的记录被合并。对数量最多的 Schema 1 而言,这看起来影响不大;但对每个 FSA 的每一周,平均记录数只有几十条,任何日级动态都已经不存在。
再以地理为单位:安大略省约有 500 多个 FSA,分布在从多伦多市中心到北部乡村的广大区域。一个市中心 FSA 可能覆盖几万人,一个乡村 FSA 可能覆盖几千人。同样一条「某 FSA 有 X 条提交」,在不同 FSA 里的含义完全不同。因此跨 FSA 比较绝对量没有意义,只有在 FSA 内部做时间上的相对比较才有可解释性。
11.3 与「数据共享」的政策语境
Flatten 的去标识流程在当时被视作一个可复制的模板:它证明了即便是敏感的、含地理与时序信息的健康自报数据,也可以在发布后把再识别风险压到监管机构认可的阈值之下。论文的价值在于把「我觉得这样安全」变成「在某个攻击模型下估计风险为某个数值」。
但这套模板的适用前提是明确的:数据是横断面的、规模在万级、准标识符数量有限、没有自由文本。一旦换成纵向队列、含笔记文本或含罕见病代码的数据,同样的泛化力度远远不够。把 Flatten 的经验直接搬到其他数据集,是把一个经过计算的结论当成了通用原则。
§12 深读:一次可发表的分析应当怎样写方法节
12.1 方法节的四个必写项
使用这份数据撰写论文时,方法节有四件事必须写清楚,缺任何一项,审稿人都可以要求补:
其一,规模口径。 必须写明用的是哪一层数字:收到的提交数、可分析记录数、还是公开发布记录数。三者相差两个数量级,只写「使用了 Flatten 数据集」是不合格的表述。
其二,去重规则。 必须写明是按提交还是按人分析;若按人,是保留最新一条还是随机保留一条;若按提交,是否对高频填写者加权。
其三,样本性质声明。 必须明确写出「自愿填写的非概率样本,不能代表总体」,并且最好在讨论节里写明该结论的适用范围仅限于填写者群体。
其四,缺失机制。 必须说明 Schema 1 缺失哪些字段,缺失是因为「没问」而不是「拒答」,以及分析时如何处理(排除、分组报告还是作为单独类别)。
12.2 结果节的写法
结果节里,任何比例都应附带三个数:分子、分母、以及分母对应的口径(提交数还是人数)。只报比例不报分母,是这类数据上发表文章最常见的扣分点,因为读者无法判断比例背后的样本是否足够。
若展示时间序列,必须同时展示填写量曲线。这不是可选的美化,而是排除混杂的必要证据。审稿人若看到一条上升的症状曲线而没有配套的填写量曲线,合理的质疑是:「你怎么知道不是填写的人变了?」
12.3 讨论节的边界
讨论节里能说的和不能说的,界限很清楚:
- 可以说:「在填写者中,报告咳嗽的比例在第五周达到峰值。」
- 可以说:「这一峰值与该地区的检测量上升在时间上接近,但两者是否同源需要进一步研究。」
- 不可以说:「该地区在第五周经历了感染高峰。」
- 不可以说:「症状监测显示疫情提前两周到达该地区。」
前两句是可验证的描述与谨慎的关联,后两句是跨越了数据能力的推断。这条界线正是这份数据最难把握、也最容易被越过的部分。
§13 数据质量检查清单
拿到数据后,建议按下列顺序做一遍检查,每项都对应一个已知的陷阱。
| 检查项 | 做法 | 合格标准 |
|---|---|---|
| 记录数核对 | 分别统计三套 schema 的行数 | 与官方三版记录数比对,差异需查明 |
| 字段存在性 | 检查族裔、性别列是否只在部分记录中非空 | Schema 1 应为全缺失,而非全零 |
| 日期边界 | 检查 2020-04-08 的记录分布 | 明确该日归属并写入方法 |
| 派生变量范围 | 统计 probable / vulnerable 的取值 | 应为二值,无缺失或第三类值 |
| 时间粒度 | 统计时间列的唯一值个数 | 应为周或月的数量级,而非 130 天 |
| 地理粒度 | 统计地理列的唯一值个数 | 应与 FSA 数量同一量级 |
| 重复提交 | 按 is_most_recent 过滤前后的行数 | 差值应接近 9% |
| 自由文本 | 检查是否存在任何长文本列 | 应为不存在 |
| 许可记录 | 保存签署的 DUA 副本与研究用途说明 | 供机构审查与后续发表引用 |
这张清单不替代正式的 data profiling,但它覆盖了这份数据特有、且从字段名看不出来的问题。
§14 引用规范
14.1 推荐引用格式
官方给出的引用条目为:
Jain S, Charpignon M, Samuel M, Mistry J, Frosst N, Celi LA, Ghassemi M. Flatten: COVID-19 Survey Data on Symptoms, Demographics and Mental Health in Canada (version 1.0). PhysioNet. 2021. doi:10.13026/v8eq-8v80
PhysioNet 同时要求引用平台本身的标准引用条目,这是使用 PhysioNet 数据时的惯例义务,不应省略。
若论文涉及去标识方法的讨论,应另外引用:
Jiang Y, Mosquera L, Jiang B, Kong L, El Emam K. Measuring re-identification risk using a synthetic estimator to enable data sharing. PLoS ONE. 2022;17(6):e0269097. doi:10.1371/journal.pone.0269097
14.2 引用时的三个常见错误
错误一:把 DOI 写成 latest 版本。 页面同时给出 v1.0 与 latest 两个 DOI。latest 会随版本变化而指向不同内容,正式引用应固定到 v1.0 的 DOI。
错误二:把收到的提交数写进摘要。 摘要里写「使用了约五十万条记录」会被审稿人直接质疑,因为可下载的记录远少于此。正确写法是写明实际使用的公开版本记录数。
错误三:把作者顺序写错。 七位作者的顺序是官方给定的,Shrey Jain 为第一作者,Marzyeh Ghassemi 为末位作者。按字母序重排或漏写作者都是常见错误。
14.3 报告中的数据可用性声明模板
一份符合规范的数据可用性声明应包含:数据名称与版本、DOI、访问条件(受限访问、需签署协议)、伦理审批信息(University of Calgary 伦理委员会,编号 REB20-0608)、以及数据不可再分发的说明。这些要素在 PhysioNet 页面上都能找到,逐条照抄即可。
附录:可迁移的四条经验
附 A 问卷设计的取舍:短问卷换规模,长问卷换深度
Flatten 的三版问卷展示了参与式监测中的一个基本取舍。Schema 1 只有六七个核心问题,填写耗时不到一分钟,换来了首两周半二十余万条记录;Schema 2 加入族裔、性别、年龄段与紧迫需求,题目数量翻倍,记录数随即降到万级。
这个落差不能全部归因于媒体曝光。问卷变长本身会降低完成率,也会筛掉一部分耐心不足或语言能力有限的填写者。对设计者而言,可迁移的经验是:**如果目标是最大化样本量以捕捉早期信号,问卷应短到极致;如果目标是刻画不平等,则必须接受样本量骤降,并提前规划如何用较长的采集窗口累积足够的样本。**试图在同一版问卷里同时达成两个目标,通常两边都不理想。
附 B 派生变量应当写进发布说明,而不是藏进代码
Flatten 的四个健康状态变量由规则计算,规则依据专家意见。这些规则公开在 PhysioNet 页面与开源代码中,使用者可以复核每一条判定条件。
这一点值得强调,因为不少数据集把派生变量当作「官方标签」发布,却不公布计算规则。规则不公开时,使用者无法判断某个变量是测量结果还是启发式判断,误用的风险陡增。把规则写进发布说明的成本很低,收益是使用者能自行检验变量的一致性——这正是 Flatten 相对同类项目的一个优势。
附 C 隐私保护应当在设计阶段而非发布阶段考虑
Flatten 的去标识流程之所以能在发布前完成,一个重要前提是问卷从一开始就没有采集姓名、精确住址、电话等直接标识符,准标识符也只有日期、FSA、年龄、合并症四类。准标识符越少,泛化的空间越大,信息损失越小。
若一个项目在采集阶段就要求填写精确地址与联系方式,到了发布阶段无论用什么方法去标识,损失都会大得多,甚至可能无法发布。可迁移的经验是:问卷设计时就应把「哪些字段将来可以发布」作为一条约束写进题纲,而不是等到数据收完再讨论删什么。
附 D 自选样本的价值在于速度,不在于精度
把 Flatten 与同期的概率调查放在一起比较,容易得出「它不够准」的结论。这个结论正确但没有抓住重点。概率调查的周期以月甚至年计,在 2020 年 3 月这个窗口里,没有任何概率调查能给出当周的社区信号。
自选样本的比较优势是在几天内给出一个方向大致正确的数,这个数不能替代概率估计,但能让决策者知道「事情在变好还是变坏」。理解这一点的实际含义是:评估这类数据时,应当用「是否在正确的时间给出了正确方向的信号」来衡量,而不是用「是否接近真实患病率」。后者对任何自选样本都不可达,前者则是它唯一守得住的评价标准。
编写核对与来源
A. 关键数字来源链
| 数字 | 含义 | 来源 |
|---|---|---|
| 498,211 / 90.81% | 原始提交数与唯一参与者占比 | PhysioNet 数据描述段,逐字 |
| 294,106 | 列表页与摘要使用的 survey responses 数 | PhysioNet 列表页;等于三版记录数之和 |
| 263,640 / 14,932 / 15,534 | 三套 schema 的记录数 | PhysioNet 数据描述段表格 |
| 约 18,903 | 去标识后公开发布的安大略省记录数 | PLoS ONE 2022 §4.3 |
| 60.3% | 安大略省记录占收集记录的比重 | PhysioNet 数据描述段 |
| 0.09 | 再识别风险阈值 | PLoS ONE 2022,引自监管机构常用实践 |
| 0.0723 / 0.0009 | 去标识后的两项风险估计 | PLoS ONE 2022 §4.3 |
| 11 | FSA 子群删除阈值 | PLoS ONE 2022 §4.3 |
| 2020-03-23 至 07-30 | 收集窗口 | PhysioNet 数据描述段 |
| 2021-03-08 | PhysioNet 发布时间 | 条目页 |
| 10.13026/v8eq-8v80 | v1.0 DOI | 条目页引用块 |
| REB20-0608 | 伦理审批编号 | 条目页伦理声明 |
B. 缩写表
| 缩写 | 全称 | 含义 |
|---|---|---|
| SDC | statistical disclosure control | 统计披露控制,防止从发布数据反推个体身份的一组方法 |
| FSA | Forward Sortation Area | 加拿大邮编前三位对应的地理分区 |
| DUA | data use agreement | 数据使用协议 |
| PUMF | public use microdata file | 公共用途微观数据文件 |
| PRO | patient-reported outcome | 患者报告结局 |
| CITI | Collaborative Institutional Training Initiative | 提供科研伦理与数据使用培训的平台 |
| CFR | case fatality rate | 病死率 |
| EHR | electronic health record | 电子健康记录 |
C. 术语表
| 术语 | 解释 |
|---|---|
| 症状监测 | 按主诉或症状分组监控就诊趋势的公卫方法,通常有稳定分母 |
| 参与式监测 | 由公众主动报告而非由机构采集的监测 |
| 志愿者偏差 | 自愿参与者与目标人群在关键变量上系统性不同 |
| 回忆偏差 | 受访者回溯性报告时的记忆误差 |
| 抽样框 | 抽取样本所依据的总体名单,缺失则无法计算入样概率 |
| 设计权重 | 由入样概率推出的、把样本还原为总体的权重 |
| 事后分层 | 按已知的边际分布对样本重新加权 |
| 准标识符 | 单独不足以指认个体、组合起来可能指认的变量 |
| 唯一性 | 样本中某个变量组合只出现一次,是再识别风险的核心来源 |
| 泛化 | 降低变量粒度以降低唯一性 |
| 抑制 | 删除记录或单元格以降低风险 |
| 精确匹配攻击 | 用外部数据与发布数据逐字段比对的再识别方法 |
| 横断面 | 某一时点的观察,不追踪个体 |
| 热图(heatmap) | 用颜色表示交叉表数值的图形 |
D. 常见误读速查卡
| 看到什么 | 先问什么 |
|---|---|
| 49.8 万份提交 | 这是收到的量还是可下载的量 |
| 29 万条记录 | 三版合计,且其中近九成只有症状字段 |
| 新冠症状数据 | 有无检验确认;若无,只能做描述 |
| 安大略省 60.3% | 公开发布版只剩这一省 |
| 受限访问 | 能否二次分发;答案通常是不能 |
| 去标识 | 改了什么、删了什么、删掉的会不会有偏 |
| probable 变量 | 定义依据是什么,是不是诊断标准 |
| 症状比例上升 | 填写量是否同步上升 |
E. 未覆盖内容
以下几类内容本次核验未能确认,条目中未作表述:
- 数据文件的具体格式、文件数量与总体积。PhysioNet 的文件区对未签署协议者不可见,本代理无凭证,故不列。
- 问卷的具体题号、答案选项文本与量表编码。需在文件区的数据字典中确认。
- 三套 schema 之间具体哪些题目被「细化」(官方只说「细化问题与选项」,未列差异清单)。
- Flatten 网站的当前状态、注册用户总量、问卷的语言版本数。
- 参与者的年龄中位数、性别构成等描述统计。官方页面未给出;若给出总数则需从文件计算,本代理无数据。
F. 检索与核验方式
- 2026-10-18 抓取 PhysioNet 条目页与公共健康主题列表页。
- 2026-10-18 抓取 PLOS ONE 论文页面,核对去标识章节的逐字表述。
- 以作者名、数据集全称、机构名、DOI 三类组合检索,未发现独立数据论文。
- 未访问 Flatten 官网与 GitHub 仓库(网络预算所限),相关表述均转引自 PhysioNet 页面原文。
G. DAIMS 评分说明
条目正文采用的可发现性/可获取性/可互操作/元数据/可持续性五维评分,参照数据资产成熟度的通用框架。评分是编辑判断,非官方评审,仅供横向比较时参考;每一维度的依据已在正文表格中给出。
H. 版本日志
| 日期 | 变更 |
|---|---|
| 2026-10-18 | 首次成稿,代理 agent-a-flattencov,依据 PhysioNet v1.0 页面与 PLoS ONE 2022 论文 |
编辑说明
核验时间与方式:2026-10-18,抓取 PhysioNet 官方条目页(https://physionet.org/content/flatten-covid-survey/)与主题列表页,逐字核对规模、版本、许可、去标识说明;抓取 PLOS ONE 论文(doi:10.1371/journal.pone.0269097)核对去标识方法与公开发布样本量。未使用二手转述。
双口径冲突登记:
- 498,211(收到的提交)与 294,106(三套 schema 记录之和,亦为列表页摘要数)并存于同一官方页面,差额 204,105 无官方说明。正文按「收到—可分析—可下载」三层处理,不合并、不互相替代。
- 18,903(PLOS ONE 的去标识后观测数)与 60.3%(安大略省占比)不能互相反推,因为 60.3% 的分母口径官方未明说。正文只引比例,不作推算。
- 页面同时给出 v1.0 与 latest 两个 DOI,正文按其含义区分,引用固定 v1.0。
- Schema 1 与 Schema 2 的日期区间在 2020-04-08 重叠,当日归属未说明。
probable的第二与第三条组合在症状列举上不对称,正文照录原文并标注。
推断标注:正文中凡属推断的内容均标注为推断或写入「假设—支持—反对」表,结论强度按 A/B/C/D 分级(A ≥3 条独立证据线,B =2 条,C = 单一来源,D = 推断)。
未覆盖:文件格式、体积、数据字典细节、Flatten 站点的当前状态。原因见附录 E。
下次复核触发点:PhysioNet 页面若发布新版本或补发数据描述论文;Flatten 官网状态变化;去标识相关监管阈值调整。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- mics — 共享标签:公共卫生与流行病学 / 疾病监测 / 调查数据
- ncd-risc — 共享标签:公共卫生与流行病学 / 疾病监测 / 队列研究
- face-oral-temp-data — 共享标签:公共卫生与流行病学 / 疾病监测 / COVID-19
- jhu-csse-covid-19 — 共享标签:公共卫生与流行病学 / 疾病监测 / COVID-19
- sinan-dengue — 共享标签:公共卫生与流行病学 / 疾病监测 / 调查数据
- fair-health-atlas — 共享标签:公共卫生与流行病学 / 疾病监测 / 队列研究
- wuenic-immunization — 共享标签:公共卫生与流行病学 / 疾病监测 / 调查数据
- charls — 共享标签:公共卫生与流行病学 / 调查数据 / 队列研究
- sex-differences-hearing-loss — 共享标签:公共卫生与流行病学 / 调查数据 / 队列研究
- our-future-health — 共享标签:公共卫生与流行病学 / 调查数据 / 队列研究
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

