Flatten 新冠症状自报调查

加拿大非营利组织 2020 年 3–7 月网页问卷:原始收集 498,211 份提交、可分析 294,106 条、公开发布约 1.89 万条安大略省去标识记录,三套 schema 记录公卫关注点的漂移

来源 Flatten 网页问卷自报记录(2020-03-23 至 2020-07-30,加拿大),三套 schema 版本;因伦理与隐私原因仅发布安大略省去标识子集,自由文本字段全部删除发布时间: 2026-10-18最后更新: 2026-10-18 阅读 14
Flatten 新冠症状自报调查

信息速览

数据集名称Flatten 新冠症状自报调查
数据类型自报数据,众包采集,去标识数据
规模原始收集 498,211 份提交(90.81% 来自唯一参与者);可分析记录 294,106 条;公开发布约 18,903 条安大略省去标识记录;参与者数未单列
接入方式Flatten 网页问卷自报记录(2020-03-23 至 2020-07-30,加拿大),三套 schema 版本;因伦理与隐私原因仅发布安大略省去标识子集,自由文本字段全部删除
AI 就绪度

Flatten 新冠症状自报调查是加拿大非营利组织 Flatten 于 2020 年 3 月 23 日至 7 月 30 日在网页上收集的 COVID-19 症状问卷记录,由 Jain、Charpignon、Celi、Ghassemi 等七人署名,2021 年 3 月 8 日托管于 PhysioNet(版本 1.0,DOI 10.13026/v8eq-8v80)。原始收集量接近五十万份提交;三套问卷版本合计约二十九万条可分析记录;因伦理与隐私原因,公开发布的只有不到两万条安大略省去标识记录,且需签署受限数据使用协议。

它补上的是传统监测体系看不见的那一层。实验室报告与住院登记只覆盖走到检测和就诊环节的人,而轻症、无症状、不愿就医的绝大多数人在这些系统里不存在。Flatten 这类参与式症状监测用网页问卷把这些人拉进来,代价是样本完全由自愿填写者组成:没有抽样框、没有回应率、人群构成随媒体报道起落。所以它能回答的是「填写者里有多少人说自己在发烧」,而不是「人群里有多少人感染」。

使用这份数据,第一件事是分清三个数量级——收到多少、可分析多少、能下载多少,三者相差两个数量级;第二件事是把每一列的健康状态变量当作规则派生的近似值,而不是检验结果;第三件事是在任何比率上标注样本的自选属性,而不是把它当作患病率放进模型。

§1 它是什么

1.1 一句话定义

Flatten 新冠症状自报调查(Flatten COVID-19 Symptom Survey)是一份横断面的、由受访者自己填写的症状问卷记录集。受访者在 Flatten 的网站上回答一组固定问题——最近有没有发热、咳嗽、气短,最近两周有没有出过加拿大,最近两周有没有接触过疑似感染者——回答被逐条存为数据库中的一行。每一行对应一次问卷提交,不是一个患者,也不是一次就诊。

它与医院或公共卫生部门掌握的监测数据在性质上截然不同。检验报告描述的是一次实验室测量,住院记录描述的是一次诊疗过程,二者都有外部机构对事实的确认。问卷记录描述的是填写者当时的自我感受与记忆,确认环节由填写者本人完成。这个差别决定了它的全部价值与全部局限:它能触及那些从未进入医疗系统的轻症者,但无法确证任何一个人的感染状态。

1.2 谁做的、为什么做

发起方是加拿大非营利组织 Flatten(flatten.ca),官方定位是「全球人道主义援助非营利组织」。项目在 2020 年 3 月加拿大疫情初期上线,目标是建立一个社区症状监测(syndromic surveillance)工具:让普通居民在几分钟内报告自己的症状与风险接触史,由平台汇总成地区层面的趋势图,帮助公共卫生决策者看到检测能力之外的疫情信号。

这一思路在 2020 年春天有明确的现实背景。检测资源极度紧张,只对特定人群开放,实验室确诊数严重滞后于真实传播,任何能提前一周看到社区信号的工具都有价值。同一时期全球出现了多个类似项目——英国的 Zoe 症状研究应用、美国的 COVID Near You、以及剑桥的 COVID-19 Sounds 语音众包——它们共享同一个结构:网页或应用端自报,样本自选,以规模换代表性。

1.3 时间线与版本

节点 时间 内容
问卷上线 2020-03-23 Schema 1 开始收集
问卷改版 2020-04-08 切换至 Schema 2,增加人口学与社会经济需求问题
问卷再改版 2020-04-28 切换至 Schema 3,细化问题与选项
停止收集 2020-07-30 收集窗口结束
公开发布 2021-03-08 PhysioNet 上线 Version 1.0
去标识方法论文 2022-06-17 PLOS ONE 发表所采用的风险估计方法

值得注意的是,官方页面明确指出这份数据没有配套的数据论文(data descriptor)。学术期刊上能找到的只有去标识方法的技术论文,而非对数据本身的描述与验证。这在这类平台数据集中并不罕见,但对使用者有实际影响:没有第二份独立文档可以交叉核对字段定义、缺失机制与采集细节,全部信息以 PhysioNet 页面为唯一权威来源。

1.4 所属类别与相邻概念

在公共卫生数据谱系里,Flatten 属于参与式监测(participatory surveillance)或众包症状监测,与下列几类数据相邻但不同:

类别 样本来源 代表 与 Flatten 的差别
概率抽样健康调查 抽中的家庭户 NHANES、BRFSS 有抽样框与权重,可外推;Flatten 没有
实验室/医院监测 就诊与检测 各地法定传染病报告 有检验确认;Flatten 没有
人群病例计数 各级卫生部门汇总 霍普金斯时间序列 群体层面汇总;Flatten 是个体层面自报
临床队列 EHR 医院信息系统 N3C、VIRUS 注册库 有诊断编码与治疗记录;Flatten 只有问卷
参与式症状监测 自愿填写的任何人 Flatten、Zoe、COVID Near You 同属一类,缺陷同构

把 Flatten 放进这张表的位置是理解它的关键:它既不是「缩小的」概率调查,也不是「缺少检验结果」的临床队列,而是一个规则完全不同的第三种数据。

§2 数据构成

2.1 三套 schema 各自记录了什么

问卷在三个月内改版两次,每一版对应一批记录,形成三个物理上独立的子集。改版的原因是疫情议题本身在变化:3 月时公众最关心的是「我有没有症状、要不要去检测」;到 4 月中下旬,居家令、失业、食物短缺与心理压力成为新的主要问题,问卷随之增加相应条目。

Schema 1(2020-03-23 至 04-08) 是设计最简的一版,记录数占三版合计的绝大部分,字段大致为:时间(周序或月份)、地区(粒度经泛化后的地理标识)、年龄的 60 岁及以上二值指示、三项症状(发热、咳嗽、气短)、14 天内是否离开过加拿大、14 天内是否接触过确诊或疑似病例。它只有「是/否」与少量分类,没有年龄具体值、没有性别、没有族裔、没有社会经济状况。

Schema 2(2020-04-08 至 04-28) 在 Schema 1 基础上加入了人口学与社会经济维度:种族、族裔、性别、年龄段,以及「疫情带来的最紧迫需求」,选项覆盖食物、医疗、财务、情绪等。

Schema 3(2020-04-28 至 07-30) 沿用 Schema 2 的框架,对既有问题的措辞与答案选项做了细化。官方表述是「后续版本或者增加新问题,或者细化已有问题的问法与选项」。

2.2 三版演进的解读:一份公卫关注点的档案

三个版本的字段演进本身就是可读的信息,它按时间顺序记录了疫情从「急性传染病事件」到「社会危机」的认知转变。3 月下旬的问卷只问症状与接触史,这是纯粹的传染病学视角:谁病了、谁可能被传染。4 月中旬加入族裔与性别,反映的是当时关于不平等暴露的讨论——某些族裔群体从事无法居家的 frontline 工作,感染风险结构性偏高,而当时的监测系统不采集族裔,导致差异不可见。同一版加入「最紧迫需求」,承认了防疫措施本身制造了次级危机:收入中断、食物不安全、就医延后、心理压力。

从建模角度看,这一演进有一个直接后果:跨 schema 的纵向分析受到严重限制。Schema 1 占全部可分析记录的 89.6%,却没有性别与族裔;有这些字段的 Schema 2 与 Schema 3 合计仅占 10.4%,且时间窗口只覆盖 4 月至 7 月。任何「族裔差异如何随时间变化」的问题,都只能在 4 月之后的那一小段里回答,而在那一小段里,样本量降到万级以下,日粒度上可能只剩几十条。

2.3 派生变量:四个不是问出来的字段

除逐题答案外,数据还包含四个由规则计算出的健康状态变量:probable、vulnerable、is_most_recent、any_medical_conditions。它们的定义不是调查问卷的一部分,而是发布方根据多伦多大学 Dalla Lana 公共卫生学院教授的意见事后设定的。

probable(疑似病例)的判定规则由三条并列组合构成,满足其一即标记为疑似:

  1. 曾接触过患病者;
  2. 曾离开加拿大且有症状(发热、咳嗽、气短);
  3. 曾离开加拿大且有症状(咳嗽、气短)。

第三条组合不含发热,只列咳嗽与气短,而第二条三项全列。这是官方页面的原始写法,条目照录,不做推断性修正。在实务上应当把它理解为发布方对「症状组合权重」的一种判断,而不是可以照搬的病例定义。

vulnerable(易感)标记的是按年龄或合并症判断风险较高者;any_medical_conditions 标记是否报告了基础疾病;is_most_recent 标记同一参与者多次提交中的最新一条,用于在去重时保留最后状态。

2.4 字段规格与可靠性

字段组 内容 取值形态 可靠性判定
时间 周序或月份(泛化后) 粗粒度分类 依官方说明推定;具体泛化档位官方未列出,语义存疑
地理 Forward Sortation Area 或其泛化形式 分类 依官方说明推定;泛化程度随披露风险动态调整,不可跨版本假定一致
年龄 60 岁及以上为真/假(Schema 1);年龄段(Schema 2/3) 二值 / 区间 自报,未经核验
症状 发热、咳嗽、气短 三项二值 自报,无检验确认
出行与接触 14 天内出境、14 天内接触疑例 二值 自报;回忆窗口为 14 天,回忆偏差显著
人口学 种族、族裔、性别、年龄段 分类 仅 Schema 2/3 具备;自报
社会经济需求 食物、医疗、财务、情绪、其他 多选或单选 仅 Schema 2/3 具备;选项随时间细化
派生健康状态 probable / vulnerable / is_most_recent / any_medical_conditions 二值 规则派生,非测量值;定义依据为专家意见
自由文本 原有开放题 已全部删除 不可用

这张表的「可靠性判定」一列需要逐类理解。凡是标注「自报」的字段,其误差来源不是录入错误,而是受试者的主观判断本身:一个人是否认为自己在发烧,取决于体温计、体感与注意力;是否记得两周前去过哪里,取决于记忆与题目的提示强度。这类误差不会因为样本变大而消失,只会在均值上部分抵消,而且抵消的方向不可知。

2.5 记录的物理组织

每一行是一次问卷提交,因此同一名参与者可以出现多行。官方给出的原始数据中 90.81% 的提交来自唯一参与者,反过来说约 9.19% 的提交是同一人的重复填写。对于需要「一人一条」的分析,必须用 is_most_recent 字段保留最后一条,否则单一活跃用户的多日打卡会按天数加权,把「填得勤的人」放大成「人群中的多数」。

三套 schema 的记录在物理上是分开的子集,字段集不同。跨版本合并需要先对齐列名与取值域,并对 Schema 1 缺失的那些列显式标记为缺失,而不是填零——把「没有问」当作「没有」是这类数据最常见的一类错误,后果是把 Schema 1 的 26 万余条全部记为「未报告族裔」,从而在任何按族裔分组的统计里制造一个虚假的多数类。

§3 怎么拿到

3.1 访问级别:受限,不是开放

PhysioNet 对该条目标注的访问级别是 Restricted Access(受限访问),官方逐字说明为「只有注册并签署了指定数据使用协议的用户才能访问文件」。这一点需要在检索时特别注意:PhysioNet 上多数知名数据集(如 MIMIC 系列为 Credentialed,部分挑战赛数据为 Open Access)的获取路径各不相同,而这一条目既不是「注册即下」的 Open,也不是 MIMIC 那种需要机构担保的 Credentialed,而是以逐一签署数据使用协议为门槛的 Restricted 级别。

3.2 获取流程

  1. 在 PhysioNet 注册账号并完成邮箱验证;
  2. 完成平台要求的研究者培训。PhysioNet 对需要签署数据使用协议的项目普遍要求完成 CITI 项目的「Data or Specimens Only Research」课程并提交证书编号——这条属于平台级通用流程,PhysioNet 页面只写「签署数据使用协议」,未逐条列出培训要求;
  3. 在条目页签署 PhysioNet Restricted Health Data Use Agreement 1.5.0;
  4. 签署后文件区开放,按页面提供的链接下载。

3.3 许可与义务

数据按 PhysioNet Restricted Health Data License 1.5.0 授权。这一许可与常见的开放许可(CC 系列)在性质上不同:它不是授予任意使用权的版权许可,而是一份附条件的访问合同。签署方承诺的核心义务通常包括:不得尝试重新识别任何个人、不得将数据再分发给未签署协议的第三方、按约定方式引用来源、在发表时遵守相应的报告规范。

对工程实践的直接含义是:这份数据不能被放进公开的镜像或数据仓库,也不能打包进开源项目的示例数据里。任何以「下载后转手分发」为前提的流水线设计(例如把原始文件提交到代码仓库作为测试夹具)都违反协议。

3.4 代码与数据的分离

一个容易被忽略的事实是:Flatten 的工具代码是开放的,数据不是。PhysioNet 页面明确说明,用于构建加拿大站点症状监测工具(syndromic surveillance tool)的代码公开在 GitHub 的 flatten-official 组织下,采用 MIT 许可。这意味着问卷结构、派生变量的计算逻辑、乃至站点前端的交互流程都可以公开审查与复用,而具体的回答记录受协议保护。

这种「代码开放、数据受限」的分离在实践中很有用:想复刻一套症状监测系统,不需要数据;想验证派生变量的算法,可以读代码;只有在需要真实回答做统计时,才需要走签署流程。

3.5 拿不到的东西

以下几类内容即便签署协议也拿不到,因为它们在最上游就被移除:

  • 自由文本回答:官方明确说明,为保护隐私,最终发布版本删除了全部自由文本字段。这意味着「用这批数据做症状描述的文本挖掘」这类设想在公开版本上不成立。
  • 安大略省以外的记录:只保留自报居住在安大略省的记录。加拿大其余省份与地区的回答不在发布范围内。
  • 未经泛化的精确日期与邮编:日期、Forward Sortation Area、年龄、合并症等准标识符都经过泛化处理,泛化程度由披露风险决定,原始精确值不可恢复。
  • 参与者标识:没有可跨记录追踪个体的稳定 ID,同一人的多条记录之间无法可靠链接(只能通过 is_most_recent 间接处理)。

§4 质量与已知问题

4.1 三个数量级必须先分清

这是使用这份数据时最容易出错的一处,也是官方页面本身并存多组数字造成的。同一页面上同时出现:

  • 收到的提交:官方原文给出提交总数,并说明其中 90.81% 来自唯一参与者;
  • 可分析记录:列表页摘要使用的「survey responses」数,恰好等于三套 schema 记录数之和(见 2.1 三行记录数);
  • 可下载记录:约 1.89 万条,为去标识后实际公开发布的安大略省记录,数额出自记录去标识方法的 PLOS ONE 论文。

三者是层层收窄的关系,不是互相矛盾的表述:收到的提交(49.8 万)经过清理与归集成可分析记录(29.4 万),再经过隐私保护、地理裁减与低风险子群删除,剩下可下载的部分(约 1.9 万)。从收到到可下载,规模缩减到约 3.8%。

把收到的提交数当作可下载量是最常见的错误,后果很直接:按 50 万条规划存储、分片与训练轮数,实际拿到的数据少一个数量级以上,且地理与人口结构完全不同。

4.2 自选样本:没有分母的比率

参与者是自己找上门来的。Flatten 通过媒体曝光、社交网络与合作伙伴推广吸引填写,没有人被抽中,也没有人被要求必须填写。这带来三个连锁后果:

没有抽样框,就没有设计权重。 概率抽样调查(如 NHANES)之所以能给出全国代表性估计,靠的是已知的入样概率与据此计算的设计权重。Flatten 的入样概率对每个人都是未知的,且显然不等——会用智能手机、看得懂英文或法文、关注疫情新闻、有空闲时间的人更可能填写。没有权重,任何「把样本调整成总体」的尝试都只能依赖对选择机制的外部假设,而这些假设无法用数据自身检验。

没有回应率,就没有无应答偏差的量化。 在电话调查里,回应率低可以用加权或敏感性分析部分处理;在这里连分母都不存在,因为根本不知道「被邀请而未填」的人有多少。

样本结构随曝光波动,而不是随疫情波动。 官方明确指出,Schema 1 的记录集中在收集启动后的两周半,而这段时间正是 Flatten 在媒体上的曝光高峰。这句话的信息量很大:样本量的时间分布由公关与新闻周期决定。用它画「症状报告数随时间的变化曲线」,得到的首先是一条媒体曝光曲线,疫情信号只是叠加在上面的成分。

4.3 自报偏差的三个来源

即使忽略样本代表性问题,只看填写者内部,症状字段仍有三层误差:

回忆偏差。 「14 天内是否接触过疑似病例」要求受访者回溯两周并对「疑似」作判断。两周是相当长的回忆窗口,且「疑似」在不同时期的定义(是否包含无症状接触、是否包含家庭成员)随公众认知变化。

症状定义的主观性。 「发热」在问卷里是一个是/否问题,但受访者的判断标准差别巨大:有人以体温计读数 37.5℃ 为准,有人以「感觉发冷出汗」为准。咳嗽与气短同理。这类误差不是随机噪声,而与年龄、健康素养、是否有基础肺病系统性相关。

社会期望与动机。 部分填写者可能因为希望获得关注、希望被纳入「需要帮助」的名单,而倾向于报告更多症状或更多需求;也可能因为不愿被视为违反防疫规定而低报出境与社交接触。方向不可先验确定。

4.4 去标识带来的信息损失

去标识由 Replica Analytics 按通用统计披露控制(statistical disclosure control, SDC)协议执行,方法细节发表于 2022 年 PLOS ONE 的论文。核心流程是:用合成估计量估计再识别风险,反复泛化准标识符,直到估计的平均风险低于 0.09(欧洲药品管理局与加拿大卫生部采用的常用阈值);同时关联加拿大普查数据,按 Forward Sortation Area 检查人口学子群,凡子群人数少于 11 的记录一律删除。

论文报告的结果是:安大略省数据集的 sample-to-population 风险为 0.0723,population-to-sample 风险为 0.0009。

这套方法在隐私保护上是严谨的,但对分析的代价必须明说:

  • 地理粒度被压到 FSA 或更粗。FSA 是加拿大邮编的前三位,一个 FSA 覆盖的居民数从数千到数万不等,城市中心与乡村差异极大。以 FSA 为单位的空间分析无法分辨同一城市内的街区差异。
  • 时间粒度被压到周或月。日级传播动态分析不可行。
  • 年龄被二值化或区间化。Schema 1 只有「60 岁及以上」一个切点,精细的年龄梯度分析不可能。
  • 低风险子群被整条删除。这不是随机缺失:被删的恰恰是人口学上稀有的组合,因此发布版本在族裔、年龄与地理的交叉表上会比原始数据更「平坦」,稀有组合被系统性地抹掉。

4.5 假设—支持—反对

假设 支持证据 反对证据 结论强度
公开版本可用于估计安大略省人群的症状流行率 样本量大;覆盖整个 3–7 月窗口 自选样本无抽样框;地理裁减;低风险子群删除;官方从未宣称代表性 D(不成立)
公开版本可用于比较不同族裔的症状报告差异 Schema 2/3 采集了族裔 族裔字段仅在 10.4% 的记录中存在;稀有族裔组合最可能被 SDC 删除 C(仅可作探索性描述)
症状报告数的时间曲线反映疫情传播 曲线确与 2020 年春季安大略省第一波时间上重合 官方明示 Schema 1 的高峰对应媒体曝光高峰;填写量随新闻周期波动 C(信号与曝光混杂,需外部数据校正)
probable 变量可当作病例定义使用 由公共卫生教授参与定义 无检验确认;三条组合不对称(第三条不含发热);未在外部数据上验证 C(仅作内部一致性变量)
去标识后的数据再识别风险可忽略 估计风险 0.0723 低于 0.09 阈值;FSA 子群小于 11 者已删除 论文自述假设攻击者采用精确匹配,近似或概率匹配可能改变结果 B(风险低但非零,且估计依赖方法假设)
收到的提交数就是可获取的记录数 官方页面确实列了这个数 同一页面另有两组更小的数字;发布说明明确只发布子集 A(不成立)

4.6 官方页面自身的不一致

除三个数量级外,还有两处小问题值得记录:

其一,Schema 1 的时间窗口写为 3 月 23 日至 4 月 8 日,Schema 2 写为 4 月 8 日至 4 月 28 日,4 月 8 日这一天同时出现在两个区间里。页面没有说明当日切换发生在几点、当天的记录归入哪一版。对按日切分窗口的分析,这一天的归属需要自行假设并写明。

其二,probable 的第二条与第三条组合在症状列举上不对称(见 2.3)。就文本本身而言可以确定是原样如此,但无法判断这是有意设定(认为出境且有咳嗽或气短已足够提示)还是编辑疏漏。使用该变量时应完整引用三条规则,不要只写「符合症状与出行史」。

§5 能做什么

5.1 任务分级:由可靠到勉强

不是所有能算的任务都值得做。下表按「数据能支撑到什么程度」从高到低排列,最后一行是需要明确回避的方向。

任务 数据支撑程度 必要前提 产出形态
问卷与字段演进研究 强 无 版本对照表、问题设计评论
派生变量规则的事后审计 强 拿到派生变量的计算说明(代码公开) 一致性分析、敏感性表
去标识方法的效果评估 强 配合 PLOS ONE 论文的方法部分 风险-效用权衡分析
症状报告的空间聚类探索 中 以 FSA 为单位,明确不推断个体 探索性热图、聚类描述统计
症状与自报风险因素(出行、接触)的关联 中 控制时间与地区,报告为关联而非因果 分层描述、简单回归
时点序列的症状报告趋势 弱 必须同时给出填写量曲线作为混杂对照 双曲线图 + 说明
任何「感染率」「患病率」估计 不可行 — 不产出
任何个体级别的临床推断 不可行 — 不产出

5.2 最小可执行示例:一条「先看再算」的检查

拿到数据后,第一件该做的事不是建模,而是把三个问题问清楚。下面的流程用纯文本描述,不依赖具体文件格式(格式需签署协议后在文件区确认)。

第一步,数记录。 分别统计三个 schema 子集的行数,核对是否与官方给出的三版记录数一致。不一致说明拿到的是别的处理版本,后续所有推断的基数都要重算。同时统计含族裔字段的行数,确认它是只出现在 Schema 2/3 中,而不是被补零填满。

第二步,数人。 用 is_most_recent 过滤,只保留每个参与者的最新记录,再数一遍行数。两个数字的差就是重复提交的比例。若分析单位是「人」,后续一律用过滤后的表;若分析单位是「次」,则必须在图表标题里写明是「次」。

第三步,数时间。 按周聚合记录数,画出填写量曲线。把这条曲线放在同一张图里与症状阳性比例并列,而不是只看阳性比例。如果两者同时起伏,说明任何「症状随时间增加」的结论都可能是填写人群构成变化造成的,需要在正文中排除这一解释或明确承认无法排除。

5.3 一个具体的分析设计:症状报告比例的时空分层

以「某周某 FSA 的咳嗽报告比例」为例,一个诚实的做法是:

  1. 分母明确为该周该 FSA 的全部提交数(按人去重后),而不是该 FSA 的居民数;
  2. 分子为该周该 FSA 报告咳嗽的提交数;
  3. 同时报告该单元格的提交数 n。n 小于某阈值(例如 30)的单元格不展示比例,只标「样本不足」;
  4. 不跨 FSA 比较绝对值。不同 FSA 的填写者构成差异远大于空间差异,比较相对变化(同一 FSA 前后周的比值)比比较绝对水平更稳;
  5. 在图上标注主要媒体事件的时间点。因为填写量的峰值与新闻周期绑定,不标出来,曲线看起来就像疫情曲线。

这套做法不会给出「哪个地区疫情更严重」的答案,因为数据不支持这个答案。它给的是「在填写者中,报告比例相对上升的地区是哪些」,这是一个描述性结论,可以用于生成假设并引导后续用检验数据验证。

5.4 与其他数据源拼接的正确姿势

Flatten 与外部数据拼接时,最大的诱惑是把症状比例与病例计数放在一起,宣称前者「领先」后者。这类分析在 2020 年被做过很多次,问题在于两个序列的驱动因素完全不同:病例计数的变化由真实传播与检测策略共同决定,症状报告比例的变化由真实传播与填写人群构成共同决定。两条曲线在时间上重合,不能区分为「信号领先」还是「共同的第三因素」(例如同一批新闻事件同时推动了检测需求与填写量)。

可行的替代设计是:把 Flatten 的比例序列与同一地区、同一周的检测阳性率并列,检验两者是否同步;若同步,说明自报数据至少没有与检验数据背离,这可作为质量控制证据,而不是领先性证据。这类设计把结论降级为「一致性检验」,反而是可以发表的。

5.5 不适合的方向

  • 建立个体风险预测模型。 数据缺少检验标签,也没有可追踪个体的纵向记录,训练出的模型只能预测「这个人会不会说自己有症状」,这在临床上没有意义。
  • 因果推断。 没有干预、没有对照、没有时间零点的清晰定义,任何「某措施导致症状报告下降」的说法都无法排除混淆。
  • 时间序列预测。 样本量的驱动因素是媒体曝光,而曝光本身不可预测,序列的统计性质不稳定。
  • 跨国的可比分析。 问卷措辞、语言、推广渠道都不同,与 Zoe 或 COVID Near You 的比例不可直接比较。

§6 常见误读与引用陷阱

6.1 误读对照表

常见说法 实际口径 证据位置
这是 49.8 万人的新冠数据 该数仅为提交数;90.81% 来自唯一参与者;发布的可下载记录约 1.89 万条 PhysioNet 数据描述段
数据覆盖全加拿大 公开发布版只保留自报居住在安大略省的记录,因该省占 60.3% PhysioNet 数据描述段
可以直接下载 受限访问,需注册并签署数据使用协议 PhysioNet 页面访问级别标注
数据包含核酸检测结果 无任何检验字段,全部自报 字段清单
这是 29 万人的队列 该数为三套 schema 的记录数之和,且其中 89.6% 只有症状与出行史字段 三版记录数相加
属于开放数据,可以二次分发 受限许可,禁止再分发与再识别尝试 PhysioNet Restricted Health Data License 1.5.0
症状比例可以直接当患病率 自选样本无抽样框与权重,不可外推 采集方式
数据里有受访者的文字描述 自由文本字段已在发布前全部删除 PhysioNet 数据描述段
这是 Flatten 的完整数据库 是去标识子集,且经地理裁减与低样本子群删除 PhysioNet + PLOS ONE 2022
附有正式的数据论文 无数据描述论文,只有去标识方法论文 检索结论

6.2 技术陷阱八则

坑 1:把「没问」当成「没有」。 Schema 1 完全没有族裔与性别字段。合并三版时若用零值或默认类别填补,会让 89.6% 的记录被归入一个虚假的「未报告」或「默认」类别,任何按族裔的分组统计都会失真。正确做法是保留缺失标记,并在分析时明确排除或单独报告。

坑 2:以提交为单位还是以人为单位。 约 9.19% 的提交是重复填写。按提交聚合时,高频填写者被按天加权;按人去重时,需要决定保留哪一条(is_most_recent 提供了现成规则)。两种口径给出的比例通常不同,且差异在活跃用户多的地区更大。

坑 3:把 4 月 8 日算两次。 Schema 1 与 Schema 2 的日期区间在这一天重叠。做日级切分时若不处理,该日的记录可能被计入两个子集,或按不同规则分配到不同子集。这是文档层面的事实,与数据无关。

坑 4:把 probable 当标签。 它是规则派生的近似值,且第三条组合不含发热。用它训练分类器,等于让模型学习发布方的规则,而不是学习疾病。若要使用,应把它当作一个「疑似标记」特征,而非金标准。

坑 5:FSA 不是街区。 Forward Sortation Area 是邮编前三位,覆盖范围从数千到数万人不等,且城乡差异极大。按 FSA 计算「每万人报告数」时,分母用的是普查人口,而分子来自自选样本,二者的比例不具可比性。若必须做比率,应明确说明分母是提交数而非人口。

坑 6:把去标识等同于零风险。 风险估计值 0.0723 低于 0.09 阈值,这是方法学意义上的「低于常用阈值」,不是「零」。论文自身也说明,估计建立在攻击者采用精确匹配的假设上。使用者在任何二次加工(例如把 Flatten 与外部人口数据拼接)时都可能改变风险水平,这类操作应重新评估。

坑 7:把 60.3% 反推成原始记录数。 60.3% 是「安大略省记录占收集记录的比重」,但分子分母的基础是哪一个总数(收到数还是可分析数),官方未明说。用不同基数反推会得到相差近一倍的结果,因此只应引用比例本身,不应据此推算绝对量。

坑 8:以为版本号会带来新数据。 页面上同时给出 v1.0 与 latest 两个 DOI(10.13026/v8eq-8v80 与 10.13026/3pqw-8411),后者是 PhysioNet 的「始终指向最新版本」的 DOI 写法,不代表存在更新的数据版本。引用时应固定到具体版本 DOI,避免引用漂移。

§7 在生态中的位置

7.1 参与式监测这一支

2020 年春天是全球参与式症状监测的一次集体实验。同一时期有若干个结构相似的系统:英国的 Zoe 症状研究应用在两周内吸引了数百万用户,美国的 COVID Near You 由波士顿儿童医院与 Google 合作推出,剑桥的 COVID-19 Sounds 收集咳嗽与呼吸音频,瑞士的 COUGHVID 收集众包咳嗽录音。它们的共同点是:入口廉价(网页或应用)、样本自选、以规模换覆盖。

这一支的价值主张是一致的:在检测能力不足的窗口期,把「人自己报告的感受」作为一种低成本的补充信号。这一主张在后来经过了大规模检验,结论并不统一——部分研究显示自报症状与后续检验阳性存在相关性,另一些研究显示相关性在志愿者偏差校正后大幅减弱。Flatten 处于这一支的中段:规模不如 Zoe,模态不如 COVID-19 Sounds 丰富,但它的数据在去标识上做得比多数同类项目更公开(方法与风险数值都有论文),这使它在方法学讨论里反而更常被引用。

7.2 与概率调查的对照

公共卫生统计的经典工具是概率抽样调查,例如美国的 NHANES 与 BRFSS、加拿大的加拿大社区健康调查(CCHS)。这类调查从抽样框里抽人,通过加权把样本还原成总体,代价是成本高、周期长、样本量受限于预算。Flatten 走的是完全相反的路:零边际成本、样本量巨大、但还原总体的数学基础不存在。

把两者放在一起看,得到的是一个清晰的取舍谱:

维度 概率调查(NHANES/BRFSS) 参与式监测(Flatten)
入样机制 随机抽样,概率已知 自愿填写,概率未知
代表性能否论证 能(设计权重) 不能
样本量 数千至数十万 数十万至数百万
时效 滞后数月到数年 近乎实时
测量深度 有体检、生物样本 仅自报
适合的问题 患病率、风险因素分布 趋势、早期信号、假设生成

这条谱系说明:参与式监测不能替代概率调查,它的位置是「概率调查还没有数据的那几个月里,提供一个方向大致正确的信号」。一旦概率调查的数据到位,自报数据的价值就从「估计」退到「对照」。

7.3 与新冠影像数据的对照

库内新冠类数据大多集中在影像方向——胸片、CT、分割掩码。这类数据描述的是「已经进入医院、已经做了影像检查」的患者的肺部表现,样本天然偏向重症。Flatten 描述的是相反的一端:绝大多数填写者从未做影像,也从未住院。

两者拼起来才构成完整的疾病谱:影像数据覆盖重症端,自报数据覆盖轻症与未就诊端,中间的「检测阳性但未住院」由检测登记数据覆盖。任何只用其中一端训练的模型,都会在另一端系统性失效——用重症影像训练的分诊模型,在社区轻症人群里表现必然低于报告值;用自报数据估计的流行率,无法与住院数据校准。

7.4 与合成数据的对照

当真实数据因隐私受限而无法获取时,一条常见替代路径是合成数据。Synthea 及其新冠模块可以生成任意规模的合成患者,完全绕开隐私问题,代价是合成分布本身由假设决定,无法呈现真实世界中的未知结构。

Flatten 走的是另一条路:保留真实记录,通过泛化与删除把风险压低到可接受阈值。两条路的取舍很清楚——合成数据没有隐私风险但没有真实信号,去标识真实数据保留信号但失去粒度。Flatten 发布的那不到两万条记录正是这种取舍的结果:地理被压到 FSA、时间被压到周月、稀有子群被删除,换来的是可以合法发布的真实回答。

7.5 库内互链

条目 关系
covid-19-sounds(436) 同为网页众包自报,模态为音频,对照可看「自选样本」缺陷的共性
jhu-csse-covid-19(410) 群体层面的病例计数,与 Flatten 的个体层面自报构成观察层级对照
n3c(199) 新冠 EHR 队列平台,覆盖住院端,与 Flatten 覆盖轻症端互补
virus-registry(206) 全球 ICU 新冠登记,代表最重的一端
nhanes(99)、brfss(165) 概率抽样调查,作为「有抽样框」的参照系
synthea(460)、synthea-covid(714) 合成数据路径,对照隐私-效用取舍
deidentified-medical-text(980)、mimic-iv-note(47) 去标识文本语料,与 Flatten 的「自由文本全删」形成对照
cdsl-covid-data-shared-learning(605)、bimcv-covid(207)、covidx-cxr(197) 新冠影像类,用于说明 Flatten 并非影像数据
coughvid(427) 众包咳嗽录音,与 covid-19-sounds 同属音频自报支线

§8 局限与争议的再审视

8.1 志愿者偏差能校正吗

一个反复出现的问题是:既然知道样本自选,能不能通过事后加权把它「校正」回代表性?

标准的加权方法需要知道目标总体在每个分层上的分布,以及样本在每个分层上的入样概率。前者可以从普查数据拿到(Flatten 的去标识流程本身就用到了普查数据),后者拿不到。实践中的替代做法是按边际分布事后分层(post-stratification):假设样本在年龄、性别、地区上的偏差可以完全由这些变量的边际分布解释,用普查比例重新加权。

这个假设在 Flatten 身上很难成立。原因有三:其一,Schema 1 没有性别与年龄细分,无法事后分层;其二,即使有,选择性还沿着健康状况、健康素养、对疫情的关注度这些没有普查分布可依的维度发生;其三,事后分层会放大权重方差,在稀有组合上产生极不稳定的估计。因此,加权在 Flatten 上可以做,但做了之后仍然不能宣称代表性——它只是把一个已知有偏的估计换成另一个假设更强、方差更大的有偏估计。

8.2 「症状监测」这个标签是否名副其实

严格意义上的症状监测(syndromic surveillance)是公共卫生的既有实践:在急诊分诊数据里按主诉分组(如「发热伴咳嗽」),监控其相对基线的时间异常。它的关键优势是有稳定的分母——某地区某周的全部急诊量是已知的,因此比例的波动可以被解读。

Flatten 借用了这个名称,但缺少那个分母。它的「分母」是填写量,而填写量由媒体曝光驱动。这意味着它在形式上像症状监测,在统计性质上更接近一次持续三个半月的、无抽样框的自愿网络调查。把两者混为一谈,是引用这类数据时最常见的一类概念滑移。

这一批评不影响数据的价值,但改变了它的用法:它应当是「生成假设」的工具,而不是「监测基线」的工具。

8.3 去标识的边界在哪里

去标识的目标是降低再识别风险,而「降低到什么程度算够」是一个政策判断。0.09 这个阈值来自监管机构的常用实践,不是理论最优。若某研究者的外部辅助信息比方法论文假设的更丰富(例如掌握安大略省某 FSA 的选民名册、业主登记或商业会员数据),实际风险会高于估计值。

论文对此的表述是诚实的:它假设攻击者采用精确匹配,近似匹配或概率匹配可能给出不同结果。这句话的含义是,0.0723 是一个在特定攻击模型下的上界估计,而不是普适的安全保证。使用者若把 Flatten 与其他含地理标识的数据拼接,实质上是在构造一个论文没有评估过的攻击模型。

8.4 三个「不够」的诚实总结

  • 不够快:数据 2021 年 3 月才发布,距收集结束已过七个多月。作为「早期预警」工具,它的时效价值在发布时已经过期,剩下的价值是作为历史档案与方法学样本。
  • 不够全:从收到到可下载缩减到约 3.8%,地理压缩到单省,自由文本全删。任何以「全国、全字段」为前提的研究设计都用不上。
  • 不够准:无检验确认,症状靠自报,派生变量靠规则。它的准确度上限由问卷设计决定,而不由样本量决定——把样本从 1.9 万扩到 190 万,症状定义的主观性一点也不会减少。

§9 与其他自报数据的横向比较

9.1 同类系统的结构对照

系统 采集窗口 采集通道 峰值规模 是否有检验链接 去标识方法是否公开
Flatten 2020-03 至 2020-07 网页 数十万份提交 无 是(PLOS ONE 2022)
Zoe 症状研究 2020-03 起持续 手机应用 数百万用户 部分子队列有 部分公开
COVID Near You 2020-03 至 2021 网页 数十万 无 未系统公开
COVID-19 Sounds 2020-04 起持续 网页与应用 数万参与者 部分自报 有
COUGHVID 2020-04 起 网页 数万条录音 人工标注子集 有

这张表的价值不在排名,而在指出 Flatten 的一个独特之处:它的去标识过程有独立的、可引用的方法论文,并且给出了具体的风险数值。多数同类系统的隐私处理只写在项目说明里,没有经过同行评审的风险估计。这使得 Flatten 成为研究「如何在发布自报健康数据的同时控制再识别风险」时最常被拿来做例子的数据集之一。

9.2 与「症状日记」类数据的区别

另一类常被混淆的数据是症状日记(symptom diary)或患者报告结局(patient-reported outcome, PRO)数据集。这类数据同样是自报,但通常有明确的入组标准、固定的随访间隔、以及与研究者的持续关系,因此在个体内部的纵向可比性上有保证。

Flatten 不具备这些条件:没有入组标准,随访依赖用户主动回访,个体间的填写次数差异巨大。因此它不能用于个体轨迹分析,只能用于横断面的组间比较。把两者混用,会得到「某人症状在两周内恶化」这类无法验证的结论。

9.3 与检测登记数据的互补关系

真实的疫情监测由三层数据叠加而成:检测登记(谁被确诊)、住院与死亡登记(谁病重)、症状自报(谁感觉不适)。三层的覆盖率依次递减、时效性依次递增。Flatten 属于最外层,它的任务是在内两层还没有反应的窗口里提供方向。

一旦内两层的数据齐备,外层的价值转为两类:一是作为内层的「预警哨」,检验自报信号是否确实领先;二是作为内层的「盲区补丁」,覆盖那些从未被检测到的人。这两类用法都需要外部数据配合,单用 Flatten 无法完成。

§10 总结

10.1 三句话

第一,Flatten 是 2020 年 3 月至 7 月在加拿大安大略省通过网页收集的症状自报数据,原始收到约 49.8 万份提交,实际可下载的约 1.9 万条,需签署受限数据使用协议。

第二,它的价值在于覆盖了检测与住院系统看不见的轻症与未就诊人群,代价是样本完全自选、无抽样框、人群构成随媒体曝光波动,因此只能描述填写者,不能外推人群。

第三,它的方法学贡献可能大于数据本身——三套 schema 记录了疫情议题从「症状」到「族裔与生存需求」的漂移,而去标识流程与风险数值有独立论文,可作为发布自报健康数据的合规范例。

10.2 适合谁

使用者 用途
公共卫生方法论研究者 研究自选样本的偏差结构、参与式监测的适用范围
症状监测系统设计者 参考问卷设计与 schema 演进,复用公开的 MIT 代码
健康数据隐私研究者 作为「真实数据 + 公开去标识方法」的案例
疫情史料研究者 作为 2020 年春季加拿大公众感受的一手记录
教学场景 用它讲「为什么没有抽样框就不能算患病率」

10.3 不适合谁

使用者 原因
需要患病率估计的流行病学家 无代表性,无法外推
需要检验标签的监督学习团队 没有任何检验结果
需要精细时空分析的研究者 地理压到 FSA、时间压到周月
需要个体纵向轨迹的项目 无可追踪的个体 ID
想直接下载做 demo 的开发者 受限访问,需签署协议

10.4 DAIMS 评估

维度 评分(1–10) 依据
D 可发现性 7 PhysioNet 条目页完整、DOI 稳定、有列表页摘要;无独立数据论文,检索时容易只看到平台页
A 可获取性 4 受限访问,需注册 + 签署协议;公开发布仅为去标识子集,规模缩减到约 3.8%
I 可互操作 5 结构化问卷字段便于直接读表;但与常见标准(FHIR、OMOP)无映射,需自行转换
M 元数据质量 6 字段、版本、去标识方法均有说明;但三组规模数字并存且无换算说明,页面存在日期重叠与规则不对称
S 可持续性 6 托管于 PhysioNet,长期可得;但无数据论文、无更新版本,方法细节依赖单篇外部论文
综合 5.6/10(中等) 文档透明度高于同类众包数据集,可获取性与代表性是主要短板

§11 深读:去标识流程的能力与代价

11.1 复述一遍流程,看它删掉了什么

把 PLOS ONE 论文的流程按顺序拆开,每一层删除都能对应到一个具体的数据损失:

第一层,确定准标识符清单。 官方列举的准标识符是日期、Forward Sortation Area、年龄与合并症。这四类正是典型的「单独看不到问题、组合起来可能指认到人」的变量:一个居住在人口稀少 FSA 的 75 岁、有两种基础病的居民,在小范围内几乎可以被唯一地指认出来。

第二层,估计风险。 论文使用合成估计量(copula 方法)构造一个模拟总体,再从总体里抽样,估计「样本中的唯一组合在总体里有多少个同样的人」。这一步在技术上把「我不知道攻击者有多少外部信息」变成了一个可计算的数,代价是必须对总体的联合分布作出假设。

第三层,泛化准标识符。 风险高于阈值时,降低变量的粒度:精确日期变成周或月,完整邮编变成 FSA 或更粗,具体年龄变成年龄段。论文最终报告的 sample-to-population 风险为 0.0723。

第四层,删除低风险子群。 关联 2016 年加拿大普查数据,按 FSA 逐一检查年龄、性别、族裔的组合,任何子群人数少于 11 的 FSA 记录整条删除。

第四层是最容易被低估的一层。它不是把某个字段打码,而是把整行删掉。被删的行恰恰是人口学上稀有的组合——某个小城镇里的少数族裔老人、某个偏远 FSA 里的特定年龄段女性。这意味着发布版本在族裔与地理的交叉上被系统性地「抹平」,而这些恰恰是健康不平等研究最关心的群体。一项在小样本上做的族裔差异分析,若使用发布版本,很可能低估差异,因为差异最大、最小的子群正好被删得最彻底。

11.2 泛化与信息损失的量化直觉

以时间为单位做一个简单的推演:收集窗口从 2020-03-23 到 07-30 约 18 周。若日期被泛化到周,则原本可分辨的 130 天变成 18 个格子,平均每格约 7 天的记录被合并。对数量最多的 Schema 1 而言,这看起来影响不大;但对每个 FSA 的每一周,平均记录数只有几十条,任何日级动态都已经不存在。

再以地理为单位:安大略省约有 500 多个 FSA,分布在从多伦多市中心到北部乡村的广大区域。一个市中心 FSA 可能覆盖几万人,一个乡村 FSA 可能覆盖几千人。同样一条「某 FSA 有 X 条提交」,在不同 FSA 里的含义完全不同。因此跨 FSA 比较绝对量没有意义,只有在 FSA 内部做时间上的相对比较才有可解释性。

11.3 与「数据共享」的政策语境

Flatten 的去标识流程在当时被视作一个可复制的模板:它证明了即便是敏感的、含地理与时序信息的健康自报数据,也可以在发布后把再识别风险压到监管机构认可的阈值之下。论文的价值在于把「我觉得这样安全」变成「在某个攻击模型下估计风险为某个数值」。

但这套模板的适用前提是明确的:数据是横断面的、规模在万级、准标识符数量有限、没有自由文本。一旦换成纵向队列、含笔记文本或含罕见病代码的数据,同样的泛化力度远远不够。把 Flatten 的经验直接搬到其他数据集,是把一个经过计算的结论当成了通用原则。

§12 深读:一次可发表的分析应当怎样写方法节

12.1 方法节的四个必写项

使用这份数据撰写论文时,方法节有四件事必须写清楚,缺任何一项,审稿人都可以要求补:

其一,规模口径。 必须写明用的是哪一层数字:收到的提交数、可分析记录数、还是公开发布记录数。三者相差两个数量级,只写「使用了 Flatten 数据集」是不合格的表述。

其二,去重规则。 必须写明是按提交还是按人分析;若按人,是保留最新一条还是随机保留一条;若按提交,是否对高频填写者加权。

其三,样本性质声明。 必须明确写出「自愿填写的非概率样本,不能代表总体」,并且最好在讨论节里写明该结论的适用范围仅限于填写者群体。

其四,缺失机制。 必须说明 Schema 1 缺失哪些字段,缺失是因为「没问」而不是「拒答」,以及分析时如何处理(排除、分组报告还是作为单独类别)。

12.2 结果节的写法

结果节里,任何比例都应附带三个数:分子、分母、以及分母对应的口径(提交数还是人数)。只报比例不报分母,是这类数据上发表文章最常见的扣分点,因为读者无法判断比例背后的样本是否足够。

若展示时间序列,必须同时展示填写量曲线。这不是可选的美化,而是排除混杂的必要证据。审稿人若看到一条上升的症状曲线而没有配套的填写量曲线,合理的质疑是:「你怎么知道不是填写的人变了?」

12.3 讨论节的边界

讨论节里能说的和不能说的,界限很清楚:

  • 可以说:「在填写者中,报告咳嗽的比例在第五周达到峰值。」
  • 可以说:「这一峰值与该地区的检测量上升在时间上接近,但两者是否同源需要进一步研究。」
  • 不可以说:「该地区在第五周经历了感染高峰。」
  • 不可以说:「症状监测显示疫情提前两周到达该地区。」

前两句是可验证的描述与谨慎的关联,后两句是跨越了数据能力的推断。这条界线正是这份数据最难把握、也最容易被越过的部分。

§13 数据质量检查清单

拿到数据后,建议按下列顺序做一遍检查,每项都对应一个已知的陷阱。

检查项 做法 合格标准
记录数核对 分别统计三套 schema 的行数 与官方三版记录数比对,差异需查明
字段存在性 检查族裔、性别列是否只在部分记录中非空 Schema 1 应为全缺失,而非全零
日期边界 检查 2020-04-08 的记录分布 明确该日归属并写入方法
派生变量范围 统计 probable / vulnerable 的取值 应为二值,无缺失或第三类值
时间粒度 统计时间列的唯一值个数 应为周或月的数量级,而非 130 天
地理粒度 统计地理列的唯一值个数 应与 FSA 数量同一量级
重复提交 按 is_most_recent 过滤前后的行数 差值应接近 9%
自由文本 检查是否存在任何长文本列 应为不存在
许可记录 保存签署的 DUA 副本与研究用途说明 供机构审查与后续发表引用

这张清单不替代正式的 data profiling,但它覆盖了这份数据特有、且从字段名看不出来的问题。

§14 引用规范

14.1 推荐引用格式

官方给出的引用条目为:

Jain S, Charpignon M, Samuel M, Mistry J, Frosst N, Celi LA, Ghassemi M. Flatten: COVID-19 Survey Data on Symptoms, Demographics and Mental Health in Canada (version 1.0). PhysioNet. 2021. doi:10.13026/v8eq-8v80

PhysioNet 同时要求引用平台本身的标准引用条目,这是使用 PhysioNet 数据时的惯例义务,不应省略。

若论文涉及去标识方法的讨论,应另外引用:

Jiang Y, Mosquera L, Jiang B, Kong L, El Emam K. Measuring re-identification risk using a synthetic estimator to enable data sharing. PLoS ONE. 2022;17(6):e0269097. doi:10.1371/journal.pone.0269097

14.2 引用时的三个常见错误

错误一:把 DOI 写成 latest 版本。 页面同时给出 v1.0 与 latest 两个 DOI。latest 会随版本变化而指向不同内容,正式引用应固定到 v1.0 的 DOI。

错误二:把收到的提交数写进摘要。 摘要里写「使用了约五十万条记录」会被审稿人直接质疑,因为可下载的记录远少于此。正确写法是写明实际使用的公开版本记录数。

错误三:把作者顺序写错。 七位作者的顺序是官方给定的,Shrey Jain 为第一作者,Marzyeh Ghassemi 为末位作者。按字母序重排或漏写作者都是常见错误。

14.3 报告中的数据可用性声明模板

一份符合规范的数据可用性声明应包含:数据名称与版本、DOI、访问条件(受限访问、需签署协议)、伦理审批信息(University of Calgary 伦理委员会,编号 REB20-0608)、以及数据不可再分发的说明。这些要素在 PhysioNet 页面上都能找到,逐条照抄即可。

附录:可迁移的四条经验

附 A 问卷设计的取舍:短问卷换规模,长问卷换深度

Flatten 的三版问卷展示了参与式监测中的一个基本取舍。Schema 1 只有六七个核心问题,填写耗时不到一分钟,换来了首两周半二十余万条记录;Schema 2 加入族裔、性别、年龄段与紧迫需求,题目数量翻倍,记录数随即降到万级。

这个落差不能全部归因于媒体曝光。问卷变长本身会降低完成率,也会筛掉一部分耐心不足或语言能力有限的填写者。对设计者而言,可迁移的经验是:**如果目标是最大化样本量以捕捉早期信号,问卷应短到极致;如果目标是刻画不平等,则必须接受样本量骤降,并提前规划如何用较长的采集窗口累积足够的样本。**试图在同一版问卷里同时达成两个目标,通常两边都不理想。

附 B 派生变量应当写进发布说明,而不是藏进代码

Flatten 的四个健康状态变量由规则计算,规则依据专家意见。这些规则公开在 PhysioNet 页面与开源代码中,使用者可以复核每一条判定条件。

这一点值得强调,因为不少数据集把派生变量当作「官方标签」发布,却不公布计算规则。规则不公开时,使用者无法判断某个变量是测量结果还是启发式判断,误用的风险陡增。把规则写进发布说明的成本很低,收益是使用者能自行检验变量的一致性——这正是 Flatten 相对同类项目的一个优势。

附 C 隐私保护应当在设计阶段而非发布阶段考虑

Flatten 的去标识流程之所以能在发布前完成,一个重要前提是问卷从一开始就没有采集姓名、精确住址、电话等直接标识符,准标识符也只有日期、FSA、年龄、合并症四类。准标识符越少,泛化的空间越大,信息损失越小。

若一个项目在采集阶段就要求填写精确地址与联系方式,到了发布阶段无论用什么方法去标识,损失都会大得多,甚至可能无法发布。可迁移的经验是:问卷设计时就应把「哪些字段将来可以发布」作为一条约束写进题纲,而不是等到数据收完再讨论删什么。

附 D 自选样本的价值在于速度,不在于精度

把 Flatten 与同期的概率调查放在一起比较,容易得出「它不够准」的结论。这个结论正确但没有抓住重点。概率调查的周期以月甚至年计,在 2020 年 3 月这个窗口里,没有任何概率调查能给出当周的社区信号。

自选样本的比较优势是在几天内给出一个方向大致正确的数,这个数不能替代概率估计,但能让决策者知道「事情在变好还是变坏」。理解这一点的实际含义是:评估这类数据时,应当用「是否在正确的时间给出了正确方向的信号」来衡量,而不是用「是否接近真实患病率」。后者对任何自选样本都不可达,前者则是它唯一守得住的评价标准。

编写核对与来源

A. 关键数字来源链

数字 含义 来源
498,211 / 90.81% 原始提交数与唯一参与者占比 PhysioNet 数据描述段,逐字
294,106 列表页与摘要使用的 survey responses 数 PhysioNet 列表页;等于三版记录数之和
263,640 / 14,932 / 15,534 三套 schema 的记录数 PhysioNet 数据描述段表格
约 18,903 去标识后公开发布的安大略省记录数 PLoS ONE 2022 §4.3
60.3% 安大略省记录占收集记录的比重 PhysioNet 数据描述段
0.09 再识别风险阈值 PLoS ONE 2022,引自监管机构常用实践
0.0723 / 0.0009 去标识后的两项风险估计 PLoS ONE 2022 §4.3
11 FSA 子群删除阈值 PLoS ONE 2022 §4.3
2020-03-23 至 07-30 收集窗口 PhysioNet 数据描述段
2021-03-08 PhysioNet 发布时间 条目页
10.13026/v8eq-8v80 v1.0 DOI 条目页引用块
REB20-0608 伦理审批编号 条目页伦理声明

B. 缩写表

缩写 全称 含义
SDC statistical disclosure control 统计披露控制,防止从发布数据反推个体身份的一组方法
FSA Forward Sortation Area 加拿大邮编前三位对应的地理分区
DUA data use agreement 数据使用协议
PUMF public use microdata file 公共用途微观数据文件
PRO patient-reported outcome 患者报告结局
CITI Collaborative Institutional Training Initiative 提供科研伦理与数据使用培训的平台
CFR case fatality rate 病死率
EHR electronic health record 电子健康记录

C. 术语表

术语 解释
症状监测 按主诉或症状分组监控就诊趋势的公卫方法,通常有稳定分母
参与式监测 由公众主动报告而非由机构采集的监测
志愿者偏差 自愿参与者与目标人群在关键变量上系统性不同
回忆偏差 受访者回溯性报告时的记忆误差
抽样框 抽取样本所依据的总体名单,缺失则无法计算入样概率
设计权重 由入样概率推出的、把样本还原为总体的权重
事后分层 按已知的边际分布对样本重新加权
准标识符 单独不足以指认个体、组合起来可能指认的变量
唯一性 样本中某个变量组合只出现一次,是再识别风险的核心来源
泛化 降低变量粒度以降低唯一性
抑制 删除记录或单元格以降低风险
精确匹配攻击 用外部数据与发布数据逐字段比对的再识别方法
横断面 某一时点的观察,不追踪个体
热图(heatmap) 用颜色表示交叉表数值的图形

D. 常见误读速查卡

看到什么 先问什么
49.8 万份提交 这是收到的量还是可下载的量
29 万条记录 三版合计,且其中近九成只有症状字段
新冠症状数据 有无检验确认;若无,只能做描述
安大略省 60.3% 公开发布版只剩这一省
受限访问 能否二次分发;答案通常是不能
去标识 改了什么、删了什么、删掉的会不会有偏
probable 变量 定义依据是什么,是不是诊断标准
症状比例上升 填写量是否同步上升

E. 未覆盖内容

以下几类内容本次核验未能确认,条目中未作表述:

  • 数据文件的具体格式、文件数量与总体积。PhysioNet 的文件区对未签署协议者不可见,本代理无凭证,故不列。
  • 问卷的具体题号、答案选项文本与量表编码。需在文件区的数据字典中确认。
  • 三套 schema 之间具体哪些题目被「细化」(官方只说「细化问题与选项」,未列差异清单)。
  • Flatten 网站的当前状态、注册用户总量、问卷的语言版本数。
  • 参与者的年龄中位数、性别构成等描述统计。官方页面未给出;若给出总数则需从文件计算,本代理无数据。

F. 检索与核验方式

  • 2026-10-18 抓取 PhysioNet 条目页与公共健康主题列表页。
  • 2026-10-18 抓取 PLOS ONE 论文页面,核对去标识章节的逐字表述。
  • 以作者名、数据集全称、机构名、DOI 三类组合检索,未发现独立数据论文。
  • 未访问 Flatten 官网与 GitHub 仓库(网络预算所限),相关表述均转引自 PhysioNet 页面原文。

G. DAIMS 评分说明

条目正文采用的可发现性/可获取性/可互操作/元数据/可持续性五维评分,参照数据资产成熟度的通用框架。评分是编辑判断,非官方评审,仅供横向比较时参考;每一维度的依据已在正文表格中给出。

H. 版本日志

日期 变更
2026-10-18 首次成稿,代理 agent-a-flattencov,依据 PhysioNet v1.0 页面与 PLoS ONE 2022 论文

编辑说明

核验时间与方式:2026-10-18,抓取 PhysioNet 官方条目页(https://physionet.org/content/flatten-covid-survey/)与主题列表页,逐字核对规模、版本、许可、去标识说明;抓取 PLOS ONE 论文(doi:10.1371/journal.pone.0269097)核对去标识方法与公开发布样本量。未使用二手转述。

双口径冲突登记:

  1. 498,211(收到的提交)与 294,106(三套 schema 记录之和,亦为列表页摘要数)并存于同一官方页面,差额 204,105 无官方说明。正文按「收到—可分析—可下载」三层处理,不合并、不互相替代。
  2. 18,903(PLOS ONE 的去标识后观测数)与 60.3%(安大略省占比)不能互相反推,因为 60.3% 的分母口径官方未明说。正文只引比例,不作推算。
  3. 页面同时给出 v1.0 与 latest 两个 DOI,正文按其含义区分,引用固定 v1.0。
  4. Schema 1 与 Schema 2 的日期区间在 2020-04-08 重叠,当日归属未说明。
  5. probable 的第二与第三条组合在症状列举上不对称,正文照录原文并标注。

推断标注:正文中凡属推断的内容均标注为推断或写入「假设—支持—反对」表,结论强度按 A/B/C/D 分级(A ≥3 条独立证据线,B =2 条,C = 单一来源,D = 推断)。

未覆盖:文件格式、体积、数据字典细节、Flatten 站点的当前状态。原因见附录 E。

下次复核触发点:PhysioNet 页面若发布新版本或补发数据描述论文;Flatten 官网状态变化;去标识相关监管阈值调整。


相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • mics — 共享标签:公共卫生与流行病学 / 疾病监测 / 调查数据
  • ncd-risc — 共享标签:公共卫生与流行病学 / 疾病监测 / 队列研究
  • face-oral-temp-data — 共享标签:公共卫生与流行病学 / 疾病监测 / COVID-19
  • jhu-csse-covid-19 — 共享标签:公共卫生与流行病学 / 疾病监测 / COVID-19
  • sinan-dengue — 共享标签:公共卫生与流行病学 / 疾病监测 / 调查数据
  • fair-health-atlas — 共享标签:公共卫生与流行病学 / 疾病监测 / 队列研究
  • wuenic-immunization — 共享标签:公共卫生与流行病学 / 疾病监测 / 调查数据
  • charls — 共享标签:公共卫生与流行病学 / 调查数据 / 队列研究
  • sex-differences-hearing-loss — 共享标签:公共卫生与流行病学 / 调查数据 / 队列研究
  • our-future-health — 共享标签:公共卫生与流行病学 / 调查数据 / 队列研究

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集