信息速览
INFOBOX — SINAN-Dengue 一屏速览
维度 内容 本质 巴西卫生部 SINAN 法定疾病通报系统中 2013–2020 年登革热与基孔肯雅个案通报的统一化数据集(非新采集、非实验室队列) 团队 Universidade de Pernambuco(通讯 Patricia Takako Endo)+ Instituto Todos pela Saúde + Dublin City University;代码归属 dotlab-brazil 论文 Scientific Data 9:198 (2022),doi:10.1038/s41597-022-01312-7,PMID 35538103(2022-05-26 有 Author Correction) 原始规模 13,421,230 条 / 118 属性(26 州 + 联邦区统一后) 最终规模 7,632,542 条 / 56 属性 分类构成 登革热确诊 4,307,513 |基孔肯雅确诊 325,000 |排除/不确定 2,100,029 覆盖 2013–2020(8 个通报年);巴西全境 26 州 + 联邦区 文件 data set.csv1.85 GB +attributes.csv4.04 KB(打包 188 MB)任务 登革热 vs 基孔肯雅鉴别诊断分类、多类分类、流行病学分析 许可 CC BY 4.0 获取 Mendeley Data(DOI 10.17632/2d3kr8zynf.2);源数据在巴西卫生部开放数据门户 库内互链 WHO GHO(175)、Global Burden of Disease(97)、CDC WONDER(155)、healthdata.gov(102)
SINAN-Dengue 是一份"把巴西全国性传染病通报台账整理成一张能训模型的大表"的数据工程产物。它不动一例病人、不做一次实验,而是把巴西卫生部 SINAN 系统里 2013 到 2020 年八年间的登革热(Dengue)与基孔肯雅(Chikungunya)个案通报——原始 1,342 万条、118 个字段——统一、清洗、降维成 763 万条、56 个字段的单一 CSV,并按实验室判定结果分成三类:确诊登革热、确诊基孔肯雅、以及被排除或不确定。它的价值不在于"新数据",而在于把散落在 27 个行政单元、字段命名晦涩、缺失严重的官方通报,变成研究者和机器学习工程师可直接下手的规整表格。
导语读法三则:
- 只想下数据:直奔 §6 获取与许可——一个 DOI、一个 CC BY 4.0、两个文件,注意
data set.csv有 1.85 GB。 - 关心数据怎么来的:直奔 §3 预处理流水线——从 118 属性到 56 属性的每一步删改都写清楚了,这决定了你能用它做什么、不能做什么。
- 做鉴别诊断模型:直奔 §5 任务与标签——
CLASSI_FIN的三分类是天然监督信号,但先读 §4 的类别不平衡与 §10 的坑。
§0 导读:这个数据集解决什么问题
虫媒病毒(arbovirus)是巴西公共卫生的长期重负。登革热、基孔肯雅、寨卡、黄热病在同一片国土上由同两种伊蚊(Aedes aegypti 与 Aedes albopictus)传播,临床症状高度重叠——发热、头痛、肌痛、关节痛、皮疹几乎是共同语言。按泛美卫生组织(PAHO)口径,报告的登革热病例中只有约一半被实验室确诊,其余按疑似处理;而快速检测只在发病后五天内有效,之后必须依赖实验室检测,而实验室设备在巴西并非处处可得。结果是:临床医生面对一个发热病人,常常在"是登革热还是基孔肯雅"之间凭经验押注,押错的代价是治疗路径与预后判断的偏差。
SINAN-Dengue 的出发点正是这个鉴别困境。它把巴西 Information System for Notifiable Diseases(葡萄牙语 Sistema de Informação de Agravo de Notificação,SINAN)自 2013 至 2020 年积累的全国通报记录汇聚起来,提供一个同时包含确诊登革热、确诊基孔肯雅、以及排除/不确定三类的统一数据集,让研究者可以训练和测试鉴别诊断与多类分类模型,也可以做流行病学的前因(antecedent)分析。
它回答的问题分三层。第一层是可获得性:把 27 个行政单元各自格式的通报文件统一成一张表(原始 13,421,230 条 / 118 属性)。第二层是可用性:通过删除高缺失字段、剔除单值字段、填充缺失值、类别转数值,把表压缩到 7,632,542 条 / 56 属性的可建模形态。第三层是可解释性:按实验室判定结果(CLASSI_FIN 属性)分出登革热、基孔肯雅、排除/不确定三类,使这份监测数据能够直接充当机器学习标签。
§0 读法三则:
- 这个数据集的"1,342 万"和"763 万"是两个都必须记住的数字:前者是原始通报量(说明监测系统规模),后者才是你下载到手里的表(说明清洗代价)。全文凡涉规模处都会标清口径(§10 坑 1)。
- 它是监测数据(surveillance data)而非临床试验数据——病例数受通报行为、就医可及性和实验室覆盖影响,不等于真实发病数(§10 坑 3)。
- 检索时务必记住这是巴西数据:SINAN 是巴西独有系统,与中国、哥伦比亚、东南亚的登革热监测体系不是一回事,切勿跨体系拼接(§10 坑 8)。
§1 数据集速览:十问十答
Q1:SINAN 是什么?
SINAN 全称 Sistema de Informação de Agravo de Notificação,是巴西卫生部运行的法定疾病通报信息系统。凡是列入国家法定报告疾病清单(national list of compulsory notification of diseases, injuries and public health events)的疾病、伤害与公共卫生事件,医疗机构和个人都必须向该系统通报。登革热与基孔肯雅都在清单之内,因此该系统持续积累了海量个案记录。
Q2:这份数据集的时间跨度?
2013 至 2020 年,共 8 个通报年。数据覆盖巴西全国 26 个州加联邦区(Brasília)。
Q3:到底有多少条记录?
两个口径都要记住:原始统一后 13,421,230 条 / 118 属性;预处理后最终数据集 7,632,542 条 / 56 属性。你下载到的是后者。
Q4:三类各多少?
确诊登革热 4,307,513 条,确诊基孔肯雅 325,000 条,排除/不确定 2,100,029 条。三项相加正好等于 7,632,542。
Q5:论文发在哪,什么时候?
Scientific Data(Nature Portfolio),Volume 9, article number 198,(2022),DOI 10.1038/s41597-022-01312-7,PMID 35538103。2022 年 5 月 26 日发布过一份 Author Correction。
Q6:谁做的?
巴西伯南布哥大学(Universidade de Pernambuco, UPE)牵头,通讯作者 Patricia Takako Endo;合作方包括 Instituto Todos pela Saúde(圣保罗)和爱尔兰都柏林城市大学(Dublin City University)的 Irish Institute of Digital Business。代码托管在 GitHub 组织 dotlab-brazil。
Q7:许可和获取方式?
许可 CC BY 4.0。数据在 Mendeley Data,DOI 10.17632/2d3kr8zynf.2;源数据来自巴西卫生部开放数据门户(opendatasus / 现 dadosabertos.saude.gov.br)。
Q8:文件长什么样?
两个 CSV:主表 data set.csv(1.85 GB)和字典 attributes.csv(4.04 KB)。打包下载 188 MB。
Q9:能拿它做什么?
论文自述的用途是训练和测试机器学习模型做登革热与基孔肯雅的鉴别诊断(differential diagnosis)与多类分类(multi-class classification),以及虫媒病毒出现与传播的前因流行病学研究。
Q10:它不是什么?
不是图像数据集、不是测序数据、不是唯一患者级队列。它是去标识化的个案通报记录,同一患者多次就医可能产生多条记录。
1.1 一屏之外的五个关键事实
除十问十答外,还有五个事实决定了这份数据的性格,初次接触者务必知道:
- 它是"清洗后"的产物,不是原始台账。原始 1,342 万条通报在清洗中被砍到 763 万条,砍掉的部分主要是未经实验室判定的疑似病例(§3)。这意味着数据集偏"高置信",但也偏"窄覆盖"。
- 它同时包含两种疾病和一个混合类。"登革热 vs 基孔肯雅"是主问题,但"排除/不确定"占 27.5%(210 万条),是不可忽视的第三类——它混合了"实验室阴性"和"结果未定"两种语义。
- 它的临床信息是"半张脸"。登革热病例有症状、合并症、实验室数据;基孔肯雅病例几乎没有。这个不对称不是数据缺陷,而是 SINAN 通报流程的结构性产物(§2.5)。
- 它的开放程度在临床数据里罕见。CC BY 4.0,无审批、无付费墙、可商用。对比需要签数据使用协议的 MIMIC 系列,这是巨大的可及性优势。
- 它自带一份可复现的代码。GitHub
dotlab-brazil的 notebook 就是构建脚本,研究者可以逐行审计清洗逻辑(§6.4)。
1.2 读者导航图
| 你是 | 建议路径 |
|---|---|
| 想快速判断"能不能用" | §1 十问十答 → §11.4 决策卡 |
| 想直接下数据 | §6 获取与许可 → §6.5 CC BY 4.0 细则 |
| 想搞清楚数据怎么来的 | §3 预处理流水线 → §4 数据质量 |
| 想做机器学习建模 | §5 任务与标签 → §10 坑 2/坑 4 |
| 想做流行病学分析 | §4 时间趋势 → §7 生态 |
| 关心数据质量与偏倚 | §4 数据质量、偏倚与使用边界 |
| 想找库内相关条目 | §9 与库内条目的关系 |
1.3 阅读本书的约定
- 数字口径:凡涉规模,一律标注"原始"或"最终"。未标注者,默认指最终数据集。
- 来源标注:硬事实均可在 §附录 I 证据链与 FACTS.md 中找到对应来源 URL。
- 占位 URL:正文互链 URL 统一占位
/0,入库后由主流程回填。 - 消歧原则:凡与其它国家/国际登革热数据的对照,均显式标注口径差异,不合并、不错配。
- 存照原则:双口径冲突逐条存照(附录 E),查不到的写遗留疑点(附录 H),绝不臆造数字。
以上四条约定贯穿全书,是这份条目"可被信任"的基础。
§2 数据构成与规格
2.1 规模、来源与地理构成
SINAN-Dengue 的原始数据来自巴西卫生部 SINAN 系统。作者把 2013–2020 年间各行政单元的登革热与基孔肯雅通报文件统一汇聚,得到 13,421,230 条通报记录和 118 个属性。这里的"统一"(unified)是关键词:SINAN 的数据按州、按年分文件发布,字段虽然遵循国家数据字典,但文件组织分散,作者做的第一件事就是把它们拼成一张全国总表。
地理覆盖为巴西全境 26 个州加联邦区(Distrito Federal,Brasília)。论文的 Fig.4、Fig.5、Fig.6 分别给出确诊登革热、确诊基孔肯雅、排除/不确定三类病例在巴西各州的分布——这是判断数据地理偏斜的第一手依据:巴西东南部与东北部人口稠密州(如圣保罗、米纳斯吉拉斯、伯南布哥等)通报量显著更高,既反映真实发病密度,也受当地通报与实验室能力影响。
| 规格项 | 数值 |
|---|---|
| 覆盖国家 | 巴西(Brazil) |
| 覆盖行政单元 | 26 州 + 联邦区(Brasília),共 27 |
| 时间跨度 | 2013–2020(8 个通报年) |
| 原始记录数 | 13,421,230 |
| 原始属性数 | 118 |
| 最终记录数 | 7,632,542 |
| 最终属性数 | 56 |
| 主文件 | data set.csv(1.85 GB) |
| 字典文件 | attributes.csv(4.04 KB) |
| 打包体积 | 188 MB(压缩) |
2.2 三分类标签体系:CLASSI_FIN
数据集的核心标签字段是 CLASSI_FIN(final classification,最终分类),取值三档:
- Dengue(登革热)——实验室确诊的登革热病例,4,307,513 条
- Chikungunya(基孔肯雅)——实验室确诊的基孔肯雅病例,325,000 条
- Discarded/Inconclusive(排除/不确定)——经实验室检测判定为阴性排除,或结果不确定的病例,2,100,029 条
这一字段之所以能作为机器学习标签,是因为它承载了实验室判定的结果——不是临床怀疑,而是有检验依据的最终归属。三分类的合计严格等于最终记录总数,说明分类是完备且互斥的:
4,307,513 + 325,000 + 2,100,029 = 7,632,542 ✓
这一完备性是数据集最实用的性质之一:任何以 CLASSI_FIN 为标签的分类任务都不会遇到"类别外的样本",样本利用率 100%。
2.3 类别不平衡:被基孔肯雅样本量限制的多分类
三类样本量差异悬殊:登革热是基孔肯雅的约 13.3 倍(4,307,513 ÷ 325,000 ≈ 13.25),而排除/不确定(2,100,029)介于两者之间。用比例表示(以总量 7,632,542 为分母):
| 类别 | 记录数 | 占比 |
|---|---|---|
| Dengue(确诊登革热) | 4,307,513 | ≈ 56.4% |
| Discarded/Inconclusive(排除/不确定) | 2,100,029 | ≈ 27.5% |
| Chikungunya(确诊基孔肯雅) | 325,000 | ≈ 4.3% |
对多分类模型而言,这意味着一个"永远猜登革热"的平凡基线就能拿到约 56% 的准确率——模型的表观准确率会严重高估其实用价值。基孔肯雅类仅有 4.3%,若不做过采样、类别加权或分层划分,少数类几乎必然被淹没。这也是 §10 坑 2 要重点提示的陷阱。
值得注意:三个数字中基孔肯雅恰为 325,000(整千)、排除/不确定为 2,100,029,前者可能是汇总/四舍五入值——但落地页与论文口径一致,本条目按原文照录(见 FACTS §9 存照 6)。
2.4 属性构成:56 个最终字段的四个族
论文 Table 2 给出了最终数据集的属性表。按语义可归为四个族:
- 社会人口学(socio-demographic):
CS_SEXO(性别)、NU_IDADE_N(年龄)、CS_GESTANT(妊娠状态/孕周)、SG_UF_NOT(通报卫生单位的州缩写)、ID_MUNICIP(卫生单位所在城市,IBGE 编码)、ID_REGIONA(卫生区域代码)、ID_UNIDADE(卫生机构代码)、DT_NASC(出生日期)等 - 通报与时序(notification/temporal):
DT_NOTIFIC(通报日期)、SEM_NOT(通报流行病学周)、NU_ANO(通报年)、DT_SIN_PRI(症状起始日期)、SEM_PRI(症状起始流行病学周) - 疾病身份(disease identity):
ID_AGRAVO(ICD 疾病编码)、CLASSI_FIN(最终分类) - 临床与实验室(clinical/laboratory):登革热病例所含的症状(发热、头痛、肌痛、关节痛、皮疹、结膜出血等)、合并症、实验室检测结果字段
需要说明:56 个字段中,与临床和实验室相关的部分主要只对登革热病例有值,基孔肯雅病例绝大多数只有社会人口学信息(§2.5)。
2.5 登革热与基孔肯雅的字段不对称
这是本数据集最需要警惕的结构特征。论文明确写道:登革热相关数据包含临床数据(既往症状与合并症)、所执行的实验室检测,以及每例的社会人口学数据;而基孔肯雅相关数据除约一百条外,仅包含社会人口学数据。
作者对"为什么只有约 100 条基孔肯雅记录含临床与实验室信息"没有官方解释,只提出一个未经验证的猜测:这些病例可能最初被当作登革热疑似病例通报、进入了登革热数据集,之后才被确诊为基孔肯雅。这约 100 条记录被纳入了论文 Table 6 的数据摘要。
对建模者的直接后果:不能用"基孔肯雅也带临床特征"的假设去做特征工程。如果模型依赖症状字段区分两类,那么基孔肯雅一侧的临床特征几乎全为空——模型学到的可能不是病理差异,而是"有临床数据的多半是登革热"这种由数据采集流程造成的虚假信号。这是 §10 坑 4 的根源。
2.6 DAIMS 视角下的属性可得性
| DAIMS 维度 | SINAN-Dengue 实况 |
|---|---|
| 数据来源(Source) | 巴西卫生部 SINAN 法定通报系统(被动监测),公开数据库 |
| 采集方式(Collection) | 医疗机构/个人依法通报,逐案表单录入 |
| 标注类型(Annotation) | 无人工标注;标签来自实验室判定结果字段 CLASSI_FIN |
| 粒度(Granularity) | 个案通报记录(case-level notification),去标识化 |
| 语言(Language) | 葡萄牙语原始字段名(含英文/数值编码) |
| 模态(Modality) | 纯表格(tabular),单 CSV |
| 覆盖(Coverage) | 巴西全国 27 个行政单元,2013–2020 |
| 许可(License) | CC BY 4.0 |
| 隐私(Privacy) | 无可识别个人健康信息(no individually identifiable health information) |
2.7 时序字段深读:两个时间锚点的用法
最终数据集里有两个成对的时间锚点,理解它们的差异是做好流行病学分析的前提:
| 锚点 | 日期字段 | 周字段 | 含义 |
|---|---|---|---|
| 症状起始 | DT_SIN_PRI |
SEM_PRI |
患者最早出现症状的日期 / 所属流行病学周 |
| 系统通报 | DT_NOTIFIC |
SEM_NOT |
病例被录入通报系统的日期 / 所属流行病学周 |
由此可派生出至少三个分析量:
- 通报延迟 = DT_NOTIFIC − DT_SIN_PRI:衡量从发病到通报的时间差,是评价监测系统响应速度的经典指标。
- 发病流行曲线:以
SEM_PRI(症状起始周)为横轴统计病例数,得到的是贴近真实流行过程的曲线;以SEM_NOT为横轴则得到的是"通报曲线",两者之间存在系统性偏移。 - 年度对齐:
NU_ANO(通报年)用于跨年聚合,配合流行病学周可重建 2013–2020 的周粒度时间序列。
对建模者而言,若把 DT_SIN_PRI 或 SEM_PRI 作为特征,需警惕标签泄漏(label leakage):晚期字段(如最终分类判定时间)不应混入特征集。
2.8 与其它登革热数据资源的粒度对照
| 资源 | 粒度 | 覆盖 | 与本条目关系 |
|---|---|---|---|
| SINAN-Dengue(本条目) | 个案通报 | 巴西,2013–2020 | 本体 |
| WHO GHO | 国家/年度汇总 | 全球 | 汇总层,不可个案对齐 |
| PAHO 报告数 | 区域/年度 | 美洲 | 报告数口径(含疑似) |
| 其它国家监测系统(如 SIVIGILA) | 个案通报 | 各自国家 | 同型不同体系,不可拼接 |
这张表的核心信息是:粒度(granularity)是跨数据集比较的第一道门槛。SINAN-Dengue 的个案级粒度是它的独特性所在,也是它无法与汇总型数据直接对齐的原因。
§3 预处理流水线:从 118 属性到 56 属性
3.1 六步清洗链
作者在 Mendeley Data 的 “Steps to reproduce” 与论文 Methods 中给出了完整的预处理链条,可归纳为六步:
- 统一:把各州 SINAN 数据合并为一张表,得 13,421,230 条通报 / 118 属性。
- 分组:按
CLASSI_FIN属性把记录分为三组——Dengue、Chikungunya、Discarded/Inconclusive。 - 过滤:只保留经实验室检测确诊或排除/不确定的通报。此步用的过滤器属性是
CRITERIO(判定准则)。 - 剔除单值属性:过滤后
CRITERIO本身只剩单一取值,予以删除;TP_NOT(通报类型)因所有记录均为"Individual"(个案)类型而恒等,也删除。 - 剔高缺失属性:凡缺失(null)比例超过 60% 的属性一律删除;同时删除不在原始数据字典中的属性。
- 填缺失 + 转数值:仍然存在空值的属性,按数据字典的"not informed"(未告知)默认值填充;同时完成从类别型到数值型的转换。
3.2 每一步的代价与后果
这六步不是"无损压缩",每一步都在削减数据的信息容量,也都在引入特定的分析约束:
- 第 3 步(实验室判定过滤) 是最具影响力的一步。它意味着数据集中不含"疑似但未经实验室判定"的病例。鉴于巴西仅约 23% 病例在参比实验室受检,被排除的疑似病例规模可能很大。这既是数据质量的优势(标签更可靠),也是选择偏倚的来源(受检人群不等于全部发病人群)——能受检的多半是就医更及时、所在地区实验室条件更好的人(§10 坑 3)。
- 第 5 步(>60% 缺失即删) 直接决定了从 118 到 56 的降维。被删掉的 62 个属性很可能是稀疏的临床或实验室细项——它们的丢失进一步加剧了临床信息的稀薄。
- 第 6 步(not informed 填充) 采用的是填充默认值而非统计插补(如均值/众数/多重插补)。这把"缺失"变成了一个具体的类别值"未告知"。对建模者而言,这既避免了空值报错,也可能掩盖真实缺失模式——"未告知"本身可能携带信息(谁更可能不告知?),需要在使用时留意。
3.3 最终形态一览
经过六步清洗,数据集的形态凝固为:
| 阶段 | 记录数 | 属性数 | 说明 |
|---|---|---|---|
| 原始统一 | 13,421,230 | 118 | 各州汇总,未清洗 |
| 最终数据集 | 7,632,542 | 56 | 过滤 + 降维 + 填充 + 编码后 |
记录数从 1,342 万降到 763 万,减少约 43.1%;属性数从 118 降到 56,减少约 52.5%。这些比例说明:这是一次相当激进的清洗,最终数据集是"高置信但覆盖收窄"的版本。
3.4 从原始到最终:记录数差额去哪了
13,421,230 − 7,632,542 = 5,788,688 条记录在预处理中被移除。需要谨慎的是:论文与落地页没有给出这 579 万条差额的逐项分解(例如"多少条因非实验室判定被剔除、多少条因字段问题被删")。我们只能确认差额源于第 3 步的实验室判定过滤(以及可能的去重/无效记录剔除),但各部分的具体占比未公开。
这是一个明确的遗留疑点(FACTS §9):如果研究需要精确知道"被舍弃的通报类型分布",数据集本身无法回答,必须回到原始 SINAN 文件重新统计。本条目在正文中只陈述"差额存在及其推断来源",不臆造分解数字。
3.5 代码复现路径
清洗链条并非只存在于文字描述中。GitHub 仓库 dotlab-brazil/arbovirus-dataset-brazil 的 notebook arbovirus_dataset_brazil.ipynb 就是构建脚本(Mendeley 落地页标注其 “compiles this dataset”)。复现路径大致为:
1. 下载各州/各年原始 SINAN 通报文件(巴西卫生部开放数据门户)
2. 按国家数据字典对齐字段,纵向合并为总表
3. 按 CLASSI_FIN 分组,按 CRITERIO 过滤实验室判定病例
4. 删除单值属性(CRITERIO, TP_NOT)与缺失率 >60% 属性
5. 缺失字段按字典默认值 "not informed" 填充
6. 类别型字段转数值,导出 data set.csv + attributes.csv
想要把流水线迁移到 2021 年及以后的数据,或迁移到 SINAN 的其它病种(如寨卡),这条路径就是起点(§6.4)。
3.6 清洗链条的可审计性评价
| 环节 | 是否可审计 | 依据 |
|---|---|---|
| 统一 | 是 | 各州原始文件公开,可重跑 |
| 分组 | 是 | CLASSI_FIN 字段明确 |
| 实验室判定过滤 | 部分 | 用 CRITERIO,但被剔记录的分布未公开 |
| 单值属性删除 | 是 | 删除规则(CRITERIO/TP_NOT 恒等)明确 |
| 高缺失属性删除 | 是 | 阈值 >60% 明确,但被删属性清单未逐个列出 |
| 缺失填充 | 是 | 填充策略明确(not informed),字典可查 |
结论:清洗链条总体可审计,但两处(被剔记录分布、被删属性清单)需要回源才能完全还原——这是任何"清洗后发布"型数据集的共同特征。
§4 数据质量、偏倚与使用边界
4.1 被动监测的三个先天属性
SINAN 是**被动监测(passive surveillance)**系统——数据由报告方主动上报,而非研究者主动普查。这带来三个无法通过清洗消除的属性:
- 漏报(under-reporting):不是每个病例都会被通报。轻症、自愈、未就医的病例大概率不入库,因此病例数系统性地低于真实发病数。
- 延迟通报(reporting delay):从发病到录入存在时滞,年末数据可能不完整。
- 报告行为波动:公共卫生宣传、疫情警报、检测能力变化都会改变通报量——通报量的上升不必然等于发病率的上升。
4.2 与 COVID-19 时间窗的交叠
覆盖区间 2013–2020 的末年(2020)恰好撞上 COVID-19 大流行初期。论文背景部分引述证据指出,封锁等 COVID-19 干预措施可能反而与虫媒病毒病例增加相关(因人员居家、蚊媒暴露增加等)。但更直接的担忧是:2020 年医疗系统负荷与就医行为剧变,登革热通报量可能同时受"就医减少"(压低通报)和"居家暴露增加"(抬高发病)的双向影响。使用 2020 年数据做趋势分析时必须把这一混杂因素纳入考虑(§10 坑 5)。
4.3 实验室判定的选择偏倚
如 §3.2 所述,仅保留实验室确诊/排除病例意味着数据集覆盖的是"受检人群"。论文引用的背景数字揭示了这种偏倚的规模——巴西公立部门为超过 70% 人口提供基层卫生服务,而按巴西卫生部口径"仅约 23% 病例在参比实验室受检"。因此:
- 数据集中"排除/不确定"高达 2,100,029 条(27.5%),本身就是实验室判定的产物(阴性或未定)。
- 受检率在不同州、不同社会经济水平的地区差异,会转化为数据集的地理性偏斜。
4.4 时间趋势的背景锚点
论文给出了几个可用于校准时间趋势的官方峰值数字(来自 WHO/PAHO 口径,非数据集内统计):
- 2019 年巴西登革热达历史峰值:2,248,570 例报告、840 例死亡。
- 2016 年巴西基孔肯雅达历史峰值:558,542 例报告。
- 2020 年巴西向 SINAN 报告的登革热病例接近 150 万例。
这些锚点提示了一个重要对照:数据集内的登革热确诊数(4,307,513)是 2013–2020 八年累计的实验室确诊数,而上述单年数字是报告数(含疑似)。两者口径不同,不可直接相减或对比——这是 §10 坑 6 的核心。
4.5 地理与人口学偏斜
论文的 Fig.4–Fig.6 分别展示三类病例在巴西各州的分布。地理分布的不均匀有两重来源:
- 真实流行病学:巴西东南部与东北部人口密集、气候适宜伊蚊繁殖,登革热/基孔肯雅负担客观更高。
- 监测能力:不同州的实验室条件、通报规范程度、数据录入质量不同,导致通报量在"发病多"与"报得多"之间难以区分。
人口学方面,论文 Fig.3 给出三类病例的年龄结构。登革热与基孔肯雅在巴西主要影响劳动年龄成人,但也有儿童病例——本条目 patient_tags 标注为"成人、儿科"即源于此。年龄结构差异本身可以作为分类特征,但也可能被数据集内的偏斜放大,需谨慎。
4.6 使用前的五问自检
在下手之前,研究者应逐条自答:
- 我的任务是否需要真实发病率? 若需要,本数据集不适用(它是通报数)。
- 我是否处理了类别不平衡? 若做多分类而未加权/重采样,结论不可信。
- 我的特征是否依赖基孔肯雅侧缺失的临床字段? 若是,需阻断捷径特征。
- 我是否把 2020 年与其它年份一视同仁? 若不控制 COVID-19 混杂,趋势结论可疑。
- 我是否混用了不同口径的数字? 尤其"八年累计确诊" vs “单年报告”。
五问全过,才谈得上把 SINAN-Dengue 用作可靠的分析或建模底座。
4.7 与"金标准"队列数据的差距
必须清醒认识:监测数据与前瞻性队列/临床试验数据之间存在本质差距。
| 维度 | 监测数据(SINAN-Dengue) | 队列/试验数据 |
|---|---|---|
| 入组 | 被动,谁被通报谁入 | 主动,按方案纳入 |
| 完整性 | 漏报、缺项常见 | 随访协议保障 |
| 变量深度 | 有限,靠字段字典 | 深度临床表型 |
| 标签 | 实验室判定(事后) | 预设终点(前瞻) |
| 成本 | 极低(公开) | 极高 |
| 外部效度 | 高(真实世界) | 可能受限(纳入标准) |
SINAN-Dengue 的优势在"真实世界、大规模、低成本";劣势在"变量浅、有偏、被动"。研究者应据任务性质取舍,而非指望它承担队列数据的角色。
§5 任务、标签与建模路线
5.1 论文自述的任务定位
论文摘要明确了这份数据集的目标用途:“can be used to train and test machine learning models for differential diagnosis and multi-class classification”——即训练与测试用于**鉴别诊断(differential diagnosis)和多类分类(multi-class classification)**的机器学习模型。此外还用于研究虫媒病毒出现与传播的前因(antecedents of arbovirus emergence and transmission)。
需要诚实指出:论文是一份 Data Descriptor(数据描述文章),它没有提供标准的训练/验证/测试划分,也没有提供基准(benchmark)分数或 SOTA 榜单。因此 SINAN-Dengue 是"数据就绪"而非"基准就绪"——研究者在它之上仍需自建评估协议。
5.2 标签:CLASSI_FIN 的三分类
如 §2.2 所述,天然标签是 CLASSI_FIN,三档取值构成一个完备互斥的分类问题:
| 标签值 | 语义 | 样本数 | 建模含义 |
|---|---|---|---|
| Dengue | 实验室确诊登革热 | 4,307,513 | 多数类 |
| Discarded/Inconclusive | 排除/不确定 | 2,100,029 | 中间类 |
| Chikungunya | 实验室确诊基孔肯雅 | 325,000 | 少数类 |
可以设想的两条建模路线:
- 二分类路线:只用 Dengue 与 Chikungunya 两类,做纯鉴别诊断(登革热 vs 基孔肯雅)。此路线上,正负样本比例约 13:1,极端不平衡,必须做类别加权或重采样。
- 三分类路线:保留排除/不确定类。这更接近真实临床场景(医生面对的病人确实可能是"都不是"),但三分类的语义更复杂——"排除/不确定"是一个混合了"实验室阴性"和"结果未定"的宽泛类别。
5.3 特征工程的约束
结合 §2.4、§2.5 的属性构成,可行的特征族包括:
- 社会人口学:性别、年龄、妊娠状态、州、城市
- 时序:通报日期、症状起始日期、症状起始流行病学周、通报流行病学周、通报年
- 疾病身份:ICD 编码(
ID_AGRAVO)
而临床与实验室特征存在严重的类别不对称(基孔肯雅侧几乎为空)。因此:
- 使用社会人口学 + 时序特征做分类是相对安全的路线。
- 使用临床特征时必须显式处理"该字段对基孔肯雅大面积缺失"这一事实——否则模型可能学到"有症状记录=登革热"的捷径(shortcut),在真实场景中失效(§10 坑 4)。
5.4 时序特征的特殊价值
数据集包含两个时间锚点:症状起始(DT_SIN_PRI/SEM_PRI)与通报(DT_NOTIFIC/SEM_NOT)。二者之差即"通报延迟",本身是一个有价值的派生特征(可反映就医与通报效率)。流行病学周(semana epidemiológica)字段则便于做周粒度的流行曲线重建——这是监测数据的经典用法。
5.5 一个诚实的提醒:这不是"临床诊断助手"的现成原料
尽管论文提到鉴别诊断,但必须强调:这份数据的临床特征稀薄且不对称,实验室检测字段亦非完整的检测面板。它更适合做监测层面的流行病学建模与分类方法学研究,而非直接训练一个能替代医生判断的临床诊断工具。把定位说清楚,既是尊重数据,也是保护下游使用者(§11.3 详述)。
5.6 属性清单(按论文 Table 2 摘录)
论文 Table 2(社会人口学数据)给出了最终数据集的关键属性。下表为核定字段(字段名保留葡萄牙语原名):
| 属性 | 含义 | 族 |
|---|---|---|
ID_AGRAVO |
ICD 疾病编码 | 疾病身份 |
DT_NOTIFIC |
通报日期 | 时序 |
SEM_NOT |
通报流行病学周 | 时序 |
NU_ANO |
通报年 | 时序 |
SG_UF_NOT |
通报卫生单位的州缩写 | 社会人口学/地理 |
ID_MUNICIP |
卫生单位所在城市(IBGE 编码) | 社会人口学/地理 |
ID_REGIONA |
医疗卫生区域代码 | 社会人口学/地理 |
ID_UNIDADE |
卫生机构代码 | 社会人口学/地理 |
DT_SIN_PRI |
症状起始日期 | 时序 |
SEM_PRI |
症状起始流行病学周 | 时序 |
DT_NASC |
患者出生日期 | 社会人口学 |
NU_IDADE_N |
患者年龄 | 社会人口学 |
CS_SEXO |
患者性别 | 社会人口学 |
CS_GESTANT |
妊娠状态/孕周 | 社会人口学 |
完整 56 字段清单请以数据集附带的 attributes.csv(4.04 KB)为准——这是最权威的字段字典(§6.1)。
5.7 一个端到端的建模工作流
综合 §5.2–§5.6,一份稳健的建模流程大致如下:
1. 读取 data set.csv(注意 1.85 GB,建议分块或转 Parquet)
2. 以 CLASSI_FIN 构造标签(三分类或二分类)
3. 特征选择:
- 安全集:社会人口学(CS_SEXO, NU_IDADE_N, CS_GESTANT)+ 地理(SG_UF_NOT, ID_MUNICIP)+ 时序(SEM_PRI, SEM_NOT)
- 谨慎集:临床/实验室字段(基孔肯雅侧大面积缺失,须显式处理)
4. 类别平衡:过采样/欠采样/class_weight,或分层划分
5. 划分:按年份做时间序列划分(避免时序泄漏)优于随机划分
6. 评估:报告每类 Precision/Recall/F1 + 宏平均,勿只看准确率
7. 解释:警惕捷径特征("是否有临床记录")
这份工作流不是论文原文,而是基于数据结构的推断性建议——但每一条都能追溯到本条目已核实的数据事实。
5.8 CLASSI_FIN 的语义颗粒度
一个容易被忽视的细节:CLASSI_FIN 的第三类 “Discarded/Inconclusive” 在语义上是混合的——它同时容纳了"实验室判定为阴性(排除)"和"结果不确定(未定)“两种情况。论文描述过滤步骤时用的是"confirmed or discarded/inconclusive through laboratory tests”,即这一类别是"非确诊"的统一容器。
这对建模的影响是:若把第三类当作一个有明确意义的类别,其内部异质性可能很高。研究者若需要区分"排除"与"不确定",可能必须回到原始 CRITERIO 字段(已被删除,需回源门户)——这是本数据集为数不多的"信息被清洗掉了"的实例之一。
§6 获取、许可与复现
6.1 主获取渠道:Mendeley Data
数据集发布于 Mendeley Data(Elsevier 旗下数据仓储):
- 标题:Arbovirus clinical data, Brazil, 2013–2020
- DOI(Version 2):
10.17632/2d3kr8zynf.2 - 落地页:
https://data.mendeley.com/datasets/2d3kr8zynf/2 - Version 1 DOI:
10.17632/2d3kr8zynf.1 - 文件:
data set.csv— 1.85 GB(主数据集)attributes.csv— 4.04 KB(属性字典,逐字段说明)
- 打包下载:Download All 188 MB(压缩后)
引用建议:使用时应引用 Mendeley Data 数据集 DOI(10.17632/2d3kr8zynf.2)以及 Scientific Data 论文(10.1038/s41597-022-01312-7),二者是配套的。
6.2 版本链
| 版本 | DOI | 标注日期 | 备注 |
|---|---|---|---|
| v1 | 10.17632/2d3kr8zynf.1 | — | 初版 |
| v2 | 10.17632/2d3kr8zynf.2 | 2021-11-08 | 落地页当前版本 |
两个版本落地页均标注 2021-11-08;v1 到 v2 的具体修订内容未公开(FACTS §9 存照 4)。检索者一律以 v2 为准。
6.3 源数据渠道:巴西卫生部开放数据门户
数据集的上游是巴西卫生部的开放数据:
- 任务头所指域名
opendatasus.saude.gov.br:实抓该域名返回的页面标题为"Portal de Dados Abertos do SUS",疑已迁移/别名至dadosabertos.saude.gov.br(FACTS §9 存照 3)。 - 现门户
dadosabertos.saude.gov.br:Portal de Dados Abertos do SUS,含 Arboviroses(虫媒病毒)主题组,4 个数据集;门户统计为 140 个数据集 / 2884 个文件,更新至 2026 年 10 月。 - SINAN 系统门户:
portalsinan.saude.gov.br。 - 开放数据政策:巴西卫生部 Plano de Dados Abertos (PDA) 2026-2028。
想要原始未清洗的通报数据、或想扩展到 2020 年之后的年份,应直接前往开放数据门户,而非只依赖本数据集。
6.4 代码与复现
- GitHub 仓库:
dotlab-brazil/arbovirus-dataset-brazil - 关键文件:
arbovirus_dataset_brazil.ipynb——Mendeley 落地页标注该 notebook “compiles this dataset”(编译/构建本数据集)。 - 这意味着预处理的六步链条(§3.1)有配套脚本可复现:研究者可据此核查清洗逻辑,或迁移到新的年份/疾病。
6.5 许可:CC BY 4.0 意味着什么
Mendeley Data 落地页明确标注许可为 CC BY 4.0(Creative Commons Attribution 4.0 International)。对照巴西卫生部开放数据政策(PDA),源数据同为开放获取。CC BY 4.0 允许:
- ✅ 商业使用
- ✅ 修改、再分发、衍生
- ✅ 免费下载
唯一义务是署名(attribution)——使用时应注明数据来源(Mendeley Data / 巴西卫生部 SINAN)与引用文献。由于是纯去标识化公开数据,不存在额外的伦理审批要求(论文明确:数据来自公开库,按现行巴西法律无需伦理委员会审批)。
6.6 AI-Ready 评估:双轨获取结构
| 资产 | 获取方式 | 许可 | 公开直链 |
|---|---|---|---|
| 最终数据集(7,632,542 条 / 56 属性) | Mendeley Data 下载 | CC BY 4.0 | ✅ 是 |
属性字典 attributes.csv |
同上 | CC BY 4.0 | ✅ 是 |
| 预处理代码(notebook) | GitHub | 开源(仓库口径) | ✅ 是 |
| 原始 SINAN 通报文件(2013–2020) | 巴西卫生部开放数据门户 | 开放数据(PDA) | ✅ 是 |
四类资产全部公开可取,无需申请、无需审批、无付费墙——这是 SINAN-Dengue 相对许多临床数据集的核心优势。唯一门槛是数据量(1.85 GB CSV 需要一定的本地处理能力)。
6.7 引用与署名规范
CC BY 4.0 要求的署名(attribution)在实践中应包含两项:
- 数据引用:Arbovirus clinical data, Brazil, 2013–2020. Mendeley Data, V2. DOI: 10.17632/2d3kr8zynf.2
- 论文引用:da Silva Neto SR, de Oliveira TT, Teixiera IV, Medeiros Neto L, Sampaio VS, Lynn T, Endo PT. Arboviral disease record data - Dengue and Chikungunya, Brazil, 2013–2020. Scientific Data 9, 198 (2022). DOI: 10.1038/s41597-022-01312-7
建议在论文的 Data Availability 段落同时给出二者,并说明使用的是 Version 2。
6.8 大文件处理实务
1.85 GB 的 CSV 对普通笔记本并不友好。实用建议:
- 转换格式:用 pandas 分块读取后转 Parquet,体积与读取速度都显著改善。
- 按需列裁剪:若只需建模用的十几列,读取时用
usecols指定,可省大量内存。 - 按年分片:以
NU_ANO切分为 8 个年度文件,便于增量处理与交叉验证。 - 字典先行:先读
attributes.csv弄清每列语义与默认值,再动手清洗,避免把 “not informed” 误当缺失。
6.9 与库内可获取性光谱的对照
| 数据集类型 | 获取门槛 | 本库示例 |
|---|---|---|
| 完全公开直链 | 最低 | SINAN-Dengue(本条)、who-gho |
| 注册后下载 | 低 | healthdata-gov |
| 签署使用协议 | 中 | MIMIC 系列(库内 mimic-* 条目) |
| 申请审批 | 高 | 部分临床影像数据集 |
SINAN-Dengue 位于"最低门槛"一端——这与它作为去标识化公开监测数据的性质直接相关(§8.4)。
§6b 复现清单:从零到可用
为便于读者实操,这里给出一个最小复现清单:
- [ ] 访问 Mendeley Data 页面,确认 Version 2 与 CC BY 4.0
- [ ] 下载
data set.csv(1.85 GB)与attributes.csv(4.04 KB) - [ ] 阅读
attributes.csv,标记各字段默认值与值域 - [ ] 用
CLASSI_FIN复核三分类计数(应为 4,307,513 / 325,000 / 2,100,029) - [ ] 检查各列 “not informed” 填充比例,评估缺失模式
- [ ] 按
NU_ANO观察年度分布,确认 2013–2020 完整 - [ ] (可选)克隆 GitHub notebook 复现清洗链条
- [ ] 设计建模协议前,重读 §10 八个坑
这份清单的每一项都能从本条目或公开资源直接对应,无需额外权限。
§7 生态、谱系与影响
7.1 上游:SINAN 系统本身
SINAN-Dengue 的上游是巴西卫生部运行的 SINAN。理解 SINAN 的定位有助于判断这份数据的边界:它是国家法定通报系统,覆盖的是"必须报告"的疾病清单;登革热与基孔肯雅因公共卫生重要性长期在列。SINAN 的数据按州、按年发布,格式为国家统一数据字典下的 CSV/DBF 文件。SINAN-Dengue 的价值,正是把这一分散、晦涩的官方数据"翻译"为研究可用的统一表。
7.2 横向:其它国家/国际登革热监测体系
登革热监测并非巴西独有。需要明确区分(避免混淆,也是本条目反复强调的重点):
- 巴西 SINAN(本条目):法定疾病通报系统,登革热 + 基孔肯雅个案级数据。
- 其它拉美国家的监测系统:如哥伦比亚的 SIVIGILA 等,各自独立,数据格式与覆盖不同,不可与 SINAN-Dengue 跨体系拼接。
- WHO / PAHO 全球或区域汇总:如 WHO Global Health Observatory(GHO)提供的登革热报告数通常是国家/年度汇总层面,非个案级,与 SINAN-Dengue 的个案粒度不可直接对应。
- CDC 的监测产品:以美国及全球汇总为主,粒度与覆盖不同。
因此,本条目所有数字仅适用于巴西 SINAN 2013–2020 年登革热与基孔肯雅通报,任何与其它国家或国际登革热数据的对照都必须显式说明口径差异(§10 坑 8)。
7.3 下游:可衍生的工作
从这份数据出发,典型的衍生工作方向包括:
- 鉴别诊断分类模型:以
CLASSI_FIN三分类为标签训练模型(论文自述用途)。 - 流行病学时序分析:用流行病学周字段重建流行曲线,做登革热/基孔肯雅的季节性与趋势分析。
- 空间流行病学:用州/城市编码做疾病地理分布与聚集性分析(论文 Fig.4-6 的延伸)。
- 数据质量研究:以"排除/不确定"类(2,100,029 条)为对象,研究通报-判定流程中的不确定性问题。
- 缺失模式研究:以"not informed"填充值为线索,研究监测数据的缺失机制。
7.4 团队与谱系
作者团队跨巴西与爱尔兰:Universitade de Pernambuco(UPE,核心)、Instituto Todos pela Saúde(圣保罗)、Dublin City University 的 Irish Institute of Digital Business。通讯作者 Patricia Takako Endo 是健康信息学方向研究者;团队代码归属 GitHub 组织 dotlab-brazil(dotlab = Data-Oriented Technology Lab 一类的团队命名惯例)。资助方为 CNPq、CAPES、FACEPE、UPE,另有 Fapeam(亚马逊州研究资助基金会)Grant 062.00249/2020——资助网络体现了这是巴西多机构协作的公共卫生数据工程。
7.5 Scientific Data 的 Data Descriptor 定位
这篇论文发表在 Scientific Data 的 Data Descriptor 栏目——该栏目专门刊发"数据集描述"而非"研究发现",评审重点是数据的价值、质量、可获得性与可复现性,而非新颖的结论。理解这一栏目定位,就能理解为什么论文没有 SOTA 榜单(§5.1):它的贡献是"让数据可用",而非"在数据上取得最佳成绩"。
7.6 与拉美公共卫生数据生态的关系
巴西是拉美地区公共卫生数据开放程度较高的国家之一。SINAN 作为其核心通报系统,长期为登革热、寨卡、基孔肯雅、黄热病、疟疾等多种法定报告疾病提供数据。SINAN-Dengue 是这一生态中首个将登革热与基孔肯雅统一、并附带完整预处理链条与代码的公开发布,因此在拉美虫媒病毒数据研究中具有"基础资源"的地位。
值得注意的是,巴西同期还存在其它开放卫生数据集(如 DataSUS 的住院、死亡等系统),它们与本数据集粒度与主题不同,不应混淆:SINAN 是"个案通报",SIM(死亡信息)是"死亡登记",SIH(住院)是"住院记录"——三者构成互补而非重复的数据版图。
7.7 一份数据的十年窗口
2013–2020 恰好覆盖了巴西虫媒病毒防控的一段关键时期:2015–2016 年寨卡疫情暴发、2016 年基孔肯雅达峰、2019 年登革热达峰、2020 年 COVID-19 来袭。这使得 SINAN-Dengue 不仅是一份分类数据,也是一段"巴西虫媒病毒十年史"的量化切片——研究者可在其上做多病原竞争、防控措施效果、疫情与气候/城市化关联等更宏观的流行病学问题。
这也是为什么本条目反复强调"它是巴西数据":它是特定国家、特定时期、特定监测体系下的产物,其价值的来源与边界的来源是同一件事。
7.8 库内定位小结
在整个千方病案医数集里,SINAN-Dengue 的独特定位是:
- 拉丁美洲代表:库内少见的巴西/拉美公共卫生个案级数据。
- 表格型监测数据代表:与大量影像、信号数据集形成模态互补。
- 完全开放代表:CC BY 4.0 无门槛,是"可及性光谱"的最高端。
- 双疾病三分类代表:一个标签字段同时承载两种疾病与一个混合类,是分类方法学研究的良好试验场。
它不追求"最大"或"最深",而是在"可得、可用、可复现"三条上做到位——这正是 AI-Ready 数据集的核心诉求。
§8 方法学启示:三条可迁移的经验
8.1 "官方通报 → 可建模表"的清洗范式是可复制的
SINAN-Dengue 最核心的方法学贡献,不是某个新算法,而是一套把分散的官方通报清洗成可建模表的范式:统一 → 分组 → 实验室判定过滤 → 剔单值/高缺失属性 → 填缺失 → 类别转数值。这套六步链条高度通用——任何国家的法定通报系统(只要按行政单元分散发布、有国家数据字典)都可以照搬。论文把每一步的阈值(如缺失 >60% 即删)和依据(数据字典)都写明了,使其可审计、可复现、可迁移(GitHub notebook 即是这一范式的代码化)。
8.2 "数据描述论文"的价值在于把清洗代价显性化
Scientific Data 这类 Data Descriptor 的意义,恰恰在于它公开了清洗的代价。本数据集从 1,342 万条降到 763 万条、从 118 属性降到 56 属性——如果只看最终数据集,使用者会以为"这就是全部";而论文与落地页把每一步删了什么、为什么删都摊开了。这提醒所有数据使用者:拿到一个干净数据集时,一定要问"被删掉的是什么",因为被删的部分往往定义了数据的可用边界(§3、§4)。
8.3 类别不对称是数据采集流程的化石
基孔肯雅只有社会人口学数据、登革热才有临床与实验室数据——这个不对称不是随机缺的,而是 SINAN 通报流程本身造成的(§2.5)。它给建模者的启示是:当特征在一个类别上系统性缺失时,这个缺失模式本身可能是标签的代理,模型会不自觉地利用它。识别并阻断这类"捷径特征"(shortcut features),是从真实监测数据中训练可靠模型的关键一步。
8.4 隐私与开放的平衡
论文明确"数据集不含任何可识别个人健康信息"(no individually identifiable health information),因而得以按 CC BY 4.0 完全开放。这提供了一个范例:去标识化 + 开放许可是可以并存的,关键在于发布的是聚合/脱敏后的个案记录,而非原始可识别数据。对受监管的临床数据(如 MIMIC 需签数据使用协议)而言,SINAN-Dengue 展示了另一条路。
8.5 “数据就绪"不等于"基准就绪”
Scientific Data 的 Data Descriptor 提供的是"数据就绪"(data-ready),而非"基准就绪"(benchmark-ready)。本数据集没有官方划分,也没有基线模型。这意味着每一位使用者都在自定义评估协议——好处是灵活,坏处是不同研究的分数不可直接比较。若社区后续能基于本数据集建立统一划分与公开榜单,其价值会进一步释放。在此之前,"我用 SINAN-Dengue 得到 92% 准确率"这样的陈述没有绝对意义,必须附带完整的类别分布与评估协议说明。
8.6 从"个案"到"政策"的推理鸿沟
监测数据的经典用途是支持公共卫生决策。但从个案通报到政策结论,中间隔着一道沟:通报数据的质量决定了结论的上限。SINAN-Dengue 通过实验室判定过滤提升了标签质量,却也因过滤而收窄了覆盖。因此,用它做的任何政策相关推断都应明确标注数据边界——“在实验室受检人群中观察到 X"不等于"全体病例中存在 X”。跨越这道沟需要额外的流行病学校正(如捕获-再捕获估计漏报率),而这超出了数据集本身的能力范围。
§9 与库内条目的关系
9.1 家族图谱
SINAN-Dengue 属于"公共卫生与流行病学 / 疾病监测"家族。库内可直接互链的相关条目(status=1 AND del_sign=0):
| 库内条目 | rid | 与本条目的关系 |
|---|---|---|
who-gho(WHO Global Health Observatory) |
175 | 上游对照:WHO 全球卫生观察站的疾病汇总数据,粒度为国家/年度,与本条目的个案级巴西数据形成"汇总 vs 个案"对照 |
global-burden-of-disease(GBD) |
97 | 同族互补:全球疾病负担研究的流行病学建模数据,可作登革热负担的宏观参照 |
cdc-wonder(CDC WONDER) |
155 | 方法学近邻:美国 CDC 的公共卫生统计查询系统,与 SINAN 同为国家级公共卫生监测数据 |
healthdata-gov(healthdata.gov) |
102 | 同族:美国卫生数据开放平台,与巴西卫生部开放数据门户同类 |
health-data-nexus |
54 | 同族:公共卫生数据聚合平台 |
9.2 关系声明(消歧,不进 frontmatter)
- SINAN-Dengue ≠ 任何其它国家的登革热监测数据。库内若出现哥伦比亚、秘鲁、东南亚或全球登革热条目,属同域不同实体,不得合并。
- SINAN-Dengue 包含登革热与基孔肯雅两类,因此也不宜与单一基孔肯雅数据集合并看待——它是一个"双疾病 + 排除类"的三分类资源。
- SINAN-Dengue ≠ 原始 SINAN 系统数据。本条目描述的是论文/Mendeley Data 发布的统一化派生数据集,原始 SINAN 文件是它的上游来源。
9.3 检索路径建议
- 若想找"全球登革热数据"→ 看
who-gho(175)或global-burden-of-disease(97)。 - 若想找"国家级公共卫生监测开放数据"→ 看
cdc-wonder(155)、healthdata-gov(102)。 - 若想找"巴西/拉美虫媒病毒个案数据"→ 就是本条目。
§10 避坑清单:八个已踩过 / 必将踩到的坑
坑 1:把"1,342 万"当成下载到的记录数。13,421,230 是原始统一后的通报量(118 属性),不是最终数据集。你下载到的是 7,632,542 条 / 56 属性。两个数字都会在文献和二手描述里出现,务必看清口径(§2.1、§3.3)。
坑 2:无视类别不平衡直接训多分类。登革热 4,307,513 vs 基孔肯雅 325,000,比例约 13:1。一个"永远猜登革热"的基线就有约 56% 准确率。不做过采样/类别加权/分层评估,少数类(基孔肯雅)必然被淹没,模型看似准确实则无用(§2.3、§5.2)。
坑 3:把通报数当成真实发病数。SINAN 是被动监测系统,存在漏报、延迟、报告行为波动;且只保留实验室确诊/排除病例,被排除的疑似病例未纳入。病例数受就医可及性与实验室覆盖影响(论文背景:巴西仅约 23% 病例在参比实验室受检),≠ 真实发病数(§4.1、§4.3)。
坑 4:假设基孔肯雅也有临床特征。基孔肯雅病例官方仅有社会人口学数据(约 100 条例外),临床/实验室字段大面积为空。若模型依赖症状字段区分两类,会学到"有临床数据=登革热"的捷径,在真实场景失效(§2.5、§5.3、§8.3)。
坑 5:忽略 2020 年的 COVID-19 混杂。覆盖末年 2020 撞上 COVID-19 大流行,就医与通报行为剧变,可能同时压低(就医减少)与抬高(居家暴露)通报量。用 2020 年做趋势分析必须控制这一混杂(§4.2)。
坑 6:把"数据集确诊数"与"官方单年报告数"混算。数据集内登革热确诊 4,307,513 是八年累计的实验室确诊数;而"2019 年 2,248,570 例""2020 年近 150 万例"是单年报告数(含疑似)。两者口径不同,不可相减或直接对比(§4.4)。
坑 7:用"not informed"填充值当真实数据。预处理把缺失字段统一填为"未告知"默认值,而非统计插补。这些值不是观测到的真实取值,直接当数据用会引入偏差;反过来,"是否未告知"本身可能是有信息的特征(§3.2)。
坑 8:把巴西 SINAN 数据与其它国家登革热数据混为一谈。SINAN 是巴西独有系统。哥伦比亚 SIVIGILA、WHO 全球汇总、东南亚各国监测体系均为独立体系,粒度、覆盖、字段各不相同,不可跨体系拼接或比较(§7.2、§9.2)。
附:第 7 个"坑点"的另一面——“未告知"填充也可能被误读为"该字段无缺失”。
attributes.csv字典中标注的默认值即填充值,核对时应以字典为准,不要把填充值当作原始观测。
10.1 坑点严重度排序
| 坑 | 严重度 | 后果 |
|---|---|---|
| 坑 3(通报≠发病) | 🔴 高 | 导致流行病学结论系统性偏差 |
| 坑 2(类别不平衡) | 🔴 高 | 模型表观准确率虚高,少数类失效 |
| 坑 4(临床特征不对称) | 🔴 高 | 模型学到捷径,真实场景失效 |
| 坑 6(口径混算) | 🟠 中 | 数字互相矛盾,结论不可信 |
| 坑 8(跨体系拼接) | 🟠 中 | 数据语义错配 |
| 坑 5(COVID 混杂) | 🟠 中 | 2020 年趋势结论可疑 |
| 坑 1(规模口径) | 🟡 低 | 描述性错误,易发现 |
| 坑 7(填充值误用) | 🟡 低 | 局部偏差,可控 |
10.2 三个"看起来是坑其实不是"的澄清
- “基孔肯雅只有 32.5 万条,是不是数据有问题?” ——不是。巴西基孔肯雅的通报总量本就远低于登革热(2016 年峰值也仅 55.8 万例/年),32.5 万是八年累计的确诊数,量级合理。
- “居然有 210 万条’排除/不确定’,是不是噪声?” ——不是噪声,而是有价值的信息。这类样本恰恰是鉴别诊断中最难的部分(“既不是登革热也不是基孔肯雅”),保留它们使数据集更贴近真实临床场景。
- “论文没给 benchmark,是不是质量不够?” ——不是。这是 Data Descriptor 的体裁特征,评审标准是数据本身而非结论(§7.5)。
§11 总结
11.1 三句话总结
- SINAN-Dengue 是巴西卫生部法定通报系统 2013–2020 年登革热与基孔肯雅个案通报的统一化数据集:原始 13,421,230 条 / 118 属性,清洗后 7,632,542 条 / 56 属性。
- 它按实验室判定结果分为三类:确诊登革热 4,307,513、确诊基孔肯雅 325,000、排除/不确定 2,100,029——类别高度不平衡,且基孔肯雅侧临床信息稀薄。
- 它以 CC BY 4.0 完全开放,论文发表于 Scientific Data 9:198 (2022),数据在 Mendeley Data,代码在 GitHub
dotlab-brazil/arbovirus-dataset-brazil;是拉美虫媒病毒个案级通报数据的稀缺开放资源。
11.2 适合谁
- 做登革热/基孔肯雅鉴别诊断与多类分类的机器学习研究者
- 做虫媒病毒流行病学与时序/空间分析的公共卫生研究者
- 研究监测数据质量、缺失机制、选择偏倚的方法学者
- 需要拉美地区真实世界公共卫生数据做对照研究或基准构建者
11.3 不适合谁
- 想要图像或测序数据的人——这是纯表格数据
- 想要唯一患者级纵向队列的人——这是去标识化个案通报,同患者可能重复
- 想要直接训练临床诊断工具的人——临床特征稀薄且类别不对称,只适合监测层面建模
- 想要2020 年后数据的人——需自行前往巴西卫生部开放数据门户扩展
11.4 30 秒决策卡
| 你的需求 | 结论 |
|---|---|
| 表格型巴西登革热/基孔肯雅数据,CC BY 4.0 | ✅ 直接用,DOI 10.17632/2d3kr8zynf.2 |
| 做登革热 vs 基孔肯雅分类 | ✅ 可行,但必须先处理 13:1 类别不平衡与临床特征不对称 |
| 当真实发病率用 | ❌ 这是监测通报数据,存在漏报与选择偏倚 |
| 与其它国家登革热数据合并 | ❌ 不可,SINAN 为巴西独有体系 |
| 找 2020 年以后的数据 | ⚠️ 需去巴西卫生部开放数据门户自取 |
决策卡用法:先看清"你的需求"一行,再看"结论"。带 ❌ 的表示数据性质不支持该用法,带 ⚠️ 的表示需额外步骤。凡涉及"能不能用它下结论"的判断,回到 §4 数据质量与 §10 八个坑复核。
11.5 一段话版本
如果你只想记住一段话:SINAN-Dengue 是巴西卫生部通报系统 2013–2020 年登革热与基孔肯雅的统一个案数据集(原始 1,342 万条 / 118 属性,清洗后 763 万条 / 56 属性,三类为确诊登革热 430 万、确诊基孔肯雅 32.5 万、排除/不确定 210 万),CC BY 4.0 于 Mendeley Data 公开,适合做登革热 vs 基孔肯雅的鉴别分类与流行病学分析,但必须处理 13:1 的类别不平衡、基孔肯雅临床特征的缺失、被动监测的漏报偏倚,以及它是巴西数据这一不可混淆的身份。
11.6 与前作的对照(若有)
截至本条目撰写时,库内尚无与之同源的登革热/基孔肯雅个案级数据集。SINAN-Dengue 因此不是"某条目的升级版"或"别名",而是一个独立的新条目——这也是开工三查中 dedup_gate 的 HIT 被判定为自派发误报的依据(FACTS §1)。
FAQ(高频问答 40 问)
A. 基础认知
1. SINAN-Dengue 到底是什么?
巴西卫生部 SINAN(法定疾病通报系统)2013–2020 年登革热与基孔肯雅个案通报的统一化数据集,由论文/Mendeley Data 发布。
2. SINAN 全称是什么?
Sistema de Informação de Agravo de Notificação(葡萄牙语),英文常译为 Information System for Notifiable Diseases——法定疾病通报信息系统。
3. 这是哪个国家的数据?
巴西。覆盖巴西 26 州 + 联邦区。这是本条目反复强调、也最容易被混淆的一点。
4. 覆盖哪些年份?
2013–2020,共 8 个通报年。
5. 论文发表在哪里?
Scientific Data(Nature Portfolio),Volume 9, article 198,(2022),DOI 10.1038/s41597-022-01312-7,PMID 35538103。
6. 有勘误吗?
有。2022 年 5 月 26 日发布过一份 Author Correction(原论文已更新)。勘误的具体内容未能在被反爬拦截的页面获取(FACTS §9 存照 5)。
B. 数据与规模
7. 一共多少条记录?
两个口径:原始 13,421,230 条,最终数据集 7,632,542 条。
8. 多少属性?
原始 118 个,最终 56 个。
9. 为什么少了这么多?
预处理剔除单值属性、缺失率 >60% 的属性,并过滤只保留实验室确诊/排除病例(§3)。
10. 三类各多少?
确诊登革热 4,307,513,确诊基孔肯雅 325,000,排除/不确定 2,100,029。三项相加 = 7,632,542。
11. 文件多大?
主表 data set.csv 1.85 GB;字典 attributes.csv 4.04 KB;打包下载 188 MB。
12. 有属性字典吗?
有,attributes.csv 逐字段说明。
13. 数据是唯一的患者吗?
不是。这是个案通报记录,同一患者多次就医/多次通报可能产生多条。
14. 基孔肯雅有临床数据吗?
官方没有,仅有社会人口学数据;但约 100 条记录含临床/实验室信息,作者推测是被当作登革热疑似后确诊的个案(§2.5)。
C. 获取与许可
15. 去哪下载?
Mendeley Data,DOI 10.17632/2d3kr8zynf.2(落地页 data.mendeley.com/datasets/2d3kr8zynf/2)。
16. 许可是什么?
CC BY 4.0。可商用、可修改、可分发,需署名。
17. 需要申请或审批吗?
不需要。公开数据,无伦理审批要求(论文明确)。
18. 原始未清洗数据在哪?
巴西卫生部开放数据门户(Portal de Dados Abertos do SUS)。任务头所指 opendatasus.saude.gov.br 现已迁移/别名到 dadosabertos.saude.gov.br(含 Arboviroses 主题组)。
19. 有代码吗?
有,GitHub dotlab-brazil/arbovirus-dataset-brazil,notebook arbovirus_dataset_brazil.ipynb 即构建脚本。
20. 要引用哪些?
引用 Mendeley Data 数据集 DOI + Scientific Data 论文 DOI,二者配套。
D. 用途与建模
21. 能做什么任务?
登革热 vs 基孔肯雅鉴别诊断、多类分类(论文自述),以及流行病学前因分析。
22. 有基准分数吗?
没有。论文是 Data Descriptor,未提供训练/测试划分或 SOTA 榜单(§5.1)。
23. 标签是哪个字段?
CLASSI_FIN,三档:Dengue / Chikungunya / Discarded-Inconclusive。
24. 类别平衡吗?
不平衡。登革热 : 基孔肯雅 ≈ 13:1,须做类别加权或重采样(§2.3)。
25. 能用临床特征做分类吗?
需谨慎。临床/实验室特征在基孔肯雅侧大面积为空,直接使用会引入捷径特征(§2.5、坑 4)。
26. 适合训练临床诊断工具吗?
不适合。更适合监测层面的流行病学建模与分类方法学研究(§5.5、§11.3)。
E. 边界与陷阱
27. 是真实发病率吗?
不是。被动监测存在漏报、延迟与选择偏倚,病例数 ≠ 真实发病数(§4.1、坑 3)。
28. 2020 年数据能用吗?
可以,但要控制 COVID-19 混杂(就医与通报行为剧变)(§4.2、坑 5)。
29. 能和其它国家登革热数据合并吗?
不能。SINAN 是巴西独有体系,跨体系粒度与字段不同(§7.2、坑 8)。
30. 怎么扩展年份?
前往巴西卫生部开放数据门户下载更新年份的原始 SINAN 文件,按论文六步流水线(或 GitHub notebook)重跑清洗。
F. 深度问题
31. 为什么论文要强调"unified"(统一)?
因为 SINAN 原始数据按州、按年分散发布,字段虽循国家字典但文件组织离散。论文做的第一件事就是统一为全国总表——这是数据集最基础也最关键的增值(§2.1、§7.1)。
32. 清洗中被删掉的 579 万条是什么?
主要是未经实验室判定的疑似病例(第 3 步过滤)。但论文未给出逐项分解,精确分布无法从数据集本身得知(§3.4、附录 H)。
33. CRITERIO 字段为什么被删?
它是判定准则字段,用于第 3 步过滤;过滤后所有剩余记录取值单一,作为单值属性被删除。若需区分"排除"与"不确定",必须回源门户(§3.1、§5.8)。
34. 数据集里的城市编码是什么标准?
ID_MUNICIP 使用巴西 IBGE(Instituto Brasileiro de Geografia e Estatística)城市编码,可对接 IBGE 地理数据做空间分析(§2.4、§5.7)。
35. 妊娠状态字段有什么用?
CS_GESTANT 记录孕周/妊娠状态,对研究登革热/基孔肯雅在孕妇中的分布与风险有价值——这是虫媒病毒研究中的特殊关注人群。
36. 能不能做疫苗或药物效果研究?
不能直接做。数据集不含疫苗/用药字段,只是通报个案。可做的关联研究需外接其它数据源。
37. 数据里的"ICD 编码"可靠吗?
ID_AGRAVO 是通报时的疾病编码,属行政编码,可能与最终实验室判定不完全一致。建模时应以 CLASSI_FIN 为准而非 ID_AGRAVO。
38. 为什么 CC BY 4.0 对公共卫生数据很重要?
因为它允许商业与衍生使用,无需审批。这极大降低了研究门槛,也使得数据能被纳入更广泛的机器学习管线——是"数据民主化"的体现(§8.4)。
39. 这份数据能与库内 WHO GHO 直接合并吗?
不能直接合并。WHO GHO 是国家/年度汇总,本数据集是个案级,粒度不同(§9.1、§7.2)。只能作宏观对照。
40. 如果我只想做登革热的时序预测,不用基孔肯雅部分,可以吗?
可以。用 CLASSI_FIN == "Dengue" 子集,配合 SEM_PRI 做时序建模。但仍需注意通报延迟与漏报(§4.1、§5.4)。
事实清单(硬事实 45 条)
- 数据集名:Arboviral disease record data - Dengue and Chikungunya, Brazil, 2013–2020(Mendeley 标题:Arbovirus clinical data, Brazil, 2013–2020)。
- 来源系统:巴西 SINAN(Sistema de Informação de Agravo de Notificação)。
- 国别:巴西(Brazil)。
- 地理覆盖:26 州 + 联邦区(Brasília),共 27 个行政单元。
- 时间跨度:2013–2020,共 8 个通报年。
- 原始记录数:13,421,230。
- 原始属性数:118。
- 最终记录数:7,632,542。
- 最终属性数:56。
- 确诊登革热(Dengue):4,307,513 条。
- 确诊基孔肯雅(Chikungunya):325,000 条。
- 排除/不确定(Discarded/Inconclusive):2,100,029 条。
- 三分类合计校验:4,307,513 + 325,000 + 2,100,029 = 7,632,542(成立)。
- 核心标签字段:
CLASSI_FIN。 - 过滤字段:
CRITERIO(判定准则,过滤后删除)。 - 删除的单值字段:
CRITERIO、TP_NOT。 - 缺失剔除阈值:缺失率 >60% 的属性删除。
- 缺失填充策略:按数据字典"not informed"默认值填充。
- 主文件:
data set.csv(1.85 GB)。 - 字典文件:
attributes.csv(4.04 KB)。 - 打包体积:188 MB。
- DOI(v2):10.17632/2d3kr8zynf.2。
- DOI(v1):10.17632/2d3kr8zynf.1。
- 许可:CC BY 4.0。
- 论文:Scientific Data 9:198 (2022)。
- 论文 DOI:10.1038/s41597-022-01312-7。
- PMID:35538103。
- 论文类型:Data Descriptor(Open access)。
- 勘误:2022-05-26 Author Correction。
- 通讯作者:Patricia Takako Endo(UPE,ORCID 0000-0002-9163-5583)。
- 代码仓库:GitHub
dotlab-brazil/arbovirus-dataset-brazil。 - 伦理:公开数据,无需伦理委员会审批;不含可识别个人健康信息。
- 覆盖行政单元:26 州 + 联邦区(Brasília),共 27 个。
- 记录数差额:13,421,230 − 7,632,542 = 5,788,688 条(主要因实验室判定过滤,逐项分解未公开)。
- 属性数变化:118 → 56,减少 62 个(含 >60% 缺失属性与单值属性)。
- 三分类占比:登革热 ≈56.4%、排除/不确定 ≈27.5%、基孔肯雅 ≈4.3%。
- 类别不平衡比:登革热 : 基孔肯雅 ≈ 13.3 : 1。
- 基孔肯雅含临床数据记录:约 100 条。
- 期刊栏目:Scientific Data Data Descriptor。
- 团队代码组织:GitHub dotlab-brazil。
- 通讯单位:Universidade de Pernambuco(UPE),合作方 Instituto Todos pela Saúde 与 Dublin City University。
- 城市编码标准:IBGE 编码(ID_MUNICIP)。
- 门户更新:巴西开放数据门户统计 140 数据集 / 2884 文件,至 2026 年 10 月。
- 勘误日期:2022-05-26 Author Correction。
- 主渠道存档:Mendeley Data(Elsevier),打包 188 MB。
术语表(28 条)
| 术语 | 释义 |
|---|---|
| SINAN | Sistema de Informação de Agravo de Notificação,巴西法定疾病通报信息系统 |
| Dengue(登革热) | 由登革病毒经伊蚊传播的急性传染病 |
| Chikungunya(基孔肯雅) | 由基孔肯雅病毒经伊蚊传播的急性传染病,症状与登革热高度重叠 |
| Arbovirus(虫媒病毒) | 经节肢动物(如蚊、蜱)传播的病毒 |
| Aedes aegypti | 埃及伊蚊,登革热/基孔肯雅主要媒介 |
| Aedes albopictus | 白纹伊蚊,次要媒介 |
| CLASSI_FIN | 最终分类字段,本数据集的三分类标签来源 |
| CRITERIO | 判定准则字段,用于过滤实验室确诊/排除病例 |
| TP_NOT | 通报类型字段,本数据集全为 Individual(个案) |
| Discarded/Inconclusive | 排除/不确定类,实验室判定为阴性或结果未定 |
| Passive surveillance(被动监测) | 由报告方主动上报的监测模式,存在漏报 |
| Notifiable disease(法定报告疾病) | 依法必须向卫生部门通报的疾病 |
| Under-reporting(漏报) | 实际发病但未被通报的病例部分 |
| Reporting delay(通报延迟) | 从发病到录入系统的时滞 |
| Epidemiological week(流行病学周) | 公共卫生用于周粒度统计的标准周编号 |
| SEM_NOT | 通报流行病学周字段 |
| SEM_PRI | 症状起始流行病学周字段 |
| DT_NOTIFIC | 通报日期字段 |
| DT_SIN_PRI | 症状起始日期字段 |
| NU_IDADE_N | 患者年龄字段 |
| CS_SEXO | 患者性别字段 |
| CS_GESTANT | 妊娠状态/孕周字段 |
| SG_UF_NOT | 通报卫生单位的州缩写字段 |
| ID_MUNICIP | 卫生单位所在城市(IBGE 编码)字段 |
| ID_AGRAVO | ICD 疾病编码字段 |
| Differential diagnosis(鉴别诊断) | 在症状相似疾病间区分(此处指登革热 vs 基孔肯雅) |
| DAIMS | Data and AI Maturity/Assessment 类指标体系,用于评估数据集就绪度 |
| CC BY 4.0 | 知识共享署名 4.0 国际许可,允许商用与衍生,需署名 |
附录
附录 A:条目信息速查卡
| 项 | 值 |
|---|---|
| slug | sinan-dengue |
| 官方名 | Arboviral disease record data - Dengue and Chikungunya, Brazil, 2013–2020 |
| 来源系统 | 巴西 SINAN |
| 论文 | Scientific Data 9:198 (2022) |
| 论文 DOI | 10.1038/s41597-022-01312-7 |
| 数据 DOI | 10.17632/2d3kr8zynf.2 |
| 许可 | CC BY 4.0 |
| 规模 | 7,632,542 条 / 56 属性 |
| 类别 | Dengue / Chikungunya / Discarded-Inconclusive |
| 单位 | Universidade de Pernambuco(通讯 Patricia Takako Endo) |
| 代码 | github.com/dotlab-brazil/arbovirus-dataset-brazil |
附录 B:DAIMS 评估全表
| DAIMS 维度 | 评级 | 依据 |
|---|---|---|
| 数据可得性(Availability) | ★★★★★ | Mendeley Data 公开直链,CC BY 4.0,无审批 |
| 文档完备性(Documentation) | ★★★★☆ | 论文 + 属性字典 + 代码 notebook;差额分解缺失 |
| 标注质量(Annotation) | ★★★★☆ | 标签源于实验室判定,可靠性高;但非人工复核标注 |
| 规模(Scale) | ★★★★★ | 763 万条个案,个案级大样本 |
| 偏差控制(Bias) | ★★☆☆☆ | 被动监测固有漏报 + 实验室选择偏倚 + 类别不平衡 |
| 隐私合规(Privacy) | ★★★★★ | 去标识化,无个人可识别信息 |
| 复现性(Reproducibility) | ★★★★☆ | 六步流水线明确 + notebook 公开 |
| 时效性(Timeliness) | ★★★☆☆ | 覆盖至 2020;更新需回源门户 |
| 互操作性(Interoperability) | ★★★☆☆ | 单 CSV + 字典,需自行映射;无标准本体对齐 |
| 临床深度(Clinical Depth) | ★★☆☆☆ | 临床/实验室字段稀薄且类别不对称 |
附录 C:三分类构成总表
| 类别 | CLASSI_FIN 值 |
记录数 | 占比 |
|---|---|---|---|
| 确诊登革热 | Dengue | 4,307,513 | ≈ 56.4% |
| 排除/不确定 | Discarded/Inconclusive | 2,100,029 | ≈ 27.5% |
| 确诊基孔肯雅 | Chikungunya | 325,000 | ≈ 4.3% |
| 合计 | — | 7,632,542 | 100% |
附录 D:预处理六步链
Step 1 统一各州 SINAN 数据 → 13,421,230 条 / 118 属性
Step 2 按 CLASSI_FIN 分三组 → Dengue / Chikungunya / Discarded
Step 3 过滤:仅保留实验室确诊/排除 → 用 CRITERIO 判定
Step 4 删除单值属性 → 删 CRITERIO、TP_NOT
Step 5 删除高缺失属性 → 缺失率 >60% 即删
Step 6 填缺失 + 类别转数值 → 填 not informed;编数值
最终 → 7,632,542 条 / 56 属性
附录 E:双口径登记表
| 项 | 口径 A | 口径 B | 采用 |
|---|---|---|---|
| 记录数 | 13,421,230(原始) | 7,632,542(最终) | 两口径并存标注,正文标清 |
| 属性数 | 118(原始) | 56(最终) | 两口径并存标注 |
| 门户域名 | opendatasus.saude.gov.br(旧) | dadosabertos.saude.gov.br(现) | 并存,标注新旧 |
| 登革热数字 | 数据集确诊 4,307,513(八年累计) | 官方 2019 年报告 2,248,570(单年含疑似) | 不混算 |
附录 F:数据获取决策树
想用 SINAN-Dengue
├─ 要清洗后的统一数据集 → Mendeley Data, DOI 10.17632/2d3kr8zynf.2 (CC BY 4.0)
├─ 要原始未清洗通报文件 → 巴西卫生部开放数据门户 dadosabertos.saude.gov.br
├─ 要 2020 年之后的数据 → 同上门户(本数据集仅到 2020)
├─ 要复现清洗过程 → GitHub dotlab-brazil/arbovirus-dataset-brazil
└─ 要其它国家登革热数据 → 不在本条目范围(看 who-gho / GBD)
附录 G:与库内互链点登记(消歧,非 frontmatter)
| 库内条目 | rid | 关系 |
|---|---|---|
| who-gho | 175 | 上游对照(全球汇总 vs 巴西个案) |
| global-burden-of-disease | 97 | 同族互补(疾病负担宏观参照) |
| cdc-wonder | 155 | 方法学近邻(国家级公共卫生监测) |
| healthdata-gov | 102 | 同族(卫生开放数据平台) |
| health-data-nexus | 54 | 同族(公共卫生数据聚合) |
说明:以上 rid 均为写作时经 DB 只读查询核实的在架条目(status=1 AND del_sign=0)。正文互链 URL 统一占位
/0,入库后由主会话回填。
附录 H:遗留疑点与维护触发点
- 遗留疑点:① 原始到最终的 5,788,688 条差额逐项分解未公开;② v1→v2 修订内容未公开;③ Author Correction 具体内容未获取。三者均为待核项,非编造。
- 维护触发点:若巴西卫生部开放数据门户发布 2021 年及以后的 SINAN 数据,或论文团队发布数据更新版本,应重跑六步流水线并更新本条目规模数字。
附录 I:来源证据链
| 事实 | 来源 | 类型 |
|---|---|---|
| 13,421,230 条 / 118 属性 | Mendeley 落地页 + DORAS 全文 PDF + 论文摘要 | 三源一致 |
| 7,632,542 条 / 56 属性 | Mendeley 落地页 + 论文摘要 | 三源一致 |
| 4,307,513 / 325,000 / 2,100,029 | Mendeley 落地页 “Steps to reproduce” | 原文逐字 |
| CC BY 4.0 | Mendeley 落地页 Licence 栏 | 原文 |
| DOI 10.17632/2d3kr8zynf.2 | Mendeley 落地页 | 原文 |
| DOI 10.1038/s41597-022-01312-7 | DORAS 元数据 + 论文 | 原文 |
| PMID 35538103 | 搜索结果 + DORAS | 原文 |
| 26 州 + 联邦区 | DORAS 全文 PDF(Methods) | 原文 |
| 约 100 条基孔肯雅含临床数据 | DORAS 全文 PDF + Mendeley | 原文 |
| 代码仓库 dotlab-brazil | Mendeley 落地页 Related Links | 原文 |
附录 J:DAIMS 评分汇总
| 维度 | 分(5 分制) |
|---|---|
| 数据可得性 | 5 |
| 文档完备性 | 4 |
| 标注质量 | 4 |
| 规模 | 5 |
| 偏差控制 | 2 |
| 隐私合规 | 5 |
| 复现性 | 4 |
| 时效性 | 3 |
| 互操作性 | 3 |
| 临床深度 | 2 |
| 合计 | 37 / 50 |
评估结论:SINAN-Dengue 在"可得性、规模、隐私"三项满分,短板集中在"偏差控制"与"临床深度"——这与其被动监测数据 + 去标识化开放的性质完全一致。它是一份高可得、大规模、需谨慎使用的数据集。
附录 K:检索决策树
搜到 "SINAN-Dengue" 相关条目
├─ 确认是巴西 SINAN 吗?
│ ├─ 是 → 本条目
│ └─ 否(哥伦比亚/秘鲁/东南亚/全球)→ 属其它条目,勿合并
├─ 想找规模数字
│ ├─ 原始 → 13,421,230 / 118
│ └─ 最终 → 7,632,542 / 56
├─ 想找许可 → CC BY 4.0
├─ 想找下载 → Mendeley Data DOI 10.17632/2d3kr8zynf.2
└─ 想找论文 → Scientific Data 9:198 (2022)
附录 L:术语对照(葡 → 英 → 中)
| 葡萄牙语 | 英文 | 中文 |
|---|---|---|
| Sistema de Informação de Agravo de Notificação | Information System for Notifiable Diseases | 法定疾病通报信息系统 |
| Dengue | Dengue | 登革热 |
| Chikungunya | Chikungunya | 基孔肯雅 |
| Notificação | Notification | 通报 |
| Semana epidemiológica | Epidemiological week | 流行病学周 |
| Caso confirmado | Confirmed case | 确诊病例 |
| Caso descartado | Discarded case | 排除病例 |
| Município | Municipality | 市/自治市 |
| Unidade federativa (UF) | Federal unit | 联邦单元(州) |
| Gestante | Pregnant woman | 孕妇 |
| Arbovirose | Arboviral disease | 虫媒病毒病 |
附录 M:条目维护信息
| 项 | 值 |
|---|---|
| slug | sinan-dengue |
| 撰写代理 | agent-f-sinandengu |
| 撰写日期 | 2026-10-16 |
| 论文版本 | Scientific Data 9:198 (2022) |
| 数据版本 | Mendeley Data V2 |
| 下次复核建议 | 巴西开放数据门户发布新年度数据时 |
附录 N:常见误用模式与纠正
| 误用 | 后果 | 纠正 |
|---|---|---|
| 报告总体准确率而不报各类指标 | 少数类失效被掩盖 | 报每类 P/R/F1 + 宏平均 |
| 用随机划分做时序任务 | 未来信息泄漏进训练集 | 按年份/流行病学周划分 |
把 ID_AGRAVO 当标签 |
行政编码与判定不一致 | 以 CLASSI_FIN 为准 |
| 用 2020 年与往年直接比较 | COVID 混杂未控 | 显式建模年份效应 |
| 把"not informed"当缺失删掉 | 丢失缺失模式信息 | 视其为独立类别 |
| 声称"模型可辅助临床诊断" | 越出数据能力边界 | 限定为监测层面结论 |
附录 O:一句话索引
- 规模:原始 13,421,230 / 118;最终 7,632,542 / 56。
- 三类:登革热 4,307,513 | 基孔肯雅 325,000 | 排除/不确定 2,100,029。
- 标签:
CLASSI_FIN。 - 许可:CC BY 4.0。
- 数据 DOI:10.17632/2d3kr8zynf.2。
- 论文:Scientific Data 9:198 (2022),DOI 10.1038/s41597-022-01312-7。
- 国家:巴西(26 州 + 联邦区)。
- 年份:2013–2020。
- 代码:github.com/dotlab-brazil/arbovirus-dataset-brazil。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- nhanes — 共享标签:公共卫生与流行病学 / 流行病学 / 调查数据
- nhis — 共享标签:公共卫生与流行病学 / 流行病学 / 调查数据
- mics — 共享标签:公共卫生与流行病学 / 疾病监测 / 调查数据
- ncd-risc — 共享标签:公共卫生与流行病学 / 疾病监测 / 流行病学
- jhu-csse-covid-19 — 共享标签:公共卫生与流行病学 / 疾病监测 / 流行病学
- who-sti-prevalence-atlas — 共享标签:公共卫生与流行病学 / 疾病监测 / 流行病学
- flatten-covid-survey — 共享标签:公共卫生与流行病学 / 疾病监测 / 调查数据
- fair-health-atlas — 共享标签:公共卫生与流行病学 / 疾病监测 / 流行病学
- wuenic-immunization — 共享标签:公共卫生与流行病学 / 疾病监测 / 调查数据
- charls — 共享标签:公共卫生与流行病学 / 流行病学 / 调查数据
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

