信息速览
INFOBOX — HSP 一屏速览
维度 内容 本质 真实临床常规 PSG 的归档汇总(不是为研究设计的简化导联采集),覆盖全生命周期 版本 v3.0,托管 Brain Data Science Platform(bdsp.io/content/hsp/3.0/) 论文 SLEEP 2026;zsag215;doi:10.1093/sleep/zsag215;PMID 42555111;2026-08-05 在线 数据 DOI 10.60508/m3sw-rz13 规模 119,234 条整夜记录|90,166 名患者|5 个美国学术医疗中心 拆分 PSG 115,129 + HSAT 4,105 年龄 新生儿至 90 岁以上(第 10 个十年) 临床 22 类 ICD-10 诊断 + 就诊日期;人口学去标识链接 标注 人工评分 84,582 条(73.5%)|CAISR 自动标注约 80,000 条 结构 BIDS 1.7.0+;EDF 原始采样率保留;HDF5 衍生 200 Hz 获取 资质用户 + 签 DUA,经 BDSP S3 Access Point 拉取 库内互链 sleep-edf(73)、isruc-sleep(262)、mros-sleep(292)、mesa-sleep(302)、hmc-sleep-staging(654)、capsleep(1072)、cinc-2018-sleep-arousal(1173)、boas-bitbrain(1174)、tiles-2018-sleep(1175)、nch-sleep(1013)
The Human Sleep Project(HSP,人类睡眠计划)做了一件睡眠研究界长期想做而做不成的事:把五家美国大型学术医疗中心临床上已经做完、平时锁在归档系统里吃灰的多导睡眠图(PSG)集中起来,去标识化、统一成 BIDS 结构、挂上诊断编码,一次性释放出 119,234 条整夜记录。它不是"又一个研究队列",也不是"又一批 2 导联可穿戴信号",而是真实临床设备 + 真实技师评分 + 真实就诊人群的规模化聚合。
导语读法三则:
- 只想知道它值不值得申请:直奔 §6 获取与许可,再回看 §4 的三条价值主线与 §7 的局限清单——三项都能接受再走 DUA 流程。
- 关心它和库内睡眠数据集的关系:直奔 §9 家族图谱——HSP 不是 sleep-edf/isruc/MrOS/MESA 的超集,它们在采集目的、导联、人群、许可上互不替代。
- 想做模型:直奔 §3 通道与采样率、§4 标注体系——注意人工评分只有 73.5%,且 AASM 版本跨年份不一致,这两点会直接决定你的评测设计。
§0 导读:这个数据集解决什么问题
睡眠医学的算法研究长期被一种结构性错配困扰:能拿到的数据不是临床上真正在用的数据。公开数据集大致分三类——小样本单中心研究级 PSG(Sleep-EDF 一类,几十人、2 导联 EEG、健康志愿者为主);特定人群的流行病学队列(MrOS、MESA 一类,社区老人或多种族人群,居家便携监测);以及可穿戴设备的纵向消费级信号(TILES-2018 一类,加速度计推断睡眠)。三类数据各自有用,但都缺一个共同点:它们不是医生在睡眠门诊里真正开出来的那张检查单。
临床 PSG 的样子完全不同。它有 6 导 EEG、双侧眼电、颏肌电、双前胫肌电、心电、呼吸努力、双气流通道、血氧,由注册技师(RPSGT/RST)逐 30 秒打分,由睡眠专科医师签字,附在电子病历里,和患者的诊断、用药、复诊记录绑在一起。这类数据在每个大型医院都堆积如山,但因为去标识化合规、跨系统整合、评分异质性这三道墙,几乎没有被规模化释放过。
HSP 的贡献就是把这三道墙逐一处理掉:用 HIPAA Safe Harbor 去标识 + 单一 IRB 协议(#2022P000417,豁免知情同意)解决合规;用 BIDS 1.7.0 结构与跨站点通道映射表解决整合;用"保留原始 + 提供 200 Hz 标准化衍生格式 + 逐会话质量分级"的方式承认而不抹平评分异质性。最终产出 119,234 条记录、90,166 名患者、新生儿到 90 岁以上、覆盖 22 类 ICD-10 诊断的单一入口数据集。
三条价值主线(后文 §4 逐一展开):
- 真实临床 PSG,而非研究级简化导联:至少 AASM 标准导联,含呼吸与肢体运动通道,能直接支持呼吸事件、觉醒、周期性肢体运动检测。
- 有临床背景:诊断编码带就诊日期,可与睡眠检查做时间对齐;人口学、研究类型、质量分级逐会话可得。
- 可做纵向:患者级 ID 跨会话稳定,同一患者多次检查可按 ses 序号排序——这是单次横断面公开数据集普遍缺失的能力。
需要提前说清楚的是:"HSP 是最大的"这个说法要带上限定词。按"真实临床 PSG 的整合条数"算,它确实是迄今公开可申请的最大规模;但按"人工精标可用条数"算,是 84,582 条而非 119,234 条;按"可直接下载"算,是 0 条,因为全部受 DUA 管控。§7 会把这几条口径差异讲透。
§1 数据集速览:十问十答
Q1:HSP 到底是什么?
五家美国学术医疗中心(Stanford、Massachusetts General Brigham、Emory、Beth Israel Deaconess、Boston Children’s)常规临床睡眠检查的归档汇总,经去标识化与 BIDS 结构化后,托管在 Brain Data Science Platform(BDSP)。它不是为某个研究问题专门采集的队列。
Q2:到底多少数据?
119,234 条整夜睡眠记录,来自 90,166 名唯一患者。其中完整多导睡眠图(PSG)115,129 条,家庭睡眠呼吸监测(HSAT,home sleep apnea test)4,105 条。论文摘要写作"more than 90,000 unique patients",数据页给出精确值 90,166。
Q3:几个中心?
五个。注意这与任务线索里"多中心"一致,但"约 12 万"应精确到 119,234,且其中约 3.4% 是 HSAT 而非全导联 PSG。中心在数据中以去标识代号出现:S0001、I0002、I0003、I0004、I0006(没有 I0005),论文正文点名了五家机构。
Q4:导联配置是什么?
至少 AASM 标准导联:6 导 EEG(F4-M1、F3-M2、C4-M1、C3-M2、O2-M1、O1-M2)、EOG、颏肌 EMG、双前胫肌 EMG、ECG、呼吸努力、气流(热敏电阻 + 鼻压)、SpO₂。EEG 参考方式分两大组:S0001 与 I0002 采集时即以对侧乳突为参考;I0003、I0004、I0006 单极存储、M1/M2 作为独立通道。
Q5:采样率多少?
没有单一采样率。各中心保留原始采样频率(须从 EDF 文件头读取),硬件覆盖 Natus ≤4000 Hz、Grass 800 Hz、Embla legacy 500/512 Hz、Philips ≤2000 Hz(存储 ≤500 Hz)等。团队另提供 HDF5 衍生格式,用多相滤波统一重采样到 200 Hz,并做通道名规范化与参考重算。
Q6:分期按哪个 AASM 版本?
按采集当时生效的版本——不是单一版本。五个中心跨多年采集,AASM 手册本身也迭代过多次,因此同一数据集内不同年份、不同中心的 scoring rules 存在版本差异。人工分期均为 30 秒 epoch(W/N1/N2/N3/REM)。低通气标准更明确地不统一:限制性(4% 去饱和)与宽松性(3% 去饱和或觉醒)两派并存,统一分析时被折叠为单一 hypopnea 类。
Q7:有临床诊断和用药信息吗?
有诊断,没有用药。数据集链接去标识 EHR 的 ICD-10 诊断,覆盖 22 个临床大类,每条诊断带就诊日期,可以按时间过滤"本次睡眠检查之前"的诊断。药物信息在论文与数据页中均未提及,属未公开。
Q8:有多次检查吗?可以纵向分析吗?
结构上可以。119,234 次记录对应 90,166 名患者,人均 1.32 次;患者 ID 跨会话稳定,ses-NN 按时间顺序编号,日期经受试者内随机平移以保留时间顺序。但**“有多少患者做过 ≥2 次"这个数字,论文正文没有给出**,只在补充表 S1 中逐队列列出——这里必须写"未公开具体人数”,不能拍脑袋。
Q9:怎么拿?
申请制。原文:“Only credentialed users who sign the DUA can access the files.”——只有通过资质审核并签署数据使用协议的用户才能访问,数据经 BDSP 的 S3 Access Point 分发(bdsp-credentialed-access-point),单个队列同步量级为"数百 GB"。
Q10:它和 sleep-edf、isruc、MrOS、MESA 是什么关系?
并列关系,不是超集关系。HSP 规模大得多、导联完整、人群是临床转诊者;但 sleep-edf 有 100 Hz 高采样与睡眠纺锤波标注,isruc 有带专家共识的重评分,MrOS/MESA 有社区人群代表性与配套问卷/影像。HSP 一个都替代不了,详见 §9。
§2 数据构成与规格
2.1 规模与拆分:119,234 这个数字怎么拆
HSP v3.0 的核心数字可以拆成三层,每一层在建模时的含义都不同:
| 口径 | 数值 | 含义 |
|---|---|---|
| 整夜记录总数 | 119,234 | 所有录入的检查次数 |
| 完整 PSG | 115,129 | 含完整 AASM 导联的多导睡眠图 |
| 家庭睡眠呼吸监测(HSAT) | 4,105 | 非全导联、通常无 EEG 通道 |
| 唯一患者 | 90,166 | 去重后的人数 |
需要注意 115,129 + 4,105 = 119,234,二者严格互补。也就是说 “119,234 条 PSG” 是错误说法——有 4,105 条是 HSAT。HSAT 在临床上常用于 OSA 初筛,导联少、无 EEG,因此不能用于睡眠分期任务,只能用于呼吸事件相关分析。论文也没有把 HSAT 与 PSG 混算成"可分期语料"。
2.2 队列构成:五个中心的人口学画像
五个中心在数据中以去标识代号出现(S0001、I0002、I0003、I0004、I0006,注意没有 I0005),论文正文则点名了五家机构:Stanford University、Massachusetts General Brigham(MGB)、Emory University、Beth Israel Deaconess Medical Center(BIDMC)、Boston Children’s Hospital(BCH)。代号与机构的逐一对应关系,论文与数据页均未在正文中公开映射表(未公开),这是有意为之的去标识设计。
各队列的患者画像如下:
| 队列 | 类型 | 患者数 | 年龄(均值±SD) | 女性占比 |
|---|---|---|---|---|
| S0001 | 成人睡眠门诊 | 19,569 | 52.3 ± 16.9 | 42.7% |
| I0002 | 成人睡眠门诊 | 12,713 | 56.6 ± 16.9 | 45.2% |
| I0003 | 儿科睡眠门诊 | 12,825 | 8.0 ± 6.0 | 42.3% |
| I0004 | 成人睡眠门诊 | 29,488 | 50.1 ± 21.1 | 41.2% |
| I0006 | 成人睡眠门诊 | 12,984 | 54.5 ± 15.5 | 51.4% |
四成人群在四家成人中心、约 14% 在唯一一家儿科中心。I0004 是最大的单中心(29,488 人,占 32.7%),也是内部最异质的一个——它横跨三个采集批次(详见 2.4)。I0003 的加入是 v3.0 相对早期版本最重要的补充:它把数据集的年龄下沿从青少年推到新生儿,使"全生命周期"这个宣称成立。
2.3 年龄跨度与 ICD-10 覆盖
论文宣称年龄从婴儿(infancy)到 90 岁以上(第 10 个十年),并链接了 22 个 ICD-10 临床大类,涵盖神经、心代谢、呼吸、精神、内分泌等方向。每一条诊断附就诊日期(encounter date),因此可以构造"睡眠检查当时患者已有哪些诊断"这一时间对齐视图——这是把 PSG 转成"带临床上下文的多模态样本"的关键。
睡眠相关的 ICD-10 细分(G47.x 子类,如失眠、嗜睡、睡眠呼吸暂停、昼夜节律障碍、异态睡眠、睡眠相关运动障碍)在论文补充表 S4 中给出。论文没有在正文给出各队列的完整诊断分布表,因此在建模前应对目标标签做一次实际统计,不能假定 22 类在五个中心均匀分布——恰恰相反,儿科中心的诊断谱与成人中心差异极大。
2.4 硬件与采集平台:五个中心、四种设备谱系
数据中心化最容易忽略的一点是"设备异质性"。HSP 的数据页给出了相当细的硬件谱系:
| 队列 | EEG 导联与参考 | 采集硬件/软件 |
|---|---|---|
| S0001 | 参考对侧乳突 | Natus(较新)+ Grass(较早) |
| I0002 | 参考对侧乳突 | Embla REMlogic |
| I0003 | 单极存储,M1/M2 独立通道 | Embla REMlogic(为主) |
| I0004 | 单极存储,M1/M2 独立通道 | Grass → Sandman;SD32+ → Sandman;后期混合 SD32+ → Sandman 与 SOMNOmedics SomnoScreen → DOMINO |
| I0006 | 单极存储,M1/M2 独立通道 | 早期 Embla/REMlogic;较新 Philips G3(Respironics G3) |
I0004 内部又被分为三个批次:Batch 1(Grass + SD32+ 混合前端 → Sandman)、Batch 2(SD32+ → Sandman,一致性最好)、Batch 3(跨平台分裂为 SD32+ → Sandman 与 SOMNOmedics → DOMINO)。批次信息在使用该队列时应当作为协变量控制,否则"平台差异"会被误读成"人群差异"。
2.5 采样率:为什么"200 Hz"不是全集的采样率
这是本条目最容易被二手资料写错的地方(见坑 1)。准确说法是:
- 原始数据保留各中心的原始采样频率,使用前必须从 EDF 文件头读取,而不是按厂商硬件的最大采样率推断。
- 厂商硬件能力谱系:Natus(Embla NDx/SDx,含 SD32+)≤4000 Hz、24-bit;Grass(Comet-PLUS/AS40-PLUS)800 Hz、16-bit;Embla legacy(S4500/N7000)500 或 512 Hz、16-bit;Philips Respironics(Alice 6/G3)≤2000 Hz(实际存储 ≤500 Hz)、16-bit;SOMNOmedics SomnoScreen 依配置而异。
- 团队另提供 HDF5 衍生格式,用多相滤波(polyphase filtering)统一重采样到 200 Hz,同时完成通道名规范、参考重算(左侧 EEG→M2、右侧→M1、中线→平均乳突)、SpO₂ 缩放到 0–100%、派生通道(心率、气流、PAP 状态)。
因此:"HSP 是 200 Hz"这句话只在 HDF5 衍生视图里成立;“HSP 各通道采样率不一、需要逐文件读头"才是原始 EDF 视图的正确描述。另外数据页内部对 HDF5 的状态存在措辞不一致——Usage Notes 说已可用,Data Description 与 Release Notes 说"正在准备中(in preparation)”,实际发布状态请以下载时看到的目录为准(坑 2)。
2.6 BIDS 目录结构
数据遵循 BIDS 1.7.0+ 结构,单次检查的目录如下:
bids/
├── dataset_description.json
├── participants.json
├── participants.tsv
├── README
└── sub-<SiteIdPatientId>/
└── ses-<NN>/
├── sub-<SiteIdPatientId>_ses-<NN>_scans.tsv
└── eeg/
├── ..._task-psg_eeg.edf
├── ..._task-psg_eeg.json
├── ..._task-psg_channels.tsv
├── ..._task-psg_annotations.tsv
└── ..._task-psg_pre.csv
受试者 ID 由"站点标识 + BDSP 患者 ID"拼成,ses-NN 按时间顺序编号。这一点对纵向分析至关重要:同一患者的多次检查共享同一个 sub- 前缀,间隔可通过会话时间戳计算(论文称可据会话时间戳推导检查间隔 inter-study interval),而绝对日期已按受试者内随机平移处理以保留相对顺序、同时防重识别。
2.7 逐会话元数据 CSV:最被低估的一层
HSP 为每次检查提供一行元数据,列名与取值域是使用数据时最先要读的东西:
| 字段 | 含义 |
|---|---|
BDSPPatientID / SessionID |
患者与会话标识 |
CreationTime |
去标识后的时间戳 |
BidsFolder |
对应 BIDS 目录 |
HasAnnotations |
是否有可解析的人工标注 |
HasStaging |
是否有人工分期 |
StudyType |
检查类型(诊断/PAP 滴定/分夜/其他/不明) |
AgeAtVisit / SexDSC |
就诊时年龄、性别 |
likert_scale |
5 级质量等级 |
quality_score |
连续质量分 [0,1] |
caisr_training_set |
是否属于 CAISR 训练集 |
其中 StudyType 与 caisr_training_set 两个字段直接决定了一个会话能不能进你的训练集或评测集——前者防止把 PAP 滴定夜误当诊断夜,后者防止 CAISR 自动标注在训练集上自评(见 §5)。
§3 通道配置与信号处理细节
3.1 AASM 标准导联的最低集合
HSP 宣称"每条记录至少包含标准在室陪护 PSG montage(standard attended PSG montage)“。这句话的分量在于"attended”——有技师在室值守的完整 PSG,而非无人值守的便携监测。其最低通道集合为:
| 模态 | 通道 | 临床用途 |
|---|---|---|
| 脑电 EEG | F4-M1、F3-M2、C4-M1、C3-M2、O2-M1、O1-M2 | 睡眠分期主依据;N3 慢波主要看额导,α 节律看枕导 |
| 眼电 EOG | 双侧 EOG | REM 判定、慢眼动、入睡过程 |
| 颏肌电 chin EMG | 颏下 EMG | REM 肌张力消失、觉醒 |
| 前胫肌电 | 双侧 tibialis anterior EMG | 周期性肢体运动(PLM) |
| 心电 ECG | 单导或双导 | 心率、心律失常、呼吸事件伴随的心率变化 |
| 呼吸努力 | 胸腹带 | 区分阻塞性/中枢性事件 |
| 气流 | 热敏电阻 + 鼻压 | 呼吸暂停与低通气判定 |
| 血氧 | SpO₂ | 去饱和事件 |
这套导联是"能同时做分期 + 呼吸事件 + 觉醒 + 肢体运动"的最小闭环,也是它区别于 2 导联研究级数据集的物理基础。
3.2 参考方式的两大分组及其后果
EEG 参考方式的分裂不是技术细节,而是会影响模型迁移的实质差异:
- 组 A(S0001、I0002):采集时即已以对侧乳突为参考,导联名如 F4-M1 直接是差分信号。
- 组 B(I0003、I0004、I0006):单极(unipolar)存储,M1、M2 作为独立通道存在,需要后处理才能得到同样的差分。
原始 EDF 中,团队按采集时原样提供、未重新参考。也就是说,直接读原始数据时,A 组与 B 组的通道语义不同;要做跨组训练,必须先用 HDF5 衍生格式(已做"左→M2、右→M1、中线→平均乳突"的重参考)或在 EDF 上自行重参考。忽略这一点,模型极易学到"站点指纹"而非睡眠生理(见坑 4)。
3.3 滤波与工频:不能假定的默认值
论文明确提示,厂商软件默认滤波"遵循 AASM 惯例但无保证":EEG/EOG 约 0.3 Hz 高通 / 35 Hz 低通,EMG 约 10 Hz / 100 Hz,ECG 约 1 Hz / 30 Hz。更关键的是,至少一个中心报告对某些通道(尤其是呼吸努力)未做滤波。因此:
- 不要假定全数据集都在 0.3–35 Hz 内。
- 呼吸通道的自定义滤波几乎必然要做(基线漂移、体动伪迹)。
- 50/60 Hz 工频在不同中心强度不同,逐会话质量分级中有专门的工频伪迹筛查项可供过滤。
3.4 质量分级体系
HSP 为每个会话提供两套质量刻画:
- 5 级 Likert:Outstanding(5) / Excellent(4) / Good(3) / Fair(2) / Poor(1);
- 连续质量分
quality_score∈ [0,1]。
在可分析子集中,77.5% 的 PSG 被评为 Outstanding。质量评估基于六类伪迹筛查:平线(flatline)、饱和(saturation)、高幅(high-amplitude)、50/60 Hz 工频、>70 Hz 高频噪声、NaN。
这个设计的好处是把"数据干净不干净"变成可查询的字段,而不是靠使用者逐条听天由命。实用建议:把 quality_score 作为样本权重或过滤阈值,并报告过滤前后的指标,而不是径自剔除——剔除会引入新的选择偏倚。
3.5 HDF5 衍生格式:一个"对齐视图"
HDF5 文件每次 PSG 一个,含 signals 组与 annotations 组,二者逐样本对齐;文件级元数据记录采样率、通道单位、测量起始时间;跨站点通道映射表在论文补充表 S8。相比 EDF,它的价值有三点:
- 统一 200 Hz,跨中心可直接拼接 batch;
- 统一通道名与参考,省掉大量预处理代码;
- 逐样本 PAP 状态通道——这点极其关键,可直接屏蔽 PAP 给气时段,避免滴定夜把 AHI 和睡眠结构算歪(见 §7.2)。
§4 三条价值主线:为什么这套数据不是"又一个 PSG 数据集"
4.1 价值一:真实临床 PSG,而非研究级简化导联
研究级公开数据集的常见形态是"够用来做分期"的最小导联:两导 EEG(Fpz-Cz、Pz-Oz)、一导 EOG、一导颏肌电。Sleep-EDF 是这个形态的经典代表,它的优点是可复现、干净、标注一致,缺点是做不了呼吸事件、做不了肢体运动、做不了觉醒-呼吸耦联。
HSP 的每条 PSG 都有完整的呼吸与运动通道,且这些通道来自临床设备而非研究级放大器。这意味着三类任务在 HSP 上第一次有了"真实临床级"的规模:
- 呼吸事件检测:阻塞性/中枢性/混合性呼吸暂停、同类低通气、呼吸努力相关觉醒(RERA),带起止时间,1 秒分辨率(CAISR 自动标注)。
- 觉醒检测:0.5 秒分辨率(CAISR 自动标注)与人工觉醒标注双重来源。
- 肢体运动检测:1 秒分辨率(CAISR);PLM 需要前胫肌电,研究级数据集普遍没有。
同时,真实临床设备的代价是异质性:四家厂商、至少三代硬件、两种参考方式、不统一的滤波。HSP 没有假装这个问题不存在,而是用"原始保留 + 标准化衍生 + 质量分级"三件套把选择权交给使用者。这个取舍值得记住:它给的是真实度,收取的费用是预处理工作量。
4.2 价值二:有临床背景,诊断可与检查时间对齐
大多数睡眠公开数据集只提供"信号 + 分期标签",人群背景是薄的:年龄、性别、可能一个 BMI、可能一个 AHI 分层。HSP 把 EHR 的诊断链接进来,覆盖 22 类 ICD-10,每条诊断带就诊日期。
这带来三种在别处很难做的研究设计:
- 检查前诊断 → 睡眠表型:例如"检查前已诊断帕金森病"与"REM 睡眠行为障碍相关睡眠结构改变"的关系;"检查前已诊断心衰"与中枢性呼吸暂停比例的关系。
- 睡眠表型 → 后续诊断:利用同一患者在数据集内后续就诊的诊断日期,做"睡眠指标能否预测某类诊断出现"的探索(因果解释须极其谨慎,见 §7.4)。
- 共病分层:把"纯 OSA 人群"(无其他神经/精神诊断)与"OSA + 抑郁"、"OSA + 房颤"分组比较,考察模型在不同共病层上的表现差异——这在临床落地时是必答题,而多数公开数据集根本没有足够的共病异质性来出这道题。
此外数据集还附带一个衍生表征:对 C4-M1 可用的成人 PSG,团队用 Sleep Brain Health 模型输出 1024 维潜表征、脑健康评分与认知预测评分,并报告脑健康评分随年龄下降(Pearson r = −0.49)。这个衍生层的用途是提供一个"非分期"的连续表型,可作为下游回归目标或弱监督信号;但它由模型生成,不是金标准,用作标签时必须声明来源。
4.3 价值三:纵向结构,同一患者多次检查可追踪
设一个患者做过两次 PSG,第一次是诊断夜、第二次是 CPAP 滴定夜或复查,这两条记录在 HSP 中共享 sub- 前缀、分属 ses-01 与 ses-02。这使以下分析成为可能:
- 治疗前后对比:同一患者未治疗夜 vs PAP 治疗夜的睡眠结构变化;
- 疾病进展:多年复查患者的睡眠碎片化趋势;
- 个体内一致性:同一患者两次夜间的分期差异(night-to-night variability),这是评估"单夜 PSG 是否够用"的核心问题,也是临床上长期未解的实际问题;
- 纵向预训练:把"同一患者的不同夜晚"作为正样本对,做患者级对比学习,检验表征是否捕捉到稳定的个体特征。
必须同时说清楚边界:数据集提供了"能纵向"的结构,但没有公布"有多少人能纵向"。人均 1.32 次记录意味着大部分患者只有一次检查,长随访轨迹的患者是少数。论文把逐队列的"每患者检查次数"放在补充表 S1,正文未给具体分布。因此任何"纵向研究"的样本量都要以实际筛选结果为准,不能拿 119,234 当纵向样本量。
§5 标注体系:人工、自动与两者的关系
5.1 人工评分:84,582 条,占 PSG 的 73.5%
人工评分是 HSP 的"地面真值"层,但有三个必须记住的限定:
- 覆盖不全:84,582 / 115,129 = 73.5% 的 PSG 具备可解析的人工 hypnogram;其余约 26.5% 没有可用的人工分期。分母是 PSG 而非全部 119,234 条记录(HSAT 无 EEG,自然无分期)。
- 完全手工:论文强调这些评分是"完全手工(not semi-automatically)"完成的,由注册多导睡眠技师(RPSGT/RST)按 AASM 手册评分,并由认证睡眠医学专科医师签署。
- 评分者信息未保留:个体评分者身份、经验年限、逐 PSG 归属均未保留,因此无法在逐 PSG 层面重建评分者效应。这对"评分者间一致性"研究是一个硬限制——你只能研究"中心级"差异,不能研究"人级"差异。
人工评分的时间分辨率为 30 秒 epoch,类别为 W / N1 / N2 / N3 / REM 五类(N3 为合并后的慢波睡眠,不含旧 R&K 的 S3/S4 之分)。
5.2 低通气标准的跨队列分裂及处理
AASM 的低通气判定存在两套 Recommendation/Optional 标准:4% 去饱和(限制性)与 3% 去饱和或觉醒(宽松性)。HSP 的原始数据来自不同年代、不同中心,两套标准并用;论文明确指出 “Montage composition and hypopnea scoring criteria varied across cohorts”。
团队的处理方式是:在统一分析时,把两套标准下标注的事件归并为单一 hypopnea 类别(collapse)。这是诚实但保守的做法——它使"有没有低通气事件"可比,但牺牲了严重度分级的可比性。实用后果:
- 若你的任务是"事件有无的检测",可直接用;
- 若你的任务是"AHI 精确回归"或"重度 vs 轻度分级",必须按中心分层报告,或先估计各中心的标准倾向再校正;
- 论文正文没有给出 AHI 等 PSG 衍生呼吸指标的统一定义与数值(未公开),事件以标注形式提供,聚合指标需自行计算。
5.3 AASM 版本问题:一个必须正面处理的历史层累
“HSP 按 AASM 标准评分"这句话是对的,但很容易被误读为"全数据集同一套规则”。准确表述是:按采集当时生效的 AASM 评分手册评分(“following the AASM scoring manual in effect at the time of acquisition”)。
由于五个中心跨多年采集,而 AASM 手册本身在 2007 年首版后经历多次修订,同一数据集内必然存在"早期夜用旧版、近期夜用新版"的层累。影响最大的几处通常是:
- N3 的判定边界(慢波幅度与 epoch 占比阈值)——AASM 手册历经多次修订,慢波幅度阈值与 epoch 占比要求曾发生调整;
- 觉醒判定时长(3 秒规则的一致执行,跨中心执行严格度不同);
- 呼吸事件终止规则与 RERA 定义;
- 儿童评分规则(儿科有专门的规则差异,I0003 队列尤其相关)。
实践建议:把 CreationTime 做时间分层,先检验"分期构成比是否随年份漂移",再决定是否需要在模型中加入年份作为协变量。这不是过度谨慎——AASM 版本变化对 N3 占比的影响在文献中是有量级的。
5.4 CAISR 自动标注:约 80,000 条
CAISR(Complete AI Sleep Report)是团队自研的自动标注框架,对满足通道要求的约 80,000 条记录生成四层标注:
| 标注层 | 时间分辨率 | 内容 |
|---|---|---|
| 睡眠分期 | 30 秒 | W / N1 / N2 / N3 / REM |
| 呼吸事件 | 1 秒 | 呼吸暂停与 RERA |
| 觉醒 | 0.5 秒 | 皮层觉醒 |
| 肢体运动 | 1 秒 | 肢体运动事件 |
关于训练/留出划分,这是使用 CAISR 标注时最重要的一条纪律:
- 训练集 21,004 个会话,来自 14,941 名参与者,全部位于 S0001;
- 其余约 94,000 个会话为 held-out,来自 I0002、I0003、I0004、I0006;
- 逐会话可通过
caisr_training_set布尔字段识别。
因此:如果你要评估一个基于 CAISR 标注训练的模型,必须只用 held-out 会话;如果你的语料里混入了 S0001 且未看 caisr_training_set,你得到的将是训练集上的自评分数。这是本数据集最容易踩的一个隐性泄漏(坑 5)。
5.5 人工 vs 自动:怎么组合
两种标注各有可用面,组合策略建议如下:
| 任务 | 推荐标签来源 | 理由 |
|---|---|---|
| 分期模型的监督训练 | 人工(84,582) | 人工是金标准;CAISR 在其训练子集上有循环论证风险 |
| 大规模弱监督/预训练 | CAISR(约 80,000,排除 S0001 训练子集) | 覆盖呼吸/觉醒/运动三层次,人工层没有 |
| 呼吸事件检测评测 | 人工事件标注 + 净化后的 CAISR held-out | 人工事件标注的覆盖与粒度须先核 |
| 觉醒检测 | 人工 + CAISR 0.5 秒层 | 0.5 秒粒度是人工 30 秒 epoch 无法提供的 |
| 跨中心泛化评测 | held-out 四中心的 CAISR 或人工 | 天然的多中心留出设计 |
论文的图示分工也印证了这一点:年龄相关睡眠指数的分析以人工评分为主(限 84,582 可解析会话),而年龄相关常模图则基于 CAISR 更大覆盖。
§6 获取与许可:受控访问的现实路径
6.1 访问模型
HSP 的访问模型是单层受控访问,没有"公开样本 + 全量申请"的双轨:
- 原文:“Only credentialed users who sign the DUA can access the files.”
- 通过资质审核(credentialed)并签署数据使用协议(DUA)后方可访问;
- 数据经 BDSP 的 S3 Access Point(
bdsp-credentialed-access-point)分发,获批准后该 access point 指向你被授权的桶路径; - 官方示例命令形如:
aws s3 sync \
s3://arn:aws:s3:us-east-1:<account>:accesspoint/bdsp-credentialed-access-point/PSG/bids/S0001/ \
./S0001/
- 数据页明确提示:这是"每个队列数百 GB 的同步"(multi-hundred-GB sync per cohort),全库量级为多 TB,但确切总容量未公开。
6.2 伦理与去标识
- 去标识遵循 HIPAA Safe Harbor 规则(移除 18 类标识符);
- 单一 IRB 协议 #2022P000417,豁免知情同意;
- 日期按受试者内随机平移,保留相对时间顺序但去除绝对日历对应。
这三点组合起来说明了一个设计取向:保留纵向结构的同时切断重识别路径。它也让"绝对年份"成为一种只有中心内部才知道的信息——这解释了为什么采集起止年份在公开材料中缺失。
6.3 许可:一个必须诚实标注的空白
BDSP 页面没有载明数据的具体许可证名称(如 CC BY、ODC-By、CC0 之类)。能确证的只有两件事:
- 访问受 DUA 约束,属受控访问而非开放许可;
- 论文正文版权归 Sleep Research Society / Oxford University Press 所有(“© The Author(s) 2026. Published by Oxford University Press on behalf of Sleep Research Society”),这是论文的版权,不是数据的许可。
两者不能混为一谈。按本库纪律,数据许可证一项记为未公开,任何"HSP 是 CC BY"或"HSP 可商用"的说法都没有来源支撑。商用前必须直接向 BDSP/通讯作者确认 DUA 条款。
6.4 申请路径的现实建议
虽然 BDSP 的具体表单流程未在页面公开细节,但可确认的准备项包括:
- 明确研究用途描述与机构隶属;
- 确认机构具备签署 DUA 的主体资格(多数 DUA 要求机构法务签署,而非个人);
- 预算存储与算力:单队列数百 GB,全库多 TB,且 EDF 体积远大于 200 Hz 的 HDF5(若已在 BIDS 目录内提供);
- 提前确定你需要的会话子集(如仅成人诊断性 PSG、仅
has_staging=true),避免全量同步。
6.5 AI-Ready 视角的一句话评估
HSP 在"数据本身的质量与结构"上属于顶配(BIDS、逐会话元数据、质量分、双层标注),在"可获取性"上属于最低档(全部受控、无公开样本、许可证不明)。它适合有机构背书的正式研究项目,不适合周末想快速试跑的独立开发者。
§7 局限与使用边界:不要过度吹
7.1 诊断时间:只有编码与日期,没有诊断过程
ICD-10 链接提供的是一条编码 + 一个就诊日期。它不提供:
- 诊断依据(多导睡眠图报告本身的结论文本是否提供,论文未明确说);
- 诊断的确诊等级(临床印象 vs 金标准确诊);
- 诊断的时间跨度(某编码可能来自多年前的一次门诊);
- 编码质量(不同中心的编码习惯、编码员差异、upcoding 倾向)。
因此"22 类 ICD-10"应当理解为22 个粗粒度标签族,而不是 22 个经过验证的疾病标签。做共病分层时建议限定在编码表意明确、各中心编码一致性较好的几类(如 OSA、2 型糖尿病、房颤、抑郁),并对每一类核查其在不同中心的发生率是否合理。
7.2 记录完整性:五重缺口
HSP 的"119,234"是一个归档条数,不是"可用样本数"。逐层扣减如下:
| 缺口 | 数量/比例 | 后果 |
|---|---|---|
| HSAT 无 EEG | 4,105 条 | 不能用于分期 |
| 无人工评分 | 约 26.5% 的 PSG | 只能靠 CAISR 或弃用 |
| PAP 给气会话 | 23,693 会话(20.6%) | 睡眠结构与 AHI 被治疗扭曲 |
| PAP 滴定 / 分夜 | 15.3% / 5.2% | 非"自然状态"夜间 |
| 其他/不明研究类型 | 12.1%(集中在 I0004) | 无法判断是否可作诊断夜 |
研究类型分类的完整口径:115,129 条 PSG 中 103,987 条(90.3%)有类型标签,其中诊断性 57.0%、PAP 滴定 15.3%、分夜 5.2%、其他/不明 12.1%。这意味着只有约六成的 PSG 是干净的诊断夜。任何以"自然睡眠"为假设的分析,第一步都应当是筛 StudyType = diagnostic 并用 HDF5 的 PAP 状态通道切除治疗时段。
另一个完整性问题是协议分类与通道定义相互独立:基于标注的 StudyType 与"缺少 EEG 通道即判为 HSAT"的通道定义是两条独立判据,在逐会话层面不必一致。若二者冲突,以通道实况为准。
7.3 评分异质性:三个来源叠加
- 版本:AASM 手册随年份演进(§5.3);
- 中心:五家中心的技师培训、内部质控、设备默认滤波不同;
- 标准选择:低通气 4% vs 3%+觉醒(§5.2)。
团队做了标准化(BIDS、通道映射、200 Hz 重采样、参考重算),但标准化处理的是技术层,不是评分层。评分层的异质性被"保留 + 归并 + 质量分级"应对,而不是被消除。这是正确的取舍(强行重评分 12 万夜不现实),但使用者必须自己承担分层责任:任何跨年、跨中心的比较,都应先做一次「分期构成比 × 中心 × 时间」的交叉表体检。
7.4 就医行为带来的偏倚:三层
- 转诊偏倚(referral bias):能进睡眠门诊并做成 PSG 的人,本身是"被医生怀疑有睡眠障碍"的人。数据集中 OSA、失眠、REM 行为障碍的患病率必然远高于社区。用它估计人群患病率是根本性错误。
- 检查适应证偏倚:不同年代、不同中心的 PSG 开具标准不同(如便携监测普及后,轻症患者更多走 HSAT),因此"PSG 人群"本身随年份漂移。
- 随访偏倚(纵向分析时):有多次检查的患者,通常是病情更重、需要滴定或复查的人。用"多次检查者"做纵向分析,结论不能外推到"所有患者"。
论文本身描述了数据来源为临床门诊人群,但未显式使用"referral bias"一词展开讨论。本条目按数据本质如实标注,这是编者判断,不是论文原话(见坑 8)。
7.5 其他边界
- 无用药信息:论文与数据页均未提及药物字段,未公开。对睡眠影响极大的药物(苯二氮䓬、抗抑郁药、兴奋剂)无法作为协变量控制,这是做治疗反应研究时的一个实质缺口。
- 无绝对时间:日期被随机平移,跨数据集的日历对齐不可行。
- 无评分者标识:无法做评分者级一致性分析。
- 采集年份未公开:无法直接按日历分年建模,只能用
CreationTime的相对顺序。 - 脑健康评分是模型输出:不是临床金标准,不能当标签用而不加声明。
§8 生态位置与方法学启示
8.1 在公开睡眠数据景观中的坐标
公开睡眠数据大致可按两个轴定位:采集目的(研究级 / 流行病学 / 消费级 / 临床常规)与 导联完整度(简化 / 完整 PSG)。HSP 落在"临床常规 + 完整 PSG"这一格,并且是这一格里目前规模最大的一件。
这一格此前的代表是各家医院自建的单中心数据库,通常不对外发布。HSP 的意义不在于提出了新方法,而在于证明了一条路径可行:跨机构、跨厂商、跨年代的临床 PSG 可以在单一 IRB 框架与 BIDS 标准下被整合并受控发布。这条路径一旦被复制,接下来出现的可能是欧洲、亚洲的多中心同类数据集——那时 HSP 的角色会从"最大"变成"第一个"。
8.2 三条可迁移的方法学经验
第一,标准化不等于同质化。 HSP 没有试图把五个中心变成"一个中心"。它保留原始采样率、保留原始参考方式、保留原始评分,只在衍生层做统一(200 Hz、统一参考、统一通道名),并把异质性写成显式字段(quality_score、likert_scale、StudyType、队列代号)。这是处理多中心数据更诚实也更耐用的做法。
第二,把"这条数据能不能用"变成一个可查询的问题。 逐会话元数据 CSV 里每一列都对应一个使用决策:has_staging 决定能否做分期监督,StudyType 决定能否当诊断夜,caisr_training_set 决定能否进评测集,quality_score 决定权重。这种"元数据即接口"的取向,比写一篇长长的 README 说"注意数据质量参差"有效得多。
第三,训练集与留出集按中心切分。 CAISR 的训练集全部来自 S0001(21,004 会话 / 14,941 人),留出覆盖其余四中心约 94,000 会话。按中心切分比按随机样本切分更接近真实部署场景,也更难被"同中心泄漏"虚高。做跨中心泛化研究时,这套切分可以直接借用。
8.3 对算法开发者的三条现实提醒
- 规模红利与清洗成本同时放大。12 万夜的体量确实能让分期模型吃满,但你要先花时间处理参考方式、采样率、滤波差异,这部分工作量在许多"快速上手"的项目里被低估了 2 到 3 倍。
- 标签噪声是结构性的,不是随机的。AASM 版本差异、中心差异、低通气标准差异都是系统性的,会以"中心指纹"的形式进入模型。按中心报告指标(per-site metrics)比报告一个总体数字更有信息量。
- 临床价值在"共病分层"而不在"再刷一个分期 SOTA"。分期在 Sleep-EDF 上早已接近饱和;HSP 能提供的是"同一模型在不同 ICD-10 共病层上的表现差异"这类临床真正关心的问题。
§9 与库内条目的关系:并列而非超集
这一节是本条目的重点。HSP 体量大,极易被误写成"库内所有睡眠数据集的超集",这是错的。下表逐条厘清:
| 库内条目 | rid | 采集目的 | 与 HSP 的实质差异 |
|---|---|---|---|
| Sleep-EDF | 73 | 研究级 | 仅 2 导 EEG + EOG + 颏肌电;100 Hz;健康志愿者为主;含睡眠纺锤波等细标注;HSP 无对应细标注,但 HSP 有完整呼吸/运动通道 |
| ISRUC-Sleep | 262 | 研究级(临床受试者) | 单中心、百人级;有专家共识重评分流程;HSP 无逐 PSG 评分者信息,无法做同等级一致性研究 |
| MrOS Sleep | 292 | 流行病学队列 | 社区老年男性、居家便携 PSG;人群同质但代表性明确;HSP 是临床转诊人群,不可互推患病率 |
| MESA Sleep | 302 | 流行病学队列 | 多种族社区人群、居家 PSG + 配套问卷/影像;HSP 无问卷、无影像、无族群字段披露 |
| HMC Sleep Staging | 654 | 研究级 | 单中心小样本;HSP 规模大三个数量级但不提供其特定的标注细目 |
| CAP Sleep Database | 1072 | 研究级(病理富集) | 以周期性交替模式(CAP)与特定神经疾病为特色,标注体系含 CAP 周期;HSP 无 CAP 标注 |
| PhysioNet/CinC 2018 | 1173(legacy 493) | 挑战赛 | 1,985 例整夜 PSG 的觉醒逐样本标注挑战;HSP 的 CAISR 觉醒为 0.5 秒自动层,不可直接替代挑战赛标签 |
| BOAS (Bitbrain) | 1174 | 研究级 | 100 人 128 夜的临床 PSG + 干电极头带同步;CC0 公开可下载;HSP 全部受 DUA |
| TILES-2018 | 1175 | 消费级纵向 | 139 名医院员工 10 周 Fitbit 数据 + 自评量表;HSP 无自评量表、无消费级设备 |
| NCH Sleep DataBank | 1013 | 单中心儿科临床 | 全美儿童医院儿科 PSG + 纵向 EHR;HSP 的 I0003 是其可比对象,但规模与覆盖不同,不可合并或互替 |
| bidsleep-dataset | 1004 | 消费级 + 研究 EEG | Apple Watch 与 Dreem2 头带多夜数据;HSP 无消费级设备通道 |
归纳三条:
- 不可互推患病率:HSP 是临床转诊人群,MrOS/MESA 是社区人群。这两类数据回答的是不同问题。
- 不可互替标签:Sleep-EDF 的纺锤波、CAP 的 CAP 周期、CinC 2018 的挑战赛标签,HSP 都没有。HSP 有的是呼吸、运动、觉醒三层临床标注与 ICD-10 链接。
- HSP 的独有组合是"完整导联 + 临床诊断链接 + 纵向结构 + 万级患者",这三项同时具备的公开数据目前只有它。
§10 避坑清单:八个已踩过的坑
坑 1:把「HSP 是 200 Hz」当成全集规格
这个误读在所有二手摘要里最常见。200 Hz 是 HDF5 衍生格式的重采样率,不是原始 EDF 的采样率。原始 EDF 保留各中心的采集频率:Natus(Embla NDx/SDx,含 SD32+)最高 4000 Hz、24-bit;Grass(Comet-PLUS/AS40-PLUS)800 Hz、16-bit;Embla legacy(S4500/N7000)500 或 512 Hz、16-bit;Philips Respironics(Alice 6/G3)最高 2000 Hz、实际存储常 ≤500 Hz、16-bit;SOMNOmedics SomnoScreen 随配置而变。
后果:如果按 200 Hz 写死了预处理参数(滤波器阶数、窗长、降采样倍数),在 4000 Hz 的会话上会得到完全不同的频响;更糟的是,按 200 Hz 假定去算频谱特征时,奈奎斯特频率被错误地认为是 100 Hz,而实际信号里可能有 100 Hz 以上的肌电成分被混叠进来。正确做法是逐文件读 EDF 头,先统一到目标频率,再进入特征提取。
坑 2:假定 HDF5 衍生格式一定存在
数据页内部对 HDF5 的状态描述不一致:Usage Notes 段落把它写成可用,Data Description 与 Release Notes 段落称"正在准备中(in preparation)"。这种措辞分裂在版本迭代期很常见,但对使用者是实打实的风险——如果你按"HDF5 已存在"设计整条流水线(统一通道名、重参考、PAP 状态切除全部依赖它),下载后发现只有 EDF,整个预处理要重写。
正确做法:先做一次最小同步(只拉一个队列的一个会话目录),确认 HDF5 是否在包里;不在就立即切到"EDF + 自建预处理"路线,不要等。
坑 3:把 119,234 条全当 PSG
这是一个数量级不大但性质严重的错误。119,234 是"整夜记录"总数,PSG 是 115,129,HSAT 是 4,105。HSAT 通常没有 EEG 通道,也没有完整的眼电/肌电,因此:
- 分期任务:HSAT 完全不可用,混进去会导致大量样本"全是 Wake 或无法分期";
- 呼吸事件任务:HSAT 可用,但要单独报告,不能与 PSG 混算;
- 统计描述:把 HSAT 计入"PSG 数量"会让论文里的样本量口径与原始论文对不上。
识别方法:通道定义以 channels.tsv 为准,缺 EEG 的会话即判为 HSAT;这与基于标注的 StudyType 是两条独立判据,在逐会话层面可能冲突,冲突时以通道实况为准。
坑 4:跨中心直接用原始 EDF 混训
S0001 与 I0002 的 EEG 是采集时即以对侧乳突为参考的差分信号(如 F4-M1 直接就是差分通道);I0003、I0004、I0006 是单极存储、M1/M2 作为独立通道存在。论文明确说明原始 EDF 按采集时原样提供、未重新参考。
后果:同一个"通道"在两组里语义不同。模型在混合数据上训练时,很容易把"参考方式"这个与睡眠无关的技术差异学成判别特征——典型表现是模型在同一中心内的测试集上表现很好,跨中心测试时断崖式下降,而且降幅恰好出现在"参考方式不同"的切分上。
正确做法:统一用 HDF5(已做左→M2、右→M1、中线→平均乳突的重参考),或在 EDF 上自行重参考后再进入后续流程。重参考规则要写进项目文档,不要只留在某个人的 notebook 里。
坑 5:用 CAISR 标注训练又用它评测
CAISR 的训练集是 S0001 的 21,004 个会话、来自 14,941 名参与者;其余四中心约 94,000 会话才是 held-out。数据页提供 caisr_training_set 布尔字段用于识别。
两层泄漏风险:
- 会话级泄漏:训练会话直接进入测试集;
- 患者级泄漏:训练集中的患者,其另一晚的会话被放进测试集——同一患者的生理特征与设备环境高度相似,仍会抬高分数。
正确做法是剔除训练会话及其对应患者的全部会话。如果做跨中心评测,进一步把 S0001 整体划为"近域",其余四中心为"远域",分别报告。
坑 6:把 PAP 滴定夜当诊断夜
20.6%(23,693 会话)涉及 PAP 给气,其中 PAP 滴定占 15.3%、分夜占 5.2%。这些夜晚的睡眠结构是被治疗干预过的:正压通气会消除大部分呼吸事件、改变觉醒负荷、改变 REM 分布。
后果:如果不筛 StudyType,你的"OSA 严重度"标签会被滴定夜稀释(治疗有效 → 事件变少 → 被误判为轻症);"睡眠结构"分析会被 PAP 压力波动污染。
正确做法:第一步筛 StudyType == diagnostic;第二步,对含 PAP 的会话(包括被标为诊断夜但中途加 PAP 的),用 HDF5 的 PAP 状态通道切除治疗时段;第三步,在方法学里报告筛掉了多少。
坑 7:把"22 类 ICD-10"当成 22 个验证过的疾病标签
ICD-10 编码是粗粒度标签族。它带就诊日期,但不带确诊依据、不带严重度分级、不带编码质量信息。不同中心的编码习惯差异很大(有的中心倾向把"疑似"也编码进去,有的更保守),编码员之间的差异也会累积。
后果:直接跨中心比较某类疾病的阳性率,很可能比较的是"编码习惯"而不是"疾病负担"。
正确做法:限定在编码表意明确、跨中心一致性较好的少数几类;对每一类先做逐中心阳性率体检;在论文里报告编码使用的时间窗(如"本次检查前 5 年内")。HSP 的 G47.x 睡眠相关子类在补充表 S4 中有专门梳理,是较好的起点。
坑 8:假定论文讨论过转诊偏倚
论文在 Methods 与 Background 中描述了数据来自临床门诊人群,也指出了既有数据集"单中心、年龄特异、以流行病学为主"的局限;但本次核验所见的正文与摘要中,没有显式使用"referral bias"一词展开讨论。
本条目的 §7.4 把偏倚拆成三层(转诊、检查适应证、随访),这是编者基于"数据来源本质"所做的分析,不是论文原话。引用时务必区分:可以说"HSP 数据来自临床转诊人群",不能说"论文指出 HSP 存在转诊偏倚"。
坑点小结表
| 坑 | 触发条件 | 典型症状 | 修复成本 |
|---|---|---|---|
| 坑 1 | 按 200 Hz 写死预处理 | 频响异常、混叠 | 中(重跑预处理) |
| 坑 2 | 依赖 HDF5 | 下载后流程断层 | 高(重写管道) |
| 坑 3 | 不分 PSG/HSAT | 分期样本大量无效 | 低(加一行过滤) |
| 坑 4 | 原始 EDF 混训 | 跨中心断崖 | 高(重参考+重训) |
| 坑 5 | CAISR 训练集混入评测 | 分数虚高 | 低(过滤即可,但发现晚则结论作废) |
| 坑 6 | 不筛 PAP 夜 | 严重度标签错乱 | 中 |
| 坑 7 | ICD 当验证标签 | 患病率结论失真 | 中 |
| 坑 8 | 引用不实 | 审稿被质疑 | 低 |
§11 总结
11.1 三句话总结
- HSP v3.0 把五家美国学术医疗中心的临床常规 PSG 聚合成 119,234 条整夜记录(90,166 人、115,129 PSG + 4,105 HSAT),按 BIDS 1.7.0 结构化、链 ICD-10 诊断、提供人工与 CAISR 双标注。
- 它的不可替代性在于"真实临床导联 + 临床背景 + 纵向结构"三项同时成立——这三点分别对应呼吸/运动/觉醒三类任务、共病分层研究、个体内变异研究。
- 它的成本在于"全部受 DUA 管控 + 评分异质性结构化存在 + 只有约六成是干净诊断夜",使用者必须自己做分层、筛夜和处理跨中心差异。
11.2 适合谁
- 做呼吸事件、觉醒、肢体运动检测的研究组(需要完整导联且要真实临床分布);
- 做跨中心泛化与域适应研究的团队(五个中心、四种设备、两种参考方式天然构成域划分);
- 需要把睡眠表型与神经/心代谢诊断关联的临床神经科学研究;
- 研究"单夜 PSG 是否够用"这类个体内变异问题的团队(需先筛出多次检查者);
- 有机构 DUA 背书、能承担多 TB 存储与合规流程的正式项目。
11.3 不适合谁
- 想周末快速跑通一个分期原型的个人开发者(受控访问 + 数百 GB 同步 + 预处理成本);
- 需要社区人群代表性做流行病学推断的研究(转诊偏倚致命);
- 需要睡眠纺锤波/K 复合波细标注、CAP 周期、或挑战赛标准标签的任务(HSP 没有);
- 需要对药物暴露做协变量控制的研究(无用药字段)。
11.4 30 秒决策卡
| 你的问题 | 答案 |
|---|---|
| 要完整导联 + 真实临床分布? | 是 → HSP 是首选 |
| 要公开直链快速试跑? | 否 → 用 BOAS(1174) 或 Sleep-EDF(73) |
| 要社区人群患病率? | 否 → 用 MrOS(292) / MESA(302) |
| 要儿科临床 PSG? | 可,I0003 队列;也可比 NCH(1013) |
| 要消费级纵向? | 否 → 用 TILES-2018(1175) |
| 能签 DUA、有机构背书? | 是 → 走 BDSP 申请 |
FAQ(高频问答 40 问)
A. 基础认知
A1. HSP 的名字有几种写法?
三种常见写法:The Human Sleep Project(正式全称)、Human Sleep Project(去掉冠词)、HSP(首字母缩写)。数据页标题为 “The Human Sleep Project” + 版本号 3.0。检索时应同时试 “Human Sleep Project” 与 “HSP PSG”。
A2. 它和"睡眠研究学会(SRS)"是什么关系?
论文发表在 SRS 官方期刊 SLEEP(Oxford University Press 出版),版权归 SRS/OUP。数据集本体由 BDSP 托管,与期刊是两个独立主体。
A3. 它是挑战赛吗?
不是。HSP 没有排行榜、没有公开测试集提交入口、没有奖金。它是一份受控访问的数据档案。
A4. 它是队列研究吗?
不是。它是对既有临床检查的回顾性聚合,不是前瞻性招募并随访的队列。这一点决定了它的人群代表性(§7.4)。
A5. v3.0 之前还有哪些版本?
数据页的 v3.0 变更说明指出,v3.0 新增了 I0003、I0004、I0006 三个队列,并把语料扩到 119,234 条,同时引入 CAISR 自动标注、逐会话质量分级、脑健康评分与 1024 维表征、22 类 ICD-10 链接、标准化逐会话元数据 CSV。更早版本的具体条数与发布日期,本次核验未见公开载明(未公开)。
A6. 为什么叫"计划(Project)“而不是"数据集(Dataset)”?
因为它的定位是持续扩队列的长期工程:v3.0 加三个队列、加自动标注层、加脑健康表征,说明后续版本仍会扩。论文题目则用 “Dataset” 描述当前产出。
A7. "全生命周期"具体指哪个年龄段?
论文口径是"infancy to individuals over 90 years old",即从婴儿到九十岁以上(第 10 个十年)。儿科部分由 I0003 提供(12,825 人,8.0±6.0 岁)。
A8. 90,166 和"more than 90,000"哪个是对的?
两个都对,只是口径不同。摘要用约数 “more than 90,000 unique patients”,数据页给出精确值 90,166。本条目同时给出并在 §2.1 说明。
A9. 五个中心分别是哪五家?
Stanford University、Massachusetts General Brigham(MGB)、Emory University、Beth Israel Deaconess Medical Center(BIDMC)、Boston Children’s Hospital(BCH),均由论文正文点名。
A10. 为什么数据里只有代号 S0001/I0002 之类?
去标识需要。代号与机构的逐一映射表未在公开材料中给出(未公开),这是有意的设计,避免通过机构反推患者。
B. 数据与规格
B11. PSG 和 HSAT 的区别会影响什么?
HSAT 通常无 EEG,无法做睡眠分期,只能做呼吸事件相关分析。4,105 条 HSAT 必须从分期语料中排除。
B12. 每条记录是一次检查还是一个夜晚?
一次整夜检查。数据页用 “overnight sleep recordings”,论文用 “sleep studies”。不是"人均多夜"的意思,同一患者多次检查对应多条记录、多个 ses-NN。
B13. 通道数是固定的吗?
不是。最低标准是 AASM 标准导联(6 导 EEG + EOG + 颏肌电 + 前胫肌电 + ECG + 呼吸努力 + 气流 + SpO₂),但各中心可能额外加通道。逐会话以 channels.tsv 为准。
B14. EDF 文件有多大?
论文未给出单文件体积,只给出"每队列数百 GB"的同步量级。单夜 EDF 的体积取决于采样率与通道数,Natus 4000 Hz 的会话会显著大于 200 Hz 衍生格式。
B15. 数据是分片下载的吗?
按队列(S0001、I0002、I0003、I0004、I0006)分路径,aws s3 sync 逐队列同步。可按 ses 目录精确拉取所需子集。
B16. 标注文件是什么格式?
BIDS 规范下 _annotations.tsv(事件与分期标注)、_channels.tsv(通道描述)、_eeg.json(采集参数)、_scans.tsv(会话级扫描信息)。HDF5 衍生格式则把 signals 与 annotations 放在同一文件内逐样本对齐。
B17. 有没有统一的时间零点?
HDF5 文件级元数据记录测量起始时间;EDF 自带起始时间戳。但绝对日期已被随机平移(§6.2),因此跨数据集的日历对齐不可行。
B18. SpO₂ 的单位统一吗?
HDF5 中已缩放到 0–100%;原始 EDF 中不同厂商可能用不同刻度(0–100 或 0–1),须读通道描述。
B19. 有 PAP 状态通道吗?
有,在 HDF5 衍生格式中提供逐样本 PAP 状态通道,可用于切除治疗时段。原始 EDF 中 PAP 状态可能只体现为独立的压力/流量通道或不出现在信号里。
B20. 质量分和 Likert 等级是同一套东西吗?
是同一质量评估的两种表达:5 级离散标签(Outstanding 到 Poor)与连续分 [0,1]。可分析子集中 77.5% 为 Outstanding。
C. 标注与评分
C21. N3 是合并的还是分开的?
合并。HSP 使用 W/N1/N2/N3/REM 五类,不区分旧 R&K 的 S3/S4。
C22. 有没有 N1 与 Wake 的争议处理?
没有专门说明。人工评分按 AASM 执行,N1/Wake 边界本身就是 AASM 评分中一致性较低的部分,跨中心差异会体现在这里。
C23. 呼吸事件有哪些类型?
阻塞性、中枢性、混合性呼吸暂停;阻塞性、中枢性、混合性低通气;呼吸努力相关觉醒(RERA)。均带起止时间。
C24. AHI 可以直接取吗?
不能直接取。论文正文未给出 AHI 等聚合指标的定义与数值(未公开),需由事件标注自行计算,并注意低通气标准不统一(§5.2)。
C25. 觉醒标注的粒度?
人工层是 30 秒 epoch 内的觉醒标记(AASM 以 epoch 计);CAISR 自动层提供 0.5 秒分辨率的觉醒。两者不可混用。
C26. 肢体运动标注可靠吗?
CAISR 提供 1 秒分辨率的肢体运动事件标注;人工层的 PLM 标注依赖各中心是否按 AASM 报告。做 PLM 研究需先核实人工层的覆盖率。
C27. 人工评分是谁做的?
注册多导睡眠技师(RPSGT/RST),按采集当时的 AASM 手册,由认证睡眠医学专科医师签署。个体评分者身份未保留。
C28. 可以重评分吗?
可以,技术上没有任何限制——但 12 万夜全量重评分不现实。可行做法是对目标子集抽样重评分,用来估计原标签的误差率。
C29. CAISR 是什么的缩写?
Complete AI Sleep Report,团队自研的自动睡眠报告框架,提供分期、呼吸事件、觉醒、肢体运动四层标注。
C30. CAISR 的准确率如何?
论文以 CAISR 生成标注并做描述性分析,本次核验未取得逐层与人工对照的完整准确率表(未公开具体数值)。使用时建议自行在人工评分子集上验证。
D. 获取与合规
D31. 学生能以个人身份申请吗?
DUA 通常需要机构签署,个人身份申请的成功率低。正确路径是由导师/机构出面,按机构法务流程签署。
D32. 需要付费吗?
公开材料未载明收费条款(未公开)。可见成本主要是存储(多 TB)与云出口流量。
D33. 可以商用吗?
无法从公开材料确认。许可证名称未载明,DUA 条款是唯一依据(§6.3)。不要假定可商用。
D34. 可以再分发吗?
受 DUA 约束,公开材料未授予再分发权(未公开)。按受控访问的惯例,不应再分发。
D35. 论文是开放获取吗?
不是。OUP 页面显示"你没有访问此文章的权限",需订阅或机构权限;补充材料可单独取得。
D36. 引用哪个 DOI?
数据用 10.60508/m3sw-rz13;论文用 10.1093/sleep/zsag215。两者都应引用(§附录 W)。
E. 建模与评测
E37. 可以用它做分期 SOTA 对比吗?
可以,但必须声明:人工评分仅覆盖 73.5%、AASM 版本跨年不一、训练/测试若按中心切分则难度显著高于随机切分。与 Sleep-EDF 上的数字不可直接横比。
E38. 怎么做跨中心泛化实验?
把 S0001 与 I0002 作为参考域(同为对侧乳突参考、同为成人门诊),I0003(儿科)、I0004(多批次)、I0006(Philips 新设备)作为目标域。这个划分同时覆盖了参考方式、设备、年龄三重偏移。
E39. 纵向分析要筛什么?
按 sub- 前缀计数 ≥2 的会话;再按 StudyType 确认两次检查的性质(诊断 vs 滴定);最后核对时间间隔分布。不要直接拿总数当样本量。
E40. 用 ICD-10 做标签要注意什么?
编码是粗粒度标签族,带就诊日期不带确诊依据;跨中心编码习惯不同;建议限定少数几类表意清晰的编码,并逐中心核对发生率(§坑 7)。
事实清单(硬事实 45 条)
| # | 事实 | 来源 |
|---|---|---|
| 1 | 全称 The Human Sleep Project,版本 v3.0 | BDSP 数据页 |
| 2 | 整夜记录 119,234 条 | 论文摘要 / 数据页 |
| 3 | 唯一患者 90,166 名 | BDSP 数据页 |
| 4 | 完整 PSG 115,129 条 | 论文摘要 |
| 5 | HSAT 4,105 条 | 论文摘要 |
| 6 | 五个美国学术医疗中心 | 论文摘要 |
| 7 | 机构:Stanford、MGB、Emory、BIDMC、BCH | 论文摘要 |
| 8 | 队列代号 S0001/I0002/I0003/I0004/I0006(无 I0005) | BDSP 数据页 |
| 9 | 年龄从婴儿到 90 岁以上 | 论文摘要 |
| 10 | 22 类 ICD-10 诊断链接 | 论文摘要 |
| 11 | 诊断附就诊日期 | BDSP 数据页 |
| 12 | 遵循 BIDS 1.7.0+ | BDSP 数据页 |
| 13 | 人工评分 84,582 条(73.5%) | BDSP 数据页 |
| 14 | 人工评分完全手工、技师评分、专科医师签署 | BDSP 数据页 |
| 15 | CAISR 自动标注约 80,000 条 | BDSP 数据页 |
| 16 | CAISR 训练集 21,004 会话 / 14,941 人 / 全部 S0001 | BDSP 数据页 |
| 17 | 其余约 94,000 会话为 held-out | BDSP 数据页 |
| 18 | 分期为 30 秒 epoch,W/N1/N2/N3/REM | BDSP 数据页 |
| 19 | 按采集当时生效的 AASM 手册评分 | BDSP 数据页 |
| 20 | 低通气标准跨队列不一,统一时归并为单一类 | BDSP 数据页 |
| 21 | CAISR:1 秒呼吸事件 / 0.5 秒觉醒 / 1 秒肢体运动 | BDSP 数据页 |
| 22 | 6 导 EEG:F4-M1/F3-M2/C4-M1/C3-M2/O2-M1/O1-M2 | BDSP 数据页 |
| 23 | 含 EOG、颏肌电、前胫肌电、ECG、呼吸努力、双气流、SpO₂ | BDSP 数据页 |
| 24 | S0001、I0002 采集时对侧乳突参考 | BDSP 数据页 |
| 25 | I0003/I0004/I0006 单极存储、M1/M2 独立通道 | BDSP 数据页 |
| 26 | 原始采样率保留、须读文件头 | BDSP 数据页 |
| 27 | HDF5 衍生格式重采样 200 Hz(多相滤波) | BDSP 数据页 |
| 28 | Natus 硬件 ≤4000 Hz / 24-bit | BDSP 数据页 |
| 29 | Grass 800 Hz / 16-bit | BDSP 数据页 |
| 30 | Embla legacy 500/512 Hz / 16-bit | BDSP 数据页 |
| 31 | Philips ≤2000 Hz(存储 ≤500 Hz)/ 16-bit | BDSP 数据页 |
| 32 | 研究类型:诊断 57.0% / 滴定 15.3% / 分夜 5.2% / 其他 12.1% | BDSP 数据页 |
| 33 | 90.3%(103,987)PSG 有研究类型标签 | BDSP 数据页 |
| 34 | 涉及 PAP 给气 23,693 会话(20.6%) | BDSP 数据页 |
| 35 | 77.5% PSG 评为 Outstanding | BDSP 数据页 |
| 36 | 六类伪迹筛查(平线/饱和/高幅/工频/>70 Hz/NaN) | BDSP 数据页 |
| 37 | 脑健康评分与年龄 r = −0.49 | BDSP 数据页 |
| 38 | 1024 维 EEG 潜表征 | BDSP 数据页 |
| 39 | 访问需资质 + 签 DUA | BDSP 数据页原文 |
| 40 | 经 S3 Access Point 分发 | BDSP 数据页 |
| 41 | HIPAA Safe Harbor 去标识 | BDSP 数据页 |
| 42 | IRB #2022P000417,豁免知情同意 | BDSP 数据页 |
| 43 | 每队列同步数百 GB | BDSP 数据页 |
| 44 | 论文 doi:10.1093/sleep/zsag215,2026-08-05 在线 | OUP / PubMed |
| 45 | 数据集 doi:10.60508/m3sw-rz13 | BDSP 数据页 |
术语表(32 条)
| 术语 | 释义 |
|---|---|
| PSG(Polysomnography) | 多导睡眠图,同步记录脑电、眼电、肌电、呼吸、心电等信号的整夜检查 |
| HSAT(Home Sleep Apnea Test) | 家庭睡眠呼吸监测,导联精简、通常无 EEG,主要用于 OSA 筛查 |
| AASM | 美国睡眠医学会,发布睡眠分期与事件判读手册 |
| epoch | 分期时间单元,AASM 标准为 30 秒 |
| W / N1 / N2 / N3 / REM | 清醒 / 浅睡一期 / 二期 / 慢波睡眠 / 快速眼动睡眠 |
| hypopnea | 低通气,气流下降伴或不伴去饱和/觉醒 |
| apnea | 呼吸暂停,气流完全停止 ≥10 秒 |
| RERA | 呼吸努力相关觉醒 |
| arousal | 觉醒(皮层觉醒),EEG 频率突然增快 ≥3 秒 |
| PLM | 周期性肢体运动 |
| AHI | 呼吸暂停低通气指数,每小时事件数 |
| SFI | 睡眠碎片指数,由分期转移推导(Sleep Fragmentation Index) |
| SpO₂ | 血氧饱和度 |
| EEG | 脑电图 |
| EOG | 眼电图 |
| EMG | 肌电图 |
| ECG | 心电图 |
| montage | 导联组合方案 |
| reference | 参考电极 |
| mastoid(M1/M2) | 乳突,常用参考位置 |
| unipolar | 单极记录(相对系统参考),非双极差分 |
| BIDS | 脑影像数据结构标准,已扩展至 EEG/PSG |
| BDSP | Brain Data Science Platform,本数据集托管平台 |
| DUA | 数据使用协议(Data Use Agreement) |
| HIPAA Safe Harbor | 美国健康信息去标识的法定方法,移除 18 类标识符 |
| IRB | 机构审查委员会 |
| ICD-10 | 国际疾病分类第 10 版 |
| EHR | 电子健康记录 |
| CAISR | Complete AI Sleep Report,团队自研自动睡眠报告框架 |
| held-out | 留出集,未参与训练的数据 |
| domain shift | 域偏移,训练与测试数据分布不一致 |
| referral bias | 转诊偏倚,样本因"被转诊"而非随机抽样造成的人群偏差 |
深入解读:五个维度把 HSP 用对
解读一:从"12 万夜"到"你的可用样本"——一次完整的扣减演算
很多项目立项时拿 119,234 当样本量,做到一半才发现真正能用的只有几千条。这里把扣减链条完整走一遍,用的是数据集自带的元数据字段,不做任何猜测。
第一刀:HSAT。 4,105 条 HSAT 无 EEG,不能做任何分期相关任务。若你的任务是睡眠分期、觉醒检测、N3/REM 比例分析,这一刀必须切。可分期上界降到 115,129。
第二刀:无人工分期。 115,129 × 73.5% ≈ 84,582 条有人工可解析 hypnogram。若你的任务需要人工金标准(监督训练、一致性评估),可用上界就是 84,582。
第三刀:非诊断夜。 在有类型标签的 103,987 条里,诊断性占 57.0%,即约 59,273 条;PAP 滴定 15.3%(约 15,910 条)、分夜 5.2%(约 5,407 条)、其他/不明 12.1%(约 12,581 条)。若你要的是"患者自然睡眠状态",第三刀切掉约 43% 的有标签 PSG。
第四刀:无类型标签。 115,129 − 103,987 = 11,142 条 PSG 没有研究类型标签(9.7%)。保守起见应排除,除非你能从信号(是否有 PAP 压力通道、是否单夜前后两段协议不同)自行判定。
第五刀:质量。 可分析子集中 77.5% 为 Outstanding。若把阈值设在 Outstanding 或 Excellent(Likert ≥4),会再损失一部分;更稳健的做法是不切,而是把 quality_score 作为样本权重。
第六刀:人群限定。 若你的目标人群是成人,I0003 的 12,825 人、约占 14% 的患者要排除;若目标是儿科,则相反,只剩 I0003。
把这些叠加起来,一个"成人 + 诊断夜 + 有人工分期 + 有类型标签"的分期语料,量级大约在数万条,而非 12 万条。这个数仍然是公开睡眠数据集里的最大者之一(Sleep-EDF 约 200 夜、ISRUC 百人级),但数量级已经不是"多三个数量级"那么夸张了。做预算和算力规划时,请用扣减后的数,不要用首页数。
解读二:为什么"真实临床导联"这件事比看上去更重要
如果把 PSG 信号看成一张多维快照,研究级数据集提供的是"低维快照":两导脑电、一导眼电、一导肌电。低维快照足以做分期,但把睡眠简化成了"脑状态切换"的问题。临床 PSG 提供的是"高维快照",把睡眠放回了一个多系统耦合的生理事件里:
- 呼吸系统:每 30 秒一次的通气是否中断,胸腹运动是否与气流不同步(区分阻塞与中枢);
- 心血管系统:每次呼吸事件后的心率加速、血氧下降;
- 运动系统:腿动是否与觉醒耦合、是否成周期性(PLM 与 RLS 的鉴别);
- 中枢神经系统:皮层觉醒是否由呼吸事件触发(RERA),觉醒与分期的耦合模式。
这四层耦合在简化导联上根本观测不到。而 OSA 恰恰是"多系统耦合"的疾病:它的临床表型(嗜睡、心血管风险、认知影响)取决于事件频率、去饱和深度、觉醒负荷、睡眠结构的联合作用,而非单一指标。用低维数据训练出来的模型,通常只能回答"这段是 N2 还是 N3",回答不了"这个患者的 OSA 属于哪一型"。
HSP 的规模意义因此不在于"能让分期模型多吃数据",而在于第一次让"多系统耦合的睡眠表型"研究有了万级患者的样本量。这是它相对库内其它睡眠条目的根本差异,也是申请它最值得的理由。
解读三:纵向结构到底能支撑什么、不能支撑什么
能支撑的:
- 个体内夜间变异:同一患者两次检查的 N3 比例、REM 潜伏期、觉醒指数的差异,直接回答"单夜 PSG 的诊断可靠性"这个临床老问题。
- 治疗反应:诊断夜 vs PAP 滴定夜(或复查夜)在同一患者内部的对照,天然控制了年龄、性别、共病等个体恒定因素。
- 轨迹建模:多次检查患者的睡眠结构随时间的变化,可与 ICD-10 诊断出现的时间点对齐,做描述性轨迹分析。
不能支撑的:
- 人群级发病率/患病率:随访样本不是随机抽取的,有多次检查的人本身就是"病情需要复查"的选择性样本。
- 因果推断:睡眠表型与后续诊断的关联,受未测混杂(用药、体重变化、社会经济因素)严重影响,且数据集无用药字段。
- 长期(十年以上)自然史:多数患者只有一次检查,长轨迹是极少数;且绝对日期被平移,无法与外部日历事件对齐。
结论:纵向结构适合做个体内对照与机制探索,不适合做人群流行病学与强因果结论。把这条界限守住,就能避免绝大多数误用。
解读四:CAISR 与人工双标注的正确使用姿势
CAISR 的存在让数据集在"覆盖广度"上远超人工评分:人工层 84,582 条、只有 30 秒分期;CAISR 层约 80,000 条、却含 1 秒呼吸事件、0.5 秒觉醒、1 秒肢体运动。这意味着呼吸/觉醒/运动三类任务只能走 CAISR 层。
但 CAISR 层有一个必须正面处理的结构问题:它自己的训练集在数据里。21,004 个训练会话全部来自 S0001、覆盖 14,941 人。若不剔除,评测会虚高。正确做法是三层过滤:
- 会话级:剔除
caisr_training_set == True的会话; - 患者级:剔除训练集中出现过的
BDSPPatientID的全部会话(防止同一患者的不同夜晚泄漏); - 中心级:若做跨中心评测,明确把 S0001 整体作为"近域"、其余四中心作为"远域"报告。
另一点是"CAISR 与人工谁更可信"。在人工评分子集上,两者可做一致性比较,但因为 CAISR 的训练集与部分人工评分子集重叠(训练集在 S0001,而 S0001 也有人工评分),一致性数字本身会偏向 CAISR。若要做无偏的一致性评估,应只在 held-out 四中心的人工评分子集上算。
解读五:把 ICD-10 变成可用标签的三步法
第一步,选类。22 类太粗。建议先锚定编码表意明确、临床判定客观的几类:OSA(G47.33)、2 型糖尿病(E11)、房颤(I48)、心力衰竭(I50)、抑郁(F32/F33)、癫痫(G40)。这些跨中心的编码习惯相对一致,误编码率较低。睡眠相关的 G47.x 细分在补充表 S4 中有专门梳理,是很好的起点。
第二步,定时间窗。每条诊断带就诊日期,可以构造"睡眠检查前 N 年内的诊断"这一视图。N 的取值会影响阳性率:窗口太短漏掉慢性病的旧编码,窗口太长引入与本次检查无关的历史编码。建议同时报告 N=1 与 N=5 两档,看结论是否稳健。
第三步,核发生率。把选定类别在各中心的阳性率拉出来对比。若某类在儿科中心的阳性率异常高或低,先怀疑编码习惯而不是生物学差异。这一步是"数据体检",不做就直接建模,等于把中心效应当成了疾病效应。
三步走完,ICD-10 才从"一个字段"变成"一个可用的标签体系"。这也是 HSP 相对纯信号数据集的真正增值所在——但增值不是自动到账的,需要使用者自己做这层工作。
解读六:如果只能记住五条
- 119,234 是记录数,PSG 是 115,129,有人工分期的是 84,582,干净诊断夜约六成。
- 200 Hz 只属于 HDF5 衍生格式,原始 EDF 采样率逐文件不同。
- 参考方式分两组,跨组混训前必须重参考。
- CAISR 训练集在 S0001,评测必须排除,且要按患者排除。
- 它是临床转诊人群,不能用来估计人群患病率。
附录
附录 A:条目信息速查卡
| 项 | 内容 |
|---|---|
| 条目名 | The Human Sleep Project (HSP) v3.0 |
| slug | human-sleep-project |
| 类型 | 多中心临床 PSG 档案(非挑战赛、非前瞻队列) |
| 论文 | SLEEP 2026;zsag215;PMID 42555111 |
| 数据集 DOI | 10.60508/m3sw-rz13 |
| 托管 | BDSP(bdsp.io/content/hsp/3.0/) |
| 规模 | 119,234 记录 / 90,166 患者 / 5 中心 |
| 许可 | 受控访问(DUA);许可证名称未公开 |
| 抓取时点 | 2026-10-17 |
| 库内互链 | 73 / 262 / 292 / 302 / 654 / 1072 / 1173 / 1174 / 1175 / 1013 / 1004 |
附录 B:DAIMS 评估全表
| 维度 | 评分(1-10) | 依据 |
|---|---|---|
| D 可发现性 | 8 | 数据页可索引、论文可检索、DOI 双轨(数据集 + 论文);扣分在"Human Sleep Project"与"HSP"缩写易与其它睡眠计划混淆 |
| A 可获取性 | 3 | 全部受控访问,需资质审核 + DUA + 机构签署;无公开样本、无匿名入口、许可证名称未载明。这是全表最低分项 |
| I 可互操作 | 9 | BIDS 1.7.0 原生结构、EDF 通用格式、逐会话元数据 CSV、HDF5 对齐视图;跨站点通道映射表(Table S8)齐备 |
| M 元数据质量 | 9 | 逐会话元数据 12 列完整、质量分双轨、研究类型标签、ICD-10 带日期;扣分在评分者信息未保留、采集年份未公开 |
| S 可持续性 | 7 | BDSP 平台化托管 + 单一 DOI + 持续版本迭代(v3.0 扩队列);扣分在具体许可未公开、访问条款依赖平台政策 |
| 综合评级 | 6.9/10(中上) | 数据质量与结构属顶配,被受控访问与许可不明两项拖到中上 |
评分说明:A 项给 3 分而非 1 分,是因为访问路径清晰(BDSP 申请 → 签 DUA → S3 同步),有明确的合规入口,只是门槛高;若为"无任何申请渠道",则给 1 分。
附录 C:逐项证据链自证
| 关键数字 | 来源 | 位置 |
|---|---|---|
| 119,234 / 115,129 / 4,105 | 论文摘要 Conclusions | OUP 文章页 |
| 90,166 唯一患者 | BDSP 数据页 Overview | bdsp.io |
| 五家机构名 | 论文摘要 Methods | OUP 文章页 |
| 队列代号与人口学表 | BDSP 数据页 Cohorts | bdsp.io |
| 84,582(73.5%)人工评分 | BDSP 数据页 Annotations | bdsp.io |
| CAISR 约 80,000 / 训练 21,004 | BDSP 数据页 CAISR 节 | bdsp.io |
| 30 秒 epoch / W-N1-N2-N3-REM | BDSP 数据页 Scoring | bdsp.io |
| AASM 采集当时版本 | BDSP 数据页 Scoring | bdsp.io |
| 低通气标准分裂与归并 | BDSP 数据页 Scoring | bdsp.io |
| 通道清单与参考分组 | BDSP 数据页 Channels | bdsp.io |
| 硬件采样率表 | BDSP 数据页 Hardware | bdsp.io |
| HDF5 200 Hz 多相滤波 | BDSP 数据页 Signal Processing | bdsp.io |
| 研究类型占比 | BDSP 数据页 Study Types | bdsp.io |
| 77.5% Outstanding | BDSP 数据页 Quality | bdsp.io |
| r = −0.49 脑健康分 | BDSP 数据页 Brain Health | bdsp.io |
| DUA 原文 | BDSP 数据页 Access | bdsp.io |
| IRB #2022P000417 | BDSP 数据页 Ethics | bdsp.io |
| doi:10.1093/sleep/zsag215 | OUP / PubMed 42555111 | OUP 文章页 |
| doi:10.60508/m3sw-rz13 | BDSP 引文格式 | bdsp.io |
附录 D:数据获取决策树
是否需要完整导联(呼吸/运动/觉醒)?
├── 否 → 用 Sleep-EDF(73) / HMC(654) / ISRUC(262)
└── 是 → 人群是否需要社区代表性?
├── 是 → 用 MrOS(292) / MESA(302)
└── 否(接受临床转诊人群)→ 能否签 DUA + 有机构背书?
├── 否 → 用 BOAS(1174)(CC0)
└── 是 → 是否需要儿科?
├── 是 → HSP I0003 或 NCH(1013)
└── 否 → HSP 成人四队列
附录 E:可用子集筛选伪代码
# 目标:构造"成人 + 诊断夜 + 有人工分期 + 高质量 + 非 CAISR 训练集"的分期语料
meta = load("S????_psg_metadata.csv") # 逐会话元数据 CSV
sub = meta[
(meta.HasStaging == True) &
(meta.StudyType == "diagnostic") &
(meta.AgeAtVisit >= 18) &
(meta.quality_score >= 0.8) &
(meta.caisr_training_set == False)
]
# 进一步:剔除同一患者内相邻会话间隔过短的重复检查
# 进一步:按 SiteId 分层抽样,保证五中心均被代表
附录 F:跨中心预处理检查表
| 检查项 | 做法 |
|---|---|
| 采样率 | 逐文件读 EDF 头,不假定统一 |
| 参考方式 | 检查是否存在 M1/M2 独立通道;若有则自行重参考 |
| 通道命名 | 用 channels.tsv + Table S8 映射到统一名词表 |
| 滤波 | 检查 EEG 是否已滤波;呼吸通道一律自行带通 |
| 单位 | SpO₂ 是否 0–100;气流单位(V 或 L/s) |
| PAP 状态 | 若用 HDF5,读取 PAP 状态通道切除治疗段 |
| 质量 | 记录 quality_score 作为权重,不径自剔除 |
附录 G:逐会话元数据字段速查(12 列)
| 字段 | 类型 | 用途 |
|---|---|---|
BDSPPatientID |
字符串 | 患者级去重与纵向 |
SessionID |
字符串 | 会话唯一键 |
CreationTime |
时间戳 | 相对时间排序 |
BidsFolder |
路径 | 定位 BIDS 目录 |
HasAnnotations |
布尔 | 是否有可解析标注 |
HasStaging |
布尔 | 是否有人工分期 |
StudyType |
枚举 | 诊断/滴定/分夜/其他/不明 |
AgeAtVisit |
数值 | 年龄分层 |
SexDSC |
枚举 | 性别 |
likert_scale |
1–5 | 质量离散标签 |
quality_score |
0–1 | 质量连续分 |
caisr_training_set |
布尔 | 是否 CAISR 训练会话 |
附录 H:与库内数据集对照总表
| 维度 | HSP | sleep-edf(73) | isruc-sleep(262) | mros-sleep(292) | mesa-sleep(302) |
|---|---|---|---|---|---|
| 规模 | 119,234 记录 | 约 200 夜 | 百人级 | 数千人 | 数千人 |
| 导联 | 完整 AASM | 2 导 EEG | 完整 PSG | 便携 PSG | 便携 PSG |
| 人群 | 临床转诊全年龄 | 健康志愿者为主 | 临床受试者 | 社区老年男性 | 多种族社区 |
| 纵向 | 有结构、次数未公开 | 无 | 有(两夜) | 有随访 | 有随访 |
| 临床链接 | ICD-10 22 类 | 无 | 有限 | 问卷+随访 | 问卷+影像 |
| 许可 | DUA 受控 | 开放 | 申请制 | NSRR 申请 | NSRR 申请 |
| 维度 | HSP | hmc-sleep-staging(654) | capsleep(1072) | cinc-2018(1173) | boas-bitbrain(1174) | tiles-2018(1175) |
|---|---|---|---|---|---|---|
| 规模 | 119,234 | 单中心小样本 | 百人级 | 1,985 例 | 128 夜 | 139 人 × 10 周 |
| 特色 | 临床+纵向 | 分期基准 | CAP 标注 | 觉醒挑战 | 干电极对照 | 消费级纵向 |
| 许可 | DUA | 见原条目 | 见原条目 | 挑战赛 | CC0 | 见原条目 |
附录 I:常见误读与正解
| 误读 | 正解 |
|---|---|
| “HSP 是 12 万条 PSG” | 12 万是记录,PSG 为 115,129 |
| “HSP 采样率 200 Hz” | 仅 HDF5 衍生格式;原始 EDF 逐文件不同 |
| “HSP 全量有人工分期” | 73.5% 有人工分期 |
| “HSP 是一个 AASM 版本” | 按采集当年版本,跨年不一 |
| “HSP 可以免费下载” | 受控访问 + DUA |
| “HSP 是研究队列” | 临床归档聚合,存在转诊偏倚 |
| “HSP 包含用药信息” | 未公开/未提供 |
| “HSP 是库内睡眠数据集的超集” | 并列关系,见 §9 |
附录 J:双口径登记表
| 事项 | 口径 A | 口径 B | 本条目处理 |
|---|---|---|---|
| 患者数 | “more than 90,000”(论文摘要) | 90,166(数据页) | 并列给出,以精确值为准 |
| 版本发布月 | June 2026(数据页 Published 行) | May 2026(Release Notes) | 并列存照,写作"2026 年年中" |
| 自动标注条数 | “约 80,000”(数据页两处) | 无精确值 | 记约数 |
| HDF5 可用性 | Usage Notes 称已可用 | Data Description/Release Notes 称 in preparation | 存照,以实际目录为准 |
| 数据集语料计数 | 119,234 记录 | 115,129 PSG | 全篇区分使用 |
附录 K:坑点档案(与 §10 对照)
| 编号 | 一句话 | 后果 |
|---|---|---|
| 坑 1 | 以为 200 Hz 是全集采样率 | 预处理错配、信号失真 |
| 坑 2 | 假定 HDF5 一定存在 | 流水线空转 |
| 坑 3 | 把 119,234 全当 PSG | 混入 HSAT,分期训练崩坏 |
| 坑 4 | 不统一参考直接混训 | 学到站点指纹 |
| 坑 5 | CAISR 训练集混入评测 | 分数虚高 |
| 坑 6 | 不筛 PAP 滴定夜 | 睡眠结构与 AHI 失真 |
| 坑 7 | ICD-10 当验证标签 | 患病率与共病分析出错 |
| 坑 8 | 假称论文讨论了转诊偏倚 | 引用不实 |
附录 L:FAIR 检查单
| 原则 | 落实 |
|---|---|
| F(可发现) | 数据集 DOI + 论文 DOI 双轨;BDSP 平台可索引 |
| A(可访问) | 协议化访问(DUA + S3),路径明确;非匿名开放 |
| I(可互操作) | BIDS 1.7.0、EDF、TSV/JSON、HDF5;跨站点映射表 |
| R(可复用) | 逐会话元数据、质量分、版本说明、引文规范;评分者信息缺失为减分项 |
附录 M:维护与版本追踪建议
- 跟踪 BDSP 版本号:v3.0 → v3.x 的 changelog 是最可靠的变化源;
- 跟踪
StudyType字段:数据页称逐会话study_type将在下一版本进入元数据,届时筛选逻辑可简化; - 跟踪 HDF5 状态:从 in preparation 到 released 是使用门槛下降的关键节点;
- 跟踪论文勘误:2026-09-09 校订排版,后续若有 correction 需同步。
附录 N:引文规范(APA 7)
数据:
Li, Q., Wen, S., Sun, H., Ganglberger, W., Tripathi, A., Turley, N., Waters, S., Gupta, A., Gupta, A., Ghanta, M., Nearing, B., Wu, H., Stone, K. L., Robichaux, C., Zhang, Z., Li, Q., Ganjoo, G., Silvers, C. T., Gunapati, B., … Westover, M. B. (2026). The Human Sleep Project (version 3.0). Brain Data Science Platform. https://doi.org/10.60508/m3sw-rz13
论文:
Li, Q., Wen, S., Sun, H., Ganglberger, W., … Westover, M. B. (2026). The Human Sleep Project: A multi-center clinical polysomnography dataset across the human lifespan. Sleep, zsag215. https://doi.org/10.1093/sleep/zsag215
说明:作者列表两处均为节选,完整 27 人名单以论文原文为准;本条目不对未核实的作者顺序做推断。
附录 O:建议互链点(正文口径,不进 frontmatter)
- sleep-edf(rid 73):研究级最小导联对照,用于说明"HSP 不是它的超集";
- isruc-sleep(rid 262):临床受试者研究级 PSG,可对照评分者一致性设计;
- mros-sleep(rid 292):社区老年男性队列,转诊偏倚对照;
- mesa-sleep(rid 302):多种族社区队列,人群代表性对照;
- hmc-sleep-staging(rid 654):单中心分期基准;
- capsleep(rid 1072):CAP 周期标注,HSP 无对应;
- cinc-2018-sleep-arousal(rid 1173):觉醒挑战赛标签,HSP 不能替代;
- boas-bitbrain(rid 1174):CC0 可直连,作为"低门槛替代入口";
- tiles-2018-sleep(rid 1175):消费级纵向对照;
- nch-sleep(rid 1013):单中心儿科临床 PSG + EHR,与 HSP 的 I0003 队列可比;
- bidsleep-dataset(rid 1004):消费级可穿戴 + 研究 EEG,与 HSP 的临床设备形成两端对照。
附录 P:本条目生产档案
| 项 | 内容 |
|---|---|
| 代理 | agent-a-humansleep |
| 锁 | writing/human-sleep-project/.lock |
| 私有区 | .parts_agent-a-humansleep_<timestamp>_<pid>/ |
| 网络预算 | WebSearch 1 次、WebFetch 2 次(均在预算内) |
| 查重 | DB sleep 关键词 11 条 + boas/bitbrain/hsp 关键词,HSP 未入库 |
| 抓取时点 | 2026-10-17 |
| 自检 | check_md + preflight 双通过(见汇报) |
附录 Q:检索路径示范
| 目标 | 推荐查询 |
|---|---|
| 找数据页 | bdsp.io human sleep project 3.0 |
| 找论文 | "The Human Sleep Project" polysomnography lifespan sleep zsag215 |
| 找引用格式 | 数据 DOI 10.60508/m3sw-rz13 |
| 排除同名 | 加限定词 PSG 或 BDSP,避免命中其它"睡眠计划"项目 |
| 找补充表 | OUP 文章页 Supplementary data(HSP-SupplementaryMaterial) |
附录 S:论文作者与致谢关系(已核部分)
论文作者列表在摘要页中可见的姓名包括:Qichen Li、Shenghan Wen、Haoqi Sun、Wolfgang Ganglberger、Ayush Tripathi、Niels Turley、Samuel Waters、Arnav Gupta、Aditya Gupta、Manohar Ghanta、Bruce Nearing、Han Wu、Katie L. Stone、Chad Robichaux、Zhiyong Zhang、Qiao Li、Gauri Ganjoo、Christine Tsien Silvers、Bharath Gunapati、Kiran Maski、Samaneh Nasiri、Dennis Hwang、Lynn Marie Trotti、Umakanth Katwa、Gari D. Clifford、Emmanuel Mignot、Robert J. Thomas、M. Brandon Westover。
从机构标注可确认的归属包括:Westover(BIDMC 神经科 / Harvard Medical School)、Mignot(Stanford 精神与行为科学系)、Thomas(BIDMC 呼吸危重症与睡眠医学科 / Harvard)、Clifford(Emory / Georgia Tech)、Katwa(BCH / Harvard)。
作者排序与通讯作者的具体指定,以论文原文与 OUP 页面标注为准,本条目不做推断。
附录 T:时间线
| 时间 | 事件 |
|---|---|
| 2026-02-02 | 论文收稿 |
| 2026-05 或 2026-06 | v3.0 数据发布(双口径,见附录 J) |
| 2026-07-05 | 论文修回 |
| 2026-07-18 | 论文接收 |
| 2026-08-05 | 论文在线(SLEEP,zsag215) |
| 2026-09-09 | 校订排版(Corrected and typeset) |
| 2026-10-17 | 本条目抓取时点 |
附录 U:数据集在"AI-Ready"维度上的定位
AI-Ready 的核心问题是"拿到手能不能直接进模型"。HSP 的答案分两半:
- 结构上高度就绪:BIDS 1.7.0、EDF 通用格式、逐会话元数据 CSV、统一的
sub-/ses-命名、事件标注 TSV——这些让"读数据"这件事几乎不需要写胶水代码。 - 合规上高度不就绪:没有公开样本、没有匿名沙箱、许可证未载明,无法在"看一眼就决定用不用"的意义上就绪。
因此它属于"深度就绪、入口高墙"型数据集。与之相对的是 BOAS(rid 1174,CC0 直连,浅度就绪、零门槛)。两者不是替代关系:前者适合正式立项,后者适合快速验证想法。
附录 V:五队列差异化使用建议
| 队列 | 定位 | 建议用途 | 注意 |
|---|---|---|---|
| S0001 | 成人、最大人工评分子集所在的中心之一、CAISR 训练源 | 人工监督训练的主力;CAISR 相关任务必须排除其训练会话 | 不得作为 CAISR 客观评测集 |
| I0002 | 成人、Embla REMlogic、对侧乳突参考 | 与 S0001 同参考方式,可作为"近域"泛化目标 | 规模中等(12,713 人) |
| I0003 | 唯一儿科队列 | 儿科睡眠分期、儿童 OSA、发育期睡眠结构 | 评分规则与成人不同,不可混训 |
| I0004 | 最大成人队列、三批次、跨两平台 | 研究批次效应与平台效应的天然实验组 | 研究类型"其他/不明"最集中 |
| I0006 | 成人、含 Philips G3 新设备 | 研究设备代际差异 | 女性占比最高(51.4%) |
附录 W:给审稿人/合作者的三点说明模板
- 样本量口径:本研究使用 HSP v3.0,总记录 119,234 条;经筛选(成人、诊断夜、有人工分期、质量分 ≥ 阈值)后纳入 N 条,筛选流程与各步剩余量见附录 E 伪代码。
- 标注来源:睡眠分期标签来自人工评分(RPSGT/RST,按采集当时 AASM 手册);呼吸/觉醒/运动事件标签来自 CAISR 自动标注,评测集已剔除 CAISR 训练会话及其同患者会话。
- 偏倚声明:HSP 为临床转诊人群,患病率不代表一般人群;本研究结论限于"临床就诊且接受 PSG 检查"的人群。
附录 R:写作边界声明
本条目所有数字均来自 BDSP 数据页与 OUP/PubMed 论文页两处一手来源;凡两处未载明者,一律标注"未公开"而未做估算或推断。文中属于编者判断而非原文表述的有三处,均已就地标注:
- §2.2 队列代号与机构的逐一映射未公开——由论文机构名与数据页代号并列推得,未做一对一绑定;
- §7.4 三层偏倚分析(转诊/适应证/随访)为编者基于数据来源本质的分析,论文未展开讨论;
- 附录 B 的 DAIMS 评分为本库编辑口径,非论文或数据提供方评分。
尾注
- 数据页:The Human Sleep Project v3.0,Brain Data Science Platform,https://bdsp.io/content/hsp/3.0/(抓取时点 2026-10-17)。
- 数据 DOI:https://doi.org/10.60508/m3sw-rz13。
- 论文:Li Q, Wen S, Sun H, et al. The Human Sleep Project: A Multi-Center Clinical Polysomnography Dataset Across the Human Lifespan. Sleep. 2026;zsag215. https://doi.org/10.1093/sleep/zsag215(PMID 42555111)。
- 本文档由千方病案医数集编辑部据公开一手来源整理,未对数据集做实际下载与复算;文中"未公开"字段为核验时点的状态,后续版本可能补充。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- nch-sleep — 共享标签:生理信号 / 睡眠信号 / 临床电子病历 / 队列研究
- epilepsiae — 共享标签:生理信号 / 脑电信号 / 队列研究
- sleep-edf — 共享标签:生理信号 / 睡眠信号 / 脑电信号
- mass — 共享标签:生理信号 / 睡眠信号 / 脑电信号
- shhs — 共享标签:生理信号 / 睡眠信号 / 队列研究
- mros-sleep — 共享标签:生理信号 / 睡眠信号 / 队列研究
- nsrr — 共享标签:生理信号 / 睡眠信号 / 队列研究
- opensafely — 共享标签:临床电子病历 / 真实世界数据 / 队列研究
- cprd — 共享标签:临床电子病历 / 真实世界数据 / 队列研究
- mesa-sleep — 共享标签:生理信号 / 睡眠信号 / 队列研究
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

