信息速览
DAIC-WOZ(Distress Analysis Interview Corpus - Wizard of Oz)
§0 导读:这个数据集解决什么问题
在心理健康领域,抑郁筛查长期依赖量表自评(PHQ-9、PHQ-8 等)与临床访谈。量表便宜但容易被受试主观状态与防御性作答扭曲;临床访谈准确但昂贵、稀缺且高度依赖医师经验。一个自然的科学问题是:能不能让机器从一次访谈的语音、文字与面部行为中,自动识别出抑郁的信号?
要回答这个问题,首先需要一批「既像临床访谈、又能被机器系统性研究」的数据。2010 年代初,南加州大学创意技术研究所(USC Institute for Creative Technologies,下称 USC ICT)在一个更大的项目里做了这件事:他们建设了痛苦分析访谈语料库(Distress Analysis Interview Corpus,DAIC),其中最广为使用的一个子库,就是本条目的主角 DAIC-WOZ。
DAIC-WOZ 的 189 场访谈全部由一个名叫 Ellie 的动画虚拟访谈员完成。Ellie 看起来是屏幕上的虚拟人,但早期版本实际上由另一位房间里的真人访谈员(所谓「巫师」,Wizard)实时操控提问——这正是语料名中 Wizard of Oz(绿野仙踪)的由来。受访者在几乎无人监督的房间里对着屏幕说话,这种设置既能像真人访谈一样展开半结构化对话,又能统一控制访谈风格,还顺带降低了面对真人时的病耻感防御。
数据本身的构成对今天的「AI-Ready」标准来说堪称模范:
- 16 kHz 的 wav 音频——语音抑郁检测的一手信号;
- 人工转写的四列 CSV 文本——speaker、start time、stop time、value,话轮级时间戳齐全;
- OpenFace 提取的 30fps 视觉特征——68 点 2D/3D 面部关键点、HOG 特征、面部动作单元(AU)强度、注视向量、头姿;原始视频因隐私不做发放;
- PHQ-8 评分(0-24)与切点 10 的二分抑郁标签——每个受试一份,官方给出 train 107 / dev 35 / test 47 的固定划分。
这套「音频+文本+视觉参数+临床量表标签」的组合,让 DAIC-WOZ 成为 2016 年 Audio/Visual Emotional Challenge(AVEC 2016)抑郁子挑战赛的官方数据,并在之后近十年里被数百篇论文引用,是多模态抑郁检测领域事实上的入门基准。它 train/dev/test 划分固定、被引规模大,不同论文的结果可以直接横向比较——这在心理健康数据集里并不常见。
但 DAIC-WOZ 也有一套必须提前讲清楚的门槛与陷阱:
- 它不公开下载。 必须在 USC ICT 官网(dcapswoz.ict.usc.edu)用学术邮箱签一份 EULA(End-User License Agreement,最终用户许可协议),承诺仅用于非商业/学术研究、不再分发、发表时引用 Gratch et al. LREC 2014。商业机构基本无缘。
- 原始视频没有。 隐私保护决定只发放参数化视觉特征,你无法用自己的视觉模型重新提特征。
- 只有 PHQ-8 随包发放。 项目里还采集了 PTSD(PCL-C)、焦虑(STAI)、情绪(PANAS)等量表,但这些分数不发给终端用户——想做 PTSD 检测的研究者只能用转写中的言语线索做替代标注。
- 数据有已知缺陷清单。 音频开头残留研究助理对话、若干场访谈转写与音频失同步、个别标签错误等,文献里已有逐条记录,用前需要清洗。
本条目按百科体例把这 189 场访谈的来龙去脉、数据构成、标签口径、获取流程、评估基准与已知坑点一次讲透。阅读顺序建议:先读 §1 十问十答把握全貌,做数据就细看 §2-§5,申请数据前必读 §6(许可与获取)与 §10(避坑清单)。
§1 数据集速览:十问十答
Q1:DAIC-WOZ 一句话是什么?
USC ICT 发布的 189 场由虚拟访谈员 Ellie(真人巫师幕后操控)执行的半结构化心理困扰筛查访谈多模态语料,含音频、人工转写、OpenFace 视觉特征与 PHQ-8 抑郁标签,签 EULA 后限学术/非营利使用。
Q2:规模有多大?
189 场访谈,单场 7-33 分钟,平均约 16 分钟。受试编号在 300-492 区间内但不连续(编号有缺口)。官方划分:train 107 场 / dev 35 场 / test 47 场。
Q3:每场访谈拿到什么?
一个以受试编号命名的目录,内含:16 kHz 单声道 wav 音频;四列 CSV 转写(speaker、start time、stop time、value);若干 OpenFace 特征文件(68 点 2D 关键点、68 点 3D 关键点、HOG、AU 强度、4 个注视向量、头姿,均 30fps);以及该受试的 PHQ-8 总分(0-24)与二分抑郁标签(≥10 为阳性)。
Q4:访谈是怎么做的?
半结构化流程:先以中性问题建立 rapport(融洽关系),再逐步进入抑郁与 PTSD 相关的症状定向问题(如「谁是对你人生产生积极影响的人?能讲讲吗?」),最后以 cool-down 缓冲收尾,避免受访者在情绪激动状态下离场。Ellie 的提问与点头、微笑等非言语反馈由另一位房间里的真人访谈员实时操控。
Q5:标签怎么来的?
受访者在访谈前填写 PHQ-8(Patient Health Questionnaire-8,八项抑郁自评量表)。每项 0-3 分,总分 0-24;切点 10 分(含)以上判为抑郁阳性。数据集同时给出回归用的连续分数与二分类用的 0/1 标签。
Q6:官方划分是什么?为什么必须用它?
train 107 / dev 35 / test 47。这一划分源自 AVEC 2016 抑郁子挑战赛,此后被社区沿用为事实标准——测试集 47 场被广泛当作不可触碰的基准,换自己的划分会让结果无法与数百篇已发表工作比较。
Q7:和 E-DAIC 是什么关系?
E-DAIC(Extended DAIC)是 DAIC-WOZ 的扩展版:在 WoZ 访谈之外加入了 Ellie 全自动访谈(无巫师),规模更大(文献口径 163/56/56 划分),转写改用 Google Cloud 语音识别,用于 AVEC 2019。两者同在 dcapswoz.ict.usc.edu 申请,各自签 EULA。
Q8:许可是什么?能商用吗?
EULA 申请制。核心条款:仅非商业/学术研究用途(申请必须用学术邮箱);禁止向第三方再分发;发表须引用 Gratch et al. LREC 2014;须保护受试身份;USC ICT 可随时修改条款。不能商用。
Q9:已知的数据问题有哪些?
文献已整理出一批:全部音频开头残留访谈前研究助理的对话;373、444 号访谈有长段中断(如手机铃声);451、458、480 号缺治疗师话轮;318、321、341、362 号转写与音频失同步;409 号 PHQ-8 分数为 10 但二分标签为 0(标注错误)。详见 §10。
Q10:适合谁用、不适合谁?
适合做多模态抑郁检测、语音/文本/面部行为抑郁标志物研究、访谈智能体行为研究、AVEC 系列基准复现的学术团队。不适合:需要原始视频的研究、商业产品开发、需要 PTSD/焦虑官方量表标签的研究、无学术邮箱的独立开发者。
§2 数据构成与规格
2.1 语料家族全景:DAIC → DAIC-WOZ → E-DAIC
理解 DAIC-WOZ 的第一步是分清三层命名,检索资料时极易混淆:
- DAIC(Distress Analysis Interview Corpus):整个语料工程,覆盖四种访谈形式——面对面访谈(受试与真人访谈员同室)、电话会议访谈(远程真人访谈员)、Wizard-of-Oz 访谈(Ellie 受巫师操控)、全自动访谈(Ellie 独立运行)。LREC 2014 论文描述的是这个全集。
- DAIC-WOZ:只发放其中的 Wizard-of-Oz 子库,189 场。这是最常见的「DAIC-WOZ 数据集」,也是 AVEC 2016 官方数据。
- E-DAIC(Extended DAIC):在 DAIC-WOZ 基础上扩展,加入全自动访谈场次,规模更大,AVEC 2019 抑郁挑战赛所用。E-DAIC 的转写来自 Google Cloud 语音识别(DAIC-WOZ 为人工转写),质量口径不同,混用需注意。
三个层次同站申请、各自独立授权。本条目聚焦 DAIC-WOZ,但在 §7 会讨论两者的联动使用。
2.2 场次、时长与编号体系
DAIC-WOZ 共 189 场访谈,时长分布 7-33 分钟,均值约 16 分钟。受试编号在 300-492 区间内——但区间大小(193 个号码)大于场次数(189),且实际编号并不连续:这是分发的第一个人门困惑点。文献(如 arXiv:2407.19340)给出的口径是编号 300-492;未见官方逐场清单公开核对编号缺口的具体构成,本条目按「编号 300-492 区间、189 场实际在场」的口径成稿并存照。
划分硬数字(官方):
| 划分 | 场次 | 占比 |
|---|---|---|
| train | 107 | 56.6% |
| dev(validation) | 35 | 18.5% |
| test | 47 | 24.9% |
| 合计 | 189 | 100% |
2.3 PHQ-8 严重度分布:一个左偏的筛查样本
按 PHQ-8 严重度五档(Kroenke 与 Spitzer 口径)统计官方划分(train/dev/test):
| 严重度 | PHQ-8 分数段 | train | dev | test |
|---|---|---|---|---|
| 无症状 | 0-4 | 47 | 17 | 2 |
| 轻度 | 5-9 | 29 | 6 | 1 |
| 中度 | 10-14 | 20 | 6 | 1 |
| 中重度 | 15-19 | 7 | 6 | 7 |
| 重度 | 20-24 | 4 | 1 | 2 |
| 合计 | — | 107 | 35 | 47 |
这张表透露了几个对建模决策有直接影响的事实:
- 标签左偏:train 中 0-9 分的受访者占 76 场(约 71%),抑郁阳性(≥10)仅 31 场(约 29%)。二分类任务天然不平衡,朴素准确率基准无意义。
- dev/test 极度偏斜:dev 35 场中阳性 13 场、test 47 场中阳性仅 12 场,且 test 中重度以上样本(9 场)反而是全划分里占比最高的一档。test 的构成与 train 并不同分布——这是 AVEC 划分的历史遗留,做模型选择时要意识到 dev 与 test 的分布差异。
- 极端样本稀少:全场数据 PHQ-8≥20 的只有 7 场。任何关于重度抑郁的结论都建立在小样本上。
2.4 音频与转写规格
- 音频:16 kHz 单声道 wav。这一采样率对语音抑郁检测够用(抑郁语音标志物研究集中在基频、能量、语速、频谱特征等,均在 8 kHz 奈奎斯特内),但若想做高保真声学研究需注意上限。
- 转写:每场一个 CSV,四列——speaker(Ellie 或 Participant)、start time、stop time、value(转写文本)。Ellie 的话轮里常见形如
how_doingV (so how are you doing today)的记号:括号前是访谈系统的提问标识,括号内为自然语言展开。Participant 侧为逐字转写,含 um、uh 等填充词——这些非流利标记本身就是抑郁语音研究的特征来源,清洗文本时不要顺手删掉。 - 已知同步问题:318、321、341、362 号访谈的转写时间戳与音频错位,451、458、480 号缺 Ellie 侧话轮,需要手工修复后才能做严格的对齐研究(详见 §10)。
2.5 视觉特征:为什么不发原始视频
出于受试隐私保护,DAIC-WOZ 不发放任何原始视频帧,代之以 OpenFace 工具库按 30fps 从视频提取的六类参数化特征:
| 特征 | 维度/形式 | 典型用途 |
|---|---|---|
| 2D 面部关键点 | 68 点 | 表情几何形态、嘴部开合 |
| 3D 面部关键点 | 68 点 | 头部姿态解耦后的形态 |
| HOG(方向梯度直方图) | 图像块描述子 | 外观特征 |
| 面部动作单元(FAU/AU) | 强度值 | FACS 编码的抑郁行为标志(如 AU4 皱眉、AU15 嘴角下垂) |
| 注视向量 | 4 个 | 目光回避研究 |
| 头姿 | 位姿参数 | 低头的抑郁行为标志 |
这一设计的利弊要分开看:利在隐私合规、文件体量小、特征质量统一;弊在锁死了视觉研究的天花板——你不能用自己训练的视觉模型重新提特征,也无法研究 OpenFace 特征之外的表情细节(如细微的肌肉颤动)。2020 年代以来的端到端视觉方法在这个数据集上只能退化为「以特征为输入的序列建模」。选用前请确认你的研究问题在参数化特征的天花板之内。
2.6 与同类访谈语料的规格对照
| 维度 | DAIC-WOZ | 一般访谈语料(如真人临床访谈录像库) | 语音情绪库(如 MSP-Podcast) |
|---|---|---|---|
| 访谈执行者 | 虚拟人 Ellie(巫师操控) | 真人临床医师 | 非访谈自然场景 |
| 标签 | PHQ-8 临床量表 | 诊断/量表 | 情绪类别 |
| 视觉模态 | 仅参数化特征 | 常含原始视频 | 多无 |
| 划分 | 官方固定 train/dev/test | 各家自定 | 各家自定 |
| 获取 | EULA 申请制 | 多为机构内部 | 多公开申请 |
DAIC-WOZ 的独特卖点是「固定划分 + 临床量表标签 + 三模态齐全」三件事同时成立,这正是它能成为十年基准的原因。
§3 访谈设计与 SimSensei 谱系:为什么是 Ellie
3.1 项目背景:SimSensei 与虚拟人访谈
DAIC-WOZ 不是孤立的数据集,它是 USC ICT SimSensei kiosk 项目的数据底座。SimSensei 的愿景是做一个无人值守的虚拟访谈亭:受试走进亭子,与屏幕上的虚拟人 Ellie 对话,系统实时分析语音与面部行为,输出心理困扰的早期预警。DeVault 等人在 AAMAS 2014 发表的系统论文描述了这套系统。
这个背景解释了数据集的几个关键设计选择:
- 为什么用虚拟访谈员:真人访谈员会引入不可控的风格变异(每个医师问法不同),虚拟人可以统一话术;同时虚拟界面降低了受访者的病耻感防御——文献报告受访者在虚拟访谈中更愿意披露负面信息。
- 为什么先做 Wizard-of-Oz:全自动对话系统在 2010 年代初还不成熟。WoZ 范式让真人「巫师」在幕后实时操控 Ellie 的提问与反馈,既保留虚拟界面的一致性与隐私感,又保证对话质量。收集到的数据再用于训练后续的全自动版本。
- 为什么访谈是半结构化的:真实临床筛查既有固定量表锚点又有自然对话。DAIC 访谈设计成「rapport 建立 → 中性话题 → 症状定向提问 → cool-down」的四段结构,问题覆盖 PHQ 与 PCL 对应的症状域,同时保留开放式的追问空间。
3.2 Wizard-of-Oz 范式的数据学后果
WoZ 范式对数据性质的影响是双向的,建模前值得想清楚:
正面:
- 访谈风格跨场次一致性高——同一位巫师、同一套话术、同一个虚拟形象,批次效应小。
- 受试面对的是屏幕而非真人,社会赞许性偏差(social desirability bias)降低,转写中保留了较多自然披露。
- Ellie 的话轮可从转写中分离,做受试侧单模态分析时干净利落。
负面:
- 生态效度折扣:对着动画形象说话与对着医师说话是不同的社交情境。把 DAIC-WOZ 上训练的模型直接外推到真实临床访谈,性能会打折扣——文献中跨语料(如 DAIC-WOZ 训练、其他临床语音测试)评估的结果普遍大幅下降。
- 巫师效应残留:巫师虽受统一培训,但仍有个人风格;不同受试的访谈质量也随巫师的临场把控波动。
- 时长被压缩:WoZ 访谈 7-33 分钟(均值 16),短于面对面访谈的 30-60 分钟。症状暴露时间短,对轻度症状的信号采集不利。
3.3 受试人群:退伍军人与普通民众
受访者来自大洛杉矶地区两个招募池:美国退伍军人与普通社区居民。这个构成有两点需要注意:
- 创伤暴露率高于一般人群:退伍军人子群中 PTSD 相关经历比例较高,而 PTSD 与抑郁高度共病。转写中会出现创伤相关叙述,做抑郁检测时可能混入 PTSD 信号——这既是干扰也是研究机会(共病建模)。
- 性别、年龄、种族分布未见官方系统披露:文献中偶有子集统计,但数据集层面不提供人口学元数据文件,亚组公平性研究(fairness)受限于这一缺口。
3.4 量表家族:发放的与未发放的
项目内实际采集的量表比发放的多:
| 量表 | 测什么 | 是否随 DAIC-WOZ 发放 |
|---|---|---|
| PHQ-8 | 抑郁 | 是(唯一分诊标签) |
| PCL-C(PTSD Checklist-Civilian) | PTSD | 否 |
| STAI(State-Trait Anxiety Inventory) | 焦虑 | 否 |
| PANAS(正负情绪量表) | 当前情绪 | 否 |
| 人口学问卷 | 基本信息 | 否 |
这是使用 DAIC-WOZ 做多任务心理健康建模时最常见的失望点:你只能拿到抑郁标签。想做 PTSD 检测的研究者发展出了替代方案——利用转写中的言语内容(如 PTSD 阳性叙述模式)自建弱标注,或在申请时与 ICT 沟通特殊授权(个案处理,无公开承诺)。
§4 任务与基准:AVEC 系列与十年评测生态
4.1 AVEC 2016:基准划分的起点
2016 年,AVEC(Audio/Visual Emotional Challenge)把 DAIC-WOZ 用作抑郁子挑战赛(Depression Sub-challenge,DSC)官方数据,给出 train 107 / dev 35 的公开划分,测试标签由组织方持有。此后 test 47 场与官方划分被社区沿用至今——沿用官方划分是这一数据集的社区规范,换划分的结果几乎无法发表比较。
AVEC 2017 继续相关任务;E-DAIC 则服务于 AVEC 2019 的 State-of-Mind 子挑战(抑郁检测升级)。
4.2 典型任务形态与指标
十年文献中 DAIC-WOZ 上的任务收敛为几类:
- 抑郁二分类(PHQ-8 ≥10):指标 F1、准确率、precision/recall。因类别不平衡,F1 与 recall 比准确率有意义。
- 严重度回归(PHQ-8 连续 0-24):指标 MAE、RMSE。回归口径避开了切点的任意性,但极端分数样本稀少。
- 单模态通道研究:语音(基频、能量、jitter/shimmer、MFCC、语速)、文本(词频、n-gram、绝对词频 absolute word count——抑郁者第一人称代词使用增多、绝对词减少是经典发现)、视觉(AU 强度、头姿、注视)。
- 多模态融合:early fusion(特征级拼接)、late fusion(决策级)、model-level fusion(深度模型内部融合)。文献综述普遍认为 model-level fusion 在该数据集上表现最好,但优势幅度随骨干模型演进在缩小。
- 访谈行为与对话建模:Ellie 与受试的互动模式、话轮转换特征、回应延迟等,服务于访谈智能体研究。
4.3 结果水位与横向比较注意事项
- 早期(2016-2019)主流是手工特征 + SVM/随机森林,二分类 F1 大致在 0.6-0.8 区间;深度方法兴起后报告值走高,但 test 只有 47 场,单场波动即可改变名次——报告方差与多随机种子结果才是负责任的做法。
- 2024 年后的 LLM 时代工作(如三模态 + 大语言模型融合)刷新了上限,同时系统整理了数据缺陷清单(§10 引用的清洗条目多来自这类工作)。
- 横向比较的三条纪律:① 确认对方是否官方划分;② 确认是否清洗了已知数据缺陷(清洗与否差好几个点);③ 确认标签口径(0/1 vs 连续分,切点是否含 10——数据集口径为 ≥10 阳性)。
4.4 数据清洗基准:文献已建立的预处理清单
在官方划分之上,社区逐渐形成一套默认清洗流程,直接复用可保证可比性:
- 剥离每场音频开头的研究助理对话残留;
- 移除 373、444 号访谈中的长段中断;
- 手工补转 451、458、480 号缺失的 Ellie 话轮;
- 修正 318、321、341、362 号的转写时间戳同步;
- 修正 409 号的标签错误(PHQ-8=10 但二分标签 0,按 ≥10 阳性口径应为 1);
- 文本侧按需保留 um/uh 等非流利标记(若做语音-文本对齐则必须保留)。
§5 获取与许可:EULA 流程与条款拆解
5.1 申请流程实操
数据从 https://dcapswoz.ict.usc.edu/ 申请,具体步骤:
- 打开官网,找到 DAIC-WOZ Database 区块的 Apply Now 按钮(指向 Jotform 表单);
- 用学术邮箱填写申请——官方明示「due to consent constraints we are only allowed to distribute the data to academics and other non-profit researchers」,商业邮箱大概率被拒;
- 在线签署 EULA 并提交;
- 等待审批后获得下载凭据,下载压缩包;
- E-DAIC 是单独的申请入口与单独的 EULA,需要另签。
审批周期以申请者经验报道为准(数天到数周不等),无 SLA 承诺;本条目不给出具体时限以免误导。
5.2 EULA 条款逐条拆解
从公开的 DAIC-WOZ EULA 表单,核心条款六条:
- 用途限制:仅限非商业研究目的,任何商业使用被禁止。注意「非营利」与「学术」在官方措辞中并提(academics and other non-profit researchers)——非学术的非营利机构可尝试申请,但以学术邮箱为默认预期。
- 再分发禁令:不得向任何第三方分发数据库或其部分。这意味着你不能把下载的数据放进自己的网盘、镜像、代码仓库,哪怕只给合作者。实验室内部共用按同一申请处理。
- 发表条款:允许在论文与学术演示中出于说明目的使用数据,但必须保护受试身份(不得发布可识别信息),且必须引用 Gratch et al. LREC 2014(完整作者列表见 EULA)。
- 条款变更权:USC ICT 可随时修改使用条款,变更后用户需重签新 EULA 才能维持访问。
- 无保修:数据按现状提供,提供方不对使用造成的损失负责。
- 署名义务:所有使用该数据的报告须在致谢/引用中注明数据来源。
5.3 许可风险项如实标注(检索者必读)
对打算把 DAIC-WOZ 用于模型训练并可能开源成果的团队,有三条风险必须如实评估:
- 派生模型的分发灰色地带:EULA 禁止「再分发数据库或其部分」。用 DAIC-WOZ 训练的模型权重是否算「部分」?EULA 未明文规定模型权重的地位。社区通行做法是仅发布模型与代码、不发布任何数据(含测试集预测输出对照),但严格合规性未经 USC ICT 书面确认——存在解释风险。
- 条款单向变更权:USC ICT 可随时改条款且要求重签,意味着长期依赖该数据的工程项目存在供应连续性风险。
- 非商业约束传导:下游开源许可证(如 Apache-2.0)与 EULA 的非商业条款叠加,会在项目内形成双重许可结构,商业化路径被源数据彻底堵死。
5.4 获取方式的 AI-Ready 评级
| 维度 | 评价 |
|---|---|
| 可发现性 | 高——官网明确、文献引用充分 |
| 可获取性 | 中——EULA 申请制,学术邮箱门槛,审批周期不定 |
| 格式可用性 | 高——wav/CSV 平明格式,目录结构文档化 |
| 标签可用性 | 中高——PHQ-8 齐全但其他量表缺席 |
| 许可友好度 | 低——非商业、禁再分发、条款可单方变更 |
| 划分规范性 | 高——官方划分十年稳定 |
综合:对学术团队是「流程可预期、内容高质量」的典型申请制数据集;对商业团队事实上不可用。
§6 数据使用实操指南:从下载到第一轮实验
6.1 目录结构与文件定位
拿到压缩包后,典型结构是每场访谈一个以编号命名的目录(如 300_P/、362_P/),内含:
<id>_P/
├── <id>_AUDIO.wav # 16kHz 单声道访谈音频
├── <id>_Transcript.csv # 四列转写:speaker/start/stop/value
├── <id>_Clnf_AU.csv # AU 强度特征
├── <id>_Clnf_HOG.csv # HOG 特征
├── <id>_Clnf_LDLdp11.csv # 部分版本中的特征文件
├── ... # 其余 OpenFace 特征文件(关键点/注视/头姿)
└── <id>_PHQ.csv # PHQ-8 各项与总分(部分版本随包提供标签文件)
(实际文件名随分发批次略有出入,以包内附带的官方文档 DAICWOZDepression_Documentation.pdf 为准——先读文档再动手是这一数据集的第一条实操纪律。)
6.2 加载示例:转写与音频对齐
import pandas as pd
import wave
# 读取一场访谈的转写
df = pd.read_csv("362_P/362_Transcript.csv")
# 注意:318/321/341/362 的转写时间戳与音频失同步,需先按文献清单修复
# 只取受试侧话轮
part = df[df["speaker"] == "Participant"]
# 用 wave 模块读音频元数据
with wave.open("362_P/362_AUDIO.wav") as w:
sr = w.getframerate() # 16000
dur = w.getnframes() / sr # 时长(秒)
注意 CSV 的 speaker 列取值为 Ellie 或 Participant(部分批次写作 Ellie/Participant 之外的形态,先 df["speaker"].unique() 核对再过滤)。
6.3 特征文件的处理要点
- OpenFace 各特征文件行数按 30fps 展开,与音频秒数大体对应但不保证逐帧对齐(丢帧、遮挡段缺失)。做帧级融合前先按时间戳重采样。
- AU 文件的列名遵循 OpenFace FACS 编码(AU01、AU04、AU15 等),抑郁行为研究的经典通道是 AU4(皱眉)、AU14、AU15(嘴角下拉)、AU45(眨眼率)与头姿俯仰角(低头)。
- HOG 是高维外观描述子(数百维),早期工作用它喂分类器,深度时代多数工作只保留 AU 与关键点。
6.4 一个最小可复现实验配方
从零到第一个可发表基线的最短路径:
- 下载官方划分清单(AVEC 2016 布局的 train/dev/participant ID 列表在挑战赛资料与多个 GitHub 复现仓库中可得);
- 按 §4.4 清单清洗数据;
- 用 librosa 提取每场受试侧语音的 eGeMAPS 特征(88 维,openSMILE 标准集),按场取均值/方差汇聚;
- SVM/logistic 回归 + 二分类 F1,dev 上调参,test 一次性报告;
- 文本侧用 TF-IDF 或冻结的句子编码器取转写均值向量做同样流程;
- 晚融合(分数平均)作为三模态下限基线。
这个配方对应的性能不会是 SOTA,但足以验证数据管线正确,且所有环节可复现。
6.5 坑点 1:把 Ellie 话轮算进受试语音
最经典的入门错误:提取声学特征时没过滤 speaker 列,把 Ellie 的语音也算成受试信号。Ellie 的声音是同一个系统音,跨场次完全相同,混入后模型学到的不是抑郁信号而是「本场 Ellie 说了多少话」——与标签偶然相关,dev 上调参调出虚高结果。永远在特征提取前按 speaker 过滤。
6.6 坑点 2:用自己的划分重跑 test
有人发现官方划分下 test 太少(47 场)想「k-fold 交叉验证更稳健」,于是重新划分并在测试折上报告。结果无法与十年文献比较,审稿人第一枪就打这里。正确做法:要么完全沿用官方划分,要么额外补充交叉验证作为辅助证据并明确标注非官方口径。
6.7 坑点 3:忽略切点的「含 10」约定
数据集口径是 PHQ-8 ≥ 10(含 10)判阳性。409 号访谈 PHQ-8 恰为 10 而原始二分标签为 0 的错误正是这个约定下的标注事故。自己重算标签时用 score >= 10,不要写成 > 10。
6.8 坑点 4:把 E-DAIC 的场次数与 DAIC-WOZ 混用
读文献时不看清楚用的是哪个版本,把 E-DAIC 的规模(更大场次)与划分套到 DAIC-WOZ 上,或反之。两库场次数、划分、转写来源(人工 vs Google ASR)都不同,对比实验必须固定版本。
6.9 坑点 5:直接用转写文本做医疗诊断声明
转写包含高度敏感的心理健康披露。EULA 要求保护受试身份,论文示例中不得展示可识别个体的原始叙述片段;做错误分析(error analysis)展示个案时必须改写或仅呈现特征统计。
6.10 坑点 6:假设 test 分布与 train 一致
§2.3 的严重度分布表显示 test 的中重度占比反而高于 train。如果你在 train 上校准了概率阈值,直接搬到 test 上会偏。建议在 dev 上校准并接受 dev→test 的分布漂移是基准的一部分。
§7 生态与影响:十年的抑郁检测基准
7.1 引用规模与学术地位
自 2016 年 AVEC 以来,DAIC-WOZ 累计被数百篇论文使用,覆盖领域包括:
- 语音信号处理(Interspeech、ICASSP 的抑郁检测专题);
- 多模态机器学习(ACM ICMI、ACM MM);
- 心理健康 NLP(CL Psych、ACL 相关 workshop);
- 情感计算(IEEE TAFFC、ACII);
- 人机交互与虚拟智能体(AAMAS、IVA)。
它是少数能提供「固定划分 + 临床量表 + 多模态」三件套的公开(申请制)资源,几乎所有多模态抑郁检测论文都以它为必比基准。
7.2 与 AVEC 挑战赛系列的共生
AVEC 2016/2017(DAIC-WOZ)与 AVEC 2019(E-DAIC)构成了情感计算社区的抑郁检测主线赛程。挑战赛论文(Valstar et al. 2016、Ringeval et al. 2019)是划分与任务口径的原始出处,引用时应回到这两篇。
7.3 与 E-DAIC 的联动使用
进阶玩法:在 DAIC-WOZ 上训练、E-DAIC 上扩训或验证(两者受试不重叠的部分可作额外泛化检验),或反过来在 E-DAIC 大数据上预训练、DAIC-WOZ 官方 test 上对齐社区基准。注意转写来源不同(人工 vs Google ASR)带来的文本分布差异。
7.4 局限在文献中的共识画像
十年使用沉淀出的共识局限,做 limitation 章节可直接引用:
- 样本量小(189 场),深度模型容易过拟合,方差大;
- 标签是自评量表而非临床医师诊断,金标准本身有测量误差;
- 虚拟访谈情境的生态效度折扣;
- 视觉模态锁死在 OpenFace 参数化特征;
- 人群单一(洛杉矶地区、英语、退伍军人+社区居民),跨语言跨文化外推无据;
- PTSD/焦虑官方标签缺席,多任务心理健康建模受限。
§8 方法学启示:DAIC-WOZ 教给领域的四件事
8.1 固定划分是基准的生命线
DAIC-WOZ 的高引用很大程度归功于 AVEC 划分十年不动。对比一些同题材数据集(划分各家自定、结果不可比),固定划分 + 持续维护的下载通道 + 引用规范,构成了数据集学术影响力的三支柱。
8.2 申请制与隐私保护可以共存于大规模使用
DAIC-WOZ 证明了「不发原始视频、只发参数化特征」的隐私工程可以支撑十年的活跃研究。代价是视觉端到端方法的天花板,收益是数据得以持续合法发放。这一权衡后来被多个敏感健康数据集效仿。
8.3 虚拟访谈员既是数据工具也是研究对象
Ellie 既是数据采集的标准化手段,本身也成了人机交互研究的对象(受访者的信任建立、披露行为受虚拟人影响的方式)。数据集的「采集工具」维度衍生出第二研究生命,这是数据集设计时少有人预见的。
8.4 已知缺陷的公开沉淀是社区资产
DAIC-WOZ 的音频残留、失同步、标签错误等缺陷并非官方逐条公布,而是社区在使用中逐个发现、在论文与方法仓库中沉淀成清洗清单。后来者应把这当成方法论:用脏数据集之前,先检索社区清洗共识;自己发现新缺陷时,公开记录它。
§9 与库内条目的关系
9.1 家族与主题图谱
- 同族(AVEC/情感计算):AVEC 挑战赛系列数据若库内收录,可与本条目互链成「AVEC 系」小家族。
- 同主题(心理健康多模态):语音抑郁/情绪检测类数据集(如 MSP-Podcast 类语音情绪库)与 DAIC-WOZ 构成「情绪 vs 临床量表」的对照阅读对。
- 同方法(访谈数据):临床访谈文本/对话类数据集可与本条目的转写规格互为参照。
- 互链 rid 占位:库内互链目标的 record_id 由主会话入库后统一回填,本条目一律写 /0 占位,避免猜 rid 造成导航失效。
9.2 检索路径建议
- 从「抑郁检测」「多模态」「心理筛查」关键词进来的读者:本条目 §1-§5 已覆盖主线,§10 是动手前的最后检查。
- 从「AVEC」「Ellie」「SimSensei」进来的读者:§3 讲谱系与设计动机,§7 讲基准生态。
- 从「EULA/许可合规」进来的读者:直接看 §5.3 的三条风险标注。
§10 避坑清单:十二个已踩过的坑
以下坑点按「申请→数据→建模→发表」的工作流顺序排列,每条都来自文献或社区实践的实锤记录。
坑点 7:用商业邮箱或机构邮箱申请被拒
EULA 分发对象限定学术与非营利研究者,官方明示「请只用学术邮箱申请」。用公司邮箱、医院非教研邮箱申请,轻则被要求补充证明、重则直接无回复。学生可用 .edu 邮箱;教师/研究员用所在大学域名邮箱;确实没有学术邮箱的非营利机构,先邮件联系 ICT 沟通再走表单。
坑点 8:把数据包放进代码仓库或网盘再分发
EULA 禁止向第三方再分发「数据库或其部分」。实践中踩过的形态包括:把数据放进 GitHub 私有仓库与团队共享、把特征文件打进 pip 包、在论文补充材料里附测试集清单与标签对照。任何形式的复制传播都越线。团队共享的正确姿势是:每人各自申请、各自下载。
坑点 9:训练/测试受试泄漏的隐蔽形态
即便沿用官方划分,还有两类泄漏:
- 受试编号泄漏:转写中受试可能提及编号相关身份信息,文本模型可能从 Ellie 话轮风格学到巫师线索——按 speaker 过滤 Ellie 侧后文本建模可规避大半。
- 预处理泄漏:先在全集上做特征标准化(如 z-score 用了全集统计量)再划分。正确做法是所有统计量只在 train 上估计。
坑点 10:把绝对词数特征算进 Ellie 侧
文本抑郁检测的经典特征(第一人称代词占比、绝对词数 absolute word count——抑郁者绝对词数减少)必须只在受试话轮上计算。Ellie 的话轮长度由巫师控制,混入后特征语义完全失真。这与坑点 5 同根,但文本侧更容易在 pipelining 中漏掉。
坑点 11:用 dev 的 PHQ-8 标签调切点
回归模型输出连续 PHQ-8 预测后,二分类需要切点。有人按 test 的 F1 最优来选切点——直接把 test 用成了验证集。切点只能在 dev 上选;或者干脆放弃自定义切点,沿用 ≥10 的临床约定并报告该口径下的结果。
坑点 12:引用时引用了二手综述而非语料论文
EULA 明文要求引用 Gratch et al. LREC 2014。只引用 AVEC 2016 挑战赛论文或某篇使用它的综述,不满足署名义务。规范的引用组合是:语料论文(Gratch 2014)+ 所用版本说明(DAIC-WOZ)+ 系统论文(DeVault 2014,若涉及 Ellie/访谈设计)。
坑点 13:跨批次特征文件名不一致
不同年份下载的 DAIC-WOZ 压缩包内特征文件命名有出入(部分批次含 HOG,部分批次文件组织方式不同)。写跨版本复现代码时不要硬编码文件清单,先 os.listdir 探测、以官方文档为准、对缺失模态显式降级而不是让程序崩溃。
坑点 14:把 7 分钟的短访谈与 33 分钟长访谈同等汇聚
时长跨 7-33 分钟,按场取统计均值会让短访谈的统计量噪声远大于长访谈。两类处理:按时长加权、或按固定时长截断(如每场只取前 N 分钟——文献中「前 X 分钟预测全访谈标签」本身就是一个研究选题)。
坑点 15:直接拿 LLM 对转写做零样本诊断并公开个案输出
2023 年后的工作流行用 LLM 对转写做零样本/少样本抑郁筛查。两条红线:① 输出个案级预测对照时可能泄露可识别叙述,违反 EULA 身份保护条款;② 把 LLM 输出表述为「诊断」超出数据标签(自评量表)的证据强度,发表时会遭伦理审查质疑。表述统一为「PHQ-8 筛查标签预测」。
坑点 16:忘记 EULA 条款可被单方修改
数据进了项目生命周期多年后条款变了怎么办?建议:申请时留存 EULA 快照(自留档不外传);关注 ICT 站点更新;重大变更重签前冻结项目数据的合规边界。别把「当年签的条款」当成永久承诺。
坑点 17:误以为 PTSD 标签能用 PCL-C 随包获得
PCL-C 在项目内采集过,但不随 DAIC-WOZ 发放。个别二手资料(甚至部分论文)表述含糊,让读者以为 PTSD 标签在场。核实方法:拿到数据包后直接搜文件树,没有 PCL 字样的标签文件就是没有。替代方案见 §3.4。
坑点 18:用 test 做任何形式的选择
最后一条也是最重的一条:test 47 场只许碰一次。超参选择、模型选择、集成权重、阈值、随机种子挑选——任何一样用到 test 上,基准意义就没了。十年的可比性建立在 test 的不可触碰上。
§11 深度问答:检索者高频疑问
11.1 为什么 189 场访谈能撑起十年基准?
三个支撑点:官方固定划分提供的可比性、临床量表标签提供的任务真实性、三模态齐备提供的方法试验场。基准的价值不在数据量而在「比较基础设施」——DAIC-WOZ 把比较成本降到最低。当然也要诚实地说:189 场的样本量在深度学习时代已是短板,社区在 E-DAIC 与其他数据集上寻求扩容,但 DAIC-WOZ 的 test 47 场仍是公共基准的地标。
11.2 我能把自己的模型在 DAIC-WOZ 上的结果开源吗?
模型权重与代码可以,数据不行。稳妥边界:开源代码、模型结构、训练配置、特征提取脚本;不开源任何数据文件(含预处理后的特征矩阵)、不开源测试集上的逐场预测与标签对照表(合集会实质重构 test 标签)。更严格的团队会连「模型在 test 上的输出分布图」都省略。若项目涉及模型权重对外发布,建议邮件向 ICT 说明用途取得书面口径(留证)。
11.3 DAIC-WOZ 能用来训练商业产品吗?
不能。EULA 第一条禁止一切商业使用。即便产品免费,公司背景本身也可能被认定为商业用途。想规避只能:不用该数据训练产品模型(只用于内部学术研究),或等 USC ICT 未来开放新的授权形态(无公开计划,勿假设)。
11.4 中文场景能用它做什么?
DAIC-WOZ 是英语语料(洛杉矶受访者),不能直接支持中文抑郁筛查。可迁移的是方法论:访谈结构设计(四段式)、特征工程清单(语音 eGeMAPS、文本词类特征、面部 AU)、任务口径(PHQ-8 切点 10)、以及「虚拟访谈员采集」的范式本身。中文团队常以 DAIC-WOZ 为方法对照基准,采集本地语料做平行研究。
11.5 引用清单(一文打包)
- Gratch J, Artstein R, Lucas GM, Stratou G, Scherer S, Nazarian A, Wood R, Boberg J, DeVault D, Marsella S, Traum D, Rizzo A, Morency L-P. The Distress Analysis Interview Corpus of Human and Computer Interviews. LREC 2014: 3123-3128.(语料论文,EULA 强制引用)
- DeVault D, Artstein R, Benn G, et al. SimSensei kiosk: A virtual human interviewer for healthcare decision support. AAMAS 2014.(系统论文)
- Valstar M, et al. AVEC 2016.(官方划分与挑战赛口径)
- Ringeval F, et al. AVEC 2019.(E-DAIC 口径,如涉扩展版)
11.6 DAIMS 评估表
| 维度 | 得分(1-5) | 评注 |
|---|---|---|
| 任务价值 | 5 | 抑郁筛查多模态检测的事实标准基准 |
| 数据质量 | 4 | 人工转写质量高;已知缺陷清单可清洗 |
| 标注质量 | 3.5 | PHQ-8 自评量表为金标准代理;存在个别标注错误;其他量表缺席 |
| 可获取性 | 3 | EULA 申请制,学术邮箱门槛,审批周期不定 |
| 文档完备 | 4 | 官方文档 PDF + 十年社区沉淀 |
| 可复现性 | 5 | 官方划分固定,结果可比性极佳 |
| 许可友好 | 2 | 非商业、禁再分发、条款单方变更权 |
| 合计 | 27.5/40 | 学术团队强烈推荐;商业团队不可用 |
11.7 按角色阅读路径
- 研究生/首次接触者:§0 → §1 → §2 → §6 → §10,一天内可完成从了解到跑通基线。
- 复现论文的工程师:§4.4 清洗清单 → §6 实操 → §10 坑点 5-18,重点核对划分与清洗是否与目标论文一致。
- 许可合规/法务:§5 全节,尤其 5.3 三条风险标注。
- 数据集建设者(学方法论):§3.1-3.2 → §8 → §11.1,学习「固定划分 + 申请制 + 隐私工程」三件套。
- 综述作者:§4 → §7,获取任务形态与十年文献共识画像。
11.8 一页速查卡
- 身份:USC ICT,189 场 Ellie WoZ 访谈,LREC 2014 语料论文
- 规模:train 107 / dev 35 / test 47;7-33 分钟/场,均值 16 分钟;编号 300-492 区间不连续
- 模态:16kHz wav + 人工 CSV 转写(speaker/start/stop/value)+ OpenFace 30fps 特征(68 点 2D/3D 关键点、HOG、AU、注视、头姿)
- 标签:PHQ-8 0-24 分;≥10 阳性;仅抑郁标签发放(PCL-C/STAI/PANAS 不发放)
- 获取:dcapswoz.ict.usc.edu,Jotform 签 EULA,学术邮箱
- 条款:非商业/学术、禁再分发、须引 Gratch 2014、条款可变更、无保修
- 必修清洗:开头残留剥离、373/444 中断、451/458/480 缺话轮、318/321/341/362 失同步、409 标签错误
- 铁律:test 只碰一次;Ellie 侧永远过滤;沿用官方划分
- 家族:DAIC → DAIC-WOZ(本条目)→ E-DAIC(AVEC 2019)
§12 常见误解澄清
12.1 误解一:「DAIC-WOZ 是公开数据集」
经常在论文里看到「publicly available DAIC-WOZ」。严格说它是申请制可获取(available upon request with EULA),不是无门槛公开下载。写作时准确表述既是对许可的尊重,也避免读者误以为能直接下载。同理,它也常被叫「public dataset」——社区约定俗成,但检索时若在公开镜像(如某些网盘、学术互助帖)发现流传包,下载使用本身违反 EULA,且来源不明的包可能混入改动的标签。
12.2 误解二:「有 PTSD 标签」
数据集主题词里 PTSD 出现频率很高(项目目的是筛查焦虑、抑郁与 PTSD),导致大量检索者默认 PTSD 标签在场。事实:只有 PHQ-8 随包发放(§3.4 表)。项目层面确实做了 PTSD 相关评估(这解释了访谈内容与文献主题),但标签不发放。PTSD 研究者要么自建弱标注,要么申请 E-DAIC 后另询 ICT。
12.3 误解三:「受试编号 300-492 就是 193 个人」
编号区间 300-492 有 193 个号码位,实际 189 场访谈,编号不连续。有人据此推断「有 4 个受试数据被移除」,无官方依据;也有人把 E-DAIC 的编号混进来扩大区间。准确表述:受试以 300-492 区间内的编号标识,共 189 场,编号存在缺口,缺口构成未官方披露。
12.4 误解四:「WoZ 就是全自动的」
WoZ 场次里 Ellie 由真人巫师操控,不是自动化访谈。全自动版本在 DAIC 家族里属于 E-DAIC 增补的场次。混用两个概念会让「访谈执行方式」这一关键变量失真——比如用 WoZ 数据研究「全自动访谈系统的用户行为」,结论会被巫师操控污染。
12.5 误解五:「OpenFace 特征等于原始视频」
拿到特征文件后有人以为「视频数据也有了,就是换了个格式」。特征是不可逆压缩:从 68 点关键点恢复不出脸,从 AU 强度看不到细微表情。需要原始视频的问题(如深度表情感知、微表情、多脸检测)在此数据集上无解。
12.6 误解六:「test 47 场太少,用一下没关系」
test 少正是它珍贵的理由:全场社区只用它一次,它才成为硬通货。把它反复用于模型选择,等于用几百篇论文共享的考卷做私下辅导——自己论文的数字虚高,同时污染整个社区的比较基线。样本量焦虑的正确出口是 dev 调参 + 报告方差 + 补充 E-DAIC 实验,而不是动 test。
12.7 误解七:「签了 EULA 实验室就都能用」
EULA 以申请人(个人)为单位。实验室同事各自下载才是合规路径;把账号/凭据共享给他人属于变相再分发。同理,学生毕业带走数据继续研究也需要新申请。
§13 访谈行为研究专题:超越分类任务
DAIC-WOZ 的第二生命在「访谈行为」研究:把它当成一次人机对话的自然实验来分析。
13.1 受试回应模式与症状的关联
转写的时间戳结构允许研究:回应延迟(Ellie 问完到受试开口的间隔)、话轮长度分布、打断行为、沉默段。文献报告的稳定发现方向:抑郁严重度较高者平均回应更慢、话轮更短、绝对词量更少。这类研究把数据集从「分类样本池」还原为「行为观察窗」,结论对临床筛查界面设计有直接启发。
13.2 Ellie 侧的操控策略分析
巫师操控意味着 Ellie 的提问策略是「实验者变量」:同一套话术骨架下,巫师的追问、共情反馈节奏可以逐场分析。研究问题包括:巫师的即时反馈(点头、嗯声)是否提升受试披露量、访谈后期受试投入度是否衰减。这些分析反哺自动访谈系统的话术设计。
13.3 跨模态时间对齐研究
音频、转写、视觉特征三条时间轴的对齐质量决定了细粒度研究上限。粗粒度(按话轮聚合)最稳;帧级对齐受转写失同步场次(§4.4)与 OpenFace 丢帧影响。做对齐研究的工程建议:以音频时间轴为基准,转写时间戳修复后投影,视觉特征按 30fps 重采样,并全程记录对齐误差分布。
13.4 面向临床对话系统的方法论启示
从 SimSensei 到今天的医疗对话 LLM,「虚拟访谈员采集标准化临床语料」的范式持续有效。DAIC-WOZ 留下的可迁移设计:四段式访谈结构、量表锚定的话术骨架、cool-down 伦理收尾、WoZ 先行再自动化的演进路径。这些设计出现在后来多个医疗对话数据集的构建方案中。
§14 下游资源与复现生态
14.1 官方资源
- 分发站点:https://dcapswoz.ict.usc.edu/(含 DAIC-WOZ 与 E-DAIC 两个申请入口)
- 官方文档:DAICWOZDepression_Documentation.pdf(站点直链,数据包内亦有附带)
- 语料论文 PDF:LREC 2014 论文在作者主页可获取(Stefan Scherer 主页有镜像链接,见官网 References)
14.2 社区复现资源(检索关键词)
以下为检索建议而非直接推荐(第三方仓库质量参差,使用前自行核对清洗与划分一致性):
- 检索词:
DAIC-WOZ baseline github、AVEC 2016 depression sub-challenge reproducibility - 常见内容:官方划分 ID 列表、eGeMAPS/COVAREP 特征提取脚本、清洗脚本(对应 §4.4 清单)、报告 F1/MAE 的基线模型
- 风险提示:部分仓库附带特征文件或划分数据,其中数据文件属再分发违规,只参考代码、不要下载其数据资产。
14.3 从 DAIC-WOZ 出发的延伸数据集
- E-DAIC:同站申请,扩展场次 + 自动化访谈 + ASR 转写(AVEC 2019)。
- AVEC 系列其他子挑战:AVEC 2019 还包含跨文化情绪识别等子任务(不同数据)。
- 其他抑郁语音/多模态资源:检索
depression speech dataset可得若干后续数据集(部分更大规模、部分含中文),与 DAIC-WOZ 对照阅读可评估跨数据集泛化——文献共识是跨数据集性能大幅下降,这本身就是重要研究发现方向。
14.4 数据卡片(Data Card)式摘要
name: DAIC-WOZ
full_name: Distress Analysis Interview Corpus - Wizard of Oz
provider: USC Institute for Creative Technologies
corpus_paper: Gratch et al., LREC 2014, pp. 3123-3128
sessions: 189
duration_range_minutes: [7, 33]
duration_mean_minutes: 16
split: {train: 107, dev: 35, test: 47}
participant_id_range: [300, 492]
modalities:
audio: 16kHz mono wav
transcript: CSV, columns [speaker, start_time, stop_time, value]
visual: OpenFace 30fps (68x2D landmarks, 68x3D landmarks, HOG, AUs,
4 gaze vectors, head pose)
labels:
instrument: PHQ-8
score_range: 0-24
binary_cutoff: '>=10'
distributed: depression only
access: EULA via dcapswoz.ict.usc.edu (Jotform), academic email required
license_terms: non-commercial/academic only; no redistribution;
citation of Gratch et al. 2014 required; terms changeable by provider
known_issues:
- pre-interview assistant chatter in all audios
- long interruptions in sessions 373, 444
- missing interviewer turns in 451, 458, 480
- transcript-audio desync in 318, 321, 341, 362
- label error in session 409 (PHQ-8=10 labeled 0)
§15 附录
15.1 data_source 明细(frontmatter 字段展开)
frontmatter 的 data_source 字段受 255 字符限制只写了摘要,明细如下:
- 音频层:189 个 16 kHz 单声道 wav 文件,每场访谈一个,时长 7-33 分钟。
- 转写层:189 个 CSV 文件,四列结构 speaker / start time / stop time / value;人工逐字转写,含非流利标记与 Ellie 话术标识记号。
- 视觉特征层:OpenFace 工具库 30fps 提取的六类特征文件——68 点 2D 面部关键点、68 点 3D 面部关键点、HOG 描述子、面部动作单元(AU)强度、4 个注视向量、头姿参数;原始视频不发放。
- 标签层:PHQ-8 八项分项与总分(0-24)、切点 ≥10 的二分抑郁标签;官方 train/dev/test 划分(107/35/47)。
- 文档层:官方数据文档 PDF,含目录结构、字段说明与使用注意事项。
15.2 严重度分布完整对照(DAIC-WOZ)
| PHQ-8 分数段 | 严重度(Kroenke-Spitzer 口径) | train | dev | test | 合计 |
|---|---|---|---|---|---|
| 0-4 | 无症状 | 47 | 17 | 2 | 66 |
| 5-9 | 轻度 | 29 | 6 | 1 | 36 |
| 10-14 | 中度 | 20 | 6 | 1 | 27 |
| 15-19 | 中重度 | 7 | 6 | 7 | 20 |
| 20-24 | 重度 | 4 | 1 | 2 | 7 |
| 合计 | — | 107 | 35 | 47 | 189 |
读表提醒:合计列的 66/36/27/20/7 呈现出清晰的严重度金字塔——无症状约三分之一,重度仅 7 场。这既是筛查人群的自然画像,也是模型必须面对的先验。
15.3 已知数据缺陷速查(清洗工程对照表)
| 缺陷类型 | 涉及场次 | 处置建议 |
|---|---|---|
| 音频开头残留研究助理对话 | 全部 189 场 | 检测并剥离开头非访谈段 |
| 长段中断(如手机铃声) | 373、444 | 定位中断段并剪除 |
| 缺 Ellie 话轮 | 451、458、480 | 手工补转或文本侧剔除对应段 |
| 转写与音频失同步 | 318、321、341、362 | 手工校正时间戳后再对齐 |
| 标签错误(PHQ-8=10 标 0) | 409 | 按 ≥10 阳性口径改标 1 |
| 编号缺口 | 300-492 区间 | 无需处理,知悉即可 |
15.4 术语对照表
| 术语 | 英文 | 说明 |
|---|---|---|
| 巫师假人 | Wizard-of-Oz | 人类幕后操控虚拟人/系统的实验范式 |
| 虚拟访谈员 | virtual interviewer | 本条目中即 Ellie |
| 痛苦分析访谈语料库 | Distress Analysis Interview Corpus | DAIC,全语料工程 |
| 患者健康问卷-8 | Patient Health Questionnaire-8 | PHQ-8,八项抑郁自评量表 |
| 面部动作单元 | facial action unit (AU) | FACS 编码的面部肌肉动作单位 |
| 方向梯度直方图 | histogram of oriented gradients (HOG) | 图像外观描述子 |
| 融洽关系建立 | rapport | 访谈开场的信任建立阶段 |
| 社会赞许性偏差 | social desirability bias | 受试迎合期望的作答倾向 |
| 最终用户许可协议 | End-User License Agreement (EULA) | 本数据集的分发许可形式 |
| 再分发 | redistribution | 向第三方传播数据,EULA 禁止 |
| 生态效度 | ecological validity | 实验情境对真实情境的代表性 |
| 绝对词数 | absolute word count | 文本抑郁研究的经典特征 |
15.5 建议互链点(正文说明,不进 frontmatter)
以下为库内建议互链对象。互链 rid 一律占位 /0,由主会话入库后统一回填(写手不猜 rid,避免 R018 型导航失效):
- 同属生理信号/语音信号类目的条目——可组成「语音健康标志物」阅读簇;
- 同属多模态类目的条目——本条目是「音频+文本+视觉特征」三模态的代表性样本;
- 同属评测基准/挑战赛数据集类目的条目——AVEC 系与固定划分基准方法学的对照阅读;
- 医疗 NLP/临床文本类目下的对话型语料条目——访谈转写的文本挖掘对照。
15.6 本条目的存照与待核事项
按 FACTS 档案存照约定,成稿引用数字的口径说明:
- 189 场、7-33 分钟、均值 16 分钟、107/35/47 划分、PHQ-8 口径、OpenFace 六类特征:官网(dcapswoz.ict.usc.edu)与多篇文献(含 arXiv:2407.19340)三源一致,直接采用。
- 受试编号 300-492:arXiv:2407.19340 口径;区间大于场次且编号不连续,官方未公开逐场清单,按「区间标识、189 场实际在场」口径成稿。
- 严重度五档分布(train/dev/test):取自 Milintsevich 博士论文(theses.hal.science, tel-04823166)整理表,与 AVEC 口径一致;未逐场复核原始数据。
- EULA 六条款:Jotform 公开表单原文,直接采用。
- 数据缺陷清单:Tri-Modal LLM 论文(arXiv:2407.19340)整理,属社区沉淀而非官方公告,存照。
- 遗留疑点一:E-DAIC 当前确切场次数——文献口径 163/56/56 划分(共 275 场级),未从官网直接核实,本条目仅在 §2.1/§7.3 作定性描述并标注「文献口径」。
- 遗留疑点二:AVEC 2017 是否沿用 DAIC-WOZ 同一划分——社区普遍沿用,但未从 AVEC 2017 原文核实,本条目不作具体划分声明。
- 遗留疑点三:访谈采集的具体年份区间(2007-2014 为项目期推断),官方页面未标注逐场采集时间,temporalCoverage 按项目期口径写。
15.7 三句话总结
- DAIC-WOZ 是 USC ICT 用虚拟访谈员 Ellie(巫师操控)采集的 189 场心理困扰筛查访谈多模态语料——16kHz 音频、人工转写、OpenFace 视觉特征与 PHQ-8 抑郁标签齐备,官方划分 107/35/47 十年未变,是多模态抑郁检测的事实标准基准(AVEC 2016 官方数据)。
- 获取走 EULA 申请制(学术邮箱、仅限非商业/学术、禁再分发、须引 Gratch et al. LREC 2014、条款可被单方修改);原始视频与 PTSD/焦虑量表标签不发放。
- 用前必修社区清洗清单(开头残留、373/444 中断、451/458/480 缺话轮、318/321/341/362 失同步、409 标签错误),建模铁律三条:过滤 Ellie 侧、沿用官方划分、test 只碰一次。
15.8 编辑附记
本条目成稿于 2026-10-17,检索与核验基于以下一手来源(三源互证):
- USC ICT 官方分发站点:https://dcapswoz.ict.usc.edu/(数据集描述、E-DAIC 说明、学术/非营利限制原文、参考文献列表)
- DAIC-WOZ EULA 公开表单:https://form.jotform.com/220456082743050(六条款原文)
- Tri-Modal LLM 抑郁分类论文(arXiv:2407.19340 镜像):数据规格、编号区间、数据缺陷清单、PHQ-8 口径
- Milintsevich 博士论文(tel-04823166, theses.hal.science):DAIC 四种访谈形式、严重度分布表、E-DAIC 对照
- NCIRL 学位论文(donovanmichaeljeremiah.pdf):AVEC 2016 关联、EULA 申请流程旁证、Ellie 访谈形式描述
各来源间无核心数字冲突;出入点(编号区间 vs 场次数、E-DAIC 规模、AVEC 2017 划分)已按 §15.6 存照处理。frontmatter 互链 rid 一律 /0 占位,待主会话回填。
§16 按建模模态的深度实操指南
16.1 语音通道:从 wav 到抑郁声学标志
语音是 DAIC-WOZ 上研究最充分的通道。一条经过验证的特征路线:
- 特征集选择:eGeMAPS(88 维,Geneva 极小主义声学特征集)是当前文献默认;老一辈工作用 COVAREP 与 openSMILE 的 ComParE 大特征集(6000+ 维,易过拟合,189 场下慎用)。
- 汇聚策略:话轮级 → 函数式汇聚(均值/中位数/斜率/离散度)→ 场级向量。斜率特征(如基频随时间下移)与抑郁的「精神运动性迟滞」假说呼应,常比均值更有判别力。
- 经典声学标志:基频均值与范围变化、能量变异下降、语速放缓、停顿比例上升、jitter/shimmer 上升。单通道二分类 F1 的文献水位约 0.6-0.75(官方划分、清洗后)。
- 预处理细节:受试侧过滤(坑点 5);去静音段(VAD)后再统计停顿比例;响度归一化仅用 train 统计量。
16.2 文本通道:转写挖掘与 LLM 时代
- 经典特征:第一人称代词占比、绝对词数、排他词(but/except)、否定词、愤怒词与焦虑词词典计数(LIWC 是历史标配,开源替代有 Empath 与自建词典)。
- 话轮建模:按话轮序列建模(而非全场拼接)保留对话动态;受试侧与 Ellie 侧分离后,可做受试回应与提问内容的交叉注意力结构。
- LLM 用法:冻结句子编码器取受试叙述的均值嵌入是稳妥基线;指令微调模型做零样本筛查时,输出表述用「PHQ-8 标签预测」(坑点 15);few-shot 示例从 train 抽取并固定种子,不要在 dev/test 上换示例。
- 非流利标记:um/uh 计数本身是特征(言语迟疑率)。做语义嵌入前可保留也可剥离,但剥离版本只用于嵌入,词频统计永远用原始转写。
16.3 视觉通道:参数化特征的最佳用法
- AU 通道:逐帧 AU 强度 → 话轮/时间段聚合 → 时序池化。经典通道 AU4(皱眉)、AU14、AU15、AU17、AU45;「AU 强度方差下降」对应面部表情表达扁平化(flat affect),是文献反复出现的发现。
- 关键点通道:68 点 2D 关键点做几何归一化(减去均值、除以尺度)后提取嘴部开合度、眉毛高度、眼睛开合度三条派生曲线,比裸坐标更稳。
- 头姿与注视:低头俯仰角、注视偏离屏幕的比例——「回避注视」假说的直接检验通道。
- 缺失处理:OpenFace 丢帧(遮挡、转头过快)会产生 NaN。策略:前向填充 + 缺失率作为辅助特征(缺失率本身可能携带回避信号,但要警惕与头姿的共线)。
16.4 多模态融合的工程决策树
按工程成本从低到高:
- 晚融合(各通道独立模型,分数/概率平均):最稳的下限,一天可复现。
- 特征级早融合(场级向量拼接):通道规模差异大时先做标准化,小样本下容易过拟合,建议配合强正则。
- 模型级融合:跨模态注意力/门控(早期 LSTM 时代到 Transformer 时代文献主流),性能上限最高,189 场下需要预训练骨干 + 冻结策略 + 早期停止纪律。
- 决策边界校准:dev 上校准(坑点 6),接受 test 分布漂移。
16.5 评估协议模板
1. 划分:官方 107/35/47,绝不重划(坑点 2/18)
2. 清洗:§4.4 清单逐条执行并在论文中声明
3. 调参:dev 上做,早停止也看 dev
4. 报告:test 上二分类 F1(正类=抑郁阳性)+ 严重度回归 MAE/RMSE
5. 稳健性:≥5 个随机种子报均值±方差;小样本下方差可能大于方法差异
6. 消融:每模态单通道基线必须给出,多模态增益才有说服力
7. 公平性:人口学元数据缺失限制了亚组分析,如做需明确说明局限
§17 案例解剖:一场访谈的分析全流程
以一场(虚构编号的)典型中重度访谈为例,走一遍完整分析流程,给初学者建立具象心智模型。
17.1 数据进入
打开该场目录,音频 18 分钟,转写 214 个话轮(Ellie 68 / 受试 146),PHQ-8 = 16(中重度,标签 1)。受试为 40 多岁退伍军人,访谈从「最近怎么样」式的中性问题开始。
17.2 清洗动作
剥离音频开头 40 秒的研究助理对话(确认信号:说话人数变化、话题为设备调试);检查转写同步(本场无失同步);确认无中断段。清洗记录写入实验日志——每场的清洗动作都应可追溯,这是跨论文可比性的微观基础。
17.3 特征观察(教学性示例)
- 语音:受试总语时约 5 分钟(话轮多但短),基频均值低于 train 中位数,停顿占比偏高;
- 文本:第一人称代词「I」占比高于 train 均值,绝对词数低于中位数——两个方向都指向抑郁文本画像;
- 视觉:AU 强度方差偏低(表情扁平),头姿俯仰角负偏(低头)比例偏高;
- 互动:平均回应延迟约 1.2 秒,高于 train 中位数;Ellie 的追问在症状段落密集。
这些观察与 §16 的经典标志方向一致——单一一场当然不构成证据,但可用来 sanity check 特征管线:如果一场 PHQ-8=16 的访谈算出「话轮又长又快、表情丰富」,先怀疑管线错了再怀疑模型。
17.4 错误分析的呈现纪律
论文展示个案时:引用转写必须改写(去标识化改写,EULA 要求);特征曲线图可展示(无身份信息);避免「该受试」与可识别叙述的组合。低龄、稀有职业、极端创伤叙述等组合尤其容易再识别——呈现前过一遍再识别风险评估。
§18 研究设计模板:三个可执行的选题
18.1 选题一:前 N 分钟预测
动机:真实筛查场景关心「多快能筛出来」。设计:只用每场前 3/5/10 分钟的多模态数据预测全场访谈得到的 PHQ-8 标签,绘制性能-时长曲线。价值点:性能饱和点(如 5 分钟达到全场性能 95%)对筛查流程设计有直接意义。注意:与「用全长数据」的文献结果比较时要声明口径不同。
18.2 选题二:跨版本泛化(DAIC-WOZ → E-DAIC)
动机:检验方法对转写来源(人工 vs Google ASR)与访谈形式(WoZ vs 全自动)变化的鲁棒性。设计:DAIC-WOZ train 训练 → E-DAIC 测试子集评估,反向亦然,报告性能落差并归因(转写噪声?访谈风格?人群差异?)。这是少有人系统做、但工程价值高的选题。
18.3 选题三:访谈行为的中介分析
动机:把「声学特征→抑郁」的黑箱打开一层。设计:检验回应延迟/话轮长度是否中介「精神运动迟滞特征→PHQ-8」的关系。统计方法用中介分析(如 bootstrap 中介效应),样本量 189 支撑中等效应的中介检验。价值点:从预测研究走向机制假说,适合投人机交互与临床信息学交叉期刊。
18.4 选题共通纪律
- 所有选题沿用官方划分与清洗清单;
- 报告遵循 §16.5 协议模板;
- 任何涉受试叙述的展示遵守 §17.4 呈现纪律;
- 三个选题的结果都不构成临床诊断主张,讨论章节明确「筛查研究」定位。
§19 数据集建设者视角:把 DAIC-WOZ 当蓝图
19.1 蓝图要素拆解
若你要建设一个同类型的敏感健康多模态数据集,DAIC-WOZ 提供了一份经过十年检验的蓝图:
- 隐私工程先行:采集设计阶段就决定「不发原始视频、只发参数化特征」,让后续发放没有合规悬崖。
- 申请制 + EULA:以人格化的许可协议(明确禁止清单 + 引用义务 + 条款变更权)替代一刀切开源协议,为持续维护留出空间。
- 官方划分:发布即冻结 train/dev/test,给社区十年可比性。
- 文档随包:官方 PDF 说明目录、字段与注意事项,减少「考古式使用」。
- 量表锚定:标签用公认临床量表(PHQ-8)而非自造类别,任务定义天然清晰。
19.2 蓝图的已知缺口(后来者应补的课)
反向看,DAIC-WOZ 暴露的缺口正是新一代数据集的改进清单:
- 人口学元数据缺席:公平性研究无米下锅——新数据集应在合规前提下发布分层人口学统计(即使不发个体元数据)。
- 多量表只发一种:采集成本差不多的多量表应尽量随包发放(或提供分级申请通道)。
- 缺陷无官方清单:数据缺陷靠社区考古,官方应在文档中随版本更新已知问题清单。
- 条款变更无过渡机制:EULA 单方变更权缺少过渡期与老用户豁免机制,影响长期项目信心。
- 版本标识弱:不同年份压缩包内容有出入(坑点 13),应引入显式版本号与变更日志。
19.3 对照阅读建议
把本条目 §19 与库内其他数据集条目的「许可与获取」章节对照阅读,可以建立「AI-Ready 光谱」的完整图景:从完全开放(CC0/CC-BY 公开直链)到申请制(DAIC-WOZ)到封闭(机构内部),不同位置的数据集在可用性、可比性、合规成本上的权衡各不相同。DAIC-WOZ 位于「申请制中段」,其十年基准地位证明:可获取性中等不阻碍学术影响力,比较基础设施才是关键。
§20 扩展问答
20.1 为什么 PHQ-8 而不是 PHQ-9?
PHQ-8 与 PHQ-9 的差别在是否含自杀意念条目(第 9 条)。研究场景(尤其无人值守访谈场景)采用 PHQ-8 可回避自杀条目的伦理处理复杂度,同时保留 0-24 分与 ≥10 切点的临床解释力。这也是为什么数据集标签是 0-24 而非 0-27。
20.2 转写里的 (so how are you doing today) 括号是什么?
Ellie 话轮的转写采用「内部标识符(自然语言展开)」格式:括号前是访谈系统的提问 ID(供对话系统与数据管理用),括号内是该标识对应的自然语言问句。解析 Ellie 侧文本时应取括号内内容;受试侧无此结构。跨场次的提问 ID 还可用于按话题切段分析(哪些问题触发了更长的回应)。
20.3 能只申请 DAIC-WOZ 不申请 E-DAIC 吗?
可以,两个申请入口独立。只做官方基准复现的话 DAIC-WOZ 够用;做扩展研究(更大样本、自动化访谈、跨版本泛化)再申请 E-DAIC。先小后大是稳妥策略——先用 189 场跑通管线,再扩。
20.4 数据包里有没有官方特征提取代码?
以包内文档为准。历史上官方发放的是数据与文档,特征提取依赖 OpenFace 开源工具本身(可自行重装复现参数);部分挑战赛资料附带基线特征提取脚本。不要假设特征可 100% 复现——OpenFace 版本差异会导致数值出入,优先直接使用发放的特征文件,自提特征仅在需要额外通道时做,且需在论文中声明版本。
20.5 发表时的致谢模板
可在致谢/数据节使用如下模板(并按 EULA 保留完整引用):
本研究所用 DAIC-WOZ 数据集由南加州大学创意技术研究所(USC ICT)提供,经签署最终用户许可协议获取。引用:Gratch J, Artstein R, Lucas GM, et al. The Distress Analysis Interview Corpus of Human and Computer Interviews. In Proceedings of LREC 2014, pp. 3123-3128.
20.6 如果只是想「看看数据长什么样」
无学术邮箱的爱好者没有合规途径浏览该数据。替代方案:阅读引用它的论文中的转写示例(发表语境下已获准并去标识);部分挑战赛论文附有特征统计图表。不要从网盘/论坛获取流传包——违反 EULA 且来源不可信。
§21 十年方法演进时间线(扩展)
按年代梳理 DAIC-WOZ 上的方法演进,给综述写作与选题定位提供坐标。各阶段数字为文献典型水位(官方划分),仅供量级参考。
21.1 2014-2016:挑战赛奠基期
- 事件:语料发布(LREC 2014)→ AVEC 2016 抑郁子挑战赛确立官方划分。
- 方法:手工声学特征(COVAREP、openSMILE)+ SVM/高斯过程;文本侧 LIWC 词类特征;视觉侧 LBP-TOP 与 AU 统计。
- 口径确立:F1(二分类)、MAE/RMSE(回归)成为默认指标;test 47 场不可触碰的规范形成。
- 特点:小样本下浅模型 + 特征工程是理性选择;挑战赛论文给出参赛队系统报告,是首批公开结果集合。
21.2 2017-2019:深度模型渗透期
- 事件:AVEC 2017 继续任务;E-DAIC 与 AVEC 2019 扩展生态。
- 方法:CNN/RNN 吃声谱图与特征序列;注意力机制引入跨话轮建模;多模态融合从拼接走向门控与注意力。
- 发现沉淀:文本通道的相对优势明确(人工转写质量高);语音端到端与手工特征差距不大(样本量瓶颈);跨语料泛化差被反复证实。
- 工程沉淀:清洗清单逐步成型(社区各自发现缺陷并交流)。
21.3 2020-2022:预训练时代
- 方法:wav2vec 2.0/HuBERT 类语音预训练模型替换手工特征;BERT 系替换 TF-IDF;面部侧受「无原始视频」限制仍以 AU/关键点序列为主。
- 主题转向:小样本下的正则化与校准、可解释性(哪些通道/时段贡献预测)、抑郁与 PTSD 共病的任务设计。
- 反思声音:test 太小导致排名噪声大、自评标签与临床诊断的差距被更多讨论。
21.4 2023 至今:LLM 与多模态大模型期
- 方法:指令模型零样本/少样本筛查、三模态架构(arXiv:2407.19340 为代表)系统整理数据缺陷并给出清洗基准;多模态大模型尝试直接吃音频+转写。
- 新问题:LLM 输出的表述边界(坑点 15)、数据合规在模型开源语境下的重审(§5.3)、以及「用 LLM 生成的合成患者访谈」能否替代真实数据的伦理讨论。
- 现状:DAIC-WOZ 仍是必比基准,但「唯 test 论英雄」的时代在退潮,社区更看重跨数据集验证与方差报告。
21.5 给新入场者的定位建议
2020 年代入场做 DAIC-WOZ 的合理姿势:不复排名之战(边际收益小),而是做社区缺位的工作——方差与校准报告、跨版本/跨数据集泛化、行为中介分析(§18)、清洗消融(同一模型清洗前后差多少,量化缺陷清单的实际影响)。
§22 伦理与合规深读
22.1 双重敏感:健康数据 + 心理健康叙述
DAIC-WOZ 的敏感度是双重的:它既是健康数据(临床量表标签),又承载第一人称的心理困扰叙述(转写)。EULA 的三条设计都针对这一点:身份保护条款(发表不得可识别)、再分发禁令(控制流通面)、学术限定(研究语境使用)。
22.2 同意范围的边界
官方表述「due to consent constraints we are only allowed to distribute the data to academics and other non-profit researchers」说明受试同意书覆盖的就是学术/非营利研究——同意范围决定许可范围。这意味着即便未来 ICT 想开放商业授权,也可能受既有同意书约束而不可行。使用者不应假设「再谈个价就能商用」。
22.3 再识别风险的现实评估
189 场访谈含退伍军人子群,转写中的职业叙述、创伤事件细节(地点、时间、部队经历)在组合层面具备再识别能力。文献展示个案时普遍改写,但特征曲线 + 场次编号的组合也有微弱再识别面(test 集受试可被排除法锁定)。负责任的呈现原则:宁可牺牲个案生动性,不可增加再识别面。
22.4 模型下游的伦理传导
在 DAIC-WOZ 上训练的筛查模型若被用于真实人群,需要面对:训练人群(洛杉矶、英语、特定年代)与目标人群的分布差、自评标签作为金标准的测量误差、以及筛查阳性的心理后果设计。这些超出数据集本身的议题应在模型论文的 ethics statement 中承接——数据集条目在此提示义务,不展开展开。
§23 高频细节补充(三十五问的补遗)
23.1 文件层面的常见疑问
- Q:CSV 的时间戳单位是什么? 秒(浮点)。与 wav 帧数换算:帧 = 秒 × 16000。
- Q:一场访谈多个 CSV 特征文件行数不一致正常吗? 正常——各特征通道独立提取,丢帧行为不同步。融合前以时间戳重采样。
- Q:PHQ 分项在哪? 部分批次的标签文件含八项分项;若只有总分,分项不可用(不要从总分反推)。
- Q:转写有说话人分离错误吗? 存在零星错标(受试短应答被并入 Ellie 话轮等),大量使用前建议抽查若干场核对。
23.2 建模层面的常见疑问
- Q:多少维特征是安全上限? 经验规则:train 107 场下,场级特征维度控制在几十到两三百并配合正则;数千维 ComParE 集合需要特征选择或降维。
- Q:类别不平衡怎么处理? 类权重(class weight)优于过采样(小样本下合成样本噪声大);报告宏平均与阳性类 recall。
- Q:要不要用 dev 训练? 报告基准时不用;最终模型可在 train+dev 重训并声明(此时超参已冻结)。
- Q:集成有效吗? 种子级集成(同模型多种子平均)在 189 场下方差收益明显,是「免费」的稳健性提升。
23.3 比较层面的常见疑问
- Q:两篇论文 F1 差 0.02 能说谁好吗? 不能。47 场 test 下该量级差异在方差噪声内;看双方是否报了方差与多种子。
- Q:清洗口径不同怎么比? §4.4 清单执行与否可差数个百分点——比较时优先选清洗声明一致的论文,或复现到同一清洗口径。
- Q:E-DAIC 的结果能直接和 DAIC-WOZ 比吗? 不能直接比(样本量与划分不同);文献中两者分别报告,趋势可参考。
§24 结构化汇总表
24.1 模态-特征-任务对照总表
| 模态 | 原始资产 | 常用特征 | 典型任务 | 文献水位(参考) |
|---|---|---|---|---|
| 音频 | 16kHz wav | eGeMAPS、MFCC、基频/能量 | 二分类/回归 | F1 0.6-0.75 |
| 文本 | 人工 CSV 转写 | LIWC 类词频、句嵌入、非流利计数 | 二分类/回归 | F1 0.65-0.8 |
| 视觉 | OpenFace 特征(无原始视频) | AU 强度、关键点派生曲线、头姿、注视 | 二分类/回归 | F1 0.6-0.7 |
| 互动 | 时间戳结构 | 回应延迟、话轮长度、打断率 | 行为分析 | 描述性为主 |
| 融合 | 以上全部 | 晚/早/模型级融合 | 二分类/回归 | F1 0.7-0.85 |
(水位为文献典型区间,随清洗与骨干变化,仅供量级定位。)
24.2 许可条款速查卡
| 问题 | 答案 |
|---|---|
| 能商用吗 | 不能 |
| 谁能申请 | 学术与非营利研究者(学术邮箱) |
| 能转发给同事吗 | 不能,各自申请 |
| 发表要引什么 | Gratch et al., LREC 2014 |
| 条款会变吗 | 会,ICT 可单方修改并要求重签 |
| 模型权重能开源吗 | 可以(数据不可),严格口径下建议先书面询问 ICT |
| 有保修吗 | 无 |
| 训练的模型能商用吗 | 不能(非商业约束传导,§5.3) |
24.3 关键数字一栏表
| 数字 | 值 | 出处 |
|---|---|---|
| 场次数 | 189 | 官网 |
| 单场时长 | 7-33 分钟(均值 16) | 官网 |
| 官方划分 | 107/35/47 | AVEC 2016 / 官网文档口径 |
| 受试编号 | 300-492 区间(不连续) | 文献口径 |
| 音频采样率 | 16 kHz | 官网/文献 |
| 视觉帧率 | 30 fps | 文献 |
| PHQ-8 范围 | 0-24 | 量表定义 |
| 阳性切点 | ≥10(含) | 量表定义 |
| 严重度合计 | 66/36/27/20/7 | 文献整理表 |
| E-DAIC 划分 | 163/56/56(文献口径) | 文献 |
24.5 数据集生命周期小结
- 设计(项目期):SimSensei 需求驱动,WoZ 范式选定,量表锚定 PHQ-8;
- 采集:大洛杉矶两群人群,四段式访谈结构,巫师统一培训;
- 加工:人工转写、OpenFace 特征提取、隐私工程(去视频留特征);
- 发布(2014):LREC 论文 + 申请制发放;
- 基准化(2016):AVEC 划分冻结;
- 扩展(2019):E-DAIC 扩展自动化访谈;
- 持续运营:申请制至今,社区清洗清单与方法演进并行——一个数据集的「长生命周期运营」范本。
§25 结语
DAIC-WOZ 的故事可以浓缩成一个观察:一个 189 场的小数据集,靠「固定划分 + 临床标签 + 三模态 + 申请制合规」的基础设施设计,撑起了多模态抑郁检测十年的比较研究。 它的数据量在深度学习时代毫无优势,它的许可对商业团队关死了门,它的视觉模态被参数化特征锁住天花板——但它依然是任何一个认真的多模态心理健康研究者绕不开的名字,因为它把「可比性」这件最难的事做对了。
对学术使用者:签 EULA、用学术邮箱、沿官方划分、过清洗清单、test 碰一次——五步走完,你就在数百篇论文的同一条赛道上了。
对数据集建设者:把它当蓝图读(§19),学它的隐私工程与比较基础设施,补它的人口学缺口与官方缺陷清单。
对许可合规者:三条风险如实入档(§5.3)——非商业约束传导、条款单方变更权、模型分发的解释灰色地带。
本条目全部硬数字经官网、语料论文口径文献与方法论文三源互证;出入与遗留疑点已按 §15.6 存照。互链 rid 占位 /0,待主会话入库后回填。
§26 语音抑郁标志物特征详表
本节把语音通道常用特征逐项展开,供特征工程直接取用。每一行给出特征名、计算层、与抑郁的典型关联方向、注意事项。
26.1 韵律与时长类
| 特征 | 计算层 | 典型抑郁关联 | 注意事项 |
|---|---|---|---|
| 基频(F0)均值 | 话轮/场 | 男性样本常报下降 | 分性别统计,混性别池会洗掉效应 |
| F0 范围/变异 | 话轮/场 | 变异收窄(情感平淡化) | 用半音单位更稳 |
| 语速(音节/秒) | 话轮 | 下降(精神运动迟滞) | 需先 VAD,剔除静音再算 |
| 停顿总占比 | 场 | 上升 | 含话轮间与话轮内两类,分开报 |
| 最长话轮时长 | 场 | 下降 | 受话题影响大,配合内容分析 |
| 回应延迟 | 话轮对 | 上升 | 需 Ellie→受试话轮对齐,坑点 5 例外(此处要 Ellie 时间戳) |
| 发声时长占比(voicing ratio) | 场 | 下降 | 与停顿占比共线,选其一 |
26.2 声源质量类
| 特征 | 计算层 | 典型抑郁关联 | 注意事项 |
|---|---|---|---|
| jitter(基频微扰) | 帧聚合 | 上升 | 低信噪段异常值多,先做 SNR 筛查 |
| shimmer(振幅微扰) | 帧聚合 | 上升 | 同上 |
| HNR(谐噪比) | 帧聚合 | 下降 | 算法敏感,固定工具与参数并声明 |
| 声强均值/方差 | 场 | 方差下降 | 采集距离一致是前提(本数据集统一设置,满足) |
26.3 频谱类
| 特征 | 计算层 | 典型抑郁关联 | 注意事项 |
|---|---|---|---|
| MFCC 均值/动态 | 话轮/场 | 无单一方向,作通用表达 | 189 场下维度要压 |
| 谱质心/谱通量 | 帧 | 变异下降 | 标准化只用 train 统计 |
| 共振峰(F1/F2) | 帧 | 变化报道不一 | 证据弱,作辅助 |
| 频谱倾斜 | 帧 | 下降有报道 | 与能量特征共线 |
26.4 使用纪律
- 特征越多不是越好:107 场训练集下,先小特征集(eGeMAPS)建基准,再逐步加特征看 dev 增益;
- 所有「典型关联」是文献趋势而非本数据集保证复现的效应——以自己的 dev 实验为准;
- 任何特征工程改动写进实验日志,保证清洗-特征-模型三段都可追溯。
§27 文本特征清单与词典资源
27.1 词类特征(LIWC 风格)
| 类别 | 示例词 | 典型抑郁关联 |
|---|---|---|
| 第一人称代词 | I, me, my | 占比上升 |
| 绝对词 | all, never, everyone | 上升(绝对化思维) |
| 排他词 | but, except, without | 上升 |
| 否定词 | no, not, never | 上升 |
| 焦虑词 | worried, nervous | 上升 |
| 愤怒词 | hate, angry | 变化报道不一 |
| 社交词 | talk, share, friend | 下降 |
| 死亡词 | (临床敏感类) | 上升(样本极小,谨慎解读) |
(示例词仅示意词类边界;实际统计按所选词典资源词表执行。)
27.2 结构特征
- 话轮长度分布(均值/中位数/最大值);
- 非流利标记密度(um/uh per 100 words);
- 重复率(n-gram 重复,言语反刍的粗糙代理);
- 句长变异( syntactic complexity 代理)。
27.3 嵌入特征
冻结句子编码器(任意主流多语句子模型)按话轮嵌入,场级做均值 + 方差 + 首尾话轮拼接。注意嵌入维度(通常 384-1024)相对 107 场偏大,接一个瓶颈层或直接逻辑回归。
§28 面部特征逐通道释义
28.1 抑郁行为研究常用 AU
| AU | 名称 | 典型抑郁关联 |
|---|---|---|
| AU1 | 内眉上提 | 悲伤表情相关 |
| AU4 | 皱眉 | 上升(紧张/专注/负性情绪) |
| AU7/AU6 | 眼周收紧 | 变化不一 |
| AU12 | 嘴角上提(微笑) | 下降(快感缺失的行为面) |
| AU14 | 酒窝/嘴角紧绷 | 上升有报道 |
| AU15 | 嘴角下拉 | 上升(悲伤表情) |
| AU17 | 下巴上提 | 变化不一 |
| AU45 | 眨眼 | 眨眼率变化有报道 |
28.2 派生几何曲线
从 68 点关键点派生三条最常用曲线:嘴部开合度(上下唇关键点距离)、眉毛高度(眉点与眼点相对距离)、眼睛开合度。几何归一化(减均值除尺度)后与 AU 通道互补。
28.3 头姿与注视
- 俯仰角负偏(低头)比例——「低垂姿态」假说的直接通道;
- 注视向量偏离屏幕中心的比例——目光回避;
- 两者注意共线(低头常伴随视线离开摄像头),建模时任选或做共线诊断。
§29 与潜在替代/补充数据集的对照
| 维度 | DAIC-WOZ | E-DAIC | 典型语音情绪库 | 典型真实临床访谈库 |
|---|---|---|---|---|
| 规模 | 189 场 | 更大(文献口径 275 场级) | 数千小时级 | 视项目而定 |
| 标签 | PHQ-8 | PHQ-8 | 情绪类别 | 临床诊断 |
| 访谈形式 | WoZ | WoZ+全自动 | 非访谈 | 真人访谈 |
| 转写 | 人工 | Google ASR | 视库而定 | 视库而定 |
| 划分 | 官方固定 | 官方固定 | 各家自定 | 各家自定 |
| 许可 | EULA 学术 | EULA 学术 | 多开放申请 | 多封闭 |
| 适用 | 基准比较 | 扩样/泛化 | 情绪预训练 | 迁移研究 |
选择建议:基准比拼用 DAIC-WOZ;样本焦虑用 E-DAIC;预训练表征用情绪库迁移;真实临床外推需要与医院合作的新采集——四条腿缺一不可,单靠任何一座数据孤岛都撑不起「抑郁检测」这个问题本身。
§30 论文写作 checklist(DAIC-WOZ 专用)
投稿前的最后一遍核对,逐条勾选:
- 划分:官方 107/35/47,未重划,未碰 test 调参;
- 清洗:§4.4 五项缺陷逐条处理并声明;
- 标签口径:≥10(含)阳性;409 号修正声明;
- 说话人:所有受试侧特征在 Ellie 过滤后计算;
- 统计卫生:≥5 种子报均值±方差;通道消融齐全;
- 指标:二分类 F1(正类=阳性)+ 回归 MAE/RMSE;不用裸准确率;
- 版本声明:DAIC-WOZ 还是 E-DAIC,文件批次说明;
- 引用:Gratch et al. 2014 全作者列表 + DeVault 2014(涉系统)+ AVEC 2016(涉划分);
- 伦理:数据经 EULA 获取声明;个案展示已去标识化改写;筛查(非诊断)定位声明;
- 局限:样本量、自评标签、WoZ 生态效度、视觉特征天花板、人群单一——五条至少覆盖。
这份 checklist 本身可以随论文放补充材料(去掉本站内部措辞后),审稿人对「协议透明」的认可度会直接反映在审稿意见里。
§31 再谈 EULA:合规操作的时间线视角
把 EULA 义务放到项目时间线上看,每个阶段有不同的合规重心:
- 申请期:学术邮箱、如实填写用途、留档 EULA 快照;
- 使用期:禁再分发(含网盘/私有仓库/压缩包转发);团队内各自申请;
- 发表期:强制引用 + 个案去标识化;补充材料不含数据或标签对照;
- 开源期:代码与权重可开源,数据资产零释放;谨慎起见向 ICT 书面确认权重口径;
- 结项期:按条款处理本地数据副本(EULA 未明确规定销毁义务,但最小留存是稳妥实践);关注 ICT 条款变更公告。
把合规当成项目生命周期的一条并行走线而不是开工前的一次性关卡,是长期项目的低成本姿势。
§32 最终总结(扩展版)
32.1 三个身份
DAIC-WOZ 同时是三样东西:一份采集规范的心理访谈语料(四段式结构、量表锚定)、一个十年基准(固定划分 + 临床标签)、一套合规分发的方法论样本(EULA + 隐私工程)。三种身份对应三类读者,本条目的章节按此分线。
32.2 三条数字锚
- 189 场(7-33 分钟,均值 16),划分 107/35/47;
- PHQ-8 0-24 分,≥10 阳性,严重度金字塔 66/36/27/20/7;
- 六类 OpenFace 特征 @30fps,无原始视频。
32.3 三条使用铁律
- Ellie 侧永远过滤(坑点 5/10);
- 官方划分永不重划,test 碰一次(坑点 2/18);
- EULA 四不:不商用、不再分发、不可识别展示、不省略引用。
32.4 收束
如果只记住一件事:DAIC-WOZ 的价值不在数据量,而在它把「多模态抑郁检测」这件事从各家自说自话,变成了一个有公共考卷、有统一口径、有合规通道的可比较的科学活动。使用它、引用它、并在自己的论文里延续这套协议,就是对这个数据集最好的使用方式。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- tame-pain — 共享标签:生理信号 / 语音信号 / 多模态 / 医疗NLP
- babycry-ujm-axa — 共享标签:生理信号 / 语音信号 / 多模态 / 评测基准
- speech-commands — 共享标签:生理信号 / 语音信号 / 评测基准
- pathvqa — 共享标签:多模态 / 医疗NLP / 评测基准
- visem — 共享标签:生理信号 / 多模态 / 评测基准
- dementiabank-pitt — 共享标签:语音信号 / 医疗NLP / 评测基准
- hf-lung-v1 — 共享标签:生理信号 / 语音信号 / 评测基准
- bigideaslab-step-hr-smartwatch — 共享标签:生理信号 / 多模态 / 评测基准
- bigp3bci — 共享标签:生理信号 / 多模态 / 评测基准
- icbhi-2017 — 共享标签:生理信号 / 语音信号 / 评测基准
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

