DementiaBank English Pitt Corpus — 语音阿尔茨海默检测的事实标准语料库

匹兹堡大学 1983-1988 年阿尔茨海默纵向研究的语音遗产:约 33 小时访谈音频加 CHAT 逐句转写,Cookie Theft 图片描述为主任务,经 CMU TalkBank 会员制发放四十年,孵化 ADReSS 与 ADReSSo 两个国际挑战赛(百度研究院夺魁 ADReSS),是语音自动痴呆检测论文引用最密集的语料库

来源 Univ. of Pittsburgh Alzheimer and Related Dementias Study 1983-1988 纵向采集:访谈音频约 33 小时(292 参与者,另有降噪版)+ CHAT 转写 500 条(243 control + 257 dementia)+ Cookie Theft 描述、Word Fluency、Story Recall、Sentence Construction 四任务 + @ID 头嵌诊断与 MMSE + PItt-data.xlsx 人口学表发布时间: 2026-10-04最后更新: 2026-10-20 阅读 34
DementiaBank English Pitt Corpus — 语音阿尔茨海默检测的事实标准语料库

信息速览

数据集名称DementiaBank English Pitt Corpus — 语音阿尔茨海默检测的事实标准语料库
数据类型人工标注,音频数据,原始数据
规模官网分组口径 104 controls / 208 dementia / 85 unknown diagnosis(共 397 条分组记录,含纵向多次访问,非唯一人数);ASR 口径 292 名参与者
接入方式Univ. of Pittsburgh Alzheimer and Related Dementias Study 1983-1988 纵向采集:访谈音频约 33 小时(292 参与者,另有降噪版)+ CHAT 转写 500 条(243 control + 257 dementia)+ Cookie Theft 描述、Word Fluency、Story Recall、Sentence Construction 四任务 + @ID 头嵌诊断与 MMSE + PItt-data.xlsx 人口学表
AI 就绪度

INFOBOX — DementiaBank English Pitt Corpus 一屏速览

维度 内容
本质 1983-1988 年匹兹堡大学阿尔茨海默纵向研究采集的老年自发语音 + CHAT 转写语料库,TalkBank 旗下 DementiaBank 主语料
采集 University of Pittsburgh School of Medicine,Alzheimer and Related Dementias Study(Becker/Boller 团队)
托管 Carnegie Mellon University TalkBank(MacWhinney/Fromm);DOI 10.21415/CQCW-1F92
规模 官网分组 104 controls / 208 dementia / 85 unknown(397 条记录);音频约 33 小时 / 292 参与者;转写 500 条(243+257)
任务 Cookie Theft 图片描述(双组齐全)+ Word Fluency / Story Recall / Sentence Construction(仅痴呆组)
格式 CHAT(.cha)转写,@ID 头嵌诊断与 MMSE;CLAN 工具链;音频 mp3(另有降噪版)
医学底座 Becker et al. 1994 Arch Neurol 51(6):585-594:319 入组,基线诊断 vs 尸检准确率 86%、随访后 91.4%
衍生基准 ADReSS 2020(78+78 平衡,Interspeech 上海)与 ADReSSo 2021(speech-only 三任务)
标杆成绩 ADReSS 冠军百度研究院 89.58%(ERNIE 集成+停顿编码);ADReSSo 冠军 Rohanian 2021 84% / RMSE 4.26
伪影警告 Liu 2024:仅静音段可达 98.9%——录音环境差异构成非生物捷径,降噪后降至 63.1%
许可 CC BY-NC-SA 3.0 + TalkBank Code of Ethics + NIH 保密证书;数据禁入商业产品(含 LLM)
获取 转写 zip 公开可下;音频需 DementiaBank 会员(faculty 入会、学生经导师);无费用
影响力 Google Scholar 引用 543 篇(2024 中口径);250+ 出版物依赖(TalkBank 2023 自述);Apple/IBM 等申请过数据
库内互链 bridge2ai-voice(66)、ua-speech(473)、parkinsons-voice-uci(444)、saarbrucken-voice-db(452)、tuh-eeg-corpus(71)、apollocorpus(718)

DementiaBank English Pitt Corpus(下称 Pitt 语料)是一个「用四十年时间变成标准答案」的语料库:它在 1983-1988 年间被采集,本意只是阿尔茨海默病自然史研究的附属产物;随后被 Carnegie Mellon University 的 TalkBank 体系数字化、转写、上网,并在 2020 年被剪出年龄性别完全平衡的 ADReSS 子集,一举终结了语音自动痴呆检测领域「各用各的数据、结果无法互比」的乱局。到 2024 年年中,Google Scholar 上引用它的论文已达 543 篇;从经典的声学特征+SVM,到百度研究院的 ERNIE 集成,再到大语言模型上下文学习,全部要在它面前报一遍分数。

导语读法三则:

  1. 只想下数据:直奔 §6 获取与许可——转写是公开 zip,音频要走 DementiaBank 会员制(仅 faculty 入会、学生经导师),HF 上的镜像脚本绕不过授权(坑 4)。
  2. 要对标 ADReSS 成绩:直奔 §5——先弄清 78+78 平衡设计与三个任务,再看标杆榜;别把 Pitt 全集数字与 ADReSS 子集数字混着比(坑 1)。
  3. 做纵向/临床研究:直奔 §4——Becker 1994 的队列设计、入组标准与诊断准确性数字是这批数据的医学底座,引用格式官网强制要求。

§0 导读:这个数据集解决什么问题

痴呆的语言迹象比记忆测验更早出现:找词困难、停顿变长、指代混乱、内容空洞——这些都是医生在诊室里凭耳朵捕捉的东西。把「耳朵」换成机器,是计算研究者反复尝试的方向。但这个方向在 2020 年之前有个致命伤:没有标准数据集。各研究组要么自采几十人的样本,要么从 Pitt 语料里各自切一块——有的只用 probable AD,有的把 possible AD 也算上,有的只数参与者、有的数转写文件——于是同一句「在 DementiaBank 上达到 90% 准确率」在不同论文里根本不是同一件事。

Pitt 语料本身并没有「设计」成基准:它是匹兹堡大学 Alzheimer and Related Dementias Study 的纵向随访协议产物,参与者每年回访,接受从 Cookie Theft 图片描述到故事回忆的全套神经心理任务,音频和 CHAT 转写入库。它的三个特点恰好凑齐了基准数据集的要素:自发语音(图片描述是连续成段的口语,不是朗读)、双组设计(痴呆组与对照组都有 Cookie 任务转写)、临床锚点(每位参与者的诊断由纵向随访+部分尸检验证,诊断准确率有正式论文背书)。2020 年,爱丁堡大学与 CMU 的团队从 Pitt 里按年龄、性别、音质严格匹配出 78+78 的 ADReSS 子集,办起第一个 AD 语音检测共享任务,百度研究院以 ERNIE 集成拿下冠军;2021 年 ADReSSo 追加「只用语音、禁人工转写」与「纵向衰退预测」两个更贴近临床的赛道。此后这个领域的论文终于可以互相比数字了——这正是「AI-Ready」的核心含义:不是数据公开就行,而是数据+标签+任务定义+基准成绩构成一条可复现的链。

§0 读法三则:

  1. 这个条目是「原始语料+衍生基准」双层结构:Pitt 本体是 TalkBank 会员制语料,ADReSS/ADReSSo 是嵌在其中的标准子集——两者获取路径与许可一致但入口不同(§6)。
  2. 全文统计数字按「口径」组织:同一批数据在不同文献里有八种以上计数(§2),本条目逐一列明出处,跨口径比较前先读 §10 坑 1。
  3. 2024 年的 Clever Hans 研究给这个领域泼了教科书级的冷水:只用录音里的静音段就能判 AD(98.9%)。这不推翻 Pitt 的基准地位,但改变了读所有旧成绩的方式(§5.5、坑 7)。

术语速览(首读前 30 秒)

术语 一句话解释
Pitt 语料 本条目主角:DementiaBank 里最大的英文语料,采集自匹兹堡
TalkBank CMU 运营的多库联盟体系,Pitt 的托管方(2002 年建立,14 个库)
CHAT / .cha TalkBank 全系转写格式;标签嵌在文件头,不流畅逐句标注
CLAN CHAT 的官方分析软件;批量统计与音频对齐
Cookie Theft 波士顿失语症检查的经典图片描述任务;Pitt 的主战场
ADReSS / ADReSSo 2020/2021 年从 Pitt 剪出的两个国际挑战赛基准子集
probable AD 临床很可能的阿尔茨海默诊断;Pitt 的痴呆主分组
MMSE 简易精神状态检查(0-30 分);嵌在每条转写的 @ID 头里
Approved access TalkBank 四级访问的第三级:机构身份核验后开通,无费用
说话人泄漏 同一人的多次录音被分进训练与测试两侧——纵向语料头号陷阱
Clever Hans 效应 模型靠录音环境等非生物特征作弊拿高分——2024 年在 Pitt 上被实证

本条目结构地图

想知道 去
数据到底多大(八种口径) §2.1 对照表
四类任务与 CHAT 标注细节 §3
AD 诊断标签的医学可信度 §4(Becker 1994)
怎么和 500 篇论文比成绩 §5(ADReSS/ADReSSo)
怎么拿到数据、商用边界 §6
该不该用、好不好用 §7(DAIMS 评分)
这批数据四十年经历了什么 §8
和库内其他条目怎么联动 §9
踩坑救援 §10(八坑)

Pitt 语料的五重身份

同一个语料库在不同研究者眼里是五样东西——这解释了它为什么能横跨四个学科语境:

身份 视角 关键词
纵向临床队列 神经科/流行病学 319 入组、年度随访、86-91.4% 尸检验证准确率
语言学语料 心理语言学 CHAT 标注、不流畅符号、TTR/MLU 经典特征源
语音检测基准 机器学习 ADReSS/ADReSSo、500+ 论文的共同考场
老年 ASR 语料库 语音技术 33 小时、3.6k 词表、18.17% WER 参考线
数据治理标本 科学计量/伦理 CC BY-NC-SA 3.0、faculty 会员制、禁入 LLM 条款

写论文时选对身份:审稿人来自哪个社区,就用那一行的语言讲你的数据来源。

AI-Ready 视角下的一句话定位

用本库的 AI-Ready 尺子量:Pitt 语料是「文本即开即用、音频低门槛登录、标签嵌在数据本体、基准与榜单现成」的少见组合。它的短板不在数据质量而在口径混乱——而口径混乱恰恰是它太受欢迎的副产品:500+ 篇论文各取所需,把同一批数据用成了八种形状。本条目把这些形状画在一张表上(§2.1),是全网少有的完整拼图。

§1 数据集速览:十问十答

Q1:Pitt 语料里到底有多少数据?
取决于你数什么。官网页面顶部写 104 controls / 208 dementia / 85 unknown diagnosis(按诊断分组的记录数,含纵向多次访问,合计 397 条);做语音识别的研究者说它有约 33 小时音频、292 名老年参与者;数转写文件的研究者说 500 条(243 control + 257 dementia);多模态研究过滤后用 477 人(235 probable AD + 242 control);数 Cookie 任务语音样本的论文(Liu 2024)说 306 AD + 243 HC。这些数字全部真实、互相不矛盾——统计单位不同而已。本条目 §2 有完整口径表。

Q2:参与者是怎么招募和诊断的?
1983 年 3 月到 1988 年 3 月,匹兹堡大学 Alzheimer Research Program 入组 319 人:204 例 AD、102 名正常老年对照、13 例特殊病例。诊断由多学科会诊给出,随访最多 5 年后复审,其中 50 例死亡后做了尸检——尸检证实基线临床诊断准确率 86%,加上随访数据后 91.4%。这套流程的完整描述就是官方强制引用的 Becker et al. 1994(Archives of Neurology 51(6):585-594)。

Q3:参与者都做了哪些语音任务?
四个入库任务:Cookie Theft 图片描述(描述波士顿诊断性失语症检查表里的经典厨房图,对照组与痴呆组都有,是绝对主战场);Word Fluency(限时列举动物/食物/F 开头的东西等,仅痴呆组);Story Recall(听故事后即时+延迟回忆,两个故事「George and Melanie」和「Uncle Bill and Johnny」,仅痴呆组);Sentence Construction(造句,仅痴呆组)。此外官网还列出了完整研究协议的十几项语言任务。

任务可用性一句话版:想训练分类器只有 Cookie 可选(双组齐全);想研究痴呆的语言退化过程,Fluency/Recall/Sentence 提供痴呆组内部的丰富剖面。这个不对称是当年随访协议的设计决定的——对照组的年度回访没有安排后三个任务,所以任何「补对照」的想法都要回到原队列找替代方案。

Q4:转写是什么格式,标了哪些东西?
CHAT 格式(Codes for the Human Analysis of Transcripts),TalkBank 全家通用。每条转写的 @ID 头直接嵌诊断分组和 MMSE 分数,例如 @ID: eng|Pitt|PAR|57;|male|ProbableAD||Participant|18||。转写内部有停顿、填充词(&-um)、假起(&+)、不可懂语音(xxx/yyy/www)等逐句标记——这些「不流畅注释」后来被证明本身就是痴呆检测的强特征。配套的 CLAN 软件可以批量解析。

一个容易被低估的点:这些标记是人工标注的,转写员按统一规范逐句打点。在 ASR 尚不可靠的年代,这批人工停顿/假起标注的精度高于任何自动对齐——这也是为什么 2020 年冠军系统还要专门「吃」这些符号(把停顿编码为标点喂给 ERNIE)。

Q5:数据能免费下载吗?
分两半。转写:官网的 Download transcripts 链接是公开 zip,不需要注册。音频:放在 media.talkbank.org,需要 DementiaBank 会员身份。TalkBank 规则(rules.html 原文):密码保护的临床 banks(AphasiaBank、DementiaBank、FluencyBank、RHDBank、TBIBank)仅限 faculty 成员入会,学生须请导师入会后由导师提供访问,导师对学生的合规负责。无费用,但原始数据禁止再分发(坑 4)。

实操建议:先下转写把整条文本流水线(解析、特征、基线模型)跑通,音频获批后再补声学实验——两条线解耦,会员审批不阻塞文本侧研究。

Q6:许可协议是什么?
CC BY-NC-SA 3.0(TalkBank rules.html 原文),外加 TalkBank Code of Ethics 和 NIH Certificate of Confidentiality。三条边界原文级重要:其一,许可「precludes the incorporation of the data in commercial products, including systems such as large language models (LLMs)」——数据本体禁入商业产品与 LLM;其二,「Commercial enterprises that have been allowed access can use the data for the development of algorithms…but the data themselves cannot be included in models」——获准访问的企业可以开发算法,但数据不能进模型权重;其三,可识别数据在 NIH 保密证书下只能存本地设备。把数据拿去微调商用大模型是明确违规。

Q7:现在最好的模型能到多少分?
分两层看。榜单层:ADReSS 2020 冠军百度研究院(Yuan et al.,停顿编码+50 ERNIE 集成多数表决)准确率 89.58%;ADReSSo 2021 冠军 Rohanian et al.(多模态门控 BiLSTM,4.9M 参数)AD 分类 84%、MMSE 回归 RMSE 4.26。警示层:Liu et al. 2024 证明只用静音段就能拿 98.9%——这些分数背后混着录音环境伪影,跨库外推前先读 §5.5。

Q8:ADReSS 和 Pitt 是什么关系?
ADReSS 是 2020 年 Interspeech 挑战赛从 Pitt 的 Cookie 任务里剪出的标准子集:78 AD + 78 non-AD,年龄性别完全匹配、声学降噪归一、每人只取一次录制。它随 Pitt 会员资格一起发放(media.talkbank.org 的 0extra 目录)。可以把 ADReSS 理解为「Pitt 语料的考试卷」——大多数论文现在会在 Pitt 全集与 ADReSS 上各报一遍成绩。

Q9:这批数据对中文/多语言研究有用吗?
语料本身是英语(美东口音老年语音),但其价值在方法学:CHAT 标注体系、ADReSS 的平衡化流水线、「挑战赛式基准」的组织方式,都被中文(如 JCCOCC MoCA 语料)与多语言痴呆语音项目直接继承。本库 apollocorpus(718) 等中文临床语音条目可视作方法学上的远亲;Liu 2024 还专门用 Mandarin AD 数据集做对照,证明静音段伪影是 Pitt 特有而非普适现象。

Q10:引用时要注意什么?
TalkBank 规则要求:使用 Pitt 数据必须引用至少一篇 corpus 文献(通常就是 Becker et al. 1994),并致谢 NIA 资助 AG03705 与 AG05133。注意官网两个段落里资助号写法不一致(AG005133 vs AG05133 等),以引用段为准并核对自己论文的一致性(坑 2)。用 ADReSS/ADReSSo 子集还要加引对应的挑战赛论文(Luz et al. 2020/2021)。

Q11:听说只用静音段就能判 AD,是真的吗?
真的,这是 2024 年最重要的方法学新闻。USTC 团队(Liu et al., Interspeech 2024,arXiv:2406.07410)在原始 Pitt 录音上,只取说话间隙的静音片段训练 wav2vec 2.0,AD 检测准确率达 98.9%——因为 AD 组与对照组的录音房间、设备、增益系统性不同,模型学到的是「房间指纹」而非语言。把同样的方法用在降噪+幅度归一后的录音上,成绩掉到 63.1%(接近随机);用在 Mandarin 数据集上只有 57.3%。结论:引用 2024 年前的高分论文要加「可能含伪影」脚注;自己做实验必须用降噪版并做跨库验证(§5.5、坑 7)。

Q12:学生一个人能申请吗?
不能。TalkBank Ground Rules 原文:密码保护的临床 banks「is restricted to faculty members」,学生「should ask their faculty advisors to become members to provide them with access」——必须导师入会、导师提供访问、导师对学生的合规负责。博士后、研究工程师等按 faculty 同等身份沟通。这也是很多同学第一次申请被拒的原因:用学生邮箱单独发信。

Q13:Pitt 语料和 AphasiaBank 是什么关系?
同一个 TalkBank 屋檐下的姊妹库,共用 CHAT 格式、CLAN 工具与四级访问规则,且都用 Cookie Theft 图片做核心任务——但人群完全不同(失语症患者 vs 阿尔茨海默/对照),采集协议与标签体系也不同。跨库使用时同图不同人,是天然的「任务泛化」测试场,但绝不能混标签。AphasiaBank 的开放度更高(部分层级开放访问),DementiaBank 全库走会员制。

Q14:能不能把转写文本喂给 ChatGPT/Claude 做实验?
要分两步看。把数据本体上传给任何会存储数据的服务(包括不关训练开关的 LLM API)都违反 Ground Rules——rules.html 明文把「incorporation of the data in commercial products, including LLMs such as ChatGPT」列为许可禁区。但如果:选择了服务商的不存储选项(OpenAI 关 improve the model for everyone、Anthropic 关 Help improve Claude、Google 关 Gemini Apps Activity),TalkBank 规则明确允许用这些系统做处理。自己搭建的本地模型(不传输数据)不受此限。做 LLM 实验前把这条规则抄进实验室 wiki。

§2 数据构成与规模:八种口径的完整对照

Pitt 语料最令新手指不解的一点,是「它到底有多大」这个问题有八个以上不同答案。它们全部来自真实文献、全部有出处,差异只在于统计单位(参与者/会话/转写文件/语音样本/分组记录)与诊断过滤(是否含 possible AD、是否丢弃 unknown)。本节先给对照表,再逐口径解释。

2.1 口径对照总表

# 口径 数字 统计单位 常见出处与场景
1 官网分组口径 104 / 208 / 85(合计 397) 按诊断分组的记录 TalkBank 官网 Pitt 页页首;查库核验以它为准
2 研究入组口径 319(204 AD + 102 NC + 13 special) 研究入组人数 Becker et al. 1994 摘要;医学底座
3 ASR 口径 292 人 / 约 33 小时 老年参与者与音频总量 Wang et al. Interspeech 2022 等四篇独立论文
4 声学口径 282 人(101 HC + 181 AD) 参与者(诊断过滤后) 声学特征检测研究常用
5 转写口径 500 条(243 control + 257 dementia) 转写文件数 语言学/NLP 研究常用
6 多模态口径 477 人(235 probable AD + 242 control) 过滤 probable 后的参与者 Wang et al. 2022 多模态研究
7 平衡口径 243 / 243(222 probable + 21 possible vs 243 control) Cookie 任务转写对 类平衡分类研究(从 255 条 probable/possible 中采样)
8 Cookie 语音样本口径 306 AD + 243 HC Cookie 任务语音样本文件 Liu et al. 2024 Clever Hans 论文
9 HF 旧口径 99 controls + 194 dementia Cookie 音频文件(旧) cheulyop/dementiabank 描述字段,未随官网更新

怎么用这张表:复现某篇论文前,先看它用哪个口径;发现自己数字对不上,八成不是抓错了数据,而是两边口径不同。本条目正文与 INFOBOX 以官网分组口径为准数(注意它是记录数而非唯一人数)。

2.2 官网分组口径的细节

官网 Pitt 页首的完整原文是「Participants: 104 controls, 208 dementia, 85 unknown diagnosis」,并标注 Type of Study: Longitudinal neuropsychological assessments、Location: USA、Media type: audio。三点值得注意:

  • 这是记录级分组而非唯一人数:纵向设计下同一参与者多次回访会产生多条记录,所以 397 条分组记录大于任何「唯一参与者」口径。
  • 85 条 unknown diagnosis 是一个真实的、可下载的分组,包含其他类型痴呆、诊断未定等情形。多数机器学习论文直接丢弃它们,这是各论文口径分裂的最大来源(坑 5)。
  • 页面同时列出两位研究负责人(Francois Boller、James Becker)并给出 DOI:10.21415/CQCW-1F92——查库核验时这三个元素(分组数字、DOI、负责人)可以一次确认页面真实性。

2.3 音频与转写的物理规模

ASR 社区(Wang et al. Interspeech 2022 Conformer 论文,及 CUHK、arXiv:2206.07327、arXiv:2412.18832 等四篇独立论文一致口径)给出最完整的物理清单:

  • 音频总量:约 33 小时,292 名老年参与者与临床研究者的访谈录音。
  • 原始 ASR 划分:27.2 小时训练 / 4.8 小时开发 / 1.1 小时评估——评估集刻意取了与 ADReSS 测试集同款 48 位参与者的 Cookie 任务录音,使 ASR 与痴呆检测两条研究线可以互相引用。
  • 静音剥离后:训练 15.7 小时(29,682 句)/ 开发 2.5 小时(5,103 句)/ 评估 0.6 小时(928 句)。
  • 速度扰动数据增强后:训练集扩到 58.9 小时(112,830 句)。
  • 转写文本总量:约 16.7 万词;覆盖 Pitt 全部词汇的识别词表仅 3,600 词——老年受限话题语料的一个直观注脚。
  • 单说话人平均语音量:约 76 秒(与 UASpeech 每人 2,025 秒的对比常被引用来说明 Pitt 是「短样本、多会话」型语料)。
  • Hu et al. 2023(TDNN+wav2vec2 融合)在这套划分上做到评估集 WER 18.17%(emergentmind 实证表口径)——老年病理性语音 ASR 的代表性水平。

2.4 人口学与临床画像

来自 Lanzi et al. 2023 特征研究与转述它的 Frontiers 2026 论文(10.3389/frai.2026.1875702):

  • 年龄范围 44-91 岁,均值约 70 岁。
  • 对照组 243 人:年龄 64.9±7.7 岁,性别 89 男 / 154 女。
  • probable AD 组 222 人:年龄 72.0±8.3 岁,性别 80 男 / 163 女;另有 possible AD 21 人。
  • 教育:仅 AD 组有记录(18.5±5.1 年,223/243 有值、20 缺失);对照组教育未编码进 .cha 文件——做教育匹配研究前先看 PItt-data.xlsx。
  • MMSE:嵌在 CHAT @ID 头(如 Participant|18|| 中的 18 即 MMSE 分数)。
  • 入组标准(Becker 1994,经 fangi.2021.642647 转述):44 岁以上、至少 7 年教育、无重大神经系统疾病史、未服神经安定类药物、基线 MMSE ≥ 10、能签知情同意。

2.5 纵向结构与说话人泄漏

Pitt 是纵向语料:同一参与者可能贡献多次年度访问的录音。这带来两个后果:

  • 规模口径混乱的技术根源——按参与者数与按会话数统计差出近一倍。
  • 说话人泄漏风险——随机切训练/测试集会把同一人的两次录音分进两边,模型靠嗓音而非语言特征就能答对。ADReSS 的处理是每人只选一次录制:从纵向记录中按音质与年龄性别匹配挑出 156 次会话(62 次基线访问约 40%、57 次首次访问约 37%、19 次二次约 12%、17 次三次约 11%、1 次其他),再做平衡。任何在 Pitt 全集上做随机切分的论文都应检查这一点。

2.6 音频双版本:Pitt-Orig 与降噪版

官网 Warning 段专门提醒 AD 检测研究者:

  • Pitt-Orig:原始 mp3,保留 1980 年代模拟设备录音的全部底噪与信道差异。
  • 降噪版:由原始 mp3 转成 wav → 去噪 → 再转 mp3 交付(网页交付格式),与挑战赛说明一起放在官方推荐入口。
  • Liu et al. 2024 的量化结论让这个选择的分量变得具体:在原始录音上,仅用静音段就能拿 98.9%;做谱减降噪+幅度归一后,静音段成绩掉到 63.1%,整体 AD 检测从 97.2% 降到约 82% 的「正常水平」。做分类建模必须用降噪版并报版本号;同时警告降噪不消除全部非生物混杂。

2.7 配套的 Data Spreadsheet

官网提供 PItt-data.xlsx(注意文件名是三个 t 的 PItt,官网原文拼写):首个 readme tab 说明字段含义,其余 tab 覆盖人口学与全套神经心理测试结果。它是把 Pitt 从「语音数据集」升维成「语音+临床纵向队列」的关键附件——MMSE、CDR 等纵向分数在语音文件之外以它为权威来源。教育等敏感元数据官网注明需另行申请。

2.8 同期同类语料横向定位

语料 语言 规模 与 Pitt 的关系
Pitt Corpus 英语 33 h / 292 人 本条目主角;最大公开 AD 语音库
ADReSS / ADReSSo 英语 156 / 242+105 会话 Pitt 的标准化考试卷(§5)
Delaware corpus(Lanzi 2023) 英语 20 NT + 33 MCI DementiaBank 新增,标准化四型 protocol
Cambridge Cookie-Theft Corpus 英语 19-89 岁患者+对照 同任务异库,另含 32%/18% 脑影像(BMJ 综述口径)
Mandarin AD Dataset(iFLYTEK) 中文 见 Liu 2024 静音段伪影对照组(57.3%≈随机)
JCCOCC MoCA 粤语 256 人访谈 中文团队参照 Pitt 方法学自建
UASpeech 英语 构音障碍 老年/病理性 ASR 标准搭档(本库 ua-speech/473)

2.9 目录结构与文件命名

会员登录后 media.talkbank.org/dementia/English/Pitt 的目录骨架(按官网四任务分类与各论文描述归纳):

Pitt/
├── Control/
│   └── cookie/          # 对照组 Cookie 描述(音频+转写同名配对)
├── Dementia/
│   ├── cookie/          # 痴呆组 Cookie 描述
│   ├── fluency/         # 词语流畅性(仅痴呆组)
│   ├── recall/          # 故事回忆(仅痴呆组)
│   └── sentence/        # 句子建构(仅痴呆组)
└──(85 条 unknown 分组的记录沿官网分组入口)

命名约定要点:音频为 .mp3、转写为同名 .cha;参与者编号内嵌于文件名;Pitt-Orig 与降噪版在不同目录(官网 Warning 段引导 AD 检测用户走降噪入口)。下载转写 zip 后会看到同样的分组树——两条入口的目录结构一致,脚本可以复用。

2.10 口径选择决策树

面对「我要用多大的 Pitt」这个问题,按目的走分支:

  1. 要跟 ADReSS 榜单比 → 不用全集,直接申请 ADReSS 156 会话(78+78)与官方划分。
  2. 要训练更大样本的二分类 → balanced 口径 243/243(Control vs probable+possible AD),并写明 possible 的去留。
  3. 要做老年 ASR → 33 小时全集 + 官方 27.2/4.8/1.1 划分(评估集即 ADReSS test 同款 48 人)。
  4. 要研究纵向衰退 → 以参与者代号为主线串起多次访问 + PItt-data.xlsx 的逐年分数;防说话人泄漏。
  5. 要做语言学组内分析 → 500 条转写全量,含 Fluency/Recall/Sentence 痴呆组专属任务。
  6. 要审计偏差/伪影 → 原始与降噪两版都要,按 Liu 2024 的分段法(患者/访谈者/静音)拆解。

2.11 数据质量已知缺陷清单(建模前必读)

结合官网说明与偏差文献,Pitt 的已知质量问题按严重度排序:

  1. 录音环境分组差异(最严重):Liu 2024 证明静音段即可判 AD(98.9%)——分组与录音条件高度相关,是数据集级混杂。
  2. 纵向重复:同一人多条录音,随机切分必致说话人泄漏。
  3. unknown 组不可解释:85 条记录无细分诊断文档,任何含它的实验都说不清第三类是什么。
  4. 教育元数据半缺:对照组教育未编码,教育相关分析只能做 AD 组内。
  5. 录音年代跨度:1983-1988 模拟设备,频响与信道差异大;即便降噪版也无法完全抹平。
  6. 任务不对称:三任务无对照组(结构性缺失,不可修复)。
  7. 转写层级不一:部分早期转写的标记密度与后期不一致(转写员更替),做不流畅特征统计前应抽检。

前两条有官方缓解方案(降噪版+ADReSS 去重),后五条靠研究设计自律。

§3 任务与 CHAT 标注体系

3.1 四类入库任务

官网把媒体与转写库 contents 分为四类(I 节原文),下游研究的可用性截然不同:

  • Cookie:Cookie Theft 图片描述。参与者看图自由描述「发生了什么」。Boston Diagnostic Aphasia Examination 的经典刺激图:厨房里母亲在水槽边望着溢出的水,背对身后男孩踮脚从橱柜够饼干、所踩凳子正在倾斜。唯一对照组与痴呆组都有数据的任务——所以 90% 以上的检测论文只用它。语音样本口径:306 AD + 243 HC(Liu 2024)。
  • Fluency:Word Fluency 限时列举(动物、食物、F 开头的东西、S 开头的东西等),仅痴呆组。语义流畅性是 AD 的经典敏感指标,但缺对照组意味着它主要服务于组内分析;ADReSSo 2021 的衰退预测任务恰恰用它做输入。
  • Recall:Story Recall,仅痴呆组。两个故事:George and Melanie(官网附全文:感恩节后 George Miller 住进儿子家,孙女 Melanie 喜欢听他讲童年在城里的故事……故事文本有正式出处 Becker et al. 1987, Cortex 23:59-72)与 Uncle Bill and Johnny(官网注明 no text available)。流程含即时回忆、延迟回忆与追问(probe questions)。
  • Sentence:Sentence Construction 造句任务(给定 pencil、child/hospital 等词造句),仅痴呆组。

3.2 完整研究协议里的其他语言任务

官网 II 节列出了 Alzheimer and Related Dementias Study 完整协议(部分未全部入库,研究前核对可用性):

  • 常识问答:一年多少天、一英尺多少英寸、一打多少鸡蛋等。
  • Yes/No 问句(出自 Western Aphasia Battery):你叫 Smith 吗、你住在 Pittsburgh 吗、你吃饭前先剥香蕉吗等。
  • 朗读与复述:He is fishing with George、Why don’t you give them some candy 等。
  • 工具命名(用什么喝咖啡/修头发/看时间)、物品用途(razor/soap/pencil 是干什么用的)。
  • 描述猜词(沙漠里带刺的植物)、词语相似性判断(apple/banana)、找不属于的词(dog, cat, car)、句子合理性判断与纠错、图片命名(Maze、Toboggan 等)。

3.3 CHAT 格式与 @ID 头

CHAT(Codes for the Human Analysis of Transcripts)是 TalkBank 全系标准。Pitt 每条转写的参与者行 @ID 头格式为:

@ID: language|corpus|PAR|age|sex|diagnosis||Participant|MMSEscore||
@ID: eng|Pitt|PAR|57;|male|ProbableAD||Participant|18||

逐字段解读:

  • eng|Pitt:语言与语料名。
  • PAR:说话人角色(participant,另有 INV=clinical investigator 的行)。
  • 57;:年龄,CHAT 编码为 年;月.日。
  • male:性别。
  • ProbableAD:诊断分组(Control / ProbableAD / PossibleAD / Unknown 等)。
  • Participant:参与者代号;18:MMSE 分数。

机器读取时的第一坑也在这里:MMSE 不是独立字段而是 ID 头的管道分隔段,不解析 ID 头就会得出「元数据缺 MMSE」的错误结论(坑 6)。

3.4 不流畅标记:值钱的部分

Pitt 的 CHAT 转写不止是文字稿,还是一份口语不流畅的逐句标注,这也是它区别于一般 ASR 语料的核心价值。主要标记(Frontiers 2026 论文的 TRESTLE 表格与官网样例):

  • 填充词与假起:&-um 类填充词、&+ 前缀的音位碎片与假起(false starts)、&+su 类修正标记。
  • 停顿:短停顿 (..) 与长停顿 (...)(约 1.5 秒以上的静默代理)——ADReSS 冠军把停顿编码为标点喂给 ERNIE 拿到 89.58%,说明这些符号本身就是信号。
  • 不可懂语音:xxx(听不清)、yyy(语调可辨但词不确定)、www(有意不转写)。

这些标记让 Pitt 同时支撑两条研究线:语言特征线(词汇多样性、句法复杂度、信息量)与声学/副语言线(停顿时长、语速、嗓音质量)——以及两者融合的第三条线。

3.4b 四个诊断组的真实转写样例

Mittal et al.(arXiv:2012.02029 Table I)给出了同一张 Cookie Theft 图在四个诊断组里的真实转写节选(保留原文,未经清理),是观察「语言如何随诊断退化」最直观的素材:

  • healthy elderly control(健康对照):the scene is in the in the kitchen. the mother is wiping dishes and the water is running on the floor. a boy is trying to get cookies outta a jar and he’s about to tip over on a stool. uh the little girl is reacting to his falling. uh it seems to be summer out. the window is open. the curtains are blowing. it must be a gentle breeze. there’s grass outside in the garden. the mother seems to have nothing in the house to eat except cookies in the cookie jar. perhaps they’re twins. they’re dressed for summer warm weather. I’ll have to say it’s warm.
  • MCI(轻度认知障碍):is it alright to say mother and s son and daughter? mother is wiping dishes but she’s overflowing the sink bowl. water is running on the floor. outside I can’t tell if it’s a cloudy day or a great day but you can see some shrubbery and and bushes. and the son and the tilting stool is about to fall. taking cookies for he and his sister out of the cookie jar. so somebody’s gon gonna s have some cleanup work to do. and the daughter is course reaching her left arm and hand and elbow up to get receive a cookie. I do the dishes sometimes at home. but with the dishwasher it’s just pots and pans. fry pans, do our eggs in the morning. I use rubber gloves because my skin cracks around my nails. the drapes are alright. I don’t see anything else.
  • Possible AD:the boy’s gonna fall. she’s running the sink over… that kid seem to getting in the cookie jar. so … . and she’s standing in water working.
  • Probable AD:hm a lady a lady and her children. children. the lady is wash washing dishes. and … okay. yeah. . the children have cookies. the father isn’t coming. father didn’t come in yet. and the lady is getting it ready. get … it’s a water with that. water went down. it’s gonna fall over.

从上到下的退化轨迹肉眼可见:词汇丰富度递减、重复与修复递增(wash washing / a lady a lady)、空泛指代增多(the children have cookies 而无场景建构)、句长缩短、碎片化加重——这正是 TTR、MLU、停顿率等连续特征得以工作的直观基础,也是为什么文本通道在该库上始终是最强单模态。

3.5 CLAN 工具链与 TRESTLE

CHAT 配套 CLAN(Computerized Language Analysis)软件:TalkBank 官方提供,支持批量解析 @ID 头、统计 MLU/词汇多样性、抽取不流畅特征、与音频逐句联动播放。近年新增 Chatter(网页浏览)与 Batchalign(自动对齐+ASR 辅助转写)。TRESTLE toolkit(Li et al. 2023)则把 DementiaBank 的 CHAT/Praat 预处理做成可复现流水线:剔除非语音标注、去掉括号斜杠等符号、分句大小写规范化,并可按需保留/剔除指定生物标记——NLP 研究者最省事的入口。

3.6 一条完整记录长什么样

以 Cookie 任务的典型会话为例(结构示意,非逐字数据):

Pitt/Dementia/cookie/123champ.mp3          # 音频
Pitt/Dementia/cookie/123champ.cha          # 转写
    @ID: eng|Pitt|PAR|xx;|female|ProbableAD||Participant|MMSE|
    @ID: eng|Pitt|INV|...                  # 研究者行
    @UTF8, @Media: 123champ, mp3 ...       # 媒体绑定头
    *INV:   tell me everything you see going on.
    %com:   participant describes picture
    *PAR:   well the the sink is running over &-um
            the mother is drying &+dis dishes (...)

要点:PAR 与 INV 分行、% 开头的评论层承载标注、* 开头的主层承载话语、媒体绑定使每个转写句可与音频对齐。处理脚本应当按角色过滤——研究者的话若不剔除,会稀释参与者的语言特征。

3.7 最小可用解析器(Python 示例)

一段不依赖第三方库的 @ID 头解析骨架(生产环境建议直接用 CLAN 或 TRESTLE):

import re
from pathlib import Path

ID_RE = re.compile(r"@ID:\s*([^|]+)\|([^|]+)\|([^|]*)\|([^|]*)\|([^|]*)\|([^|]*)\|([^|]*)\|([^|]*)\|([^|]*)\|")

def parse_cha_header(path: Path) -> dict:
    meta = {"file": path.name, "PAR": [], "INV": []}
    for line in path.read_text(encoding="utf-8").splitlines():
        m = ID_RE.match(line.strip())
        if not m:
            continue
        role = m.group(3).strip()
        rec = {
            "age_raw": m.group(4).strip(),      # 形如 57;(年;月.日)
            "sex": m.group(5).strip(),
            "diagnosis": m.group(6).strip(),    # Control / ProbableAD / ...
            "code": m.group(8).strip(),
            "mmse": m.group(9).strip(),         # 注意:可能为空
        }
        meta.setdefault(role, []).append(rec)
    return meta

三个工程要点:年龄字段按分号切年月日再转数值;MMSE 可能为空字符串不能强转 int;同一文件 PAR/INV 各有一行,统计临床特征时只取 PAR 行。

3.8 CLAN 实操三连

不用写解析器也能干活的三个 CLAN 场景(官方程序,免费):

  • 批量看诊断与 MMSE:kwal @ID:*@ 一条命令列出全部转写头的诊断分组;配合过滤参数只看 ProbableAD。
  • 抽不流畅特征:freq +t*PAR 统计词频;针对 (...)、&-、xxx 标记的检索可直接量化停顿/假起/不可懂密度——正是 ADReSS 冠军方案吃的那类信号。
  • 音转对齐:bulletp 或 Batchalign 把转写句与音频对齐,逐句回放核标注;导出 Praat TextGrid 后可接任何声学工具链。

TRESTLE 则把上面这些做成一条可复现流水线(Python),适合不想学 CLAN 语法的 NLP 团队;两条路线输出兼容,选趁手的即可。

3.9 四任务的下游研究热度与可用性总表

任务 组覆盖 下游热度 典型用途 主要限制
Cookie 图片描述 双组 极高(90%+ 论文) AD 分类、MMSE 回归、语言学特征 唯一任务所以全押;录音伪影集中在此
Word Fluency 仅痴呆组 中 ADReSSo 衰退预测输入、组内流畅性分析 无对照,不能做跨组分类
Story Recall 仅痴呆组 中低 纵向记忆退化研究、组内分析 第二故事无文本;无对照
Sentence Construction 仅痴呆组 低 句法退化组内分析 无对照;样本少

结论重申:跨组建模 = Cookie 单任务;组内纵深 = 三辅助任务。这个结构决定了 Pitt 的研究版图——任何「用 Pitt 做多任务跨组研究」的方案都要先回答对照从哪来。

3.10 CHAT 与常见转写格式对照

给从 NLP 过来的研究者一个格式坐标系:

特性 CHAT(Pitt) 普通字幕/SRT Praat TextGrid ASR 逐字稿
说话人角色 内建(PAR/INV) 有标签无角色语义 按 tier 自定 需自行分离
临床标签(诊断/MMSE) 嵌 @ID 头 无 无 无
不流畅标记 标准化符号体系 无 手工自定 无
音频对齐 句级(媒体绑定) 时间轴 精确到段 视系统
工具链 CLAN/TRESTLE/Batchalign 通用播放器 Praat 各 ASR 厂商
生态 TalkBank 全系通用 通用 语音学界通用 厂商锁定

一句话:CHAT 是唯一把「临床标签+不流畅标注+角色」结构化进同一格式的方案——这也是 Pitt 四十年不过时的格式红利。

不用写解析器也能干活的三个 CLAN 场景(官方程序,免费):

  • 批量看诊断与 MMSE:kwal @ID:*@ 一条命令列出全部转写头的诊断分组;配合 +s ProbableAD 过滤。
  • 抽不流畅特征:freq +t*PAR 统计词频;cooccur 或针对 (...) &- xxx 标记的检索可以直接量化停顿/假起/不可懂密度——正是 ADReSS 冠军方案吃的那类信号。
  • 音转对齐:bulletp / Batchalign 把转写句与音频对齐,逐句回放核标注;导出 Praat TextGrid 后可接任何声学工具链。

TRESTLE 则把上面这些做成一条可复现流水线(Python),适合不想学 CLAN 语法的 NLP 团队;两条路线输出兼容,选趁手的即可。

§4 医学底座:Becker 1994 队列研究

任何用 Pitt 语料训练诊断模型的论文,其「AD 标签」的可信度最终追溯到一篇 1994 年的队列论文。理解它,才算理解这批数据的医学重量。

4.1 研究设计

Becker JT, Boller F, Lopez OL, Saxton J, McGonigle KL. The natural history of Alzheimer’s disease: description of study cohort and accuracy of diagnosis. Archives of Neurology, 1994, 51(6): 585-594.(TalkBank 官网提供 PDF 直链,本条目已全文抓取核验)

  • 设计:志愿者队列研究(volunteer cohort study),多学科行为神经病学临床。
  • 机构:University of Pittsburgh,Alzheimer Research Program(即 Alzheimer and Related Dementias Study)。
  • 入组:1983 年 3 月至 1988 年 3 月,共 319 人——204 例阿尔茨海默病、102 名正常老年对照、13 例特殊病例。
  • 随访:每年回访(这就是 Pitt 语料「同一人多条记录」的来源),最长随访 5 年后对原始诊断做复审。

4.2 诊断数字链

论文的核心贡献是给「临床诊断的 AD」这个标签做体检,数字链如下(全部出自论文摘要与正文):

步骤 数字 含义
入组 319 204 AD + 102 NC + 13 special cases
复审 188 204 例原始 AD 中,复审后维持 probable AD 诊断
排除 7 3 例发现显著血管性成分、4 例因抑郁等临床原因排除
最终 181 probable/definite AD 稳定队列
尸检 50 例中 43 例 definite AD 神经病理金标准子集
基线准确率 86% 临床基线诊断 vs 神经病理
随访后准确率 91.4% 加入纵向临床数据后的诊断准确率
神经心理测试 敏感度 0.988 / 特异度 0.983 详细认知测试对痴呆的判别力

论文结论原文直译:纵向随访使痴呆病例的诊断准确率上升;详细认知测试有助于早期分类;这些数据为该队列的后续研究提供了描述性基础。同一团队 1987 年在 Cortex(23:59-72)发表的遗忘速率研究则提供了 Story Recall 任务「George and Melanie」故事的正式出处。

4.3 对机器学习研究的三层含义

  1. 标签质量:Pitt 的诊断分组不是单次门诊标签,而是有 86-91.4% 尸检与纵向背书的临床金标准——这在语音检测数据集里属于顶配(多数竞品只有单次门诊诊断)。
  2. 口径注意:官网 104/208/85 是入库数据分组,不是 Becker 的 319 入组。差异来自:并非所有入组者都有可用的语音任务录音、unknown 组包含非 AD 痴呆与未定诊断、纵向多访计为多条记录。两套数字不矛盾,但引用时必须区分(坑 1)。
  3. 纵向衰退标签:Story Recall 任务与逐年 MMSE 使 Pitt 天然适合「预测认知衰退」研究——ADReSSo 2021 的衰退预测任务(ΔMMSE ≥ 5 定义)正是吃这口饭。

4.4 引用与致谢的硬要求

TalkBank 规则(官网 Citation information 段):使用 Pitt 数据必须至少引用一篇 corpus 文献——实际操作中就是 Becker et al. 1994,同时必须致谢资助:NIA AG03705 与 AG05133(后者是 University of Pittsburgh Alzheimer’s Disease Research Center 中心资助)。官网 Project Description 段把两个号写成 AG005133/AG003705(同号异写,坑 2);写论文时统一用引用段写法并全文一致。

4.5 入组标准逐条解读(对 ML 研究的实际影响)

Becker 1994 的六条入组标准,每条都在塑造今天模型的样本分布:

  • 44 岁以上:排除了早发型 AD 的极端样本;模型见到的都是 60-90 岁为主的老年语音,对年轻早发病例的迁移能力未知。
  • 至少 7 年教育:教育是语言储备的强相关变量——对照组教育缺失(§2.4)让「教育匹配」在全集上做不完整,ADReSS 平衡时也未含教育维度。
  • 无重大神经系统疾病史:排除卒中、帕金森等混杂病因——Pitt 的「痴呆」信号相对干净,但真实门诊不是这样筛的,跨场景迁移要打折。
  • 未服神经安定类药物:排除药物性构音/认知影响;副作用是样本偏向轻中度病程。
  • 基线 MMSE ≥ 10:中重度痴呆不在库内——模型学到的是「轻中度 AD vs 正常」的判别,对重度病例的召回能力无背书。
  • 能签知情同意:进一步排除晚期病例。

合起来一句话:Pitt 是「轻度认知损伤边缘」的语料,恰好是早筛最想要的区间,也是「检出率虚高」最容易被忽视的原因——在真实临床分布上,它的灵敏度数字会被中重度病例撑高、特异度被 unknown 类稀释。

4.6 与 ADNI 的互补关系

ADNI(Alzheimer’s Disease Neuroimaging Initiative)是影像+脑脊液+基因的 AD 研究支柱,Pitt 是语音侧的支柱——两者的互补关系值得写进研究设计:

  • 标签血缘不同:ADNI 的诊断随年代多次改版(MCI 细分、SNAP 分型等);Pitt 的标签锚在 1994 年队列论文的会诊体系+尸检验证。跨库对齐时以参与者级诊断口径为准,别拿「MCI」硬对 Pitt 的 unknown。
  • 模态互补:ADNI 无自发语音任务;Pitt 无影像。多模态 AD 研究的「语音+影像」联合建模目前只能间接做(同诊断框架、不同队列),这也是 why speech-only 路线(ADReSSo)被强调的原因。
  • 规模对比:ADNI 数千人多时点 vs Pitt 292 人 33 小时——Pitt 的优势是任务统一(同一张图、同一套问法),这是跨被试对比语音特征的前提。

§5 基准宇宙:ADReSS 与 ADReSSo

5.1 为什么需要衍生基准

ADReSS 论文(Luz et al., arXiv:2004.06833, Interspeech 2020)开篇即点名领域乱象:各家研究用不同、常不平衡、声学条件各异的数据集,结果不可比,方法无法翻译进临床。Pitt 本体虽大,直接拿来做基准有三个问题:纵向重复(同一人多条录音)、音质不均、年龄性别失衡。ADReSS 的答案是从 Pitt 里精修一个标准化考试卷。

5.2 ADReSS 2020:构成与工艺

数据构成(挑战赛官方页 dementia.talkbank.org/ADReSS-2020 与 luzs.gitlab.io/adress 一致):

  • 156 次会话 = 78 AD + 78 non-AD;每组男 35 / 女 43;年龄按 [50,55) 到 [75,80) 五档完全配平(官方表格逐档男女同数)。
  • 全部来自 Cookie Theft 图片描述任务。
  • 训练集 54+54,测试集 24+24;下载包内附 cc_meta_data.txt 与 cd_meta_data.txt(年龄、性别、MMSE)与 README。
  • 三份资产:完整增强音频、规范化分段音频、人工转写。

规模数字的三源闭环验证(检索者可自行复核):官方页全集表 Total 行为 35 男 + 43 女(每类);Frontiers in Aging Neuroscience 2021(10.3389/fnagi.2021.635945)Table 1 标注训练集每类 24 男 + 30 女、测试集每类 11 男 + 13 女——24+11=35、30+13=43,与全集表精确咬合。部分第三方论文写「82+82(54/54 train)」系错误口径,勿引(坑 1 之外的独立存照)。另据同一 Table 1:训练集除 1 人外全部有 MMSE 分数。

制作工艺四步(arXiv:2004.06833 + fangi.2021.642647):

  1. 降噪:从每条录音短区间采样噪声做谱减法;辅以 SNR ≥ −17 dB 的筛选门槛,剔除背景谈话、警笛、开关门等污染样本。
  2. 分段:VAD 以对数能量阈值 65 dB 切分,单段上限 10 秒——共 1,955 段(78 non-AD)+ 2,122 段(78 AD),人均 24.86 段(SD 12.84)。
  3. 音量归一化:消除麦克风摆放与录音条件差异。
  4. 去重与配平:每人只选一次录制(visit 分布 62 基线 / 57 首访 / 19 二访 / 17 三访 / 1 其他),按年龄性别匹配约束下优先取最新录制。

两个任务:AD 分类(speech / transcript / 双模态均可)+ MMSE 回归(RMSE 评估)。

赛程与赞助:2020-01-24 宣布并放出训练数据,03-15 测试集,04-23 至 05-08 提交,10-26 至 29 于 Interspeech 2020(上海)召开;EU Horizon 2020 SAAM 项目(grant 769661)赞助。

5.3 ADReSS 2020 成绩榜:百度研究院夺魁

系统 模态与方法 成绩 出处
Yuan et al. 2020(百度研究院,冠军) 停顿强制对齐提取→三类/六类编码插入转写→50 BERT+50 ERNIE 微调多次、多数表决;单用 50 ERNIE 最高 准确率 89.58%(中文报道四舍五入 89.6%) fangi.2021.642647 + 百度夺冠报道
Han et al. 原始音频 log-mel + Xception 迷你版 94.2%(217 AD + 242 HC,非挑战赛口径) Liu 2024 Table 1
Luz et al. 基线 i-vector/SVM、ComParE、eGeMAPS、MRCG 声学 ~70% 区间 arXiv:2004.06833
Mirheidari et al.(赛前参考) 会话特征 手动转写 F1 80% / ASR 72% ADReSS 论文引用

冠军方法两个值得记住的细节:其一,关键不是模型而是把 CHAT 停顿标记编码为标点喂给预训练语言模型——CHAT 标注本身在发功;其二,多次微调+多数表决应对小数据下微调结果的波动。参赛规模:全球 34 支队伍(含 MIT、首尔大学、德国人工智能研究中心 DFKI 等,百度夺冠报道与 Interspeech 2021 官方页一致);TalkBank 2023 白皮书写 25 队 / 8 国(疑为提交论文队口径,坑 3)。

组织方基线的声学特征体系(Luz et al. 2020,openSMILE v2.1)值得单独存照,因为它定义了「经典声学派」的装备库:emobase 988 维(MFCC、嗓音质量、基频及其包络、线谱对、强度及导数);ComParE 6373 维(能量、谱、MFCC、发声描述子、对数谐波噪声比等);eGeMAPS 88 维生理基础集(F0 半音、响度、谱通量、jitter、shimmer、共振峰);MRCG 6912 维 functionals(多分辨率耳蜗图);极简 13 维发声计时统计。基线还做了时长去偏——剔除与段落时长相关系数大于 0.2 的特征后余 599/3056/72/3253 维,防止「段落越长越痴呆」类时长捷径。

5.4 ADReSSo 2021:更狠的三任务

ADReSSo(ADReSS, speech only)把难度加码:禁人工转写,参赛者只能用音频或自动 ASR 输出(官方提供 Google Cloud STT 转写,WER 约 32.8%——刻意保留真实世界噪声,不允许人工校正)。三个任务(arXiv:2104.09356 + 官方页 dementia.talkbank.org/ADReSSo-2021):

  • AD 分类:单次 Cookie 会话判 AD / non-AD。
  • MMSE 回归:从语音推 MMSE 分(y ∈ [0,30])。
  • 认知衰退预测:用基线语义流畅性录音预测两年内显著衰退(定义 ΔMMSE = 基线 MMSE − 第二年 MMSE ≥ 5)——第一个把纵向衰退作为共享任务目标的 AD 语音挑战。

数据构成:诊断集 242 人(倾向得分匹配,probit 模型,年龄性别标准化均差 < 0.001;训练 169 / 测试 73);预后集 105 名 AD 患者(73 / 32)。

成绩:

任务 基线(Luz et al.) 获胜系统(Rohanian et al. 2021)
AD 分类 78.87% 84%(声学+词汇+不流畅+停顿多模态 BiLSTM+门控,4.9M 参数)
MMSE 回归 RMSE 5.28 RMSE 4.26(同系统;BERT+门控 4.38 但约 105M 参数)
衰退预测 68.75%(F1 66.67) ——

Rohanian 系统的方法学结论值得记录:门控融合对 ASR 噪声鲁棒;4.9M 参数的紧凑模型打赢 105M 的 BERT——在临床落地语境里参数效率就是部署可行性。TalkBank 2023 白皮书另载赛绩中有队伍 F score 达 0.92(白皮书二手转述存照,具体任务与系统未逐字复核)。

ADReSSo 基线的方法细节同样有存照价值:分类器族覆盖决策树(叶大小网格 1-20)、KNN(K 网格 1-20)、LDA、Tree Bagger(50 树)、线性核 SVM(box constraint 0.1-1.0 网格,SMO 求解器),回归加 SVR(RBF 核)与随机森林/高斯过程。语言通道是全自动链:Google Cloud STT 转写(WER 约 32.8%)→ 转 CHAT → CLAN 的 MOR 词法赋码 → EVAL 生成 34 项综合画像 → FREQ 计算 MATTR——官方刻意保留真实世界噪声、不允许人工校正。衰退任务的 CV 数字也值得引:声学 F1 66.05% vs 语言 59.06%,但声学优势在测试集不兑现(论文自述 acoustic features made the classifiers more prone to overfitting);语言模型 CV 方差大(SD 11.64)反映样本量紧张。另一支参赛队 MUET-RMIT(Syed et al., Interspeech 2021, pp. 3815-3819)自报三任务 acc 84.51% / RMSE 4.35 / F1 73.80%,均超基线(存照:该队论文只主张超基线,获胜系统归属 Rohanian)。

5.4b ADReSS 与 ADReSSo 速查对比

维度 ADReSS 2020 ADReSSo 2021
任务数 2(分类 + MMSE 回归) 3(+认知衰退预测)
转写 提供 CHAT 不提供(speech-only,STT WER≈32.8%)
核心数据 156 会话(1955+2122 段) 242(169/73)+ 105(73/32)音频
配平 年龄性别逐档配平 + SNR 门槛 倾向得分匹配(MatchIt/probit)
划分 训练 54+54 / 测试 24+24 70/30(169/73 与 73/32)
基线 openSMILE + 文本特征(~70% 区间) 全自动 STT→CLAN 链(78.87%/5.28/66.67)
获胜 百度研究院 89.58%(ERNIE 集成) Rohanian et al. 84% / RMSE 4.26(4.9M)
后续发表 会议论文集 + Frontiers 特刊 Frontiers in Aging Neuroscience 15 篇

5.5 从基准到警示:Clever Hans 专节

2024 年 Liu et al.(Interspeech 2024,arXiv:2406.07410,USTC 团队)给整个领域做了教科书级的「泼冷水」实验,四个结果必须写进任何严肃使用者的备忘录:

  1. 静音段作弊:只取 Pitt 原始录音中的静音区间训练 wav2vec 2.0,AD 检测准确率 98.9%——接近满分的「诊断能力」完全来自录音环境差异(AD 组与对照组的房间、设备、增益不同),与语言能力无关。
  2. 角色迁移实验:在患者语音上训练、在访谈者语音上测试仍保持 83.1%——诊断信号藏在房间声学与录音硬件里,而不是说话人身上。
  3. 降噪止血:谱减降噪+幅度归一后,静音段成绩掉到 63.1%,整体 AD 检测从 97.2% 降到约 82% 的「正常水平」——官方降噪版的价值由此有了量化背书。
  4. 跨语料对照:同样的静音段方法在 Mandarin AD 数据集上只有 57.3%(近随机)——证明这是 Pitt 特有的数据集伪影而非语音检测的普遍现象。

这项研究没有推翻 Pitt 的基准地位,反而重塑了读数方式:2024 年之前在原始 Pitt 音频上报告的 90%+ 成绩都应带着「可能含录音伪影」的脚注;跨库验证(Delaware/Lu/自采数据)与预处理披露成为新常态。emergentmind 综述把「偏差检测协议、可解释性工具、跨数据集验证」列为最佳实践。

5.6 全景成绩参考表(非挑战赛口径)

emergentmind 实证表汇总的 Pitt 全集/子集常用心智数字(口径各异,仅作检索导航,不可横向排名):

研究 任务 指标 数值
Kumar et al. 2021 AD/HC(神经网络二分类) Acc(test) 92.05%
Sarawgi et al. 2020 AD/HC 集成 Acc(CV) 88±4%
Mittal et al. 2020 AD/HC 音频+文本融合 Acc(CV) 85.3%
Chakraborty et al. 2020 三分类(AD/HC/MCI) Acc(score 融合) 82%
Hu et al. 2023 老年 ASR(TDNN+wav2vec2) WER(eval) 18.17%
Jin et al. 2022 ASR + GAN 增强(SpectralGAN) 平均 WER 31.93%
Avetisyan et al. 2026 早期认知衰退(POS 特征) Acc(CV) 0.72±0.07
Han et al.(Liu 2024 引) AD/HC(Xception,原始音频) Acc 94.2%(伪影敏感性见 §5.5)

5.7 老年 ASR 生态位

Pitt 同时是老年/病理性语音 ASR 的标准测试床(Wang et al. Interspeech 2022 起的系列工作):

  • 33 小时语料 + 3,600 词小词表,是「低资源受限域 ASR」的天然实验场。
  • 评估集与 ADReSS 测试集同款 48 人 Cookie 录音,使 WER 与痴呆检测分数可以并排报告。
  • 常与 UASpeech(构音障碍,本库 ua-speech/473)联合报告,覆盖老年语音两大难点:发音退化与认知退化。

5.8 挑战赛数据包内容清单

入会后从 media.talkbank.org/dementia/English/0extra/ADReSS-2020 拿到的完整资产(官方页描述):

  • 训练集三件套:full enhanced audio(完整增强音频)、normalised sub-chunks(规范化语音段)、transcriptions(人工转写)。
  • meta 文件两个:cc_meta_data.txt(control 组年龄/性别/MMSE)、cd_meta_data.txt(AD 组同项)+ README。
  • 测试集:同格式资产 + 赛后公开的标签与 MMSE 真值文件(2020Labels.txt,适合赛后继续做扩展实验)。
  • 文档:官方 powerpoint(挑战赛设计)、Luz et al. 基线论文 PDF、全部参赛论文合集 2020Papers.pdf、参赛与结果表格(2020Participants.xlsx / 2020Results.xlsx)。

ADReSSo-2021 目录结构同路(0extra/ADReSSo-2021),另含语义流畅性任务录音(衰退预测用)。这套「音频+段+转写+meta+全部论文」的打包方式本身值得抄——多数挑战赛只放前两样。

5.9 参赛方法版图(谁在用什么打 AD 检测)

按 2020Papers.pdf 与后续综述归纳,ADReSS 时代的参赛方法分四派:

  • 转写+预训练语言模型派(冠军百度在此):停顿编码进文本 → BERT/ERNIE 微调/集成。优势是吃透 CHAT 标注;依赖人工转写。
  • 声学特征经典派:eGeMAPS/ComParE + SVM/XGBoost。可解释性好,成绩中游(70-80%)。
  • 端到端深度派:log-mel/原始波形 + CNN/RNN/wav2vec。Han et al. 94.2% 的高分后来被证明部分是伪影红利(§5.5)。
  • 多模态融合派:文本+音频双塔或门控融合。ADReSSo 时代的获胜范式(Rohanian 84%),对 ASR 噪声最鲁棒。

四派在 2024 年后的共识打法:降噪版音频 + 说话人级切分 + 跨库验证;只报单库高分的论文越来越难发表。

5.10 MMSE 回归专题

MMSE 回归是 ADReSS/ADReSSo 独有的任务设计,几条使用要点:

  • 取值域与难度:MMSE ∈ [0,30],但 Pitt 样本集中在轻中度区间(入组标准 MMSE ≥ 10),回归模型实际工作在约 10-30 的窄带内——RMSE 4-5 的水平意味着「能分辨轻重,不能精确定级」。
  • meta 来源:训练集 MMSE 在 cc/cd_meta_data.txt 里现成可读;全集的 MMSE 要解析 @ID 头(坑 6)。
  • 跨任务迁移:MMSE 回归成绩好的模型往往分类也好——认知分数是比二分类标签更细的监督信号,样本效率更高,这是 ADReSSo 保留回归任务的核心理由。
  • 伦理提示:逐人预测认知分数涉及敏感信息;TalkBank 规则要求可识别数据本地存储,发布模型时勿泄露逐人分数。

5.11 从 ADReSSo 到临床落地的距离

把挑战赛成绩翻译成临床价值,中间隔着四道坎:

  1. 伪影坎(§5.5):静音段 98.9% 说明录音条件必须标准化——临床部署要固定设备与环境,或做更强的归一化。
  2. 分布坎:Pitt 的年龄/教育/病程分布是 1980 年代匹兹堡队列的分布;换人群(不同语言、教育水平、痴呆谱系)需重新校准。
  3. 任务坎:Cookie Theft 是结构化临床任务,居家/电话场景的自发语音更嘈杂——Delaware corpus 的个人叙事/程序性话语是往真实场景走的过渡。
  4. 验证坎:需要前瞻性、跨中心的验证队列;目前为止没有公开的「ADReSS 训练模型进入门诊」的注册研究。

诚实的结论:Pitt 生态给出的是筛查研究的方法学骨架,不是可直接注册的产品证据链——这恰是「AI-Ready」与「Clinic-Ready」的分界线。

5.12 给三类读者的最小实验清单

NLP 背景只想跑第一个模型:

  • 下转写 zip → 解析 @ID 头(§3.7 骨架)→ 取 Cookie 双组 243+243(balanced 口径)→ TTR/MLU/停顿率三特征 + 逻辑回归 → 按参与者切分五折 CV → 报告时写明口径与切分方式。预期成绩 70-80%,这是正常水平。

语音背景要做声学通道:

  • 申请会员拿降噪版音频 → 按 Liu 2024 复现静音段测试(预期 63.1%,确认预处理有效)→ eGeMAPS 开特征 + SVM 基线 → 再上 wav2vec2 微调 → 全程用 ADReSS 官方划分保证可比。

临床背景关心纵向分析:

  • 用参与者代号串起多次访问 → PItt-data.xlsx 取逐年 MMSE → 复现 ADReSSo 的 ΔMMSE≥5 衰退定义 → 组内(痴呆组)建模 Fluency/Recall 任务 → 讨论部分必须处理 §4.5 的入组标准偏差。

三条路线共用同一套引用与致谢(§4.4),合起来就是一篇合格的方法学论文骨架。

§6 获取与许可:一道有门槛但不收费的门

6.1 TalkBank 四级访问体系

TalkBank 官方访问页(talkbank.org/0share/access.html)把全部数据按 NIH ODSS 标准分四级:

  • Open access:语料描述页、CLAN/Chatter/Batchalign 等工具,无注册即可用。
  • Registration required:邮箱注册即开的语料(多为 CHILDES 部分)。
  • Approved access:DementiaBank 所属层级(同层还有 AphasiaBank、FluencyBank、TBIBank、RHDBank 与多数 HomeBank)。
  • Controlled access:需额外访谈与 CITI 培训证明(如 HomeBank 与 PsychosisBank 部分语料)。

DementiaBank 为什么是第三级:临床数据。TalkBank 的设计哲学是「验证身份,不验证课题」——不要求伦理委员会二次批文,理由见 6.3。

6.2 Approved access 实操流程

综合官网访问页、Ground Rules 页与多篇论文的 Data availability 段,流程五步:

  1. 以机构邮箱向 TalkBank 提出申请(官网登录口 New User 注册;corpus 问题联系 talkbank@cmu.edu)。
  2. 证明身份:临床 banks 仅限 faculty 成员入会(Ground Rules 原文:access to the password-protected clinical databases is restricted to faculty members);学生须请导师入会后由导师提供访问,导师对学生合规负责。
  3. 书面同意 TalkBank Ground Rules(talkbank.org/0share/rules.html):保密、不再分发、注明出处等。
  4. 管理员经 AdminView 系统(sla2.talkbank.org/AdminView;2023 年 NIH ODSS FAIR grant 资助建设)开通账号。
  5. 登录后从 media.talkbank.org/dementia/English/Pitt 获取音频;ADReSS/ADReSSo 资产在同站的 0extra 目录下清晰标注。

费用为零。某些补充元数据(如教育年限)官网注明需另行申请。从申请到开通通常以工作日计——比医院伦理流程快几个数量级,这是 TalkBank 体系的实用主义面。

6.3 IRB 与合规三件套

官网 access 页明示:TalkBank 材料已在贡献者本机构完成 IRB 审查,使用者无需二次 IRB(避免 double review)。叠加合规层:

  • CC BY-NC-SA 3.0:TalkBank rules.html 原文「the use of TalkBank data is governed by the Creative Commons CC BY-NC-SA 3.0 copyright license」。
  • TalkBank Code of Ethics:参与者尊重与保密义务。
  • NIH Certificate of Confidentiality:下载的可识别数据只能在本地设备存储与分析,不得流转;受试者身份在法律程序中受拒绝披露保护。

6.4 商用与 LLM 边界(2026 年最常被问的问题)

Ground Rules 原文给出了三条清晰边界,本条目逐字存照:

  • 「This license precludes the incorporation of the data in commercial products, including systems such as large language models (LLMs) such as ChatGPT」——数据本体禁入商业产品,明确点名 LLM。
  • 「Commercial enterprises that have been allowed access to password-protected data can use the data for the development of algorithms, such as for automatic speech recognition or clinical assessment, but the data themselves cannot be included in models」——企业获准入会可以做算法研发(ASR、临床评估),但数据不能进入模型权重。
  • 「data can only be uploaded for processing by OpenAI, Anthropic, Google, Rev-AI and similar systems if the user has specifically selected the option for non-storage of data」——联网调用商业 API 处理数据必须关闭服务商的存储/训练选项(OpenAI 关 improve the model for everyone、Anthropic 关 Help improve Claude、Google 关 Gemini Apps Activity)。

翻译成一句话:可以借数据造工具,不可以把数据喂进任何会记住它的系统。Apple、IBM 等企业 2018 年即申请过访问(CMU 新闻),走的正是「算法研发、数据不进模型」这条道。

6.5 三个官方入口(不用等会员就能动手的)

ADReSS/ADReSSo 数据:media.talkbank.org/dementia/English/0extra/ADReSS-2020 与 ADReSSo-2021(会员身份即可;ADReSS 时代曾用主办方邮件单独发测试集,现统一入 TalkBank)。

6.6 HF 生态镜像的真实定位

HuggingFace 上存在 cheulyop/dementiabank 数据集脚本(HF datasets loading script,脚本本体 Apache-2.0;沙箱环境经 hf-mirror.com 访问):

  • 它不携带任何数据:manual download 模式要求用户先以 DementiaBank 会员身份自行下载,本地组装出 Control/cookie 与 Dementia/cookie 两个目录后由脚本解析。
  • 价值是省去 CHAT 解析与音频对齐的工程;描述字段写的 99 controls + 194 dementia 是旧口径(坑 7)。
  • 一切声称「HF 直链下载 DementiaBank 全集」的仓库都涉嫌违反禁再分发条款,用前先想合规风险。

6.7 AI-Ready 评估:Pitt 得分几何

以「机器能不能少踩坑地用起来」为标准打分:

加分项:

  • 转写公开 zip + CHAT 单一格式 + CLAN/TRESTLE/Batchalign 成熟工具链——文本侧接近零门槛。
  • 标签嵌在数据本体(@ID 头),不存在「标签文件对不上音频文件」的工程问题。
  • ADReSS/ADReSSo 提供现成平衡划分与 meta 文件,基准复现路径清晰。
  • 元数据表(PItt-data.xlsx)与官方 README 级说明页齐全。

扣分项:

  • 音频必须走 faculty 会员制(虽然无费用),自动化流水线无法端到端跑通。
  • MMSE/教育等关键字段分散在 @ID 头、xlsx 与补充申请三处,格式不统一。
  • 八种文献口径无官方导航,新手极易引用错规模数字。
  • 音频双版本(Orig/降噪)与纵向多访结构需要使用者自己理解并防说话人泄漏。

综合判断:文本侧 AI-Ready 优秀,音频侧「低门槛但不免登录」——这是临床语音数据的合理平衡点,与影像领域「全公开直链」的十分制相比天然低半档。

6.8 申请邮件要点(照着写能省一个来回)

依据 Ground Rules 与官网流程,一封合格的访问申请邮件应包含:

  • 申请人全名、职位(faculty 身份说明)、机构与院系、机构邮箱(用教育/研究域名邮箱)。
  • 简要研究用途(一两句:例如「研究自发语音中的认知衰退生物标志物」)。
  • 明确承诺遵守 Ground Rules 与 Code of Ethics(不必全文背诵,写「I have read and agree to comply with…」)。
  • 学生情形:由导师发信并在信中列明学生姓名与使用期限。
  • 收件与咨询:talkbank@cmu.edu(corpus 事务);注册流程走官网 New User 入口。

常见退回原因:学生邮箱单独申请(应导师出面)、机构邮箱缺失、用途空泛到无法核验。

§7 DAIMS 评估

7.1 DAIMS 评分表

维度 评分(1-10) 依据
D 可发现性 8 TalkBank/DementiaBank 官网+DOI 10.21415/CQCW-1F92 稳定可索引;500+ 引用使其在一切「dementia speech dataset」检索中置顶;失分项:八种口径数字并存,检索者需读多个来源才能拼出全貌
A 可获取性 6 转写公开 zip 零门槛;音频为 Approved access 会员制(无费用但 faculty-only 入会+Ground Rules);HF 脚本辅助但不能替代会员制
I 可互操作 8 CHAT 单一格式+CLAN/TRESTLE/Batchalign 工具链成熟;@ID 头自带标签;跨库(AphasiaBank 等)格式同构;失分项:MMSE 嵌 ID 头、教育在 xlsx、无统一 API
M 元数据质量 7 纵向诊断经尸检验证(86-91.4%)属顶配标签质量;PItt-data.xlsx 提供全套临床分数;失分项:教育/对照元数据不全、xlsx 与转写头两套体系、85 unknown 无细分文档
S 可持续性 9 TalkBank 2002 年起持续运营(14 个库、14,000+ 论文)、NIH/NSF 长期资助、AdminView 系统现代化、官方期刊背书、创始人 2026 年获赵元任奖;四十年数据仍持续服务,可持续性属库内最高档
综合评级 7.6/10(上) 医学标签质量与生态可持续性一流;扣分集中在获取流程的登录墙与元数据分散——临床数据的典型画像

7.2 DAIMS 各维度评分说明

  • D 可发现性给 8 不给满的原因:数据本身高度可索引(DOI、官网、综述全覆盖),但「该信哪个数字」需要跨源拼图——可发现的是数据,难发现的是口径。
  • A 可获取性 6 分的构成:文本零门槛(+)、音频零费用(+)、但 faculty-only 会员墙与禁再分发条款(−)把自动化流水线挡在门外。与「邮件作者请求制」相比已属高透明,与「公开直链」相比少一档。
  • I 可互操作 8 分:CHAT 是四十年标准,CLAN/TRESTLE/Batchalign 三代工具接力;扣分在标签分散三处(ID 头/xlsx/补充申请)而非格式本身。
  • M 元数据质量 7 分:标签的医学可信度(尸检背书)是同类顶配;但 85 unknown 无文档、对照教育缺失、xlsx 与转写头双轨并存拖了后腿。
  • S 可持续性 9 分:四十一年持续运营、三代 NIH/NSF 资助、创始人 2026 年获终身成就奖——库内几乎所有条目的托管方都不具备这个时间尺度的存续证明。

7.3 与库内可获取性光谱的对照

按本库「AI-Ready 光谱」横轴(全公开直链 → 会员制 → 请求制 → 不公开):

  • Pitt 转写:公开直链档(zip 无注册)。
  • Pitt 音频与 ADReSS:会员制档(faculty 身份核验、无费用)——与 bridge2ai-voice(66) 的受控治理思路接近,比多数纯公开影像条目(如 pcam、fastmri)多一道门,但比「邮件作者请求制」条目标准化得多。
  • 特点:TalkBank 把「门槛」换成了「流程可预期」——所有临床 banks 共用同一套四级规则与 Ground Rules,不存在逐条目谈判;商用边界(§6.4)三句话写死在公开规则页,无需逐案猜。

§8 生态与影响:一个四十年基础设施的剖面

8.1 TalkBank 谱系中的位置

  • CHILDES(1984):MacWhinney 与 Catherine Snow 创立,MacArthur Foundation 资助;CMU 2026 年新闻口径:TalkBank 全家 14 个数据库、支撑 14,000+ 篇论文、跨 18 种语言——Pitt 所在体系的体量背景。
  • TalkBank(2002):CHILDES 的多领域扩展伞,MacWhinney 主理至今;官方期刊 Language Development Research(diamond OA)。
  • DementiaBank:临床 banks 之一;除 Pitt 外含 Kempler(双语 AD)、Holland、以及 2023 年 Lanzi et al. 新增的 Delaware corpus(20 名神经典型成人 + 33 名 MCI,按标准化四型 discourse protocol:图片描述、故事叙述、程序性描述、个人叙事采集)。
  • 兄弟 banks:AphasiaBank、FluencyBank、TBIBank、RHDBank、HomeBank、PhonBank、CABank、ASDBank 等——同一 CHAT/CLAN 格式,跨库工具与格式知识直接复用。

8.2 影响力数字

  • Google Scholar 口径:截至 2024 年中 543 篇引用且逐年上升(Liu 2024 原文);TalkBank 2023 白皮书自述口径「250+ 出版物」依赖 Pitt。
  • 2018 年 CMU 新闻:24 个技术团队(含 Apple、IBM 及以色列、新加坡、日本研究组)申请 DementiaBank 数据训练痴呆检测算法。
  • ADReSSo 论文(arXiv:2104.09356)Google Scholar 被引 300+(2026-10 检索口径,随时间漂移)。
  • 2026 年 9 月 CMU 新闻:MacWhinney 获香港理工大学颁发的 2026 Yuen Ren Chao Prize in Language Science(语言科学终身成就奖),表彰其「理论创新、研究基础设施建设与国际影响」——TalkBank 体系的最新注脚。
  • ADReSS 2020 冠军百度研究院的方案(ERNIE+停顿编码)随后进入产业叙事,成为「AI+医疗」标志性案例之一。

8.3 人物志:两个机构的一段合作

  • James Becker(University of Pittsburgh,精神/神经/心理 emeritus):队列 PI,1994 论文一作——医学侧的把关人。
  • Francois Boller(George Washington University 神经学 emeritus):队列共同负责人。
  • Brian MacWhinney(CMU 心理学与现代语言教授,Teresa Heinz Professor of Cognitive Psychology,1945 生):CHILDES 与 TalkBank 创始人,2025 年仍在 Current Directions in Psychological Science 撰文总结体系(34(2):75-81),2026 年获赵元任奖。
  • Davida Fromm(CMU):DementiaBank 日常运营,ADReSS/ADReSSo 组织者之一。
  • Saturnino Luz、Fasih Haider、Sofia de la Fuente Garcia(University of Edinburgh Usher Institute):ADReSS/ADReSSo 的设计者与挑战赛操盘手。
  • 一句话概括生态结构:匹兹堡采集、CMU 托管、爱丁堡办赛、百度夺魁——四段式分工是这批数据四十年生命线的组织学答案。

8.4 资助与治理

  • 数据采集:NIA AG03705 + AG05133(Pitt ADRC 中心资助)。
  • TalkBank 基础设施:NIH/NSF 长期资助(1984 MacArthur 起家、2001 NSF infrastructure grant 成型、2023 ODSS FAIR grant 建 AdminView)。
  • ADReSS/ADReSSo 挑战赛:EU Horizon 2020 SAAM 项目(grant agreement 769661);de la Fuente Garcia 由 UK MRC 支持。
  • 治理文件三件套:Ground Rules、Code of Ethics、NIH Certificate of Confidentiality——全文公开可查,无黑箱条款。

8.5 方法学的三次范式迁移(都发生在这批数据上)

  1. 手工特征时代(2010 年代中期前后):词汇多样性、句法复杂度、声学 eGeMAPS 特征 + SVM/随机森林——Fraser et al. 等经典语言学特征研究。
  2. 预训练模型时代(2018-2021):BERT/ERNIE 吃转写、CNN/RNN 吃音频;ADReSS 2020 把这条路推到 89.58%(百度研究院冠军方案)。
  3. 语音-only 与 LLM 时代(2021-):ADReSSo 强制去掉人工转写;2024-2026 年 LLM 上下文学习(如 Llama-3.1-8B 直接读 Cookie Theft 转写判 AD)、多模态对齐、跨库鲁棒性成为新前沿——与此同时 Clever Hans 研究给一切高分打上伪影问号。

8.6 对中文与多语言研究的辐射

  • Pitt 的 CHAT 标注与「平衡子集+挑战赛」方法论被多语言痴呆语音项目直接继承;中文团队同时处理 Pitt 与粤语 JCCOCC MoCA 语料即为一例。
  • Liu 2024 用 Mandarin AD 数据集(iFLYTEK)做静音段对照(57.3% 近随机)反向证明 Pitt 伪影的特异——中文语料第一次在方法学上给英语基准「纠错」。
  • 本库视角:中文临床语音条目(apollocorpus/718 等)与 Pitt 构成「同一任务范式、不同语言」的对照组;跨语言零样本 AD 检测是两者天然的联合实验方向。

8.7 大事年表

年份 事件
1983-1988 匹兹堡大学 Alzheimer Research Program 纵向入组 319 人并采集语音任务
1987 Becker et al. 发表遗忘速率研究(Cortex 23:59-72),George and Melanie 故事定版
1994 Becker et al. 队列论文刊出(Arch Neurol 51:585-594),诊断准确率体系确立
2002 TalkBank 建立,DementiaBank 进入体系化托管时代
2018 CMU 新闻:24 个技术团队(含 Apple/IBM)申请数据
2020 ADReSS 挑战赛(Interspeech 上海),百度研究院以 89.58% 夺魁(34 队)
2021 ADReSSo 挑战赛(speech-only 三任务),Rohanian et al. 84%
2023 Lanzi et al. 发表 DementiaBank 标准化协议论文并新增 Delaware corpus
2024 Liu et al. 揭示静音段 98.9% 的 Clever Hans 效应;Google Scholar 引用达 543 篇
2026 CMU 新闻:TalkBank 14 库、14,000+ 论文;MacWhinney 获赵元任奖

8.8 运营模式对照:TalkBank vs 商业数据平台

把 TalkBank 放在「临床数据基础设施」的横轴上,它的运营选择相当独特:

  • 治理:社区规则(Ground Rules/Code of Ethics 全文公开) vs 商业平台的服务条款黑箱——研究者在 TalkBank 上能预读到全部约束。
  • 身份:faculty 会员制 + AdminView 核验 vs 商业平台的企业认证——前者信机构、后者信合同。
  • 可持续:NIH/NSF 长期资助 + 大学托管(1984 至今四十年) vs 商业平台的产品周期——Pitt 语料经历的成本模型没有任何一家商业公司能复制。
  • 许可:CC BY-NC-SA 3.0 + 数据禁入模型条款 vs 平台常见的「用途无限、数据归我」——TalkBank 明显更保护受试者。
  • 对手方:Bridge2AI(NIH 官方治理型,本库 bridge2ai-voice/66)走的是另一种「立项即治理」路线——两者是「自下而上社区化」与「自上而下工程化」的对照实验。

§9 与库内条目的关系

9.1 家族图谱

库内条目 rid 关系 联合实验方向
bridge2ai-voice 66 同属「语音→疾病检测」赛道;Bridge2AI 是 NIH 治理型计划,TalkBank 是社区治理型语料库——两种 AI-Ready 治理范式的对照 语音生物标志物标准化、治理文档互参
ua-speech 473 老年/病理性 ASR 的标准搭档:Wang et al. Interspeech 2022 同文处理 UASpeech 与 Pitt,分别代表发音退化与认知退化 老年语音 ASR 鲁棒性、跨病理泛化
torgo 466 构音障碍语音库——与 ua-speech 同属非典型语音识别文献两大常客,老年语音 ASR 论文常做联报 非典型语音 ASR、跨病理泛化
parkinsons-voice-uci 444 帕金森语音(UCI 经典小数据)——神经退行性疾病语音三件套之一 跨疾病语音生物标志物对比
saarbrucken-voice-db 452 萨尔布吕肯帕金森语音库——同上 同上
tuh-eeg-corpus 71 模态对照:电生理 vs 语音两条神经疾病检测路线 多模态神经退行性疾病监测
i2b2-n2c2-nlp 14 临床 NLP 文本——Pitt 转写文本侧的方法学近亲(均为受限域临床文本) 口语化临床文本 NLP
jnlpba 442 生物医学 NLP 基础语料——文本挖掘方法可迁移至 CHAT 转写 —
apollocorpus 718 中文临床语音语料——同一任务范式不同语言 跨语言 AD 语音检测零样本迁移

9.2 检索路径建议

  • 搜「老年语音」「语音生物标志物」:从本条目进入 → bridge2ai-voice(66) 看治理 → ua-speech(473) 看 ASR。
  • 搜「神经退行性疾病」:本条目 → parkinsons-voice-uci(444) / saarbrucken-voice-db(452) 组成语音三件套 → tuh-eeg-corpus(71) 换模态。
  • 搜「评测基准/挑战赛」:本条目(ADReSS/ADReSSo)与各挑战赛数据集条目同列「任务定义驱动」的典型。
  • 搜「临床 NLP」:本条目文本侧 → i2b2-n2c2-nlp(14) / jnlpba(442)。

9.3 不建议强行互链的邻居

  • fastmri(23)/duke-breast-mri(440):仅同属「医学+AI」泛概念,模态与任务均无交集,互链只制造噪音。
  • 各影像分割条目:Pitt 无影像组件;若未来 TalkBank/DementiaBank 相关影像库入库(如 ADNI 系)再补链。

9.4 联合实验设计示例(两条可直接立项)

  • 与 ua-speech(473) 联合:同一 ASR 主干分别在 Pitt(老年自发语音)与 UASpeech(构音障碍)上微调,报告「认知退化 vs 发音退化」对 WER 的贡献分解——Wang 2022 已给出现成实验框架(两库数据增强策略可平移)。
  • 与 apollocorpus(718) 联合:同一套 Cookie Theft 描述协议下,检验英文 CHAT 标记(停顿/假起)映射到中文转写后的检测效力;终点指标为跨语言零样本 AUC。Liu 2024 的「数据集特异性伪影」方法论(静音段/角色迁移双测试)应当作为标准质控环节嵌入两组实验。

§10 避坑清单:八个已踩过的坑

坑 1:规模八种口径,引用前先问统计单位。104/208/85(官网分组记录)、319(Becker 入组)、292 人 33 小时(ASR)、282=101+181(声学)、500=243+257(转写)、477(多模态过滤)、243/243(平衡采样)、306+243(Cookie 语音样本)、99/194(HF 旧描述)全部真实并存。引用任何一篇论文的「Pitt 规模」前先确认它数的是人、会话、转写文件还是语音样本;跨论文比较模型成绩时,若两边口径不同则比较无效。本条目正文与 INFOBOX 以官网分组口径为准数。

坑 2:资助号两种写法。官网引用段写 NIA AG03705 and AG05133,Project Description 段写 AG005133 and AG003705——同一组资助的前导零异写。写论文致谢统一用引用段写法(AG03705/AG05133)并全文一致;审稿人偶尔会拿这个较真。

坑 3:ADReSS 参赛队数两口径。Interspeech 2021 官方 special sessions 页与百度夺冠报道都写 34 支队伍参赛;TalkBank 2023 白皮书写 25 teams from 8 countries。合理推测 34=注册/参赛队、25=提交论文队,但官方未逐字说明;引用时注明出处并避免写成单一「官方数字」。

坑 4:转写公开 ≠ 数据无门槛,商用与 LLM 有明文红线。转写 zip 确实无需注册即可下载,但音频必须 DementiaBank 会员(仅 faculty 入会、学生经导师),Ground Rules 禁止再分发。三条红线原文级:数据本体禁入商业产品(点名 LLM);获准访问的企业可做算法研发但数据不能进模型权重;联网 API 处理必须关闭存储选项。HF 上的 loading script(cheulyop/dementiabank)只解析不携带数据,任何「HF 直链全集」仓库均属违规镜像。

坑 5:85 条 unknown diagnosis 是复现数字的头号黑洞。这组记录(其他痴呆/未定诊断)在多数论文里被静默丢弃,但「丢弃后剩多少」各论文做法不同——只留 Control+ProbableAD 是一种,加上 PossibleAD 是另一种。复现别人数字对不上时,先查对方怎么处理 unknown 与 possible(通常在论文数据节一句话带过,需要翻原文)。

坑 6:MMSE 藏在 @ID 头里。格式为 @ID: eng|Pitt|PAR|57;|male|ProbableAD||Participant|18||,倒数第二段是 MMSE 分。不解析 ID 头就宣称「数据集缺 MMSE 元数据」的错误真实存在(Frontiers 2026 即口径:他们管线里 transcript-level metadata 无 MMSE)。写解析器时按管道分段取数,并把年龄的「年;月.日」编码一并处理(参考 §3.7 骨架)。

坑 7:音频版本与录音伪影会颠覆结论。Liu et al. 2024 的量化结果:原始 Pitt 录音上仅静音段就能拿 98.9%,患者语音训练→访谈者语音测试仍 83.1%——诊断信号一度是「房间指纹」。官方降噪版+幅度归一后静音段掉到 63.1%、整体回到约 82%。因此:做分类建模必须用降噪版并报版本号;引用 2024 年前的高分论文时加「可能含录音伪影」脚注;主张临床可用前做跨库验证。

坑 8:Cookie Theft 不是 Pitt 的专属物。它是 Boston Diagnostic Aphasia Examination 的刺激图(版权属图片出版方),剑桥 Cambridge Cookie-Theft Corpus 是另一个同名任务的独立语料库(含脑影像子集,BMJ 综述口径:32% 患者/18% 对照有结构像)。检索「cookie theft dataset」时极易混到剑桥库;引用任务图来源与数据集来源要分开写。另注意 Pitt 的 Cookie 描述与 AphasiaBank 的 Cookie 描述任务同图不同人群,跨库混用时先分清参与者来源。

§11 总结

11.1 三句话总结

  1. Pitt 语料是 1983-1988 年匹兹堡大学纵向阿尔茨海默研究留下、经 CMU TalkBank 四十年运营的老年自发语音+CHAT 转写库——诊断标签有尸检级背书(86-91.4%),是语音 AD 检测领域当之无愧的事实标准。
  2. 它的价值早已超出「一批录音」:CHAT 不流畅标注、嵌 ID 头的临床标签、PItt-data.xlsx 纵向分数,加上 ADReSS/ADReSSo 两个挑战赛基准(百度研究院与 Rohanian 的冠军方案),构成从数据到任务到榜单一体的评测生态。
  3. 用它要带着两分清醒:八种规模口径必须先定统计单位;Liu 2024 证明原始录音里藏着 98.9% 的静音段捷径——降噪版、说话人切分与跨库验证是三条保命绳。

11.2 适合谁

  • 语音/语言生物标志物研究者:需要带纵向临床金标签的自发语音语料。
  • 痴呆检测/认知评估模型团队:需要与 500 篇前作可比的基准(ADReSS/ADReSSo 现成划分)。
  • 老年语音 ASR 团队:低资源、受限话题、真实老年嗓音(与 UASpeech 互补)。
  • 临床 NLP 研究者:口语化 CHAT 转写+不流畅标记是稀缺的口语临床文本资源。
  • 方法学与数据治理研究(偏差、可解释性、许可边界):四十年历史+公开治理文档+成熟挑战赛史+已实证的伪影案例,是研究「基准本身」的最佳标本。

11.3 不适合谁

  • 需要 MCI 分级、多语言或影像多模态的团队:Pitt 的 MCI 与非 AD 痴呆在 unknown 组里无细分文档,三任务无对照组,无影像(MCI 需求可看 DementiaBank 内 Delaware corpus 或库内 bridge2ai-voice)。
  • 追求端到端自动化的工程管线:音频有 faculty 会员墙,无法免注册跑通全流程。
  • 直接上临床的产品团队:录音条件伪影与跨库泛化问题未解,84-89% 的基准分数不能外推为筛查性能。
  • 想把数据喂进商用大模型或打包进产品的团队:CC BY-NC-SA 3.0 + 禁入 LLM 条款明文禁止。

11.4 30 秒决策卡

你的情况 建议
想先跑通文本流水线 直接下转写 zip(公开)+ TRESTLE/CLAN,不用等会员
要对标 ADReSS 榜单 请 faculty 导师入会 → 0extra 拿 ADReSS → 用官方划分与 meta 文件
只关心 MMSE/诊断标签 解析 @ID 头(坑 6,参考 §3.7)+ 下载 PItt-data.xlsx
做防伪影/偏差研究 用降噪版+跨库(Delaware/Lu/自采)验证,引用 Liu 2024 四个数字
商业化意图 读 §6.4 三条红线:可造工具、数据不进模型、API 处理关存储;拿不准就邮件 talkbank@cmu.edu
中文/多语言研究 方法学可整体移植(CHAT+平衡子集+挑战赛);跨语言联合实验参考 apollocorpus(718)

FAQ(高频问答 12 问)

Q1:文献里 WER 从 18% 到 32% 都有,Pitt 的 ASR 到底多难?
难且口径多。老年+障碍+临床环境三重困难叠加;Hu et al. 2023 的 18.17%(TDNN+wav2vec2 融合)是当前代表性水平,Jin et al. 2022 的 SpectralGAN 增强 31.93%、ADReSSo 官方 Google STT 约 32.8% 说明现成商用系统在这里显著退化。做语音转文本管线要预留纠错预算,别拿 LibriSpeech 的 WER 直觉套用。

Q2:可以直接拿全集做 AD/MCI/HC 三分类吗?
不建议直接做:MCI 样本少(文献口径 21-43 份转写)且 Fluency/Recall/Sentence 无对照组;Chakraborty et al. 2020 的三分类 82% 已是精心融合后的结果。常规做法是二分类 + MMSE 连续变量,MCI 归入纵向/组内分析。

Q3:语音和转写哪个模态强?
文本通道(词汇-句法特征)单通道常强于声学,但两者错误模式互补,融合稳定抬升(Mittal 85.3% 为多模态代表);ADReSSo 证明无人工转写时全自动 ASR 链仍可逼近人工转写成绩,而百度冠军方案则证明人工转写里藏着尚未榨干的信号(停顿编码)。

Q4:ADReSS 的 65dB 阈值切段意味着什么?
组织方用能量阈值 VAD 把会话切成 ≤10 秒的段落(1955+2122 段),消除「整段录音当输入」的时长混杂。使用 ADReSS 段级数据时注意成绩粒度是段落级,与会话级成绩不可直接比;多数参赛系统用多数投票聚合回会话级。

Q5:DementiaBank 平台还在更新吗?
Pitt 本体是历史语料不再增量,但平台在扩建:Delaware corpus 新采集(Lanzi 2023 起)、AdminView 系统现代化(2023 NIH ODSS 资助)、Grand Rounds 教育资源、PREPARE Challenge。平台当前获 NIH RF1AG083823 资助。

Q6:有不入会就能用的入口吗?
三个:转写 zip 公开下载(talkbank.org/data/dementia/English/Pitt?f=zip);网页版 browsable transcripts(sla.talkbank.org);DementiaBank Grand Rounds 教学案例(注册邮箱即可)。音频与 ADReSS/ADReSSo 包必须会员。

Q7:MMSE 分数到底在哪里、缺不缺?
三处:@ID 头第九字段(逐转写)、PItt-data.xlsx(逐年度纵向)、ADReSS 包 meta 文件(子集)。覆盖面不一:ADReSS 训练集缺 1 人、控制组教育年限未编码、Frontiers 2026 管线曾因未解析 ID 头误判「无 MMSE」。三处都查过再下缺失率结论。

Q8:85 条 unknown 组的数据还能用吗?
能,但要动脑:它们多数有音频与转写,只是诊断未定(其他痴呆/未定诊断)。可用于无监督、半监督、MMSE 回归(分数仍在)与 ASR;用于监督分类则会被多数论文丢弃——你的论文只要明写处置方式即可(坑 5)。

Q9:能自己从 Pitt 全集构造衰退标签吗?
能:以参与者代号串联多次访问 + PItt-data.xlsx 的逐年 MMSE,按 ΔMMSE≥5(ADReSSo 口径)或连续斜率定义衰退。注意基线访视的 Fluency 录音是 ADReSSo 衰退任务的输入,自己复刻时对齐任务与访次。

Q10:可以把数据传到云上用 API 处理吗?
只有一条路:选择服务商的非存储选项(OpenAI 关 improve the model for everyone、Anthropic 关 Help improve Claude、Google 关 Gemini Apps Activity)——Ground Rules 明文允许这些系统的关存储处理;默认设置(会存储/训练)即违规。NIH 保密证书下的可识别数据只许本地设备存储。

Q11:引用规模数字的规范写法是什么?
示例:「DementiaBank English Pitt Corpus(官网分组口径 104 controls / 208 dementia / 85 unknown diagnosis;TalkBank 会员制发放)」——数字后面紧跟统计单位与出处。只写「Pitt 有 500 条数据」这类光秃数字是审稿人最常抓的问题。

Q12:引用 Liu 2024 的伪影数字时要注意什么?
四个数字各有条件:98.9%(原始音频静音段)、83.1%(患者→访谈者跨角色)、63.1%(降噪后静音段)、57.3%(Mandarin 对照)——引用时必须带条件限定,否则会反向误读为「静音段普遍能诊断」。同时注明它证明的是 Pitt 特有录音伪影而非 AD 不可检测。

附录 A:元数据速查卡

字段 值
正式名 DementiaBank English Pitt Corpus
slug dementiabank-pitt
DOI 10.21415/CQCW-1F92
官网 talkbank.org/dementia/access/English/Pitt.html
采集方 University of Pittsburgh School of Medicine(Alzheimer and Related Dementias Study)
托管方 TalkBank, Carnegie Mellon University
采集年份 1983-1988(纵向年度随访)
上网年份 2000 年代(TalkBank 体系内;精确年份无直接来源,2018 已成熟运营)
强制引用 Becker et al. 1994, Arch Neurol 51(6):585-594
强制致谢 NIA AG03705 / AG05133
许可 CC BY-NC-SA 3.0 + TalkBank Code of Ethics + NIH CoC;数据禁入商业产品含 LLM
访问层级 TalkBank Approved access(无费用;faculty 入会、学生经导师)
媒体类型 音频(mp3;另有降噪版)+ CHAT 转写
语言 英语(美式,老年发音)
诊断组 Control / ProbableAD / PossibleAD / Unknown 等(@ID 头嵌入)
临床标签 MMSE(@ID 头);全套神经心理分数在 PItt-data.xlsx
抓取时点 2026-10-04
库内互链 bridge2ai-voice(66)/ua-speech(473)/parkinsons-voice-uci(444)/saarbrucken-voice-db(452)/tuh-eeg-corpus(71)/i2b2-n2c2-nlp(14)/jnlpba(442)/apollocorpus(718)

附录 B:关键数字证据链自证

关键数字 来源 位置
104 controls / 208 dementia / 85 unknown TalkBank 官网 Pitt 页 页首 Participants 行(2026-10-04 直抓)
DOI 10.21415/CQCW-1F92 同上 页首 DOI 链接
319 入组 = 204+102+13 Becker et al. 1994 摘要 Patients or Other Participants 段(官网 PDF 直抓)
188 → 181 probable/definite;43/50 尸检 definite AD Becker et al. 1994 摘要 Results 段
准确率 86% / 91.4%;敏感度 0.988 / 特异度 0.983 Becker et al. 1994 摘要 Results 段
33 小时 / 292 人;27.2h/4.8h/1.1h;15.7h(29,682)/2.5h(5,103)/0.6h(928);58.9h(112,830);167k 词/3.6k 词表 Wang et al. Interspeech 2022 Audio/Text Data 段(isca-archive.org 原文;arXiv:2206.07327 与 2412.18832 复述一致)
500 transcripts = 243+257;282=101+181;477=235+242 emergentmind DementiaBank Speech Corpus 条目(转述各研究会口径) Corpus identity 节
243/243(222 probable + 21 possible;从 255 采样) Frontiers in AI 2026(10.3389/frai.2026.1875702) 2.2 Data acquisition 段与 Table 2
年龄 44-91 / mean 70;64.9±7.7 vs 72.0±8.3;教育 18.5±5.1(223/243) Frontiers 2026(转述 Lanzi 2023) Table 2 及脚注
ADReSS 156 = 78+78(35M/43F 每组);1,955+2,122 段;24.86±12.84 段/人 ADReSS 挑战赛官方页 + luzs.gitlab.io/adress + arXiv:2004.06833 数据构成表与分段说明
ADReSS visit 分布 62/57/19/17/1 Frontiers Aging Neuroscience 2021(10.3389/fnagi.2021.642647) 数据构建段
ADReSS 冠军百度研究院(Yuan et al.)89.58%/89.6%;34 队(含 MIT/首尔大学/DFKI) fangi.2021.642647 + 百度夺冠报道(10100.com) Introduction 段 + 中文报道
25 teams / 8 countries TalkBank 2023 白皮书(media.talkbank.org) ADReSS 赛绩段(与 34 队并存,坑 3)
ADReSSo 基线 78.87% / RMSE 5.28 / 68.75%(F1 66.67) arXiv:2104.09356 摘要 medRxiv 版另证 CC BY-NC-SA 3.0
ADReSSo 242 人(169/73)+ 105 人(73/32);ΔMMSE≥5;STT WER≈32.8% api.emergentmind.com/topics/adresso-2021-challenge(转述 Luz/Rohanian 2021) Dataset Design 节
Rohanian 84% / RMSE 4.26(4.9M 参数);BERT 80%/4.49;BERT+Gating 4.38(105M) 同上 成绩表
Baidu F=0.92 TalkBank 2023 白皮书 ADReSSo 赛绩段(二手转述存照)
Liu 2024:静音段 98.9%;患者→访谈者 83.1%;降噪后 63.1%/82%;Mandarin 对照 57.3%;Cookie 306 AD + 243 HC;543 引用 Interspeech 2024(arXiv:2406.07410,isca-archive 原文) 摘要+Table
全景成绩(92.05/88±4/85.3/82/18.17/31.93/0.72±0.07) emergentmind 实证表 Empirical Results 节
TalkBank 2002 / CHILDES 1984 / 14 库 / 14,000+ 论文 / 24 tech groups 含 Apple/IBM / 2026 赵元任奖 us-wikipedia TalkBank 条目 + CMU 2018 与 2026-09 新闻 条目与新闻正文
四级访问 / DementiaBank=Approved / 无需二次 IRB / AdminView / faculty-only / 禁入 LLM / API 关存储 talkbank.org/0share/access.html + rules.html 原文直抓
CC BY-NC-SA 3.0 rules.html 原文 + ADReSSo medRxiv ethics statement + ar5iv 2511.06826 三源一致
HF cheulyop/dementiabank 手动下载脚本(99/194 旧口径) huggingface.co/datasets/cheulyop/dementiabank 脚本源码与描述字段

附录 C:CHAT @ID 头字段字典

段位(管道分隔) 示例值 语义 读取注意
1 eng 语言代码 —
2 Pitt 语料名 DementiaBank 内还有 Kempler/Holland/Lanzi 等
3 PAR 说话人角色 PAR=参与者,INV=临床研究者——特征提取前必须按角色过滤
4 57; 年龄(年;月.日) 分号必须保留解析;月份日龄可能缺省
5 male 性别 male/female
6 ProbableAD 诊断分组 Control/ProbableAD/PossibleAD/Unknown 等;此字段决定一切口径
7 (空) 预留 —
8 Participant 参与者代号 跨会话追踪同一人用它(防说话人泄漏)
9 18 MMSE 分数 嵌在 ID 头,不是独立 tier(坑 6)
10+ (空) 预留 —

附录 D:术语与缩写

缩写 全称与含义
AD Alzheimer’s Disease,阿尔茨海默病
MCI Mild Cognitive Impairment,轻度认知障碍
MMSE Mini-Mental State Examination,简易精神状态检查(0-30 分)
CHAT Codes for the Human Analysis of Transcripts,TalkBank 转写格式
CLAN Computerized Language Analysis,CHAT 配套分析软件
BDAE Boston Diagnostic Aphasia Examination,波士顿诊断性失语症检查(Cookie Theft 图出处)
ADReSS Alzheimer’s Dementia Recognition through Spontaneous Speech,Interspeech 2020 挑战赛
ADReSSo ADReSS speech-only,Interspeech 2021 三任务挑战赛
WAB Western Aphasia Battery,西方失语症成套测验
VAD Voice Activity Detection,语音活动检测
WER Word Error Rate,词错误率
RMSE Root Mean Squared Error,均方根误差
DAIMS Discoverability / Accessibility / Interoperability / Metadata / Sustainability
TRESTLE Toolkit for Reproducible Execution of Speech, Text and Language Experiments
HC / NC Healthy Controls / Normal Controls,健康对照
CoC (NIH) Certificate of Confidentiality,保密证书
ERNIE 百度文心知识增强语义理解模型(ADReSS 2020 冠军方案所用)
probable AD 很可能 AD——临床诊断分级(NINCDS-ADRDA 口径),区别于 possible AD 与病理 definite AD
说话人泄漏 speaker leakage:同一参与者的多次会话跨训练/测试侧造成的成绩虚高
Clever Hans 效应 模型利用非目标信号(如静音段环境噪声)而非目标特征做决策的现象
不流利性 disfluency:填充词、假起、停顿、修复等口语不流畅现象,痴呆语言标志物
TTR / MATTR type-token ratio 词汇多样性及其移动平均变体(CLAN FREQ 可算)
eGeMAPS openSMILE 的 88 维生理基础声学特征集(F0、jitter、shimmer、共振峰等)
openSMILE 开源声学特征提取工具包,ADReSS 基线与多数声学研究标配
Databrary 视频数据共享库,TalkBank 授权协议的执行平台
Approved access TalkBank 四级访问的第三级:机构身份核验后开通(DementiaBank 所在层级)
Delaware corpus Lanzi et al. 2023 新采集语料,标准化四型 discourse protocol
Data Spreadsheet Pitt 官方人口学/测试结果电子表(PItt-data.xlsx)
CTS TalkBank Citation Standard(引用标准)

附录 E:基于本数据集的研究检查清单(12 项)

  1. 许可核对:确认 faculty 导师会员资格有效;用途是否触及商业边界(CC NC + LLM 禁入条款)需预先书面确认。
  2. 口径声明:论文里写 Pitt 规模时注明统计单位(参与者/会话/转写/语音样本/分组记录),别只写一个光秃秃的数字。
  3. unknown 处置:明写 85 条 unknown 的去留;possible AD 是否并入 AD 组要交代。
  4. 说话人泄漏:纵向多访语料禁止随机切分;按参与者切分并在附录报切分表。
  5. 音频版本:注明 Pitt-Orig 还是降噪版;预处理链(重采样、静音处理、幅度归一)全文披露——Liu 2024 已证明这不是细节而是结论有效性的前提。
  6. @ID 解析:MMSE 与诊断从 ID 头取,年龄按「年;月.日」解析;解析脚本建议开源。
  7. 角色过滤:INV 语音从特征提取中剔除,否则语言特征被稀释。
  8. 与 ADReSS 的关系:若同时用全集与 ADReSS,说明测试集是否重叠(ADReSS test 48 人 Cookie 即全集评估集同款)。
  9. 跨库验证:主张临床可迁移前做 Delaware/Lu/自采数据外部验证;引用 Liu 2024 与偏差研究背景。
  10. 引用完整:Becker et al. 1994(队列)+ TalkBank/DementiaBank(托管)+ ADReSS/ADReSSo 论文(若用子集)+ 致谢 AG03705/AG05133。
  11. 数据不出库:论文开源部分只含脚本与统计,不含原始音频/转写再分发;API 处理关存储选项。
  12. 时点存照:TalkBank 页面数字(分组、引用格式、引用数)以抓取日期为准,页面内容随年份更新。

附录 F:引用与致谢模板

语料库引用(强制):
Becker, J. T., Boller, F., Lopez, O. L., Saxton, J., & McGonigle, K. L. (1994).
  The natural history of Alzheimer's disease: description of study cohort and
  accuracy of diagnosis. Archives of Neurology, 51(6), 585-594.

语料库 DOI:10.21415/CQCW-1F92

致谢(强制,官网 Citation information 原文口径):
  The authors acknowledge grant support NIA AG03705 and AG05133.

ADReSS 使用加引:
Luz, S., Haider, F., de la Fuente, S., Fromm, D., & MacWhinney, B. (2020).
  Alzheimer's dementia recognition through spontaneous speech: The ADReSS
  challenge. Proc. INTERSPEECH 2020, Shanghai. (arXiv:2004.06833)

ADReSSo 使用加引:
Luz, S., Haider, F., de la Fuente, S., Fromm, D., & MacWhinney, B. (2021).
  Detecting cognitive decline using speech only: The ADReSSo Challenge.
  Proc. Interspeech 2021. doi:10.21437/Interspeech.2021-1220

伪影研究加引(如涉及成绩解读):
Liu, et al. (2024). Clever Hans Effect Found in Automatic Detection of
  Alzheimer's Disease through Speech. Interspeech 2024. (arXiv:2406.07410)

附录 G:事实清单(硬事实 30 条)

  1. 官网分组口径:104 controls + 208 dementia + 85 unknown diagnosis = 397 条分组记录(官网 Participants 行)
  2. Becker 1994:1983-03 至 1988-03 入组 319 人(204 AD + 102 NC + 13 special cases)
  3. Becker 1994:复审 188 probable AD → 排除 3 例血管性 + 4 例抑郁等 → 181 probable/definite AD
  4. Becker 1994:50 例尸检、43 例 definite AD
  5. Becker 1994:基线临床诊断准确率 86%,随访后 91.4%
  6. Becker 1994:神经心理测试敏感度 0.988、特异度 0.983
  7. 语料库 DOI:10.21415/CQCW-1F92
  8. 音频约 33 小时 / 292 参与者(ASR 四篇独立论文一致口径)
  9. ASR 划分:15.7h/29,682 utt 训练 + 2.5h/5,103 开发 + 0.6h/928 评估(静音剥离后);增强后 58.9h/112,830 utt
  10. 转写文本约 16.7 万词,覆盖全部词汇的识别词表仅约 3,600 词
  11. 评估集 = 48 说话人 Cookie 录音(与 ADReSS 测试集同款)
  12. 四任务:Cookie(双组)/ Fluency(痴呆组)/ Recall(痴呆组)/ Sentence(痴呆组)
  13. Recall 含 George and Melanie(全文可查,出自 Becker et al. 1987, Cortex 23:59-72)与 Uncle Bill and Johnny(无文本)
  14. @ID 模板:eng|Pitt|PAR|age|sex|diagnosis||Participant|MMSEscore||(官网原样)
  15. Mittal 诊断细分:242 control + 43 MCI + 21 possible AD + 236 probable AD(+3 血管性 +3 Memory +1 其他)
  16. 年龄 44-91 均值约 70;对照组 64.9±7.7 岁(89M/154F);probable AD 72.0±8.3 岁(80M/163F);教育仅 AD 组有值(18.5±5.1 年,223/243)
  17. Data Spreadsheet 文件名 PItt-data.xlsx,首个 tab 为 readme
  18. 许可 CC BY-NC-SA 3.0(rules.html 原文,三源一致)+ TalkBank Code of Ethics + NIH CoC
  19. 强制引用 Becker et al. 1994;强制致谢 NIA AG03705 与 AG05133(Project Description 段同号异写 AG005133/AG003705)
  20. 访问层级 Approved access:仅 faculty 入会、学生经导师、无费用、无需二次 IRB
  21. 数据禁入商业产品(点名 LLM);企业可做算法研发但数据不进模型权重;API 处理须关存储选项
  22. 降噪版:wav 降噪后回转 mp3,官方推荐 AD 检测使用
  23. ADReSS 2020:156 = 78+78(每组 35M/43F);训练 54+54 / 测试 24+24;1,955+2,122 段(65dB、≤10s、人均 24.86±12.84);visit 分布 62/57/19/17/1
  24. ADReSS 冠军:百度研究院(Yuan et al.)准确率 89.58%(停顿编码 + 50 ERNIE 多次微调多数表决);34 队 / 25 组 8 国双口径
  25. ADReSS 赞助:EU Horizon 2020 SAAM(grant 769661);2020-01-24 放训练数据、10 月上海(口径)开会
  26. ADReSSo 2021:诊断集 242(倾向得分匹配、169/73)+ 衰退集 105(73/32);ΔMMSE≥5;基线 78.87% / RMSE 5.28 / F1 66.67
  27. ADReSSo 获胜:Rohanian et al. 84% / RMSE 4.26(4.9M 多模态门控 BiLSTM);成果 15 篇入 Frontiers in Aging Neuroscience 特刊
  28. Liu et al. 2024(arXiv:2406.07410):静音段 98.9%、跨角色 83.1%、降噪后 63.1%/整体约 82%、Mandarin 对照 57.3%;Cookie 语音样本 306 AD + 243 HC
  29. Pitt 支撑 250+ 出版物(TalkBank 2023)/Scholar 543 篇(2024 中口径);TalkBank 全家 14 库、14,000+ 论文;MacWhinney 2026 年获赵元任奖
  30. DementiaBank 主页挂有行政审查横幅(访问政策或变动)

附录 H:抓取日志与事故存照(2026-10-04)

  • WebSearch 一轮:官网快照(104/208/85、DOI、Becker 引用、NIA 资助)+ TalkBank 2023 白皮书要点 + ADReSS/ADReSSo 挑战赛史——第一源。
  • WebFetch 官网 Pitt 页全文直抓:分组数字、DOI、CHAT @ID 格式、四任务清单、George and Melanie 全文、协议任务列表、引用与资助段、Data Spreadsheet 链接、降噪版说明——第二源(主锚)。
  • WebFetch ADReSS-2020 官方页:组织者、双任务、平衡表(35M/43F×2)、1955/2122 段、SAAM 赞助——第二源补充。
  • Becker 1994 PDF(官网 0docs 直链)curl 下载 + pdftotext 提取:319 入组、188→181、43/50 尸检、86%/91.4%、0.988/0.983、AG03705/AG05133——第三源(医学底座锚)。
  • WebSearch 补充:Lanzi 2023(PMID 36791255/PMCID PMC10171844)、ADReSSo 2021(arXiv:2104.09356)、TalkBank 四级访问页、ADReSS 获胜成绩(fangi.2021.642647)、HF cheulyop 脚本、33 小时口径四篇交叉、TalkBank 史(CMU 2018/2026 新闻)。
  • 二次核查(覆写事故后增补):talkbank.org/0share/rules.html 原文(CC BY-NC-SA 3.0、faculty-only、LLM 禁入、API 关存储);Liu 2024 Interspeech 原文(arXiv:2406.07410:98.9%/83.1%/63.1%/57.3%、306+243、543 引用);百度夺冠报道(34 队、89.6%、停顿编码 3p/6p、多数表决);CMU 2026-09 新闻(14 库、14,000+ 论文、赵元任奖)。
  • DB 查重:url_name ILIKE '%dementiabank%' OR '%pitt%' → 0 rows;互链候选查询 → bridge2ai-voice(66)/tuh-eeg-corpus(71)/ua-speech(473)/parkinsons-voice-uci(444)/saarbrucken-voice-db(452)/i2b2-n2c2-nlp(14)/jnlpba(442)/apollocorpus(718)。
  • 覆写事故存照:本代理私有区 .parts_agent-a-dementiaba_1791056486_1210471/ 的 5 个 part 文件与成稿在 04:01-04:08 被外部覆写为另一套平行撰写版本(其中含与本代理三源研究冲突的未证实主张:CC BY-NC-SA 4.0、「数字库 2005 年上线」、ADReSS 冠军与 Baidu F=0.92 混写等)。本代理按 R007/R008 教训处置:停止争抢 → 10 秒双 md5 采样确认 STABLE → 对平行版本逐项事实核查(证实吸收:faculty-only 学生规则;证伪弃用:license 4.0、2005 上线;存照保留:Baidu F=0.92)→ 全量重写为上述三源互证版本。FACTS.md 亦曾被换为 16.9KB 平行版本,本代理重写为现行版。
  • 遗留未核:DementiaBank 精确上线年份、Baidu F=0.92 任务细节、PItt-data.xlsx 逐字段、Databrary 历史关系——均已在 §10 与 FACTS.md 存照。

附录 I:常见问题 FAQ(10 问)

F1:下载转写 zip 需要注册吗?
不需要。talkbank.org/data/dementia/English/Pitt?f=zip 是公开直链;音频才要会员。

F2:转写里有多少人做过 Cookie 任务?
306 AD + 243 HC 条语音样本(Liu 2024 口径);转写文件口径 500 条(243+257)覆盖全任务。两个数都对,粒度不同。

F3:ADReSS 的测试集标签在哪?
挑战赛赛后公开:dementia.talkbank.org/ADReSS-2020/ 的 2020Labels.txt 与 2020Results.xlsx;ADReSSo 同理在其官方页。

F4:可以只申请 ADReSS 不申请整个 DementiaBank 吗?
ADReSS 资产放在 DementiaBank 会员目录内(0extra),会员资格是前提;2020 年挑战赛期间的邮件单独发放通道已统一收归 TalkBank。

F5:转写里的年龄 57; 是什么格式?
CHAT 标准为「年;月.日」,57; 表示 57 岁整(月日缺省)。解析时按分号切分。

F6:unknown 组里都有什么诊断?
官网未给细分清单(这是 85 条记录的文档缺口);文献证据显示含其他类型痴呆与未定诊断。需要细分的研究应邮件 talkbank@cmu.edu 或查 PItt-data.xlsx。

F7:Story Recall 的第二个故事真没有文本吗?
官网明写 Uncle Bill and Johnny「no text available」——参与者听录音复述,官方未公开故事原文;George and Melanie 全文在官网且出处 Becker 1987。

F8:为什么各家论文的 MMSE 统计对不上?
三个原因叠加:MMSE 嵌 @ID 头易被漏解析;部分参与者的 MMSE 缺失;纵向多次访问带来同一人多值。先定「取哪次访问」再说数字。

F9:数据多久更新一次?
Pitt 本体(1983-1988 采集)为静态语料;TalkBank 平台与工具持续更新(Batchalign、AdminView 都是近年产物);DementiaBank 新语料(Delaware 等)按采集进度入库。

F10:可以直接引用本条目吗?
本条目是百科性质的二手整理,引用请回溯一手来源:Becker et al. 1994(队列)、TalkBank 官网(数据与规则)、Luz et al. 2020/2021(基准)、Liu et al. 2024(伪影)——本条目附录 B 已为每个数字标好出处。

附录 J:核心论文速查表(按阅读优先级)

优先级 论文 年份/出处 读什么
1 Becker et al., The natural history of Alzheimer’s disease 1994, Arch Neurol 51(6):585-594 队列设计、诊断准确率体系(官方强制引用)
2 Luz et al., The ADReSS Challenge 2020, Interspeech(arXiv:2004.06833) 基准构成、平衡工艺、基线
3 Luz et al., The ADReSSo Challenge 2021, Interspeech(arXiv:2104.09356) 三任务定义、speech-only 规则、基线
4 Lanzi et al., DementiaBank: Theoretical Rationale… 2023, AJSLP 32(2):426-438 DementiaBank 全景、标准化 protocol、Delaware
5 Liu et al., Clever Hans Effect… 2024, Interspeech(arXiv:2406.07410) 静音段伪影、降噪定量效果
6 Rohanian et al.(ADReSSo 冠军系统) 2021, Interspeech 多模态门控融合方法
7 Yuan et al.(百度,ADReSS 冠军系统) 2020, Interspeech 停顿编码+ERNIE 集成
8 Wang et al., Conformer 老年 ASR 2022, Interspeech 33h 划分、WER 基准
9 MacWhinney, Understanding Language Through TalkBank 2025, Curr Dir Psychol Sci 34(2):75-81 体系级综述
10 Mittal et al., 多模态迁移学习 2020, arXiv:2012.02029 四诊断组转写样例(Table I)、融合方法

附录 K:检索关键词与查询建议

给检索者的关键词组合(按意图分组):

  • 找数据本体:DementiaBank Pitt、Pitt corpus talkbank、doi 10.21415/CQCW-1F92、dementia.talkbank.org Pitt
  • 找基准与榜单:ADReSS challenge Interspeech 2020、ADReSSo 2021 speech only、Alzheimer dementia recognition spontaneous speech
  • 找方法论文:DementiaBank classification、Cookie Theft picture description Alzheimer、dementia speech detection(加 acoustic/linguistic/multimodal 分通道)
  • 找方法学批判:Clever Hans Alzheimer speech、silence segments dementia detection、speaker leakage longitudinal corpus
  • 找工具:CLAN CHAT transcription、TRESTLE toolkit DementiaBank、TalkBank Batchalign
  • 避坑组合词:搜「cookie theft dataset」会混入 Cambridge Cookie-Theft Corpus——加 DementiaBank 或 Pitt 限定(坑 8)。

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • primock57 — 共享标签:语音信号 / 医疗NLP / 评测基准
  • daic-woz — 共享标签:语音信号 / 医疗NLP / 评测基准
  • nacc — 共享标签:神经科学 / 神经退行性疾病 / 阿尔茨海默病
  • parkinsons-voice-uci — 共享标签:语音信号 / 神经退行性疾病 / 评测基准
  • perturbai-crispr-atlas — 共享标签:神经科学 / 神经退行性疾病 / 评测基准
  • brain-snrna-ad-atlas — 共享标签:神经科学 / 神经退行性疾病 / 阿尔茨海默病
  • bfa — 共享标签:神经科学 / 神经退行性疾病 / 评测基准
  • i2b2-n2c2-nlp — 共享标签:医疗NLP / 评测基准
  • cblue — 共享标签:医疗NLP / 评测基准
  • blurb — 共享标签:医疗NLP / 评测基准

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集