信息速览
INFOBOX — AnnoMI 一屏速览
维度 内容 本质 首个公开免费、专家标注的动机性访谈(MI)治疗对话语料(转录文本,非音频本体) 规模 133 段对话 / 9,699 条话语(高质量 110 段 8,839 条 + 低质量 23 段 860 条) 来源 119 个 YouTube/Vimeo MI 培训示范视频,GoTranscript 专业转录 标注者 10 名经 MINT 招募的 MI 治疗师,英语熟练且有 MI 编码经验 标注体系 治疗师:(Main) Behaviour ∈ {Reflection, Question, Input, Other};来访者:Talk Type ∈ 细分标签 full 版追加 Input 四子类、Reflection 二子类(simple/complex)、Question 二子类(open/closed) 一致性 IAA 子集 7 段;Fleiss κ:Behaviour ≈ 0.74(substantial)、Talk Type ≈ 0.47(moderate);ICC 全项 excellent 基线 Macro F1:治疗师行为 0.72(BERT 最佳)、来访者 Talk Type 约 0.55(BERT 最佳) 获取 GitHub uccollab/AnnoMI两个 CSV 直接下载,无需申请、无需签署协议许可 论文声明 Public Domain License;仓库无 LICENSE 文件(见坑 2) 库内互链 DAIC-WOZ(rid 1142)、ACI-BENCH(rid 810)、PriMock57(rid 811)
AnnoMI(论文标题写作 Anno-MI)是心理健康语料领域一个标志性的起点:在它出现之前,公开可用的治疗对话几乎只有 WOZ 模拟访谈(如 DAIC-WOZ 的 Ellie 访谈)或就诊转写(如 MTSamples),而没有一份「带专业治疗技术标注」的对话语料。AnnoMI 把 133 段高质量与低质量的动机性访谈示范视频转成文本,请 10 名 MI 治疗师逐句标出「治疗师说了什么技巧、来访者往哪个方向说」,从而第一次让「治疗保真度(treatment fidelity)」这类原本只能靠人工评分表完成的工作变成可被 NLP 建模的序列标注问题。
它的价值不在于体量大——9,699 条话语在动辄百万条的今天并不算多——而在于标注的语义层级:它给的是治疗技术(reflection / question / input)与来访者言语方向(change talk / sustain talk),这两组标签直接对应 MISC 与 MITI 编码系统,是行为健康领域公认的质量维度。任何想训练「治疗师说了什么」或「来访者是否在往改变走」的模型,AnnoMI 都是目前唯一可公开复现的监督信号来源。
导语读法三则:
- 只想下数据建模:直奔 §6 获取与许可,两个 CSV 抓下来即可;注意 simple 与 full 的区别(§2.3)。
- 关心标注可靠性:直奔 §4 与 §5,重点是 7 段 IAA 子集、Talk Type 的 κ≈0.47、以及基线模型在来访者侧的上限。
- 做消歧检索:直奔 §9 与 §10.9——AnnoMI 不是 DAIC-WOZ(抑郁筛查访谈,音频+PHQ-8),也不是 ACI-BENCH(就诊对话→病历生成),三者的「对话」指的不是同一件事。
§0 导读:这个数据集解决什么问题
0.1 一个被数据卡住的领域
心理治疗对话的 NLP 研究长期受制于两个约束。第一是隐私:真实治疗会谈属于最高敏感级别的健康数据,脱敏成本极高、伦理审查严格,公开数据集凤毛麟角。第二是标注语义:即使拿到转写,要判断「治疗师这句话是反映还是提问」需要受过训练的治疗师,普通众包标注员做不到。两个约束叠加的结果是:这个领域有大量模型论文,但绝大多数只能在私有数据上自证,无法互相比对。
AnnoMI 作者在论文开篇把这个困境写得很直白:研究增长很快,但「access to this area remains extremely limited, due to the lack of publicly available expert-annotated therapy conversations」。他们的应对方式不是去拿真实会谈,而是用公开的教学示范视频替代真实会谈——示范视频本身就带有「好示范 / 坏示范」的教学意图,出镜者知情同意、视频上传者授权,隐私问题被绕开;再由持证治疗师完成标注,语义问题也被解决。
0.2 它选择 MI 作为切入口的理由
动机性访谈(Motivational Interviewing, MI)由 Miller 与 Rollnick 在 1980 年代提出,是一种以来访者为中心、 directive 地 eliciting 改变动机的谈话疗法,最初用于成瘾治疗,后扩展至戒烟、减重、依从性管理、青少年行为矫正等。选它作为第一个公开语料有三个现实理由:
- 编码系统成熟。MISC(Motivational Interviewing Skill Code)与 MITI(Motivational Interviewing Treatment Integrity)已经发展多年,把治疗师行为切成 Reflection / Question / Input 等有限类别,把来访者言语切成 Change Talk / Sustain Talk / Neutral,类别封闭、有公认定义,可直接转成标注规范。
- 有天然的高/低对照。MI 培训视频本身就会演示「正确做法」与「反面教材」,因此语料可以在对话级别直接打上 high / low 质量标签,这是绝大多数临床语料不具备的监督信号。
- 技术差异可在话语级体现。MI 的核心主张是「反映优于说教」——高质量会谈中治疗师多 reflection、少 input;低质量会谈反其道而行。这种差异落在每一句话上,天然适合话语级建模。
0.3 它不做的事(阅读前必须建立的边界)
AnnoMI 是文本语料,不是音视频数据集。它只分发转录稿与标注,原始视频仍在 YouTube/Vimeo 上由原上传者托管,数据集仅提供 URL 与时间戳。它也不提供诊断标签、不提供量表分数、不提供来访者人口学信息。任何需要「抑郁严重度」「焦虑评分」「语音韵律特征」的研究,都不应该把 AnnoMI 当作答案——那是 DAIC-WOZ 一类数据集的职责。
§1 数据集速览:十问十答
Q1:AnnoMI 到底是什么?
一份 CSV 格式的对话语料:每行一条话语(utterance),携带它所属对话的编号、MI 质量标签、话题、视频来源、说话人角色、时间戳、文本内容,以及治疗师行为或来访者谈话类型的标注。
Q2:有多少数据?
133 段对话、9,699 条话语,来自 119 个视频。按质量分:高质量 MI 110 段共 8,839 条话语,低质量 MI 23 段共 860 条话语。按角色分:治疗师话语约 4,882 条,来访者话语约 4,817 条(两个数字来自不同文献口径,见 §2.2 存照)。
Q3:谁做的?
阿伯丁大学(University of Aberdeen)Ehud Reiter 团队牵头,与飞利浦研究院(Philips Research,Rim Helaoui、Vivek Kumar)及卡利亚里大学(University of Cagliari,Diego Reforgiato Recupero、Daniele Riboni)合作。第一作者 Zixiu Wu。
Q4:论文发在哪?
两篇。ICASSP 2022 短论文《Anno-MI: A Dataset of Expert-Annotated Counselling Dialogues》(pp. 6177–6181,DOI 10.1109/ICASSP43922.2022.9746035)首次发布数据集;Future Internet 2023, 15(3):110(DOI 10.3390/fi15030110)是扩展版,补充标注属性、完整采集流程与基线实验。
Q5:标注是谁做的?
10 名通过 MINT(Motivational Interviewing Network of Trainers,国际 MI 培训师网络)招募的 MI 治疗师。每名专家负责 19–20 份转录稿(约 144 分钟视频)。其中 7 份由全部 10 人共同标注,用于计算一致性。
Q6:标签是什么样?
两层。对话级一个 mi_quality(high/low);话语级按角色分两套——治疗师有 (Main) Behaviour(四类)与 full 版的三组存在性/子类型标签,来访者有 Talk Type(三类)。
Q7:标签可靠吗?
分层看:治疗师 (Main) Behaviour 的 Fleiss κ≈0.74,属 substantial;来访者 Talk Type 仅约 0.47,属 moderate 偏下。这意味着来访者侧的建模天花板主要受标注噪声限制,而不是模型能力。
Q8:能直接拿来训练什么?
话语级行为分类(治疗师行为预测、来访者 talk type 预测)、序列级质量判别(high/low MI)、对话阶段分析、治疗师培训反馈生成、LLM 咨询能力评测的参照集。
Q9:许可和获取?
论文声明 Public Domain License,GitHub 仓库 uccollab/AnnoMI 直接下载两个 CSV,无申请表、无 EULA、无账号。但仓库根目录没有 LICENSE 文件,学术引用惯例上仍应引用论文(坑 2)。
Q10:它和库内 daic-woz / aci-bench 什么关系?
三者都是「对话」,但任务完全不同:DAIC-WOZ 是虚拟访谈员的心理困扰筛查(音频+视觉+PHQ-8,判定抑郁),ACI-BENCH 是就诊对话生成病历(SOAP 文本),AnnoMI 是治疗技术编码(治疗师行为+来访者谈话方向)。详见 §9 与 §10.9。
§2 数据构成与规格
2.1 规模、来源与机构构成
AnnoMI 的构造链路是四段:检索 → 授权 → 转录 → 标注。
检索:作者在 YouTube 与 Vimeo 上用「good motivational interviewing」「bad MI counselling」一类关键词检索,得到 346 个候选视频。随后依赖视频标题、简介文字与旁白自述,判定该视频演示的是高质量还是低质量 MI。这一步的质量标签并非来自独立评分,而是来自视频制作者自己的教学意图——这是本数据集最需要读者警惕的标签来源(见坑 3)。
授权:作者联系视频上传者取得明确许可,必要时同时取得出镜者同意,最终拿到 119 个视频的授权,这些视频共包含 133 段完整对话。也就是说,一个视频里可能包含多段独立会谈(例如一段视频演示了两次短会谈),因此视频数与对话数不相等。另据扩展论文,119 个视频中有 42 个与 Pérez-Rosas 等人早前的咨询语料重叠,但 AnnoMI 对它们重新做了专业转录。
转录:使用商业转录服务 GoTranscript,要求逐字忠实转写,去除旁白等非对话噪声,保留「hmm」「right」「[laugh]」等口语细节与说话人标签。扩展论文用一整张表(Table 2)对比了本语料与早前依赖自动字幕的语料的转写质量,结论是自动字幕的错误率显著更高——这是 AnnoMI 相对早期咨询语料的核心增量之一。
机构与分工:阿伯丁大学负责总体设计与 NLP 实验,飞利浦研究院提供工业侧的应用视角与部分标注协调,卡利亚里大学参与数据分析和论文写作。伦理方面,研究遵循赫尔辛基宣言,经阿伯丁大学伦理委员会于 2021 年 4 月 1 日批准,所有参与主体签署知情同意。
2.2 规模硬数字与双口径存照
核心数字在多处文献中反复出现,绝大多数一致,但有一处需要存照。
| 指标 | 数值 | 出处 |
|---|---|---|
| 对话总数 | 133 | 论文摘要、GitHub README |
| 话语总数 | 9,699 | Future Internet 2023 Table / 正文 |
| 高质量 MI 对话 | 110 段 | Future Internet 2023 |
| 高质量 MI 话语 | 8,839 | Future Internet 2023 |
| 低质量 MI 对话 | 23 段 | Future Internet 2023 |
| 低质量 MI 话语 | 860 | Future Internet 2023 |
| 源视频数 | 119 | Future Internet 2023 |
| 与 Pérez-Rosas 语料重叠视频 | 42 | Future Internet 2023 |
| 标注专家数 | 10 | Future Internet 2023 §标注 |
| IAA 共同标注子集 | 7 段 | Future Internet 2023 §标注 |
| 建模去重样本(Behaviour) | 3,796 | Future Internet 2023 Table 14 |
| 建模去重样本(Talk Type) | 3,685 | Future Internet 2023 Table 14 |
算术自洽检查:8,839 + 860 = 9,699,与总数吻合;110 + 23 = 133,与对话总数吻合。两处口径自洽。
双口径存照(一)来访者话语数:EACL 2024 Sig-Networks 工具论文(aclanthology.org/2024.eacl-demo.24)在描述 AnnoMI 时写「133 motivational interviews (MI), 9,699 utterances (4,817 client utterances)」。由此反推治疗师话语为 9,699 − 4,817 = 4,882 条。这个 4,882 是推导值而非论文直陈值,本文在正文中一律标注为「推导」。使用者在做角色平衡采样时,应以 CSV 实际统计为准,而不是引用本文推导值——因为 AnnoMI-full 与 AnnoMI-simple 的行数是否完全一致、是否含表头行,都会影响逐行计数。
双口径存照(二)高质量对话的话语总量:arXiv 论文《Consistent Client Simulation for Motivational Interviewing-based Counseling》(2502.02802)在附录中写「The 110 dialogues illustrating high-quality MI, comprising over 8,800 utterances in total」,用的是保险的「逾 8,800」,与 8,839 不冲突,可视为同一数字的保守表述。
2.3 simple 与 full 两版的结构差异
这是使用者最容易踩的一脚。仓库里两个 CSV 并不是「精简版 / 完整版」的简单超集关系,而是同一批话语、不同标注深度:
| 维度 | AnnoMI-simple | AnnoMI-full |
|---|---|---|
| 首发时间 | 2022-05(ICASSP 2022 同期) | 2023-03-14 |
| 对话级元数据 | transcript_id / mi_quality / video_title / video_url / topic | 同左 |
| 话语级元数据 | utterance_id / interlocutor / timestamp / utterance_text | 同左 |
| 治疗师主标签 | main_therapist_behaviour(四类) | 同左 |
| 来访者主标签 | client_talk_type(三类) | 同左 |
| 标注者编号 | 无 | annotator_id(0–9) |
| 治疗师 Input 细分 | 无 | therapist_input_exists + therapist_input_subtype(information / advice / negotiation / options) |
| 治疗师 Reflection 细分 | 无 | reflection_exists + reflection_subtype(simple / complex) |
| 治疗师 Question 细分 | 无 | question_exists + question_subtype(open / closed) |
reader 需要特别注意两点。第一,full 版的 Input 子类只列了四个值(information / advice / negotiation / options),而扩展论文的标注方案表(Table 4)里 Input 子类是 Information / Advice / Options / Negotiation-Goal-Setting 五项并列。也就是说,论文里的「Negotiation-Goal-Setting」在 CSV 里被压成了一个 negotiation 值,options 是另一类。做子类研究时必须先跑一次 value_counts() 确认实际取值,不要照论文表直接写 if-else。
第二,full 版多出的 annotator_id 意味着同一个 (transcript_id, utterance_id) 在 IAA 子集里可能出现多行。7 段共同标注对话 × 10 名标注者,会产生重复的话语键。做去重时必须按 (transcript_id, utterance_id, annotator_id) 三键联合去重,否则 IAA 子集会被重复计入,训练集统计会失真。论文 Table 14 给出的 3,796 / 3,685 就是去重后的建模样本量,明显小于 9,699,差值正是「只保留 majority vote 后的一条」以及「哪些行进入建模任务」的结果。
2.4 标签体系与 MISC / MITI 的对应
AnnoMI 的标签体系直接借自 MI 编码传统,但做了简化。与 MISC 10.0 / MITI 4 的对应关系大致如下:
| AnnoMI 标签 | MISC 对应 | MITI 4 对应 | 说明 |
|---|---|---|---|
| Reflection | Reflection(simple / complex) | Reflection(CTRS) | 反映来访者已说或未明说的意思;AnnoMI 二分为简单/复杂 |
| Question | Question(open / closed) | Question(CR) | open 与 closed 分开;AnnoMI 的 Question 子类即开放/封闭 |
| Therapist Input | Giving Information / Advising / Options | Giving Information(GI) | AnnoMI 把信息、建议、选项、协商目标合并为 Input,再细分子类 |
| Other | Structure / Facilitate / Confront 等其余项 | 其余 MI-consistent 行为 | 兜底类,内部不再细分 |
| Change Talk | Change Talk(DARN-CAT) | Client change talk | 来访者朝改变方向说;AnnoMI 不分准备/激活/承诺 |
| Sustain Talk | Sustain Talk | Client sustain talk | 来访者朝维持现状方向说 |
| Neutral | Follow / Neutral | 无严格对应 | 既非改变也非维持 |
这个对应关系说明两件事。其一,AnnoMI 的标签粒度比 MITI 粗:MITI 把 reflection 分成 complex reflection ratio、reflection of change talk 等更细的维度,AnnoMI 只给 simple/complex。其二,AnnoMI 的标签粒度比早期 MISC 细在话语级标注的可操作性:MISC 原本是逐段打分(global rating)与逐句编码并存的混合体系,AnnoMI 只取逐句编码这一支,放弃了 1–7 分的全局评分(如 empathy、MI spirit)。这意味着任何想做「治疗师共情水平」回归的研究,都不能用 AnnoMI 的标签直接当监督信号——它没有全局评分列。
2.5 话题构成与长尾
话题(topic)在对话级标注,一条对话一个话题标签,由标注者用简短文字描述该对话的目标。扩展论文 Table 3 给出前十大话题的对话数与话语数分布,但正文没有列全表数值;可确证的是:用于话题分析的三类话题各自占话语总量的 10%–20%,按话语量排序为减少酒精消费 > 减少再犯(reducing recidivism)> 戒烟(smoking cessation)。
这个分布的实践含义是:如果你的任务对话题敏感,训练时一定要做话题分层抽样,否则模型会把「减酒话题的典型句式」误学成「高质量 MI 的语言特征」。论文的跨话题实验(Table 17)正是为此设计,结论是治疗师行为预测在 BERT 上跨话题基本稳定,而来访者 talk type 预测跨话题下降明显(最多约 0.05 Macro F1)——说明来访者语言的话题依赖性强于治疗师行为。
§3 采集与标注流水线:一条可复制的专家标注工序
3.1 四段式工序总览
AnnoMI 的生产流程可以拆成四段,每段都有可被复用的决策点。
YouTube/Vimeo 关键词检索(346 候选)
│ 依据标题/简介/旁白初判 high / low
▼
取得上传者(及出镜者)授权 → 119 个视频 / 133 段对话
│
▼
GoTranscript 专业逐字转录 → 去旁白、保留 [laugh] 等口语标记
│
▼
10 名 MINT 认证 MI 治疗师话语级标注(每人 19–20 段)
│ 7 段全部 10 人共标(IAA 子集)
▼
后处理:IAA 子集多数投票 + 全量导出 simple / full 两个 CSV
四段中,授权与转录两段决定了这个数据集为什么能公开;标注与后处理两段决定了它的标签质量上限。
3.2 标注者的构成:为什么找 MINT 而不是众包
作者没有用众包,也没有用普通研究生,而是通过 MINT(Motivational Interviewing Network of Trainers)招募。MINT 是 MI 培训师国际网络,会员需完成 MI 系统培训并经过评估,是 MI 圈内公认的资质门槛。招募条件有三条:英语水平高、有实践 MI 的经验、有编码 MI 的经验。第三条最关键——「会做 MI」与「会编码 MI」是两种能力,前者是临床技能,后者是依据编码手册逐句判类的技能,两者都需要训练。
工作量设计:10 人各标 19–20 段(每人对应约 144 分钟视频)。这个设计让单人的标注负担控制在可控范围内,同时避免「一人标全部、批注风格单一」的问题。代价是标注者与对话之间的交叉设计不完整:除 7 段 IAA 子集外,每段对话只由一人标注,因此无法对 126 段对话估计标注噪声。
3.3 IAA 子集的抽法
7 段 IAA 子集不是随机抽的,选取标准写在扩展论文里,共三条:
- 工作量约三分之一:7 段合计约 45 分钟视频,正好是单人 144 分钟工作量的约三分之一——这样每人只多做三分之一的工作,成本可承受;
- 话题多样性:7 段中 6 段话题各不相同,避免一致性只在单一话题内被高估;
- 质量覆盖:5 段高质量 + 2 段低质量,与全集 110:23 的比例大致同向(全集低质量约占 17%,子集约占 29%,低质量略有超采样)。
最后一条特别值得注意:标注者在标注时不知道自己标的哪一段属于 IAA 子集。这个设计避免了「被检查效应」——如果标注者知道自己正在被交叉验证,会倾向于更保守、更贴手册,从而高估一致性。
3.4 后处理:多数投票与全量释放
IAA 子集的处理方式有两种取向:「只释放共识」或「释放全部个体标注」。作者选了后者——7 段对话释放全部 10 名标注者的每一行标注,同时为分析与实验采用多数投票结果。这个选择对下游非常有价值:只有释放个体标注,研究者才能自己重算一致性、自己设计聚合法、自己研究标注者偏差。如果只给多数投票结果,标注噪声就被永久封存了。
代价是数据表膨胀:7 段 × 10 人 ≈ 70 份标注被并入 full 版,这也是 §2.3 提到的「同一话语键多行」的来源。使用 full 版时,若不做去重,这 7 段对话的权重会被放大十倍。
3.5 扩展论文的增量:从「发数据」到「做完整分析」
ICASSP 2022 版论文的重点是「发布」,Future Internet 2023 版的重点是「分析」。后者新增的内容包括:
- 更细的标注属性(Input / Reflection / Question 三组子类型)与 annotator_id;
- 完整的数据采集描述,包括 346→119 的筛选链路与伦理批准信息;
- 话语级、对话级、语料级三层统计分析(行为分布、对话阶段演化、转移概率、n-gram 特征);
- 两个话语级预测任务与四类基线模型(BERT / BERT+Adapters / CNN / Random Forest);
- 话题特定与跨话题泛化实验;
- 十名专家的事后问卷(6 人回复)。
从「数据集论文」到「数据集 + 方法论文」的这次升级,使 AnnoMI 的引用场景从「借数据」扩展到「借基线」——这对一个新数据集能否成为基准至关重要。
§4 标注可靠性:7 段子集能说明什么、不能说明什么
4.1 两个一致性指标,两套解读
论文用了两套度量。第一套是话语级 Fleiss’ kappa,用于衡量多名标注者在同一批话语上的类别一致性;第二套是 ICC(intraclass correlation coefficient),按 MITI 的惯例用双向混合模型、绝对一致、平均测量计算,用于衡量编码结果的可重复性。
Fleiss’ kappa 的意义是「扣除随机一致后的真实一致比例」,因此对类别分布极不均衡的标签非常苛刻:来访者 Talk Type 里 Neutral 占 64%–68%,即使标注者全部只标 Neutral,原始一致率也会很高,但 kappa 会接近 0。这解释了为什么 Talk Type 的 κ 只有约 0.47,而 Behaviour 能到 0.74——前者三类严重不均衡,后者四类相对均衡一些。
论文还给了三种计算模式:All(全部类别参与)、All(Strict)(更严格口径)、Binary(把多类合并为二元存在/不存在)。结论有一条稳定的规律:凡适用 Binary 与 All(Strict) 的属性,一律 All(Strict) < All < Binary,无一例外。这条规律本身很有解释力:把「Input 是 information 还是 advice」这种细粒度分歧合并成「有没有 Input」之后,一致性立刻从 fair 升到 substantial——说明标注者的分歧主要发生在子类型边界,而不是「有没有这个行为」。
4.2 数值一览与一致性分级
| 属性 | Fleiss κ(约值) | 分级 | 备注 |
|---|---|---|---|
| (Main) Behaviour | 0.74 | substantial | 四类;所有设置下 moderate 或更好 |
| Client Talk Type | 0.47 | moderate(偏下) | 三类高度不均衡;所有设置下 moderate 或更好 |
| Question | 未列具体值 | moderate 或更好 | 子类 open/closed 分歧集中在边界问句 |
| Input | 未列具体值 | All(Strict) fair → Binary substantial | 子类型边界是主要分歧源 |
| Reflection | 未列具体值 | All(Strict) fair → Binary substantial | simple/complex 分界主观性强 |
ICC 一侧的结论更乐观:所有 (Main) Behaviour 与 Talk Type 标签的 ICC 均落在 excellent(0.75–1)区间,其中 Change Talk 与 Sustain Talk 约 0.9,其余接近 1.0。ICC 高而 Fleiss κ 相对低,这不是矛盾,而是两种指标测的东西不同:ICC 测的是聚合后的稳定性(多数投票结果是否可重复),Fleiss κ 测的是单次判定的类别一致。做数据集用于训练时,聚合稳定性更重要;做标注规范改进时,单次一致更重要。
4.3 专家事后问卷:83% 与 66%
10 名标注者全部收到事后问卷,6 人回复。结果:83% 认为治疗师话语与整体对话反映真实世界 MI(选「同意」或「部分同意」),而到来访者话语这一项,比例降到 66%。
这个差值不是小事。它说明标注者自己就意识到:示范视频里的来访者不像真实来访者。示范片的来访者往往反应更快、阻抗更弱、表达更清晰,因为他们的任务是「把教学点演出来」而不是「真实地挣扎」。这直接限制了 AnnoMI 在真实临床场景的迁移能力,也是本条目在 DAIMS 表「代表性」一项扣分的主要依据。
4.4 可靠性的三条使用守则
- 来访者标签要打折用。κ≈0.47 意味着约一半的非随机一致性被噪声吞掉。做来访者侧建模时,建议报告「多数投票标签」与「单标注者标签」两套结果,或者干脆把三分类合并成「change vs 非 change」二分类,用 Binary 口径的更高一致性换取稳定性。
- 治疗师行为可用但别做细粒度回归。0.74 的 κ 支持四分类建模,但不支持「simple reflection 与 complex reflection 的精确区分」这类细粒度任务——子类型的 fair 级一致性不足。
- 不要用 126 段的「单标注」标签去估计噪声。这 126 段没有第二份标注,任何关于标注质量的推断只能来自 7 段子集,而 7 段子集对低质量 MI 有超采样,外推时要注意。
§5 基线实验:治疗师侧到 0.72,来访者侧卡在 0.55
5.1 任务定义
扩展论文定义了两个话语级任务,输入都是单条话语文本:
- 任务 1(治疗师行为预测):给定治疗师话语,预测 (Main) Behaviour 四类之一;
- 任务 2(来访者 talk type 预测):给定来访者话语,预测 Talk Type 三类之一。
任务刻意设计为「单话语输入」,不喂上下文。这个设定降低了任务复杂度,但也埋下了任务 2 的性能天花板——论文自己的错误分析就指出,来访者的一句「Yeah」在不同追问下可能是 Neutral 也可能是 Change,单话语模型无法区分。
5.2 模型与训练协议
四类模型:BERT(无 Adapters)、BERT(带 Adapters)、CNN(word2vec 初始化)、Random Forest(tf-idf)。两个随机基线:Prior(按类别先验猜)与 Uniform(均匀猜)。评估用 5 折分层交叉验证,训练/验证 9:1,指标 Macro F1(对类别不均衡敏感,比 accuracy 更合适)。训练集分两种:原始不均衡(Original Unbalanced)与 Pegasus 复述增强后的均衡集(Augmented Balanced)。
5.3 结果
| 模型 | 任务 1 Macro F1 | 任务 2 Macro F1 |
|---|---|---|
| BERT(变体最佳) | 0.72 | 约 0.55 |
| CNN | 0.60 | < 0.47 |
| Random Forest | 约 0.50 | < 0.47 |
| Prior / Uniform | < 0.25 | — |
三个观察值得记录:
- BERT 与 BERT+Adapters 差异不大。说明在这个数据规模(去重后 3,796 条训练样本量级)下,参数高效微调没有带来显著收益,瓶颈不在适配层。
- 数据增强普遍轻微负面。Pegasus 复述增强让 BERT 与 CNN 的表现普遍略降,唯一亮点是任务 2 中 Change Talk 与 Neutral Talk 的 F1 差距从 0.23 缩到 0.14(主要靠 Neutral Talk 下降 0.07 换来)。这提示:来访者话语的语义高度依赖具体语境,复述会破坏语境线索。
- 任务 2 的上限是标注噪声与上下文缺失的联合结果。论文明确把原因归为两条:需要上下文、标注噪声(IAA 0.47 vs 0.74)。这两条对后续研究者是直接的设计提示——想做来访者侧提升,先解决上下文建模,而不是换更大的模型。
5.4 逐类表现与混淆模式
任务 1 逐类 F1 排序为 Input ≈ Other < Reflection < Question。Question 最高,原因有两个:句法线索强(问号、疑问词),且它的 IAA 在三类中相对更好(Binary 口径达 substantial)。Reflection 次之,Input 与 Other 最低。混淆矩阵显示 Input 与 Other 最常被误判为 Reflection——这与 MI 的语言特征吻合:很多句子里既有信息陈述又有反映成分,单句分类器容易偏向高频的 Reflection。
任务 2 逐类 F1 排序为 Neutral Talk > Change Talk > Sustain Talk。Change 与 Sustain 常被误判为 Neutral,这直接源于 Neutral 占 64%–68% 的先验。Sustain Talk 最少,因为它在高质量 MI 中只占 11%。
5.5 话题特定与跨话题泛化
论文 Table 17 做了三话题(减酒、减少再犯、戒烟)的特定训练与跨话题测试。结论:治疗师行为预测(BERT)跨话题基本稳定,来访者 talk type 预测跨话题下降明显,最多约 0.05 Macro F1。话题特定性能排序:治疗师行为——减酒 > 戒烟 > 减少再犯;来访者 talk type——减酒 ≈ 戒烟 > 减少再犯。
这组结果有一个实践推论:用 AnnoMI 训练的来访者侧模型,换话题部署前必须重测。治疗师侧模型的话题鲁棒性更好,因为它学的是「问句形式」「反映句式」这类跨话题稳定的语用模式。
5.6 五段式对话进程分析
论文把每段对话切成五等份,统计各阶段的行为分布,得到两条有临床意义的曲线:
- 高质量 MI:来访者 Change Talk 在对话终点升至约 40%,Sustain Talk 降至约 7%;
- 低质量 MI:来访者 Sustain Talk 在早期就飙升至 40% 以上。
这组曲线是 AnnoMI 最有教学价值的部分之一:它用数据复现了 MI 的核心主张——好的 MI 会让「改变的语言」逐渐多于「维持的语言」。同时它给出了一个可操作的过程指标:用对话后段的 change/sustain 比值作为质量代理指标。
5.7 转移概率:面对 Sustain Talk 时的两种回应
论文的后验分析给出了一组非常直观的对照:
- 高质量 MI 中,来访者出现 Sustain Talk 后,治疗师最常以 Reflection 回应(37%);
- 低质量 MI 中,同样情形下治疗师最常以 Input 回应(54%)。
这正是 MI 训练里反复强调的反面教材:「来访者说我不想戒,治疗师开始讲道理」。这组数字可以直接用作治疗师培训系统的反馈规则——检测到来访者 sustain 后治疗师紧跟 input,即触发提醒。它是本数据集最接近真实临床价值的输出之一。
§6 获取与许可
6.1 获取路径:两个 CSV,没有门槛
获取方式极其简单,这也是它相对其他心理治疗语料最大的优势:
- 访问
https://github.com/uccollab/AnnoMI; - 下载
AnnoMI-simple.csv或AnnoMI-full.csv; - 直接 pandas 读取,无账号、无 EULA、无 DUA、无申请表。
仓库公开可见 78–80 stars、12 forks(不同镜像快照略有差异),共 18 次提交,最后一次实质更新为 2023-03-14(发布 full 版)。仓库本身没有 LICENSE 文件,也没有 CITATION.cff,引用信息写在 README 中。
6.2 许可口径:论文说公有领域,仓库没有 LICENSE
这是本条目必须明确写清的双口径存照:
- 论文口径:Future Internet 2023 的数据可用性声明写「the full version of AnnoMI is released under the Public Domain License」,并以 GitHub 链接为获取入口(访问日期 2023-03-10)。
- 仓库口径:仓库根目录只有
AnnoMI-full.csv、AnnoMI-simple.csv、README.md三个文件,没有 LICENSE 文件;GitHub 侧边栏因此显示「No license」(部分镜像站如 gothub 明确标注 No license)。
两个口径并不矛盾,但严格从法律文本看,公有领域声明只出现在论文中,未以许可证文件形式随数据分发。实践建议有三条:
- 学术论文中引用时,引用 ICASSP 2022 与 Future Internet 2023 两篇论文,并在数据可用性声明中写明「Public Domain License per Wu et al. 2023」;
- 若用于商业产品,建议先向作者(通讯作者 Zixiu Wu 或 Ehud Reiter)书面确认,因为公有领域声明在缺少许可证文件时存在解释空间;
- 视频本体版权仍归 YouTube/Vimeo 原上传者,数据集分发的是转录文本,不包含音视频。不要因为「公有领域」就去批量下载原视频重新分发——那是另一层权利。
6.3 版本链
| 版本 | 时间 | 内容 | 论文对应 |
|---|---|---|---|
| v1(simple) | 2022-05 | 11 列基础标注 | ICASSP 2022 |
| v2(full) | 2023-03-14 | 追加 annotator_id 与六个子类型字段 | Future Internet 2023 |
| 后续 | 2023 起 | 无结构变更,仅 README 与引用格式微调 | — |
需要注意:simple 版在 full 版发布后仍保留在仓库中,两版并行。使用时应明确引用版本,否则复现时可能对不上行数。
6.4 与库内可获取性光谱的对照
| 条目 | 获取方式 | 门槛 |
|---|---|---|
| AnnoMI | GitHub 直接下载 CSV | 无 |
| DAIC-WOZ(rid 1142) | USC 申请 + EULA 签署 | 中(学术非营利) |
| ACI-BENCH(rid 810) | PhysioNet 认证 + DUA | 中(需 CITI 培训) |
| PriMock57(rid 811) | Edinburgh DataShare 公开 | 低(CC BY 4.0) |
| MIMIC-IV(库内条目) | PhysioNet 认证 + CITI + DUA | 高 |
AnnoMI 在这条光谱上处于最低门槛端,这也是它引用量能在三年内达到 80+ 的主因之一:研究者愿意用一个「五分钟就能下到」的数据集做第一个实验。
§7 生态与影响
7.1 引用扩散路径
AnnoMI 自 2022 年发布后被引用约 86 次(Google Scholar,2026 年 10 月快照)。引用场景可归为四类:
- 治疗师行为识别:把它当作话语级分类的监督信号,做 BERT/RoBERTa/LLM 微调;
- 来访者状态建模与模拟:用它的 change/sustain 标签做来访者模拟器的评估基准;
- LLM 咨询能力评测:把 AnnoMI 的高质量对话作为「专家示范」few-shot 或作为评分参照;
- 标注方法论研究:研究多标注者聚合、IAA 与模型性能的关系。
7.2 被下游当作「参照集」的典型用法
一个代表性例子是 arXiv 2502.02802《Consistent Client Simulation for Motivational Interviewing-based Counseling》。该工作用 GPT-4 对 AnnoMI 的会话做会话级画像标注(来访者 persona、信念、动机、可接受的改变计划、接受度),并从 133 段中筛出 86 段高质量会话做分析。它的筛除理由是「对话不完整」与「来访者画像信息不足」——这恰好暴露了 AnnoMI 的一个结构性问题:示范片常常只演示片段,不是完整会谈。
另一类是 EACL 2024 的 Sig-Networks 工具(2024.eacl-demo.24),它把 AnnoMI 作为 longitudinal language modelling 的五个任务数据集之一,用滑动窗口(最优窗口 w=11)做来访者 talk type 的流式预测,Seq-Sig-Net 达到 F1 0.525。这个数字与 AnnoMI 论文自身的单话语 BERT 基线(约 0.55 Macro F1)量级相近,但指标口径不同(F1 与 Macro F1),不可直接比较——这是引用二手结果时最常见的误读。
7.3 与早期咨询语料的血缘
AnnoMI 之前,公开可用的咨询对话主要有两条支线。一条是 Pérez-Rosas 等人的咨询语料(含视频转写与部分标注),AnnoMI 有 42 个视频与其重叠,但重新做了专业转录。另一条是 WOZ 模拟访谈支线,代表是 DAIC-WOZ——但 DAIC-WOZ 的「治疗师」是虚拟人 Ellie,任务是筛查抑郁,不是治疗技术编码。
因此在谱系上,AnnoMI 的位置是:第一条专为「治疗技术编码」而建的公开语料,而不是「第一份公开咨询对话」(后者要更早)。
7.4 局限如何影响影响力
AnnoMI 的规模小(9,699 条话语)决定了它很难支撑从零预训练,只能做微调与评测。它的「示范视频」来源决定了它不适合做真实患者语言分布研究。但它的标签语义精确(MISC 系)、获取零门槛、双论文背书,使它在「治疗师行为识别」这个细分任务上保持了事实上的基准地位。截至 2026 年,公开替代品仍然很少——这是它的护城河,也是这个领域数据稀缺的证明。
§8 方法学启示:三条可迁移的经验
8.1 「已有编码系统 + 小规模专家标注」是被低估的建库策略
AnnoMI 没有发明新标注体系,而是直接借 MISC/MITI 的成熟类别表。这个选择带来三重收益:标注者的训练成本低(他们本来就会这套编码)、标注结果可与临床文献直接对话、下游研究者不用再学一套私有本体。代价是标签粒度受既有体系约束,无法针对 NLP 任务做最优设计(例如缺少共情分数、缺少对话阶段标签)。
对新数据集项目而言,这条经验可以概括为:当领域已有权威编码体系时,优先做「体系到数据的映射」,而不是「新体系的设计」。
8.2 用「对照设计」替代「大样本」
133 段对话在数量上是弱项,但 110:23 的高/低质量对照是强项。对照设计的价值在于:它把「质量」变成一个可学习的对话级标签,从而支撑序列级分类,而不只是话语级分类。很多更大的语料因为缺少对照,只能做无监督或弱监督。
这条经验对临床语料尤其重要:真实会谈很难拿到「这段治疗做得好不好」的独立标签,而教学示范视频天然带这个标签。
8.3 释放个体标注比释放共识更有长期价值
7 段 IAA 子集释放全部 10 名标注者的每一行,这个决定在发布时让数据表变脏(重复键),但让后续研究可以重算一致性、研究标注者偏差、设计新的聚合方法。对比很多只给单一 ground truth 的数据集,AnnoMI 在这方面做得更开放。
代价是使用门槛:使用者必须先理解「IAA 子集多行」的机制,否则会误用。开放与易用之间存在张力,AnnoMI 选择了偏向开放。
8.4 反面经验:示范片的「表演性」无法通过标注弥补
专家的 66% 自评(来访者话语反映真实世界)是这份数据集最诚实的自我批评。它说明一个结构性限制:数据来源决定了数据分布,标注再精细也无法把表演变成真实。任何基于 AnnoMI 得出的「真实来访者行为规律」结论都应加限定语。
§9 与库内条目的关系
9.1 家族图谱
| 关系 | 库内条目 | rid | 关系说明 |
|---|---|---|---|
| 同域异任务 | DAIC-WOZ | 1142 | 均为心理/行为健康对话语料;DAIC-WOZ 是虚拟访谈员半结构化筛查(音频+视觉+PHQ-8),AnnoMI 是治疗技术编码(纯文本+MISC 标签) |
| 同域异任务 | ACI-BENCH | 810 | 均为「对话→文本产物」;ACI-BENCH 是就诊对话生成 SOAP 病历,AnnoMI 是对话内行为分类 |
| 同域异任务 | PriMock57 | 811 | 均为模拟/示范性质对话;PriMock57 是基层问诊多模态语料(音频+转写+SOAP) |
| 方法近邻 | MTSamples | 350 | 医学转录文本基准语料,可作为纯文本临床语域的对照 |
| 心理语料近邻 | PsyTAR | 1127 | 精神科药物不良反应评论文本,同属心理健康 NLP 但非对话 |
9.2 三组必须讲清的消歧
消歧一:AnnoMI ≠ DAIC-WOZ(rid 1142)。
DAIC-WOZ 是 AVEC 2016 抑郁检测子挑战赛的官方数据,189 场访谈,受试者与虚拟访谈员 Ellie 对话,配套 16kHz 音频、OpenFace 视觉特征、人工转写与 PHQ-8 分数,需签 EULA。它的任务是判定受试者是否抑郁,标签是量表分数与诊断。AnnoMI 没有音视频、没有诊断标签,任务是判定治疗师用了什么技术。两者唯一的共同点是「都是两个人说话的心理相关对话」。检索者若在找「抑郁检测数据」,AnnoMI 帮不上忙;若在找「治疗技术标注」,DAIC-WOZ 帮不上忙。
消歧二:AnnoMI ≠ ACI-BENCH(rid 810)。
ACI-BENCH 是 207 段角色扮演就诊对话与对应临床病历(SOAP)的配对语料,任务是从对话生成病历(摘要生成/文档生成)。它的对话是医患问诊,标注产物是病历文本,不是话语级行为标签。AnnoMI 的对话是心理咨询示范,标注产物是逐句行为类别,没有病历。二者在任务范式上属于「生成」与「分类」两个世界。
消歧三:AnnoMI ≠ PriMock57(rid 811)。
PriMock57 是 57 场模拟基层问诊,含双声道音频、逐句转写与 SOAP 记录,CC BY 4.0 公开,用于医疗 ASR 与记录生成。它同样是「模拟而非真实」,但领域是全科问诊而非心理治疗,标注是病历而非行为编码。
9.3 检索路径建议
- 找「治疗师说了什么技术」的标注 → AnnoMI;
- 找「抑郁/焦虑严重度」标签 → DAIC-WOZ;
- 找「对话生成病历」的配对 → ACI-BENCH、PriMock57、MTSamples;
- 找「真实患者话语分布」→ 上述没有一个够用,需要另行申请真实会谈数据。
§10 避坑清单:九个已踩过的坑
坑 1:把「133 段对话」当成「133 个视频」
仓库与论文都写 133 段对话,但源视频只有 119 个。一个视频里可能剪出多段独立会谈。做视频级特征分析(如视频时长、上传者)时,必须按 video_url 去重,按 transcript_id 计数会重复计入同一视频。
坑 2:把「Public Domain License」当成仓库里有 LICENSE 文件
论文写公有领域,仓库却没有 LICENSE 文件,GitHub 侧边栏显示 No license。合规审查严格的组织(尤其是商业使用)会因此卡住。做法:引用论文声明 + 必要时书面确认(§6.2)。
坑 3:把 mi_quality 当成独立质量评分
high/low 标签来自视频标题、简介与旁白自述,即视频制作者的教学意图,不是独立评分者对该段会谈的评估。它反映的是「这段演示被设计成正面还是反面教材」,而不是「这段会谈实际做得多好」。用它做监督信号时,模型学到的是「什么样的语言像正面教材」。
坑 4:直接 concat simple 与 full 两个 CSV
simple 与 full 覆盖同一批话语,full 是超集。两个文件一起 concat 会让每条话语重复两遍,训练集统计与类别先验都会被稀释/放大(取决于哪份占多数)。只取一份。
坑 5:忽略 IAA 子集的重复键
full 版中 7 段 IAA 子集每段有 10 名标注者的行,同一 (transcript_id, utterance_id) 出现 10 次。不去重直接训练,这 7 段的权重被放大十倍,且模型会学到「同一句话既有 change 又有 neutral」的矛盾监督。正确做法:按 (transcript_id, utterance_id, annotator_id) 去重后,再按多数投票聚合成一条。
坑 6:用 Paper 的 Input 子类列表写死 if-else
论文 Table 4 写 Input 子类为 Information / Advice / Options / Negotiation-Goal-Setting,而 README 与 CSV 的取值为 information / advice / negotiation / options 四项。名称与粒度都不完全一致。永远先跑 df['therapist_input_subtype'].value_counts()。
坑 7:拿 Sig-Networks 的 F1 0.525 与论文 Macro F1 约 0.55 比高低
前者是 EACL 2024 工具论文在来访者 talk type 上的普通 F1(且是流式预测设定),后者是 AnnoMI 论文的单话语 Macro F1。指标不同、设定不同、聚合方式不同,数值接近纯属巧合。跨论文比较前先对齐指标定义。
坑 8:以为对话是完整会谈
示范视频常只演示片段。arXiv 2502.02802 在筛选取用 AnnoMI 的会话时,明确以「对话不完整」为由剔除了一批。做对话阶段分析(五等分)或全程质量评估时,需先检查每段对话的起止是否完整,否则「对话终点 change talk 达 40%」这类结论会被片段截断污染。
坑 9:把视频 URL 当作稳定标识
视频可能被下架、改名、设为私密。video_url 会随时间失效,video_title 也可能变化。持久化标识只用 transcript_id;若需回溯音视频,应尽早在合规前提下自留副本或做哈希存证。
§11 总结
11.1 三句话总结
- AnnoMI 是第一个公开免费、由 10 名 MINT 认证治疗师逐句标注的动机性访谈对话语料,133 段 / 9,699 条话语,标签直接对接 MISC/MITI 的「治疗师行为 + 来访者谈话方向」体系。
- 它的可信度分层明显:治疗师 (Main) Behaviour 的 κ≈0.74 可用,来访者 Talk Type 的 κ≈0.47 需打折,且全部一致性只能从 7 段 IAA 子集估计。
- 它的价值在于「零门槛 + 语义精确 + 高/低对照」,局限在于「示范片而非真实会谈 + 规模小 + 无音视频」,两者共同决定了它适合做微调与评测,不适合做预训练或真实患者分布研究。
11.2 适合谁
- 做治疗师行为识别 / 对话行为分类的研究者;
- 做来访者模拟器、咨询对话生成评估的研究者;
- 做心理健康 LLM 评测、需要「专家示范」参照集的研究者;
- 研究多标注者一致性与聚合方法的方法学研究者;
- 心理治疗培训系统的产品团队(可作为反馈规则的验证集)。
11.3 不适合谁
- 需要真实患者语言分布或真实会谈动态的研究者;
- 需要音频、韵律、面部表情特征的多模态研究者;
- 需要抑郁/焦虑严重度、诊断标签的临床研究者;
- 需要大规模预训练语料的语言模型团队;
- 需要明确商业许可条款的企业法务审查场景。
11.4 30 秒决策卡
| 你的问题 | 答案 |
|---|---|
| 要下数据吗 | github.com/uccollab/AnnoMI,下 full 版 |
| 有门槛吗 | 无 |
| 能商用吗 | 论文称公有领域,仓库无 LICENSE,建议先确认 |
| 标签能直接用吗 | 治疗师侧可以,来访者侧建议合并三类为两类 |
| 和 DAIC-WOZ 混了吗 | 没有;二者任务不同(§9.2) |
| 最大风险 | 把「教学示范」当成「真实会谈」 |
FAQ(高频问答 32 问)
A. 基础认知
1. AnnoMI 的全称和正确写法是什么?
数据集名为 AnnoMI,论文标题写作 Anno-MI(带连字符)。仓库、README、CSV 文件名都用 AnnoMI,无连字符。检索时两种写法都要试。
2. 为什么叫 Anno?
Anno 取自 annotation(标注),强调这是「标注过的 MI 语料」,与单纯收集视频转写的语料区分开。
3. 它和 MISC、MITI 是什么关系?
关系是「借码不借表」。AnnoMI 采用 MISC/MITI 的类别名称与定义(reflection / question / input / change talk / sustain talk),但没有采用 MITI 的全局评分(empathy、MI spirit 等 1–5 分维度)。
4. 这 133 段对话都是英语吗?
是,全部为英语。标注者也要求英语熟练。目前没有官方译文版本。
5. 对话涉及哪些行为主题?
主要是减酒、减少再犯、戒烟,另有减重、依从性、青少年行为等长尾话题。扩展论文列出前十话题,但正文未列全表数值。
6. 什么是「高质量 MI」和「低质量 MI」?
高质量指示范了符合 MI 精神的做法(多反映、少说教、跟随来访者);低质量指反面示范(频繁给建议、争辩、贴标签)。二者由视频制作意图界定。
B. 数据与获取
7. 怎么下载?
git clone https://github.com/uccollab/AnnoMI 或直接在网页下载两个 CSV。
8. 需要签协议吗?
不需要。这与 DAIC-WOZ(EULA)、MIMIC(DUA)形成鲜明对比。
9. simple 和 full 该用哪个?
要 annotator_id 或子类型标签就用 full;只做四类/三类主任务,simple 更干净。
10. 两个 CSV 行数一样吗?
simple 每段对话每句一行;full 因 IAA 子集多标注者而多出重复键行,因此 full 行数多于 simple。使用前务必 shape 对比。
11. 有音频吗?
没有。只有转录文本与话语级时间戳,音频在 YouTube/Vimeo 原链接。
12. 视频下架了怎么办?
只能用文本与时间戳,无法回溯音频。建议在使用前做一次 URL 存活检查并记录。
13. 有没有官方划分训练/测试集?
没有。论文的 5 折交叉验证是实验协议,不是随数据集发布的固定划分。复现时需自行按对话级分层抽样,不能按话语级随机划分,否则同一对话的话语会同时出现在训练与测试集,造成泄漏。
14. 能上传到 HuggingFace 再分发吗?
文本部分在公有领域声明下理论可行,但建议附论文引用与来源说明;音视频不可。
C. 标注与一致性
15. 一共产多少标注者?
10 名,通过 MINT 招募。
16. 每段对话几个人标?
126 段各 1 人;7 段 IAA 子集由全部 10 人标注。
17. IAA 用什么指标?
话语级 Fleiss’ kappa(三种模式:All / All(Strict) / Binary)与 ICC(MITI 口径,双向混合模型、绝对一致、平均测量)。
18. Behaviour 的 κ 是多少?
约 0.74,substantial 级。
19. Talk Type 的 κ 是多少?
约 0.47,moderate 偏下。这是本数据集最弱的一维。
20. 为什么 ICC 那么高而 κ 不高?
ICC 测聚合结果的稳定性,κ 测单次判定的类别一致。类别高度不均衡时 κ 会被压低(§4.1)。
21. 标注者事后怎么评价数据真实性?
6/10 回复问卷;83% 认为治疗师话语与整体对话反映真实 MI,来访者话语该项为 66%。
22. 有没有标注手册公开?
没有独立手册文件;标注方案以论文 Table 4 的形式给出,定义散落在论文示例表(Table 5–8)中。
D. 建模与应用
23. 论文的基线是多少?
治疗师行为 Macro F1 0.72(BERT),来访者 talk type 约 0.55(BERT)。
24. 为什么来访者侧更难?
两个原因:需要上下文(单句歧义大),标注噪声大(κ 0.47)。
25. 数据增强有用吗?
普遍轻微负面。Pegasus 复述增强让多数指标略降,仅缩小了 change 与 neutral 的 F1 差距。
26. 能用 LLM zero-shot 做吗?
可以试,但要注意标签分布偏斜(Neutral 占 64%–68%),zero-shot 容易全判 Neutral,必须报告 Macro F1 与逐类 F1,不能只看 accuracy。
27. 怎么做对话级质量判别?
把话语级标签聚合成对话级特征(reflection 比例、input 比例、change/sustain 比值、后段 change 占比),再接一个分类器。论文的五阶段曲线与转移概率可作为特征工程依据。
28. 能做治疗师培训反馈系统吗?
可以。最直接的规则来自转移概率:来访者 sustain 后治疗师紧跟 input(低质量典型 54%),可作为提醒触发条件。
29. 能用来做来访者模拟器评估吗?
可以,但需注意示范片来访者「表演性」强,模拟器的真实感评估只能部分参照。arXiv 2502.02802 就只从中筛了 86 段使用。
E. 伦理与合规
30. 数据里有真实患者吗?
没有。出镜者为演员或培训师,视频为教学示范,已取得上传者与出镜者同意。
31. 有伦理批号吗?
有。阿伯丁大学伦理委员会 2021-04-01 批准,遵循赫尔辛基宣言。
32. 会不会有敏感内容?
会谈主题涉及酒精、成瘾、犯罪行为(再犯),文本中可能包含相关叙述。用于公开演示时建议做内容提示。
事实清单(硬事实 32 条)
- AnnoMI 首次发布于 ICASSP 2022,论文标题《Anno-MI: A Dataset of Expert-Annotated Counselling Dialogues》,页码 6177–6181。
- ICASSP 2022 论文 DOI:10.1109/ICASSP43922.2022.9746035。
- 扩展论文发表于 Future Internet 2023, 15(3):110,DOI 10.3390/fi15030110。
- 数据集合计 133 段对话。
- 对话合计 9,699 条话语。
- 高质量 MI 为 110 段,共 8,839 条话语。
- 低质量 MI 为 23 段,共 860 条话语。
- 8,839 + 860 = 9,699,与总数自洽。
- 源视频为 119 个,一个视频可含多段对话。
- 检索候选视频为 346 个。
- 其中 42 个视频与 Pérez-Rosas 等人的早期咨询语料重叠。
- 转录服务商为 GoTranscript。
- 标注者为 10 名 MI 治疗师,经 MINT 招募。
- 每名专家标注 19–20 份转录稿,约 144 分钟视频。
- IAA 共同标注子集为 7 段(5 高 + 2 低)。
- IAA 子集约占单人工作量三分之一(约 45 分钟)。
- 治疗师 (Main) Behaviour 四类:reflection、question、therapist_input、other。
- 来访者 client_talk_type 三类:change、neutral、sustain。
- full 版追加 annotator_id,取值 0–9。
- full 版 therapist_input_subtype 取值:information、advice、negotiation、options。
- full 版 reflection_subtype 取值:simple、complex。
- full 版 question_subtype 取值:open、closed。
- full 版发布于 2023-03-14。
- 建模去重样本:(Main) Behaviour 3,796 条,Talk Type 3,685 条。
- Fleiss κ:Behaviour 约 0.74;Talk Type 约 0.47。
- ICC:全部 Behaviour 与 Talk Type 标签均在 0.75–1 区间;change/sustain 约 0.9。
- 基线治疗师行为预测最佳 Macro F1 0.72(BERT)。
- 基线来访者 talk type 预测最佳 Macro F1 约 0.55(BERT)。
- 随机基线(Prior/Uniform)Macro F1 低于 0.25。
- 高质量 MI 对话终点 change talk 升至约 40%,sustain talk 降至约 7%。
- 高质量 MI 面对 sustain talk 时最常以 reflection 回应(37%);低质量 MI 最常以 input 回应(54%)。
- 许可为论文声明的 Public Domain License;仓库无 LICENSE 文件。
术语表(30 条)
| 术语 | 英文 | 释义 |
|---|---|---|
| 动机性访谈 | Motivational Interviewing (MI) | 以来访者为中心、指向改变动机的谈话疗法,Miller 与 Rollnick 提出 |
| 治疗保真度 | treatment fidelity | 治疗实施与既定方案的一致程度,是临床研究质量的核心指标 |
| MISC | Motivational Interviewing Skill Code | MI 编码系统,含全局评分与逐句编码两部分 |
| MITI | Motivational Interviewing Treatment Integrity | MITI 是更精简的治疗保真度编码工具,v4 用 CTRS/CR 等比值刻画 |
| MINT | Motivational Interviewing Network of Trainers | MI 培训师国际网络,会员需系统培训与评估 |
| 反映 | reflection | 治疗师复述或提炼来访者所述/未明说的意思 |
| 简单反映 | simple reflection | 仅重复或轻微改写来访者话语 |
| 复杂反映 | complex reflection | 加入推断、类比、情感命名等新信息 |
| 提问 | question | 治疗师发问,分开放与封闭 |
| 开放式提问 | open question | 不能以是/否回答的问题,鼓励展开 |
| 封闭式提问 | closed question | 可用是/否或短答案回答的问题 |
| 治疗师陈述 | therapist input | 给出信息、建议、选项或协商目标的统称 |
| 其他行为 | other | 不符合上述三类的治疗师行为(结构、促成、面质等) |
| 改变性谈话 | change talk | 来访者指向改变的语言(愿望、能力、理由、需要、承诺等) |
| 维持性谈话 | sustain talk | 来访者指向维持现状或反对改变的语言 |
| 中性谈话 | neutral | 既不指向改变也不指向维持 |
| 阻抗 | resistance | 来访者对改变的抵触,现代 MI 视角下被视为双方互动的产物 |
| Fleiss’ kappa | — | 多名标注者的类别一致性系数,扣除随机一致 |
| ICC | intraclass correlation coefficient | 组内相关系数,衡量评分可重复性 |
| Macro F1 | — | 各类 F1 的算术平均,对不均衡类别敏感 |
| 分层交叉验证 | stratified k-fold CV | 按类别比例划分折的交叉验证 |
| Adapters | — | 参数高效微调方法,冻结主干、插入小型适配层 |
| CTRS | Complex Reflection to Simple Reflection ratio | MITI 中复杂反映与简单反映的比值指标 |
| CR | Reflection to Question ratio | 反映与提问的比值指标 |
| DARN-CAT | — | change talk 的细分框架:愿望/能力/理由/需要 + 承诺/激活/采取步骤 |
| 示范视频 | demonstration video | 用于培训教学的会谈录像,通常演示正/反面做法 |
| 表演性 | performativity | 示范场景中出镜者按教学目的演出,偏离真实行为分布 |
| 话语 | utterance | 说话人的一次连续发言,本数据集的基本标注单位 |
| 长尾话题 | long-tail topics | 话语量极少的少数主题 |
| 零门槛获取 | frictionless access | 无申请表、无协议、无账号即可下载的开放形态 |
附录
附录 A:条目信息速查卡
| 字段 | 值 |
|---|---|
| slug | annomi |
| 官方名 | AnnoMI(论文写作 Anno-MI) |
| 首发 | ICASSP 2022(2022-05-23 见刊) |
| 扩展 | Future Internet 2023, 15(3):110 |
| 主仓库 | https://github.com/uccollab/AnnoMI |
| 数据文件 | AnnoMI-simple.csv、AnnoMI-full.csv |
| 规模 | 133 段 / 9,699 条话语 |
| 任务 | 话语级行为分类、序列级质量判别 |
| 许可 | Public Domain License(论文口径) |
| 库内 rid | 占位(待入库回填) |
附录 B:DAIMS 评估全表
DAIMS(Dataset AI-readiness Maturity Score)按六维评估数据集对 AI 训练与评测的适配成熟度,各项 1–5 分。
| 维度 | 分值 | 依据 |
|---|---|---|
| D — Data Availability(可获取性) | 5 | GitHub 直接下载两个 CSV,无账号、无协议、无申请;在多模态语料普遍受限的心理健康领域属最优 |
| A — Annotation Quality(标注质量) | 3 | 治疗师行为 κ≈0.74 可用,来访者 Talk Type κ≈0.47 偏弱;仅 7/133 段可算一致性,全局噪声不可估计 |
| I — Interoperability(互操作性) | 3 | 标签对接 MISC/MITI,命名规范;但 CSV 扁平结构无对话树、无说话人元数据,需自行重组为会话对象 |
| M — Modeling Readiness(建模就绪度) | 3 | 有官方基线(0.72 / 约 0.55)与任务定义;但无官方固定划分,需自行做对话级分层,存在泄漏风险 |
| S — Scale & Diversity(规模与多样性) | 2 | 9,699 条话语规模偏小;话题长尾严重,三主话题各占 10%–20%;无人口学多样性信息 |
| 代表性(Representativeness) | 2 | 示范视频而非真实会谈,来访者「表演性」强;专家自评仅 66% 认为来访者话语真实 |
| 加权总分 | 3.0 / 5 | 权重:可获取性 0.2、标注 0.25、互操作 0.15、建模 0.15、规模 0.15、代表性 0.1 |
评述:AnnoMI 是典型的「低门槛、中等质量、小规模」条目。它的 AI-Ready 得分主要由可获取性撑起,被代表性拖低。对追求「快速验证想法」的使用者,它是最优入口;对追求「高保真临床分布」的使用者,它的成熟度不足以支撑结论外推。
附录 C:逐项证据链自证
| 硬事实 | 证据来源 | 核验方式 |
|---|---|---|
| 133 段对话 / 9,699 条话语 | Future Internet 2023 正文与统计表 | 与 110×23 分项加总交叉核验 |
| 10 名标注者 / 7 段 IAA 子集 | Future Internet 2023 标注流程节 | README 与论文互证 |
| 标签类别与取值 | GitHub README 列定义 | 与 CSV 实际取值核对(Input 子类命名有差异,见坑 6) |
| full 版 2023-03-14 发布 | README 首行 UPDATE 声明 + 仓库提交历史 | 两处一致 |
| 基线 0.72 / 约 0.55 | Future Internet 2023 Table 15/16 | 正文引述值与表值一致 |
| Public Domain License | Future Internet 2023 数据可用性声明 | 仓库无 LICENSE(双口径存照) |
| 阿伯丁大学伦理批准 | Future Internet 2023 伦理声明 | 与作者机构一致 |
附录 D:数据获取决策树
你需要什么?
├─ 话语级行为标签(reflection/question/input/other)
│ └─ → AnnoMI full 版
├─ 来访者谈话方向(change/sustain/neutral)
│ ├─ 接受 κ≈0.47 的噪声 → AnnoMI full 版
│ └─ 需要更可靠 → 与自建标注交叉验证,或合并为二分类
├─ 抑郁/焦虑量表分数
│ └─ → DAIC-WOZ(rid 1142)
├─ 对话→病历生成配对
│ └─ → ACI-BENCH(rid 810)/ PriMock57(rid 811)
└─ 真实患者语言分布
└─ → 上述均不满足,需申请真实会谈语料
附录 E:加载与清洗骨架(代码)
import pandas as pd
df = pd.read_csv("AnnoMI-full.csv")
# 1) 检查 IAA 子集重复键(7 段 × 10 人)
dup = df.groupby(["transcript_id", "utterance_id"]).size()
iaa_transcripts = dup[dup > 1].reset_index()["transcript_id"].unique().tolist()
print("IAA 子集对话数:", len(iaa_transcripts)) # 期望 7
# 2) 按多数投票聚合:非 IAA 段唯一,IAA 段取众数
def majority(series):
return series.value_counts().idxmax()
agg = (df.groupby(["transcript_id", "utterance_id", "interlocutor"], as_index=False)
.agg(main_therapist_behaviour=("main_therapist_behaviour", majority),
client_talk_type=("client_talk_type", majority),
utterance_text=("utterance_text", "first")))
# 3) 对话级分层划分(禁止话语级随机划分)
from sklearn.model_selection import GroupKFold
groups = agg["transcript_id"].values
gkf = GroupKFold(n_splits=5)
要点:GroupKFold 以 transcript_id 为组,保证同一对话不出现在训练与测试两侧。这一步是复现基线的前提,漏掉会让指标虚高。
附录 F:标签分布快速体检(代码)
import pandas as pd
df = pd.read_csv("AnnoMI-full.csv")
print(df["mi_quality"].value_counts()) # high 110 段 / low 23 段(按段去重)
print(df["interlocutor"].value_counts()) # therapist / client
print(df.loc[df.interlocutor == "therapist", "main_therapist_behaviour"].value_counts())
print(df.loc[df.interlocutor == "client", "client_talk_type"].value_counts())
print(df["therapist_input_subtype"].value_counts()) # 确认四值还是五值
print(df["topic"].value_counts().head(10)) # 长尾分布
附录 G:对话级特征工程建议
| 特征 | 计算方式 | 预期信号 |
|---|---|---|
| reflection 比例 | reflection 数 / 治疗师话语数 | 高质量更高(28% vs 7%) |
| input 比例 | therapist_input 数 / 治疗师话语数 | 低质量更高(33% vs 11%) |
| CTRS 近似 | complex / simple 之比 | 高质量更高 |
| CR 近似 | reflection / question 之比 | 高质量更高 |
| 后段 change 占比 | 末五分之一 change 数 / 该段来访者话语数 | 高质量终点约 40% |
| sustain 后接 input 率 | sustain 后一句为 input 的比例 | 低质量约 54%,高质量更低 |
| 对话长度 | 话语条数 | 与质量相关性待验 |
附录 H:统计指标公式表
| 指标 | 公式 | 说明 |
|---|---|---|
| Fleiss’ kappa | κ = (P̄ − P̄e) / (1 − P̄e) | P̄ 为观测一致比例,P̄e 为随机期望 |
| ICC(2,k) | (MSB − MSE) / (MSB + (k−1)MSE) | 双向随机、绝对一致、平均测量 |
| Macro F1 | (1/K) Σ F1_k | 类别等权 |
| Micro F1 | 2TP / (2TP + FP + FN) | 样本等权 |
| 加权 F1 | Σ (n_k/N) F1_k | 按类频加权 |
附录 I:库内互链点登记
| 目标条目 | rid | 互链理由 | 状态 |
|---|---|---|---|
| DAIC-WOZ | 1142 | 心理/行为健康对话,任务与模态互补 | 在架 |
| ACI-BENCH | 810 | 临床对话生成范式对照 | 在架 |
| PriMock57 | 811 | 模拟问诊语料对照 | 在架 |
| MTSamples | 350 | 临床纯文本语域对照 | 在架 |
| PsyTAR | 1127 | 心理健康 NLP 近邻(非对话) | 在架 |
说明:按纪律,frontmatter 的 relatedLink 仅登记纯 URL,且 rid 采用占位;实际互链由主会话在入库后回填,避免 R018 型「猜 rid 指向软删行」事故。
附录 J:双口径登记表
| 事项 | 口径甲 | 口径乙 | 本文处理 |
|---|---|---|---|
| 许可 | 论文:Public Domain License | 仓库:无 LICENSE 文件,GitHub 显示 No license | 两说并列,正文以论文为主口径并提示风险 |
| 治疗师话语数 | 论文未直陈 | EACL 2024 论文给来访者 4,817,反推治疗师 4,882 | 标注为「推导值」,建议以 CSV 实测为准 |
| 高质量话语总数 | 论文 8,839 | arXiv 2502.02802 写 “over 8,800” | 视为同一数字的保守表述,不构成冲突 |
| Input 子类 | 论文 Table 4:Information/Advice/Options/Negotiation-Goal-Setting | README/CSV:information/advice/negotiation/options | 以 CSV 为准,正文提示命名差异 |
| 命名 | 论文标题 Anno-MI | 仓库与数据文件 AnnoMI | 以 AnnoMI 为条目名,正文注明论文写法 |
附录 K:坑点档案(与 §10 对照)
| 编号 | 坑 | 类型 | 触发频率 |
|---|---|---|---|
| 坑 1 | 对话数当视频数 | 元数据误读 | 中 |
| 坑 2 | 许可文件缺失 | 合规 | 高(法务场景) |
| 坑 3 | mi_quality 当独立评分 | 标签语义 | 高 |
| 坑 4 | simple/full 混拼 | 数据处理 | 中 |
| 坑 5 | IAA 重复键 | 数据处理 | 高 |
| 坑 6 | Input 子类写死 | 代码 | 中 |
| 坑 7 | 跨论文比 F1 | 评价 | 中 |
| 坑 8 | 把片段当完整会谈 | 结论外推 | 中 |
| 坑 9 | 依赖视频 URL | 长期维护 | 高(随时间上升) |
附录 L:维护计划与触发点
| 触发条件 | 动作 |
|---|---|
| 仓库新增版本或提交 | 复核 §6.3 版本链与 §2.3 结构表 |
| 论文引用量显著上升 | 复核 §7.1 引用扩散路径,补充新用法 |
| 出现新公开 MI 语料 | 复核 §9.1 家族图谱与 §7.4 护城河判断 |
| 视频 URL 大规模失效 | 复核坑 9,必要时标注「不可回溯」 |
| 库内 daic-woz / aci-bench 条目更新 | 同步 §9.2 消歧段的模态与任务描述 |
附录 M:引用格式
@INPROCEEDINGS{9746035,
author={Wu, Zixiu and Balloccu, Simone and Kumar, Vivek and Helaoui, Rim and Reiter, Ehud and Reforgiato Recupero, Diego and Riboni, Daniele},
booktitle={ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
title={Anno-MI: A Dataset of Expert-Annotated Counselling Dialogues},
year={2022},
pages={6177-6181},
doi={10.1109/ICASSP43922.2022.9746035}
}
@Article{fi15030110,
author={Wu, Zixiu and Balloccu, Simone and Kumar, Vivek and Helaoui, Rim and Reforgiato Recupero, Diego and Riboni, Daniele},
title={Creation, Analysis and Evaluation of AnnoMI, a Dataset of Expert-Annotated Counselling Dialogues},
journal={Future Internet},
volume={15},
year={2023},
number={3},
article-number={110},
doi={10.3390/fi15030110}
}
附录 N:一页速查卡
- 数据是什么:133 段 MI 示范对话,9,699 条话语,话语级行为标注。
- 标签是什么:治疗师四类行为 + 来访者三类谈话方向。
- 谁标的:10 名 MINT 认证 MI 治疗师。
- 可靠吗:治疗师侧 0.74(可用),来访者侧 0.47(打折)。
- 怎么拿:GitHub 两个 CSV,直接下载。
- 能商用吗:论文称公有领域,仓库无 LICENSE,先确认。
- 基线:0.72 / 约 0.55 Macro F1。
- 别混了:DAIC-WOZ 是抑郁筛查,ACI-BENCH 是病历生成,AnnoMI 是治疗技术编码。
来源
- Wu Z, Balloccu S, Kumar V, Helaoui R, Reiter E, Reforgiato Recupero D, Riboni D. Anno-MI: A Dataset of Expert-Annotated Counselling Dialogues. ICASSP 2022: 6177–6181. doi:10.1109/ICASSP43922.2022.9746035.
- Wu Z, Balloccu S, Kumar V, Helaoui R, Reforgiato Recupero D, Riboni D. Creation, Analysis and Evaluation of AnnoMI, a Dataset of Expert-Annotated Counselling Dialogues. Future Internet. 2023;15(3):110. doi:10.3390/fi15030110.
- GitHub 仓库 uccollab/AnnoMI(README 与两份 CSV 列定义,2023-03-14 更新)。https://github.com/uccollab/AnnoMI
- Tseriotou T, et al. Sig-Networks Toolkit: Signature Networks for Longitudinal Language Modelling. EACL 2024 Demo. https://aclanthology.org/2024.eacl-demo.24.pdf
- Consistent Client Simulation for Motivational Interviewing-based Counseling. arXiv:2502.02802(附录 A 对 AnnoMI 的使用与筛选说明)。
附录 O:MISC / MITI 与 AnnoMI 的逐项映射详解
为方便做「临床编码 ↔ NLP 标签」对齐,这里把三套体系的行为类别逐项摊开。需要强调:AnnoMI 不是 MISC 的子集,也不是 MITI 的简化版,它是为话语级监督学习重新裁剪过的一套标签,只是沿用了两套体系的术语。
| MISC 10.0 行为 | 定义要点 | AnnoMI 归入 | 差异 |
|---|---|---|---|
| Reflection 简单 | 重复或轻微改写 | Reflection(simple) | 一致 |
| Reflection 复杂 | 加入推断、类比、情感命名 | Reflection(complex) | 一致 |
| Question 开放 | 鼓励展开的提问 | Question(open) | 一致 |
| Question 封闭 | 是/否型提问 | Question(closed) | 一致 |
| Giving Information | 提供事实/教育信息 | Input(information) | 一致 |
| Advising | 给出建议/忠告 | Input(advice) | 一致 |
| Options | 提供多个可选项 | Input(options) | 一致 |
| Negotiating Goal/Strategy | 协商目标或策略 | Input(negotiation) | 名称简化 |
| Structuring | 设定议程、引导流程 | Other | 合并进兜底类 |
| Facilitating | 促进对话、鼓励继续 | Other | 合并进兜底类 |
| Confronting | 面质、指出矛盾 | Other | 合并进兜底类;注意这是低质量 MI 的典型标志,被吞进 Other 会丢失 |
| Affirm | 肯定来访者的努力 | Other | 合并进兜底类 |
| Emphasizing Control | 强调来访者的自主权 | Other | 合并进兜底类 |
这张表暴露了一个重要缺口:Confronting(面质)被归入 Other。面质是低质量 MI 最具诊断价值的行为之一,把它和「肯定」「结构」一起塞进兜底类,意味着模型无法单独识别「治疗师是否在争辩」。如果研究目标是检测 MI 违规行为,必须在 Other 内部再做二次标注,或者改用 MISC 原版编码。
MITI 4 一侧的差异更大。MITI 的核心产出是四个汇总比值:治疗师话语中「MI-consistent 行为」占比、复杂反映占比(CTRS)、反映与提问之比(CR)、以及来访者 change talk 占比。AnnoMI 只提供逐句标签,四个比值都需要使用者自己从逐句标签重算,而重算口径与 MITI 官方口径并不完全一致(例如 MITI 把「反映」按「反映的是 change 还是 sustain」再细分,AnnoMI 没有这一层)。
实践上给三条对齐建议:
- 若论文需要报告 MITI 风格的 CR 与 CTRS,直接按 AnnoMI 标签算比值,并在方法节声明「依据 AnnoMI 标签近似计算,口径与 MITI 4 不完全一致」。
- 若研究重点在低质量 MI 的违规行为,不要依赖 Other 类,应回到原始文本另做标注。
- 若要做跨语料比较(例如与真实会谈的 MITI 评分比较),必须先检查两边是否都含「反映对象」信息,否则比值不可比。
附录 P:五阶段对话演化数据的使用方法
论文把每段对话等分为五段,统计各段内的行为分布,得到「高质量 MI 终点 change talk 约 40%、sustain talk 约 7%;低质量 MI 早期 sustain talk 飙至 40% 以上」这组结论。这组曲线的使用要注意三个技术点。
第一,等分是按话语条数还是按时间。 论文用五等分描述对话进程,但未明确是按话语序还是按时间戳切分。两种切法结果不同:按话语条数切分,长发言会占据更大权重;按时间切分,短暂沉默被计入但无标签。复现时应在方法节写明所用切法。
第二,片段对话会污染终点统计。 示范视频常只演示会谈的一部分(见坑 8),「终点」实际上是「片段终点」。若直接把这批片段当作完整会谈,终点 change talk 比例会被系统性抬高或压低,取决于片段截取位置。arXiv 2502.02802 正是因为「对话不完整」剔除了部分会话,说明这个问题在下游已被注意到。
第三,阶段标签本身需要先验证。 论文没有给每段对话打「开场/探索/收束」这类阶段标签,五等分只是位置代理。真正的 MI 阶段(engaging / focusing / evoking / planning)需要额外标注。任何声称「AnnoMI 提供 MI 四阶段标签」的说法都是误读。
一个稳妥的用法:只把五等分位置作为相对位置特征(0.0–0.2、0.2–0.4……),与对话长度、总话语数一起放入模型,而不是把它当作临床阶段。
附录 Q:来访者 Talk Type 建模的三条改进路线
鉴于来访者侧基线卡在约 0.55 Macro F1,而论文把原因归为「需要上下文」与「标注噪声」,可以给出三条有据可依的改进路线。
路线一:加窗口上下文。 Sig-Networks 的流式实验(EACL 2024)已经证明,以滑动窗口喂入历史话语时,最优窗口约 11 条,Seq-Sig-Net 达到 F1 0.525。这个结果与单话语基线量级相近,说明窗口本身不是万能药,但窗口 + 序列模型是必要的起点。更直接的做法是把「治疗师上一句的行为标签」作为特征并联进去——因为论文的转移概率分析已经显示,治疗师行为与来访者下一句的谈话类型强相关。
路线二:合并类别降低噪声。 Talk Type 的 κ≈0.47 主要来自 Neutral 与另两类的边界模糊。把三分类合并为「change vs 非 change」二分类,可用 Binary 口径下更高的一致性换取更稳定的监督。代价是丢失 sustain 的独立信号,而 sustain 恰恰是低质量 MI 的关键指标。折中方案是两阶段:先判「是否 neutral」,再在非 neutral 中判 change/sustain。
路线三:多标注者软标签。 7 段 IAA 子集提供了每句话的 10 份标注。可以在这 7 段上训练「软标签」模型(输出类别分布而非硬类别),检验软标签是否比多数投票更稳。样本量小,结论只能作为方法论探索,但这是 AnnoMI 相对其他语料的独特优势——它真的给了你多标注者的原始分歧。
三条路线可以叠加,但要注意评估协议:任何加窗口的实验都必须继续用 GroupKFold 按对话划分,否则上下文特征会跨对话泄漏,指标虚高。
附录 R:与真实会谈语料的差距清单
| 维度 | AnnoMI(示范片) | 真实会谈语料 | 影响 |
|---|---|---|---|
| 出镜者身份 | 演员/培训师 | 真实来访者 | 情绪表达强度、阻抗真实性不同 |
| 会谈完整性 | 常为片段 | 通常完整 | 阶段分析受限 |
| 话题 | 教学选择,集中于减酒/再犯/戒烟 | 按临床需求分布 | 长尾偏差 |
| 语言 | 清晰、配合度高 | 含大量停顿、跑题、方言 | 声学与语用复杂度低 |
| 标注 | MISC 话语级 | 常为 MITI 汇总评分 | 粒度不同,不可直接比 |
| 获取 | 零门槛 | 需 EULA/DUA | 可复现性差异巨大 |
这张表的核心结论是:AnnoMI 的优势(可获取、标注细)与劣势(不真实、不完整)来自同一个源头——它用的是教学示范视频。理解这一点,就能理解它为什么适合做「方法验证」而不适合做「临床结论」。
附录 S:常见误读澄清(10 条)
- 「AnnoMI 有 133 个视频」——错,119 个视频含 133 段对话。
- 「AnnoMI 是音频数据集」——错,只有文本与话语级时间戳。
- 「mi_quality 是专家打分」——错,来自视频标题/简介/旁白自述。
- 「有官方 train/test 划分」——错,论文的 5 折是实验协议。
- 「full 版是 simple 版的替换」——错,两版并行,simple 仍可用。
- 「IAA 覆盖全部 133 段」——错,只有 7 段。
- 「Talk Type 的 κ 是 0.74」——错,那是 Behaviour;Talk Type 约 0.47。
- 「Input 子类有五个」——论文表列五个名称,CSV 实为四个取值。
- 「可以直接算 MITI 总分」——不能,MITI 有全局评分维度,AnnoMI 没有。
- 「它和 DAIC-WOZ 是同一类数据」——不是,任务、模态、标签全不同。
附录 T:如果要从零复刻一次 AnnoMI(工序清单)
| 步骤 | 关键动作 | 易错点 |
|---|---|---|
| 1. 语料检索 | 用正/负面关键词成对检索,记录候选总数 | 只搜正面词会导致高质量偏斜 |
| 2. 质量判定 | 依据标题/简介/旁白判定,留复核记录 | 判定标准不写清会导致不可复现 |
| 3. 授权 | 联系上传者与出镜者,留书面同意 | 只联系上传者可能漏出镜者权利 |
| 4. 转录 | 用专业服务,保留口语标记与说话人标签 | 自动字幕错误率高 |
| 5. 编码手册 | 直接映射 MISC/MITI 类别表 | 自创类别会失去可比性 |
| 6. 标注者招募 | 经专业网络招募,要求「会做 + 会编码」 | 只招「会做」的临床医生 |
| 7. 交叉子集 | 抽 1/3 工作量做全人共标,隐藏抽查意图 | 公开抽查会导致一致性虚高 |
| 8. 后处理 | 保留个体标注 + 多数投票双轨 | 只留共识会封存噪声信息 |
| 9. 发布 | 双版本(简/全)+ 列定义 + 引用格式 | 版本不并行会破坏旧复现 |
| 10. 基线 | 给至少两个任务与随机基线 | 只给 SOTA 会失去参照 |
附录 U:与「治疗师培训」场景的对接说明
AnnoMI 最直接的非研究用途是治疗师培训反馈系统。可落地的规则有两条:
规则一:sustain 后接 input 触发提醒。 论文数据显示,低质量 MI 中来访者出现 sustain talk 后治疗师最常以 input 回应(54%),而高质量 MI 中这一回应是 reflection(37%)。系统可检测「来访者 sustain → 治疗师 input」的相邻对,作为需要复盘的片段标记。
规则二:后段 change/sustain 比值作为过程指标。 高质量 MI 终点 change talk 约 40%、sustain 约 7%。可计算学员演练录像后三分之一的比值,与这个参照带对比。
两条规则都需要声明局限:参照值来自示范片而非真实会谈;规则是启发式而非诊断标准;提醒应作为复盘线索而非评分依据。把 AnnoMI 的统计值直接当成「合格线」用于考核,是对数据来源的误用。
附录 V:与 LLM 时代的适配
2023 年之后,LLM 在心理咨询对话上的应用激增,AnnoMI 的角色从「训练集」部分转向「评测参照集」。三条适配建议:
其一,作为 few-shot 示范。 从高质量 MI 对话中抽 3–5 段完整片段作为上下文示例,比抽象描述 MI 原则更有效,因为示范本身带行为标签。
其二,作为自动评分的锚点。 用 AnnoMI 的标签统计构造「质量剖面」(reflection 比例、input 比例、sustain 后回应模式),与 LLM 生成的咨询对话剖面比对。注意校准:LLM 生成的对话往往更长、更礼貌,input 比例天然偏高。
其三,作为标注一致性研究材料。 用 AnnoMI 的 7 段多标注子集,检验 LLM 标注者与人类专家的一致性,判断 LLM 能否替代部分标注工作。这类研究的基线必须包含 Fleiss κ≈0.47 与 0.74 这两个人类上限,否则「LLM 一致性 0.5」这样的数字无法解读。
附录 W:与其他公开心理治疗对话语料的横向对照
| 语料 | 模态 | 规模 | 标注 | 获取 |
|---|---|---|---|---|
| AnnoMI | 文本 | 133 段 / 9,699 话语 | MISC 话语级行为 | 零门槛 |
| DAIC-WOZ(rid 1142) | 音频+视觉+文本 | 189 场访谈 | PHQ-8 分数 | EULA |
| ACI-BENCH(rid 810) | 文本 | 207 段就诊 | SOAP 病历 | DUA |
| PriMock57(rid 811) | 音频+文本 | 57 场问诊 | SOAP + 人工评估 | CC BY 4.0 |
| MTSamples(rid 350) | 文本 | 数千份转写 | 无(按专科分类) | 公开 |
这张对照表的读法是看「标注类型」列:只有 AnnoMI 提供过程性行为标签,其余提供的是结果性标签(分数、病历)或无标签。这正是 AnnoMI 不可替代的位置。
附录 X:检索关键词建议
中文检索:「动机性访谈 对话 数据集」「心理咨询 对话 标注 语料」「治疗师 行为 编码 数据集」。
英文检索:AnnoMI、Anno-MI、motivational interviewing dataset、counselling dialogue corpus、MISC coding dataset、therapist behaviour classification dataset、change talk sustain talk corpus。
检索陷阱:用「MI dataset」会大量命中医学影像(MI 也常指 myocardial infarction),必须带 motivational interviewing 全称或 counselling。
附录 Y:项目决策一页纸(给团队负责人)
| 问题 | 判定 |
|---|---|
| 是否值得投入一周做基线 | 值得,数据零门槛、任务定义清晰 |
| 是否能支撑产品级模型 | 单独不能,需自建标注扩充 |
| 是否能直接商用 | 需法务确认许可口径(§6.2) |
| 是否需要额外伦理审查 | 数据已去标识且为示范片,通常不需要;但用于患者场景需另评估 |
| 是否需要补齐真实数据 | 需要,若目标涉及真实来访者分布 |
| 最大时间风险 | 视频链接失效导致无法回溯(坑 9) |
| 最低可行的下一步 | 下载 full 版 → 去重 IAA 子集 → GroupKFold 复现 0.72 基线 |
附录 Z:末页索引
- 规模与结构:§2.1、§2.2、§2.3
- 标签体系:§2.4
- 采集流程:§3.1–§3.3
- 一致性:§4.1–§4.3
- 基线:§5.1–§5.5
- 获取与许可:§6.1–§6.3
- 生态:§7.1–§7.4
- 库内关系:§9.1–§9.3
- 坑点:§10(坑 1–坑 9)
- 评估:附录 B(DAIMS)
- 实操代码:附录 E、F
- 双口径:附录 J
附录 AA:修订记录
| 日期 | 版本 | 变更 |
|---|---|---|
| 2026-10-17 | v1.0 | 首版成稿:完成存在性三源核验、结构梳理、DAIMS 评估、库内消歧与九条坑点 |
附录 AB:致谢与责任声明
本条目依据 ICASSP 2022 与 Future Internet 2023 两篇论文、GitHub 官方 README 及两份二手文献(EACL 2024 工具论文、arXiv 2502.02802)写成。所有硬数字均标注出处;凡论文未直陈而由其他来源推导者(如治疗师话语 4,882 条),正文均已标明「推导」。许可与版本信息存在双口径,已在附录 J 逐条存照。若读者发现与原文不符之处,以论文原文为准。
本条目由千方病案医数集编辑部整理,不构成法律意见;商用前的许可确认请自行完成。
补充:对话行为标注中的常见判类边界
在 AnnoMI 的话语级标注里,最容易出现分歧的不是「这四个大类是什么」,而是大类之间的边界句。理解这些边界,比背类别定义更有用。
边界一:Reflection 与 Question 的交界。 语调上扬的复述句(「你觉得这样行不通?」)在书面转写里既可读作提问也可读作反映。MITI 的判定原则是「以功能为准」——若意在让来访者确认或展开,倾向 question;若意在把来访者的话还回去,倾向 reflection。AnnoMI 的标注者接受的是同一套训练,但书面转写丢失了语调,分歧不可避免。这解释了为什么 Reflection 的 All(Strict) 一致性只到 fair 级。
边界二:Input 与 Reflection 的交界。 「很多人戒酒头两周都睡不好」这句话若出现在来访者抱怨失眠之后,可以是信息(input),也可以是共情性反映(complex reflection)。判定取决于是否提供了来访者尚未说过的新信息。这是 AnnoMI 论文混淆矩阵里 Input 最常被误判为 Reflection 的直接原因。
边界三:Other 的兜底范围。 AnnoMI 的 Other 吸收了大量 MISC 行为(结构、促进、面质、肯定、强调自主)。这意味着 Other 是一个语义异质的类,模型学到的是「不像前三类的东西」。任何把 Other 当作单一语义类别解释的分析都会出错。
边界四:Neutral 与 Change 的交界。 「我不知道,也许吧」在低质量 MI 里常被判 Neutral,在高质量 MI 里可能被判 Change(微弱的意愿表达)。判类依赖上下文语境,而单句输入看不到语境——这是来访者侧基线卡在 0.55 的第二层原因(第一层是标注噪声)。
边界五:Sustain 与阻抗的区别。 MI 现代观点把「阻抗」看作双方互动产物而非来访者特质,因此 AnnoMI 不设阻抗标签,只有 sustain talk(对改变的反向语言)。把 sustain 直接当阻抗使用,会把「来访者诚实地表达顾虑」误判为「来访者不合作」。
补充:数据表字段的工程化读法
把 CSV 当普通表格读会丢掉两组结构信息。
第一组是嵌套关系:transcript_id 是对话,utterance_id 是该对话内的话语序号,两者组成话语主键。任何 groupby 操作都应以 transcript_id 为先分组键,否则会把不同对话的第 3 句混在一起。
第二组是角色条件字段:main_therapist_behaviour 只对 therapist 行有值,client_talk_type 只对 client 行有值,另一侧为 n/a。用 pandas 做统计时若不清洗 n/a,会得到一个巨大的「n/a 类」,污染所有比例计算。
推荐的工程化处理顺序是:读入 → 丢弃 n/a 行前先记录角色 → 按角色分表 → 各自聚合 → 再按 transcript_id 合并回对话级特征表。这个顺序可以避免绝大多数统计错误。
补充:对话级质量判别的特征构造
话语级标签最有价值的用法不是分类本身,而是聚合成对话级特征去判别 high/low。可用的特征分四组。
比例组:reflection 占比、input 占比、question 占比、other 占比(分母为治疗师话语数)。论文给出的参照是高质量 MI reflection 28% / input 11%,低质量 MI reflection 7% / input 33%。
比值组:complex/simple(CTRS 近似)、reflection/question(CR 近似)。两个比值都应在治疗师侧计算,且需处理分母为零的对话。
时序组:后三分之一 change 占比、sustain 的首次出现位置、早段 sustain 峰值。论文的五阶段曲线为这些特征提供依据。
转移组:sustain 后接 input 的比例、sustain 后接 reflection 的比例、change 后接 question 的比例。转移特征需要按话语序构造,且要处理对话边界(跨对话不算相邻)。
四组特征中,时序组与转移组对分辨 low 质量最有效,因为低质量 MI 的典型模式是「早段被 sustain 压住 + 用 input 硬顶」。仅用比例组容易把「话少但方向对」的会谈误判。
补充:多标注者数据的三种聚合策略
7 段 IAA 子集提供 10 份标注,可对比三种聚合:
| 策略 | 做法 | 优点 | 缺点 |
|---|---|---|---|
| 多数投票 | 取众数 | 简单、与论文一致 | 平票需仲裁;丢失分歧强度 |
| 软标签 | 保留类别分布 | 保留不确定性、可做蒸馏 | 训练目标需改(KL/交叉熵软化) |
| 专家加权 | 按标注者历史一致性加权 | 可抑制系统性偏差 | 需额外估计权重,小样本易过拟合 |
在只有 7 段的情况下,专家加权的权重估计不可靠,建议只在方法学论文里试用,不作为默认实践。多数投票是复现论文基线的唯一正确选择。
补充:为什么 AnnoMI 没有成为「心理咨询的 ImageNet」
这个问题值得正面回答,因为检索者常误以为它被低估了。三个结构性原因:
其一,规模天花板来自来源。 公开的 MI 示范视频总量有限,且授权成本高(需逐个联系上传者)。346 个候选里只拿到 119 个授权,授权率约三分之一。要扩到万段级别,必须转向真实会谈或合成对话,前者受隐私限制,后者受真实性限制。
其二,标签体系与产品需求错位。 工业界更需要「会话质量总分」「风险等级」「下一步建议」这类结果性标签,而 AnnoMI 提供的是过程性细粒度标签。过程标签适合研究与培训,不适合直接做产品输出。
其三,示范片代表性问题无解。 只要数据来自教学示范,来访者的「表演性」就无法通过扩充标注消除。这使它在需要真实分布的场景(如自动筛查)中难以担纲。
这三个原因共同说明:AnnoMI 的定位是领域基础设施的起点,不是终点。它的引用价值会随替代语料出现而下降,但它定义的任务与标签口径会长期被沿用。
补充:与其他动机性访谈相关资源的区分
检索「motivational interviewing dataset」时会遇到几类易混资源,逐一说明。
第一类:MI 培训视频合集。 各种 MI 培训机构在网上发布的示范视频,有人工字幕但无话语级标注。这类资源可以作为扩充分子,但需要自行标注,且授权状况不明。
第二类:心理咨询通用语料。 如 Pérez-Rosas 等人的咨询语料,含视频转写,标注较粗(多为会话级质量或情绪标签)。AnnoMI 有 42 个视频与其重叠但重新转录,说明两者是「部分同源、标注不同」的关系,不是替代关系。
第三类:合成咨询对话。 用 LLM 生成的咨询对话,规模可无限扩,但真实性存疑。这类数据适合做数据增强与压力测试,不适合作为监督信号的主要来源。
第四类:真实会谈的编码数据。 存在于各家机构的私有库中,偶有脱敏后以受限许可发布。这类数据规模小、门槛高,但与 AnnoMI 互补——AnnoMI 提供细粒度标注范式,真实数据提供真实分布。
区分这四类的实用判据是:看标注的语义层级(话语级行为 / 会话级评分 / 无标注)与看来源的真实性(示范 / 合成 / 真实)。AnnoMI 的位置是「示范 + 话语级行为」,这个组合目前在公开资源中仍属唯一。
补充:复现基线时的五个常见偏差点
偏差一:按话语随机划分。 同一对话的话语同时进训练与测试,指标虚高。必须按 transcript_id 分组。
偏差二:包含 n/a 行。 把治疗师话语也放进 talk type 的任务里,n/a 成为最大类,Macro F1 被拉低或拉高(取决于是否计入)。
偏差三:未去重 IAA 子集。 7 段权重放大十倍,且引入矛盾标签。
偏差四:把 simple 与 full 混用。 话语重复,类别先验失真。
偏差五:用 accuracy 报告。 Neutral 占 64%–68%,全判 Neutral 的 accuracy 就很高,但 Macro F1 接近 0.33。论文用 Macro F1 是正确的选择。
五个偏差里,前四个是数据处理问题,第五个是评价指标问题。全部避开后,复现论文的 0.72 与约 0.55 是可行的。
补充:许可问题的三种处理立场
面对「论文说公有领域、仓库无 LICENSE」的双口径,团队可以选三种立场。
宽松立场:以论文声明为准,直接使用并在论文中引用。这是学术界的常见做法,风险较低,因为论文是作者本人的正式声明。
审慎立场:以论文声明为准使用,但在方法节写明「依据论文声明,仓库未附 LICENSE」,留存证据链。这是本文推荐的做法。
严格立场:在使用前向作者书面确认,取得邮件回复作为许可证据。商业使用或需要法务签字的场景应采用这一立场。
三种立场的分歧点不是「能不能用」,而是「出问题时能否证明自己有合理依据」。留存论文原文截图与仓库访问记录,成本极低,收益明确。
§12 延伸阅读路线(按角色划分)
12.1 给 NLP 研究者的路线
先读 §2.3 弄清两个 CSV 的结构差异,再读 §4 理解哪一维标签可信,然后跳到附录 E 的加载骨架把数据跑通,最后回到 §5 与附录 G 构造特征与基线。这条路线大约两小时,可以直接产出第一个可跑的实验。
12.2 给临床与心理研究者的路线
先读 §3 的标注工序与 §4.3 的专家自评,理解「示范片不等于真实会谈」,再看 §5.6 的五阶段曲线与 §5.7 的转移概率,这两处是与临床实践最接近的发现。附录 U 说明了如何把它用于培训反馈,附录 R 列出了与真实会谈的差距。
12.3 给产品与工程团队的路线
先读 §6 的获取与许可(尤其 §6.2 的双口径),再读附件 Y 的一页纸决策表,然后看附录 T 的复刻工序清单判断自建标注的成本。若目标是快速验证,附录 E 与 F 的代码可直接复制。
12.4 给数据集策展与情报人员的路线
先读 §9 的三组消歧,再读附录 J 的双口径登记表与附录 K 的坑点档案,最后看 §7 的生态与引用扩散。这条路线适合判断「库内是否已有同物条目」「是否需要合并」。
§13 质量自评与改进建议
13.1 这份数据最值得保留的三个设计
设计一:双版本并行发布。 simple 版服务基础任务,full 版服务细粒度研究,两版都在仓库里,旧论文的复现不会被破坏。这个做法在数据集演进中值得推广——大多数数据集的「v2 覆盖 v1」会让旧结果永久不可复现。
设计二:释放个体标注。 7 段 IAA 子集给出全部 10 人的每一行,而不是只给多数投票。这为标注噪声研究留了活口,是长期价值高于短期整洁的选择。
设计三:双论文结构。 ICASSP 短论文负责「首发占位」,Future Internet 长论文负责「完整方法 + 基线」。这个节奏让数据集在发布时就能被引用,同时给后续深化留了空间。
13.2 如果重做一次,最该改的三件事
其一:IAA 覆盖率。 7/133 的比例太低。哪怕把 IAA 子集扩到 20 段(约 15%),也能让全局噪声估计从「不可估」变成「可估」。成本是多花约两倍标注预算,收益是整份数据的可信度上一个台阶。
其二:话题均衡采样。 三主话题占话语总量 30%–60%,长尾话题样本极少,导致跨话题结论脆弱。若在检索阶段就按话题配额抽样,话题鲁棒性实验会更有说服力。
其三:完整性标注。 增加一个「本段是否为完整会谈」的布尔字段,可以省掉下游为了判断片段完整性而人工通读的工作(arXiv 2502.02802 就不得不人工筛除不完整会话)。这是一个几乎零成本、却显著提升可用性的字段。
13.3 使用者的自检清单
在把 AnnoMI 用于任何正式实验之前,建议逐条打勾:
- [ ] 已确认使用的是 simple 还是 full,未混用;
- [ ] 已按 (transcript_id, utterance_id, annotator_id) 去重 IAA 子集;
- [ ] 已按 transcript_id 分组划分训练/测试;
- [ ] 已清洗 n/a 行,角色分表统计;
- [ ] 已用 Macro F1 而非 accuracy 报告;
- [ ] 已复现论文基线(0.72 / 约 0.55)作为 sanity check;
- [ ] 已在方法节声明数据为示范片而非真实会谈;
- [ ] 已核对许可口径并留存证据。
这份清单覆盖了复现偏差的全部五条与合规的两条要点。逐条打勾的成本约半小时,可以避免绝大多数返工。
§14 与千方病案医数集收录标准的对应
千方病案医数集收录的条目需要回答四个问题:数据是否真实可获取、规模与许可是否明确、任务是否有公开基准、与库内已有条目是否可区分。AnnoMI 在这四项上的表现如下。
可获取性:最优。GitHub 直接下载,无需任何协议,这在库内心理健康类条目中独一无二。
规模与许可:规模明确(133 段 / 9,699 条话语),许可存在双口径(论文声明公有领域、仓库无 LICENSE),已在附录 J 存照。这一项的「明确」程度为中等。
公开基准:有。ICASSP 2022 与 Future Internet 2023 给出两个任务的基线(0.72 / 约 0.55 Macro F1),并有第三方工具论文(EACL 2024)的独立结果。
可区分性:清晰。与 daic-woz(抑郁筛查)、aci-bench(病历生成)、primock57(问诊多模态)在任务、模态、标签三层均可区分,消歧说明已写入 §9.2 与正文。
四项合计,AnnoMI 符合收录标准,属「基础语料类」条目,定位与 DAIC-WOZ 互补而非竞争。
§15 结语
如果把心理健康 NLP 的数据版图比作一张地图,AnnoMI 占据的是「治疗技术标注」这个角落——面积不大,但此前是空白。它用 133 段示范对话和 10 名治疗师的逐句标注,第一次把「治疗师说了什么」和「来访者往哪走」变成了可以被模型学习的东西。
它的局限同样清晰:示范片的表演性、7/133 的一致性覆盖、来访者标签的低 κ、以及一句论文声明撑起的许可。这些局限不是缺陷,而是这份数据「来源决定性质」的必然结果。理解来源,就能理解它能做什么、不能做什么。
对绝大多数使用者,正确的姿势是把它当作方法验证的试验台:任务定义清晰、标签语义精确、获取零门槛、有公开基线。用它在几天内跑通一个想法,再决定是否投入成本自建更大更真实的语料——这正是它设计之初想要扮演的角色。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- real-mednlp — 共享标签:医疗NLP / 临床文本 / 评测基准 / 多模态
- pathvqa — 共享标签:医疗NLP / 评测基准 / 多模态
- blue-benchmark — 共享标签:医疗NLP / 临床文本 / 评测基准
- rexerr — 共享标签:医疗NLP / 临床文本 / 评测基准
- cmedqa2 — 共享标签:医疗NLP / 临床文本 / 评测基准
- care-bench — 共享标签:医疗NLP / 临床文本 / 评测基准
- ahd-arabic-health — 共享标签:医疗NLP / 临床文本 / 评测基准
- medval-bench — 共享标签:医疗NLP / 临床文本 / 评测基准
- cmb-benchmark-cn — 共享标签:医疗NLP / 临床文本 / 评测基准
- clinicaltrials-gov — 共享标签:医疗NLP / 临床文本 / 评测基准
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

