信息速览
INFOBOX — AHD 一屏速览
维度 内容 本质 阿拉伯语医患问答单表语料(question / answer / category 三列),非临床记录、非影像 来源 Altibbi(阿拉伯语数字健康平台的公开医患问答页) 团队 也门 Ibb University 计算机与信息技术系;论文三作者,数据集署名单一 Contributor 论文 Data in Brief. 2024;56:110855(doi:10.1016/j.dib.2024.110855;PMID 39286413) 规模 >808,000 条问答 / 90 个专科类目 文件 AHD.xlsx 173 MB(阿语)+ AHD_english.xlsx 118 MB(英译)+ 类目分布表 12.3 KB;zip 291 MB 语言 现代标准阿拉伯语(MSA)与海湾、黎凡特、埃及方言混杂 许可 CC BY 4.0(Mendeley Data v6) 获取 Mendeley Data 直下,无需申请、无 gated 官方划分 无——train/dev/test 由使用者自行切分;亦无质量标签 典型任务 90 类专科分类、问题→回答生成、跨语言检索、聊天机器人冷启动 已知硬伤 类目极不均衡、原始噪音多、单轮、源自抓取且授权链条存疑 库内互链 MedQuAD(160,英文患者问答)、cMedQA2(825,中文)、MedQA(50,考试型)、HealthSearchQA(492)
AHD 是一个"把阿拉伯语病人怎么说话"固定下来的语料。它不发明新标注体系,也不设计竞赛任务,只是把 Altibbi 这个阿拉伯语医患问答平台上公开的 80 余万条"患者提问—医生回答"连同站点自带的 90 个专科类目一起打包,并额外给出一份完整的英文翻译表。对阿拉伯语医疗 NLP 而言,这种体量、这种语言形态(而不是考试题或病历)的公开语料极少,因此它自 2024 年发布起就成了不少阿拉伯语医疗模型预训练与分类评测的事实底座。
但它同时是一个典型的"原始料"数据集:没有划分、没有质量标签、类目严重失衡、语言噪音极多、授权链条只到上传者一级。把它当成可用的评测基准之前,必须先完成一轮清洗与抽样设计——这正是后续 ACM 基准论文做的事(把 90 类并成 42 类并设上下限阈值)。本文既讲清它能做什么,也讲清不能直接拿它做什么。
导语读法三则:
- 只想拿数据:直奔 §6 获取与许可——注意英译表格式在论文与仓库之间有出入(xlsx vs csv),以 Mendeley v6 实下为准。
- 想做分类/生成实验:先读 §4 的类目失衡与 §5 的可用任务谱,再读 §7 的 ACM 基准数字,避免在未清洗的 90 类上直接报分。
- 想把它与库内其他问答数据集对齐:直奔 §9 消歧与互链,特别是与 MedQuAD、cMedQA2、MedDialog 的"同域不同物"辨析。
§0 导读:这个数据集解决什么问题
阿拉伯语在全球有超过四亿使用者,但开源医疗文本资源的体量与英语完全不成比例。英语侧有 MedQuAD、HealthSearchQA、MedDialog、PubMedQA、MedQA 一整套从消费者问答到执业考试的谱系;中文侧有 cMedQA、MedDialog、CMB 等成体系资源;阿拉伯语侧的公开资源长期停留在小规模、单专科(如心理健康)或人工构造的层面。AHD 的定位就是补这个缺口:用一个真实平台的全专科公开问答,给阿拉伯语医疗 NLP 提供"患者语言"的底座。
这个底座解决三类具体问题。第一类是分类:给定一段用方言写成的、语法不完整、夹杂英语药名的患者提问,判断它属于 90 个专科中的哪一个——这是分诊(triage)的第一步。第二类是生成:给定问题生成一段医生口吻的回答,用于聊天机器人的冷启动与检索增强生成的语料池。第三类是跨语言:借助随附的英译表,把阿拉伯语问答映射到英语医疗知识体系,做跨语言检索与迁移学习。
§0 读法三则:
- AHD 是语料不是基准:没有官方划分、没有评测协议、没有排行榜。把它当基准用,等于自己定规则。要引用"基准"数字,应引用在 AHD 上做过清洗设计的第三方工作(见 §7)。
- 全文凡涉及"规模"的数字,均以论文摘要与数据集描述的三源一致口径(>808k / 90 类)为主;凡涉及"分布"的数字,均标出口径来源,因为原始分布表只有 12.3 KB,正文只做了概括描述。
- 凡涉及"能不能商用"的判断,本文只陈述许可声明与已知风险,不替使用者做法律判断。
§1 数据集速览:十问十答
Q1:AHD 是什么的缩写?
Arabic Healthcare Dataset(阿拉伯语医疗健康数据集)。注意同名缩写极多:Arabidopsis Hormone Database 2.0、Australian Height Datum、犬急性出血性腹泻综合征(AHDS)——检索时必须带 “Arabic” 或 DOI。
Q2:数据从哪来?
Altibbi(altibbi.com),一个面向阿拉伯语用户的数字健康平台,提供医生名录、症状自查与公开的医患问答页。AHD 采集的是其中的公开问答部分。
Q3:有多少条?
论文、Mendeley 描述与仓库说明三源一致:超过 808,000 条问答。精确行数未见官方公布。
Q4:有多少类?
90 个类目,覆盖内科、儿科、皮肤、牙科、眼科、妇科、心理、营养、检验等专科,也包含"医疗服务"“医学教育”"替代医学"这类非临床类目。
Q5:有英文版吗?
有。Mendeley v6 提供 AHD_english.xlsx(118 MB),包含英译后的问题、回答与类目。论文口径则写 ZIP 内另有 AHD_english_translated.csv——格式口径不一,见坑 2。
Q6:有划分吗?
没有官方 train/dev/test。ACM 基准论文自行采用 80/10/10 分层划分。
Q7:有质量标签吗?
没有。不知道答案是否被采纳、答题医生资质如何、答题耗时多少。原表只有三列。
Q8:许可是什么?
CC BY 4.0,Mendeley Data 页面标注,由上传者声明。
Q9:怎么下?
Mendeley Data 数据集页直接下载 zip(约 291 MB),无需申请。
Q10:能直接训练吗?
能训练,但不能直接报分。原始形态未清洗、未去重、类目极不均衡,"能跑通"和"结论可信"是两件事。
§2 数据构成与规格
2.1 三列结构与文件清单
AHD 的每一行就是一次公开问答:一列问题、一列回答、一列类目。没有时间戳、没有医生标识、没有患者人口学信息、没有问题浏览量或点赞数。这种极简结构决定了它的分析边界——可以做文本层面的分类与生成,做不了时间序列、医生差异、用户行为研究。
| 文件 | 格式 | 体积 | 内容 | 语言 |
|---|---|---|---|---|
| AHD.xlsx | xlsx | 173 MB | question / answer / category 三列 | 阿拉伯语 |
| AHD_english.xlsx | xlsx | 118 MB | 同三列的英译版本 | 英语(译文) |
| Distribution of Question and Answer per category.xlsx | xlsx | 12.3 KB | 各类目问答条数统计 | 英语/数字 |
| AHD: Arabic Healthcare Dataset.zip | zip | 291 MB | 上述文件打包(论文口径另含英译 CSV) | — |
值得注意的比例:英译表 118 MB 对原表 173 MB,约为 68%。这一比例在阿拉伯语→英语翻译语料中属正常区间(英语译文通常更短),但也提示译文是逐行对应的完整翻译,而非仅译问题或仅译类目。
2.2 语言形态:MSA 与方言的双层结构
阿拉伯语存在典型的"双言现象"(diglossia):书面语用现代标准阿拉伯语(Modern Standard Arabic, MSA),口语用各地域方言。患者提问几乎必然夹带方言——海湾方言(Gulf)、黎凡特/东阿拉伯方言(Levantine/Eastern Arabic)、埃及方言(Egyptian)——而医生回答通常更接近 MSA。这意味着同一行数据里可能存在"两种语域",对语言模型是天然的语域转换训练材料,对分类器则是特征分布漂移的来源。
ACM 基准论文明确把这一点列为 AHD 的四大挑战之一(另三项为类别不平衡、文本噪音、类目语义重叠)。对做方言鲁棒性研究的团队,这反而是 AHD 最有价值的一面:它是少数能同时提供多个方言变体的公开医疗语料。
2.3 噪音画像:原始形态意味着什么
论文强调数据以"raw form"(原始形态)提供。结合第三方分析,可归纳四类噪音:
- 尾部标点:约九成问题以省略号(“…”)收尾,这是平台展示层的截断残留,会干扰分词;
- 重复标点:连续问号、感叹号,表达焦虑情绪,但对分类无信息增益;
- 拼写与非规范拼写:阿拉伯语口语拼写无统一标准,同一词常有多种写法;
- 混入英语:药名、检查名、器械名常直接用英文,且与阿拉伯语混排。
处理这些噪音的标准动作包括:去尾部省略号、压缩重复标点、去变音符号(tashkeel)、合并多余空白、剥离无意义的散落英文词但保留专业英文术语。ACM 论文的预处理流程即按此五步执行。
2.4 类目体系:90 类如何构成
90 个类目大体可分四组:
| 组别 | 举例 | 特点 |
|---|---|---|
| 临床专科 | 内科、儿科、皮肤科、牙科、眼科、妇科、泌尿科、心理科 | 样本量最大,类间重叠多 |
| 辅助/检验 | 检验、影像、药理 | 与专科存在归属争议 |
| 生活方式 | 营养、健身、替代医学 | 边界模糊,医学性弱 |
| 非临床 | 医疗服务、医学教育、激素、一般医学 | 多为行政或元信息类,分类价值低 |
这种混合类目体系是平台自然演化的结果,不是为分类任务设计的标签体系。ACM 基准论文的做法是:先合并语义重叠类(如性健康与不孕不育、内科与全科),再剔除 8 个低价值类(医疗服务、激素、医学教育、替代医学、一般医学、物理治疗、医学诊断、遗传疾病),最终降到 42 类。
2.5 分布:长尾到什么程度
官方分布表仅 12.3 KB,正文与第三方分析给出的概括是:最大类样本数以万计,最小类不足百条。ACM 论文进一步给了操作化的上下限:每类最多 12,000 条(超出随机下采样)、最少 100 条(不足剔除)。这两个阈值本身就是对分布形态的量化解读——如果分布是均衡的,根本不需要设阈值。
长尾的直接后果有三个:一是直接训练时多数类主导损失;二是少数类在测试集里样本太少,单类指标方差极大;三是宏平均(macro-F1)与微平均(accuracy)会给出差异很大的观感,报分时必须说明口径。
2.6 英译表:它能做什么、不能做什么
英译表的价值不在"替代阿语研究",而在三件事:跨语言检索(用英文查询命中阿语问答)、迁移学习(英语医疗模型的特征对齐)、以及为非阿拉伯语审阅者提供可读性。它的局限同样明确:译文丢失方言信息;医学术语的译法未做统一术语表约束;译文质量无人工评估报告。因此任何用英译表得出的结论,都应回到阿语原表复核。
§3 来源与采集:从一个问答站到一张表
3.1 Altibbi 是什么
Altibbi 是阿拉伯世界较早的数字化健康平台之一,核心功能包括医生名录与预约、症状自查、药品说明,以及一个长期运营的公开"问医生"板块。用户在该板块提交问题,平台内的医生作答,问答以公开页面形式沉淀。这种"公开沉淀"是 AHD 能够存在的前提——如果问答是私密咨询,抓取并再分发就缺少最基础的公开性依据。
从医疗数据分类的角度,Altibbi 问答属于二手、公开、患者自发表达的一类:不是研究者设计的问卷,也不是临床记录的结构化提取,而是患者在真实焦虑状态下自己写下的文字。这类文本的研究价值在于"语言真实",代价在于"结构混乱"。
3.2 采集方式与论文的表述
Data in Brief 的体裁是 data note:重点交代数据怎么来、长什么样、能干什么,而不追求方法创新。论文对采集的交代是"scraped from medical website",即对公开页面的抓取,并将原始结果直接发布。论文没有公开爬虫代码、抓取时间范围、去重规则或清洗脚本——这是 Data in Brief 类数据集常见的透明度缺口,也是复用者必须自己补课的地方。
没有抓取时间窗,意味着无法判断数据覆盖的年份梯度;没有去重规则说明,意味着同一患者在多个类目重复提问的情况无法排除。这两点在核查时必须写进"已知未知"清单。
3.3 从页面到三列:丢失了什么
抓取公开页面时,页面上其实有更多信息:提问时间、回答医生姓名与科室、浏览量、点赞、追问串。AHD 只保留了三列,其余全部丢弃。对隐私保护而言丢弃是好事;对研究而言则意味着:
- 无法做时序分析(哪类疾病随季节波动);
- 无法做医生层面差异研究(回答长度与资质的关系);
- 无法重建多轮追问(患者补充说明的那条消息可能被并入答案或被丢弃);
- 无法做质量信号研究(高赞回答是否更准确)。
复用者在设计课题前必须先接受这些约束,而不是事后发现字段不存在。
3.4 隐私与伦理:抓取公开数据的老问题
患者自述中常含年龄、性别、地域、病程、用药史,甚至家庭成员信息。即便平台做了展示层匿名化,文本内的自述仍可能构成间接标识(quasi-identifier)。AHD 未随附去标识化说明或 PII 扫描报告,因此:
- 任何二次发布、示例展示都应先做 PII 筛查;
- 论文中的引例应改写而非照搬;
- 训练出的生成模型存在复述原始患者陈述的风险,需在部署侧做输出过滤。
这不是 AHD 独有的问题,而是所有"抓取型医疗语料"的共同负债。库内同类条目(如 cMedQA2)同样面对社区平台语料的授权与隐私双重不确定性。
3.5 版本演进:v1 到 v6
Mendeley Data 采用版本化 DOI 机制:10.17632/mgj29ndgrk.N 指向第 N 版,主干 DOI 始终指向最新版。可核实的节点是:数据集首次创建于 2024 年 4 月;论文引用 v5;当前页面为 v6,发布于 2024 年 9 月上旬。中间版本的具体变更说明未在页面公开——这正是"版本链不透明"的典型:使用者引用时若只写主干 DOI,v7、v8 出现后引用所指内容可能已变。
引用建议:在方法学描述中同时写出"v6,DOI 10.17632/mgj29ndgrk.6"与访问日期,而不是只写 10.17632/mgj29ndgrk。
§4 数据质量解剖:四类结构性缺陷
4.1 缺陷一:类目失衡不是"偏斜",是数量级差异
一般的类别不平衡指 1:5 或 1:10。AHD 的失衡是数量级级别:最大类上万条,最小类不足百条,比值可达两个数量级以上。这种失衡会带来三个连锁反应:
| 现象 | 机制 | 缓解手段 |
|---|---|---|
| 模型退化为"多数类预测器" | 交叉熵被大类主导 | 类权重、focal loss、下采样 |
| 少数类指标不可信 | 测试样本过少,方差大 | 报告置信区间或合并类 |
| 宏/微平均结论相反 | 宏平均放大少数类错误 | 同时报两种口径 |
ACM 论文的做法是"截尾":上下限设为 [100, 12,000],超上限随机下采样、低于下限剔除。这是最简单也最可复现的处理,代价是丢弃了大量大类样本。
4.2 缺陷二:类目语义重叠导致标签噪声
平台类目不是互斥划分。一个"反复胃痛伴反酸"的问题,可能被归到内科,也可能被归到消化科;"月经不调伴痤疮"可能进妇科也可能进皮肤科。这类重叠在 AHD 中普遍存在,ACM 论文的专家复核直接点出了两类典型误标:遗传病问题常被误放进检验类;一般健康问题被塞进过细的专科类。
标签噪声对分类任务的影响是把"上限"压死:模型学到的不是医学边界,而是标注员的边界。这也是 ACM 论文宁可把 90 类压到 42 类的原因——合并后的类更接近临床可分辨的粒度。
4.3 缺陷三:文本噪音与"标题党式"截断
近九成问题以省略号结尾,说明平台列表页对问题做了截断展示,而抓取很可能取的是列表摘要而非详情全文。若属实,则相当一部分问题的主诉信息不完整——症状描述被截在关键处。这会同时伤害分类(信息不足)与生成(答案与截断问题不匹配)。
这一点在原始文档中未被明确讨论,属于推断性风险,引用时应标注为"待核"。可验证的方式是抽样比对 Mendeley 数据与 Altibbi 在线页面同一条问题的文本长度。
4.4 缺陷四:单轮结构丢失语境
真实医患问答常有多轮:患者补充"已经吃了两周药没用",医生再追问"有没有做胃镜"。AHD 只保留一问一答,语境被压平。对聊天机器人研究,这意味着 AHD 只能训练"首轮应答",无法训练澄清提问(clarifying question)与状态跟踪。
4.5 质量的三档判读
把上述缺陷合起来看,可以给 AHD 一个"分场景的质量判读":
| 使用场景 | 可用度 | 理由 |
|---|---|---|
| 预训练语料(继续预训练阿拉伯语医疗语言模型) | 高 | 体量与语言真实性是核心,噪音可由清洗吸收 |
| 90 类专科分类(研究性质) | 中 | 需重划分、重合并、报告多口径 |
| 官方基准评测 | 低 | 无划分、无协议、标签噪声高,不宜作为唯一基准 |
| 答案生成(监督微调) | 中 | 需过滤低质答案,缺乏质量标签是硬伤 |
| 临床决策支持 | 极低 | 非临床验证数据,不可用于诊疗 |
§5 可用任务谱:从分类到跨语言
5.1 任务一:专科分类(triage)
输入问题文本,输出 90 类(或合并后的 42 类)之一。这是 AHD 最直接、被引用最多的任务。评价指标建议同时给 accuracy 与 macro-F1,并按类目规模分组报告。
5.2 任务二:问题到回答的生成
以问题为条件生成医生口吻回答。AHD 在该任务上的价值主要是语料规模与语域真实性;风险是答案质量参差且无标签,模型可能学到冗长的模板化回复。常见做法是先用长度、重复率、是否含具体建议做粗筛。
5.3 任务三:检索与匹配
把 AHD 当作文档库,做"给定新问题检索相似历史问答"的语义检索任务。这与 cMedQA2 的答案选择任务形式相近,但 AHD 没有候选池标注,需要自行构造负样本。
5.4 任务四:跨语言迁移
利用英译表,把 AHD 变成"阿语问题—英语问题—英语答案"的三元组,用于跨语言检索与零样本迁移评测。这类用法在文献中尚不多见,属于可探索方向。
5.5 任务五:语言学研究
方言识别、语域转换(患者方言→医生 MSA)、医学外借词(英语药名在阿语中的嵌入方式)等都是 AHD 天然适配的研究问题,且不依赖标签质量。
5.6 不适配的任务
- 多轮对话状态跟踪:缺多轮结构;
- 答案质量排序:缺质量标签;
- 临床试验筛选:缺结构化纳排条件;
- 影像/多模态:纯文本,无配对影像。
§6 获取与许可:门是开着的,但要看清门后的牌
6.1 获取路径
三步:进入 Mendeley Data 数据集页 → 选择版本(建议锁定 v6)→ 下载 zip(约 291 MB)或单文件。无需注册申请、无 embargo、无 gated 审批。
6.2 许可声明与其边界
页面标注 CC BY 4.0:允许共享与改编,包括商业使用,条件是署名。这是相当宽松的许可。但必须区分三层权利:
- 数据集打包层的权利:上传者(Gawbah)对整理成果的授权;
- 原始内容的权利:问答文本由患者与医生创作,平台可能主张汇编权或使用条款限制;
- 人格权/隐私权:即便许可允许,处理含可识别信息的文本仍受各司法辖区个人信息保护法约束。
上传者的 CC BY 声明不能自动覆盖第二、三层。这是所有"平台抓取型数据集"的共同法律灰区,使用者在商业场景中应做独立合规评估。
6.3 引用格式
推荐写法:
Gawbah H. AHD: Arabic Healthcare Dataset [Data set]. Mendeley Data, v6, 2024.
https://doi.org/10.17632/mgj29ndgrk.6
配套论文:Al-Majmar NA, Gawbah H, Alsubari A. AHD: Arabic healthcare dataset. Data Brief. 2024;56:110855. doi:10.1016/j.dib.2024.110855
6.4 AI-Ready 视角下的取用建议
从"可直接喂给模型"的角度,AHD 的 AI-Ready 程度处于中低:
- 格式上是表格,易读;
- 但缺少 schema 约束(无字段类型定义、无类目字典文件)、缺少划分、缺少质量元数据、缺少去重与 PII 处理记录;
- 需要使用者补一份"数据卡"(datasheet)才能进入可复现流水线。
6.5 许可与获取的五个坑
坑 1:把主干 DOI 当版本 DOI 引用。 10.17632/mgj29ndgrk 永远指向最新版,论文写的是 v5,仓库已是 v6,将来还会有 v7。方法学段落必须写死版本号。
坑 2:英译表格式口径冲突。 Mendeley v6 文件列表写 AHD_english.xlsx(118 MB),论文写 ZIP 内含 AHD_english_translated.csv。两者可能对应不同版本,也可能论文描述滞后。以下载实测为准,并在论文中注明。
坑 3:把 “AHD contains one file” 当真。 数据集描述原文仍写"含一个文件",与实际三文件不符——这是描述未随版本更新的遗留。按文件列表行事。
坑 4:误以为 CC BY 4.0 解决了全部授权。 见 6.2 的三层权利拆分。
坑 5:忽略"发布日期差一天"的双口径。 v6 页面一处写 9 月 4 日、另一处摘要写 9 月 5 日,引用时写"2024 年 9 月"即可,不必精确到日。
§7 评估与基准:AHD 上已经跑出过什么数字
7.1 原始论文:不做实验
Data in Brief 的 data note 体裁不要求模型实验。原论文的价值主张是"提供数据",不提供基线。因此不存在"官方基线分数"——任何声称"AHD 官方准确率"的说法都应被质疑。
7.2 第三方基准:42 类上的四个模型
ACM 会议论文《Analysis and Benchmarking of LLMs for Classifying Arabic Medical Questions on the AHD Corpus》是目前可查到的最系统的 AHD 分类基准。其流程为:专家抽样复核 → 合并语义重叠类 → 剔除 8 个低价值类 → 90 类压到 42 类 → 按 [100, 12,000] 阈值截尾 → 五步文本规范化 → 80/10/10 分层划分。
结果(宏平均口径):
| 模型 | Accuracy | Precision | Recall | F1 |
|---|---|---|---|---|
| AraBERTv2 | 74.98 | 74.50 | 74.98 | 74.59 |
| MARBERTv2 | 74.28 | 73.75 | 74.28 | 73.88 |
| RoBERTa(多语) | 74.09 | 73.43 | 74.09 | 73.62 |
| SVM + TF-IDF | 65.40 | 64.80 | 65.40 | 65.10 |
训练配置:3 epoch、batch size 16、最大长度 128 token、Adam + 线性预热。
7.3 怎么读这组数字
三个观察:
- 预训练语言模型领先传统方法约 10 个点(74.59 vs 65.10),说明语料虽脏,上下文表征仍有价值;
- 阿语专用模型(AraBERT、MARBERT)与多语 RoBERTa 差距在 1 个点以内,说明 AHD 的方言混杂削弱了阿语专用词表的优势——这与"专用模型一定更好"的直觉相反;
- 类间差异极大:眼科、牙科 F1 可达 0.9 以上,心理、营养、妇科在 0.79–0.85 区间。原因不难理解——眼科与牙科的词汇高度专有,而营养与内科的边界天然模糊。
7.4 缺失的评测维度
ACM 基准只做了分类,没有做:生成质量(BLEU/ROUGE/BERTScore/人工评分)、跨语言迁移、方言分组的鲁棒性拆解、校准(calibration)。这四块都是可发表空白。
§8 生态与影响:它在阿拉伯语医疗 NLP 中的位置
8.1 横向:阿拉伯语医疗文本资源的稀缺谱系
阿拉伯语医疗 NLP 的公开资源大致分四层:
| 层级 | 代表资源类型 | 规模量级 | AHD 的位置 |
|---|---|---|---|
| 考试题 | 医师执照考试多选题 | 千至万 | 不同层 |
| 学术文献 | 摘要/全文问答 | 万至十万 | 不同层 |
| 消费者问答 | 平台医患问答 | 万至百万 | AHD 所在层,规模领先 |
| 临床记录 | 病历/出院小结 | 千至万(且多不公开) | AHD 不涉及 |
在"消费者问答"这一层,AHD 的 80 万量级使其成为稀缺品;但同层还缺乏与之配套的"质量标注子集"与"官方划分",这是它与英语侧 MedQuAD(经人工筛选的 4,700 组问答)在工程质量上的差距。
8.2 纵向:后续研究的引用方式
从目前可见的引用形态看,AHD 主要被用于三类工作:阿拉伯语医疗文本分类的预训练或微调底座、方言鲁棒性研究、以及聊天机器人原型的语料来源。ACM 基准论文是其中工程化程度最高的一篇,其"90→42 类 + 阈值截尾"的处理已成事实上的社区惯例。
8.3 产业侧:Altibbi 自身
Altibbi 作为数据源平台,本身也在做生成式医疗助手类产品。AHD 的公开在客观上为该平台的问答资产做了学术背书,但也带来一个微妙的伦理张力:平台内容被第三方以 CC BY 打包,而平台自身的使用条款未必同意。这一张力在数据集被商业模型使用时会被放大。
§9 与库内条目的关系:消歧与互链
AHD 落在"医学问答"这个在库内已经相当拥挤的标签域里。本节的责任是把"看起来像"和"实际是"区分开——因为"医学问答数据集"这个词至少覆盖了六种完全不同的物:考试题、文献问答、消费者问答、社区问答、对话、影像问答。AHD 只属于其中一种。
9.1 核心消歧:AHD 与 MedQuAD
MedQuAD(库内 rid 160)是最容易被与 AHD 混淆的条目:两者都是"从权威医疗网站采集的消费者健康问答"。差异在于:
| 维度 | AHD(80.8 万条) | MedQuAD(约 4.7 万条) |
|---|---|---|
| 语言 | 阿拉伯语(+英译附表) | 英语 |
| 来源 | 平台医患问答(患者提问 + 医生回答) | 9 个 NIH 系网站的健康知识问答(多为编者撰写) |
| 文本性质 | 口语化、方言、语法不完整 | 编辑体、书面、规范 |
| 问答方向 | 患者问、医生答 | 网站侧"常见问题"式组织 |
| 标注 | 平台 90 个专科类目 | 语义类型 / 问答类型(疾病、症状、治疗等) |
| 用途 | 分类、生成、方言鲁棒性 | 问答对检索、知识组织 |
一句话:MedQuAD 是"编好的科普问答",AHD 是"病人自己写的求助"。前者干净但不像人说话,后者像人说话但不干净。
9.2 AHD 与 cMedQA2
cMedQA2(rid 825)是中文社区医疗问答,同为"平台采集 + 患者提问 + 医生回答 + 三列左右结构",与 AHD 在数据谱系上最接近。差异在于任务:cMedQA2 的论文核心是答案选择(给定问题从候选池中选正确答案),有官方 train/dev/test 与候选池构造;AHD 没有划分也没有候选池,是纯语料。此外 cMedQA2 规模为 10.8 万问 / 20.4 万答,AHD 是 80.8 万条,量级差约四倍。
检索提示:想找"中文版 AHD"式语料,看 cMedQA2;想找"有划分可报分的中文答案选择基准",也看 cMedQA2。二者是"同一数据形态的两种工程化程度"。
9.3 AHD 与 MedQA / MedMCQA / HeadQA
MedQA(rid 50)、MedMCQA(rid 111)、HeadQA(rid 120)都是考试题:有唯一标准答案、有选项、有明确知识点。AHD 与之的根本差异不是语言,而是任务性质——考试题考的是知识回忆,AHD 记录的是求助行为。用考试题训练出的模型在 AHD 上往往表现不佳(语言形态差异大),反之亦然。
HeadQA 的价值在此处是提供了一个对照样本:它是西班牙语考试题,说明"非英语医学问答"里也有干净的高质量资源,只是干净意味着离真实患者语言更远。
9.4 AHD 与 HealthSearchQA / MedDialog
HealthSearchQA(rid 492)是谷歌健康搜索的消费者问题集,只有问题没有问题对应的优质答案,用于评测模型回答质量。AHD 则是问题加真实医生答案,但没有质量标签。两者可以互补:以 AHD 为语料池,以 HealthSearchQA 的问题形态做检索式评测。
MedDialog(rid 210)是中英文多轮医患对话,与 AHD 的单轮问答形成结构对照。做对话系统研究时,AHD 适合冷启动语料,MedDialog 适合多轮建模;二者不能互换。
9.5 AHD 与 VQA-Med 及影像类问答
VQA-Med(rid 280)等是影像视觉问答,属多模态;AHD 是纯文本。二者仅在"医学问答"标签下并列,无技术可比性。
9.6 家族图谱与检索路径
医学问答
├── 考试型(有标准答案) MedQA(50) · MedMCQA(111) · HeadQA(120)
├── 文献型(证据推理) PubMedQA(49)
├── 消费者问答(编辑体) MedQuAD(160) · HealthSearchQA(492)
├── 社区问答(患者语言) cMedQA2(825,中文) · AHD(本文,阿拉伯语)
├── 对话型(多轮) MedDialog(210) · MEDIQA(220)
└── 影像问答(多模态) VQA-Med(280) · VQA-RAD(240) · PathVQA(260)
四条检索路径:
- 做多语言医疗问答对照:AHD(阿语)+ cMedQA2(中文)+ MedQuAD(英语)+ HeadQA(西语),可构成四语对照矩阵。
- 做患者语言 vs 编辑语言的域差异研究:AHD vs MedQuAD 是最干净的一对。
- 做回答质量评测:以 AHD 为语料来源、HealthBench(1063) 或 HealthSearchQA 的评分框架为标尺。
- 做对话系统:AHD 单轮冷启动 + MedDialog 多轮精调。
9.7 建议互链点(供发布侧回填)
| 目标条目 | rid | 关系 |
|---|---|---|
| medquad | 160 | 同域异构:编辑体 vs 患者语言,英语对照 |
| cmedqa2 | 825 | 同形态跨语言:中文社区医疗问答 |
| medqa | 50 | 对照:考试型问答 |
| medmcqa | 111 | 对照:印度医学入学考试多选题 |
| headqa | 120 | 对照:西班牙语考试问答 |
| healthsearchqa | 492 | 互补:消费者健康问题集 |
| meddialog | 210 | 对照:多轮医患对话 |
| vqa-med | 280 | 对照:多模态影像问答 |
| healthbench | 1063 | 下游:对话回答质量评测 |
§10 避坑清单:十个已经踩过的坑
坑 1:把 AHD 当成"阿拉伯语版 MedQuAD"直接对比规模。 两者来源性质不同(平台问答 vs 编辑知识库),80.8 万 vs 4.7 万不是"更全",而是"更野"。
坑 2:英译表格式口径冲突。 Mendeley v6 列 AHD_english.xlsx(118 MB),论文写 ZIP 内 AHD_english_translated.csv。以实下为准,引用时注明版本。
坑 3:数据集描述自相矛盾。 描述原文仍称"AHD contains one file",实际三个文件 + 一个 zip。描述未随版本更新,别按文字推断文件数。
坑 4:主干 DOI 当版本 DOI 用。 论文引 v5,仓库 v6。写方法学必须锁版本号。
坑 5:CC BY 4.0 被误读为"可任意商用"。 上传者的授权不覆盖原始平台条款与患者人格权,商业使用需独立合规评估。
坑 6:90 类直接拿来报分。 类目语义重叠 + 数量级失衡,直接报分没有可比性。要么按 ACM 做法合并并截尾,要么明确写"未清洗基线"。
坑 7:把省略号结尾当成文本特征。 近九成问题以 “…” 收尾,是平台展示截断残留,不清理会污染分词与长度统计。
坑 8:忽略方言分层。 同一标签下混着 MSA 与多种方言,按语言整体报分会掩盖方言子集上的显著落差。
坑 9:指望它有多轮上下文。 单轮问答,没有追问串,无法训练澄清提问与状态跟踪。
坑 10:忽略 PII 风险。 患者自述含间接标识,示例引用与模型输出都需筛查。
坑 11:把第三方论文的数字说成"官方基准"。 AHD 官方无基线,ACM 论文的 42 类结果是该文自行设计的协议。
坑 12:检索时不带限定词。 “AHD” 在生物信息、测绘、兽医领域均有同名缩写,检索须带 “Arabic” 或 DOI。
§11 总结与使用建议
11.1 三句话总结
- AHD 是当前公开的、规模最大的阿拉伯语医患问答语料之一(>808k / 90 类),价值在于真实的患者语言与方言多样性。
- 它是语料不是基准:无划分、无质量标签、类目失衡,任何报分都必须自行声明清洗与切分协议。
- 许可是 CC BY 4.0,但授权链条只到上传者一级,商业使用与含个体信息的文本处理需独立合规审查。
11.2 适合谁
- 做阿拉伯语医疗文本分类 / 生成的研究者:现成的最大体量选择;
- 做方言鲁棒性的团队:少数能提供多方言样本的医疗语料;
- 做跨语言医疗检索的团队:英译表提供对齐锚点;
- 做医疗聊天机器人冷启动的工程团队:语料量大,但需前置清洗流水线。
11.3 不适合谁
- 需要官方评测协议做论文主实验的团队:请改用有划分的基准;
- 需要答案质量标签做排序研究的团队;
- 需要多轮对话或临床记录的团队;
- 需要临床级准确性的应用。
11.4 30 秒决策卡
| 如果你的需求是… | 决策 |
|---|---|
| 找阿拉伯语医疗文本训练语料 | 用,锁定 v6,先做五步清洗 |
| 找可报分的阿拉伯语医疗分类基准 | 用 ACM 42 类协议,不宣称官方 |
| 找患者语言 vs 编辑语言对照 | 用,与 MedQuAD 配对 |
| 找多语言四语对照 | 用,与 cMedQA2/MedQuAD/HeadQA 组合 |
| 做商业产品训练数据 | 先做授权与 PII 合规评估 |
| 做临床决策支持 | 不用 |
DAIMS 数据质量评估
DAIMS(Data and Information Management Standards,数据与信息管理标准)框架下的多维度打分,用于横向比较库内问答类数据集的工程完备度。评分 1–5 分,5 分为最佳。
| 维度 | 评分 | 说明 |
|---|---|---|
| 完整性与覆盖度(Completeness) | 4 | 体量大、专科覆盖广,但缺时间与来源元字段 |
| 准确性与可靠性(Accuracy) | 2 | 抓取原始形态,标签有专家复核确认的误标 |
| 一致性与标准化(Consistency) | 2 | 类目语义重叠、方言与 MSA 混排、无术语表 |
| 可追溯性(Traceability) | 2 | 有 DOI 与论文,但缺抓取脚本、时间窗、清洗记录 |
| 时效性(Timeliness) | 3 | 2024 年版本,平台内容持续更新但数据集未同步机制 |
| 可获取性(Accessibility) | 5 | Mendeley 直下,CC BY 4.0,无 gated |
| 可理解性(Understandability) | 3 | 三列结构直观,但缺类目字典与字段说明 |
| 合规性(Compliance) | 2 | 授权链条未覆盖原始平台条款,无 PII 处理说明 |
| 可复用性(Reusability) | 3 | 格式通用,但需自建划分与清洗流水线 |
| 互操作性(Interoperability) | 3 | xlsx 易读,无 schema 与本体映射,类目未对齐标准术语集 |
| 加权综合 | 2.9 | 语料价值高、工程完备度偏低 |
评分说明:可获取性满分是 AHD 相对多数医疗数据集的最大优势;准确性与合规性低分不是"数据造假",而是"原始形态 + 授权灰区"的必然结果。使用者应据表自行决定投入多少清洗成本。
§17 类目体系逐组解说
17.1 临床专科组
这是 AHD 的主体,也是分类任务真正有价值的部分。内科、儿科、皮肤科、牙科、眼科、妇科、泌尿科、心理科、消化科、骨科等类目承载了绝大多数样本。其共同特征是:类名即临床科室名,边界由医院分科习惯而非文本特征决定。
这带来一个分类学上的两难:科室划分是组织维度(谁来看病),不是语义维度(文本在说什么)。同一个"头痛"可以在内科、神经科、心理科、眼科(青光眼)之间漂移。任何以 90 类为标签的分类器,学到的其实是平台的挂号习惯。
17.2 辅助检验组
检验、影像、药理这类类目描述的不是疾病,而是检查手段或干预手段。患者问"我的血的指标是什么意思""这个药能不能一起吃"时会被归入此类。这类问题在文本上高度模板化(含具体数值、药名、单位),分类器容易靠关键词命中,但泛化性差——换个写法就失效。
17.3 生活方式组
营养、健身、替代医学属于"医学性弱"的类目:问题常涉及减肥、增肌、保健品、草药。这类文本的医学信息密度低,且与商业营销语言混杂,是噪音的主要来源之一。ACM 基准把"替代医学"整体剔除,正是因为其分类价值与医学意义都不足。
17.4 非临床组
医疗服务(挂号、收费、报告获取)、医学教育(报考、规培)、激素、一般医学——这些类目在平台上用于收纳"不属于任何专科"的问题,本质是兜底桶。它们的存在使分类任务的类别体系失去互斥性:任何无法归类的问题都可以丢进"一般医学",而模型无法从这个标签学到任何东西。
17.5 从 90 到 42:合并的具体逻辑
ACM 论文的合并遵循"临床范围重叠 + 抽样确认"两步:先由领域专家审阅每一对候选类目的随机样本,确认两者的临床描述与词汇分布无法稳定区分,才批准合并。典型合并包括:
| 合并前 | 合并后 | 依据 |
|---|---|---|
| 性健康 + 不孕不育 | 性健康与生殖 | 大量问题共享相同的临床词汇与症状描述 |
| 内科 + 全科医学 | 内科 | 标注方案本身存在临床歧义 |
| 若干细分专科 | 归入父类 | 样本量不足或边界不清 |
合并的代价是信息损失:原本可以回答"这是消化科还是内科"的问题,现在只有一个答案。收益是可训练性:类目更少、每类样本更多、类间边界更清晰。
17.6 类目字典缺失的后果
AHD 没有提供类目定义文件——没有每类的判定标准、正例、反例。这意味着:
- 复现者只能从类名推断语义;
- 不同团队对同一类名的理解可能不同,导致合并方案各异;
- 无法评估"标注一致性",因为没有可对照的标注指南。
这是 AHD 相对成熟基准数据集(如 MedMCQA 有明确科目体系)最明显的工程短板。
§18 方言与语域:被低估的研究资产
18.1 三种语域的共存
AHD 的每一行里可能同时出现三种语域:
- 患者提问:口语化、方言化、情绪化,常含拼写错误与英文夹杂;
- 医生回答:书面化、接近 MSA、结构清晰(先结论后建议);
- 平台类目:行政化、单词或短语。
这种"一行三语域"的结构,在公开医疗语料中相当罕见。它使 AHD 天然适合做语域转换(style transfer)研究:把口语提问改写成规范病历语言,或把医生回答改写成患者能懂的通俗语言。
18.2 方言的地理分层
阿拉伯语方言大致可分为海湾(Gulf)、黎凡特/东阿拉伯(Levantine)、埃及(Egyptian)、马格里布(Maghrebi)等大区。Altibbi 的用户以海湾与黎凡特地区为主,因此 AHD 的方言分布大概率偏向前两者,埃及方言次之,马格里布方言稀少。这一推断基于平台用户地理分布,AHD 本身未提供地理标签,属于待核推断。
18.3 方言对分类的影响机制
方言影响分类有三条路径:
- 词汇替换:同一概念在不同方言中用不同词(如"现在"在海湾与埃及方言中写法不同);
- 形态变化:动词变位、否定结构随方言变化;
- 拼写自由:口语词无标准拼写,同一发音有多种写法。
预训练模型如果在 MSA 上为主训练,遇到方言拼写时会退化为子词切分,语义表征质量下降。这是为什么 AHD 上"阿语专用模型"与"多语模型"差距不大的可能解释之一——两者都不是为方言优化的。
18.4 语域转换的实操价值
在真实产品中,语域转换有两个高价值场景:一是分诊前置,把患者口语提问规范化为可检索的临床表述;二是回答下沉,把医生回答转成患者可读的通俗版本。AHD 同时提供了转换的源与目标,是目前最现成的训练材料之一。
§19 从数据到模型的工程细节
19.1 分词器的选择
阿拉伯语分词有三档:词级(word)、词干级(stem)、字符级/子词级(subword)。现代预训练模型多用 SentencePiece/BPE 子词分词,对阿拉伯语的前缀(و、ب、ل、ك)与后缀(ها、هم、ون)处理依赖词表覆盖。AraBERT 使用基于 MSA 的词表,对方言拼写覆盖有限;MARBERT 在推特等社交媒体文本上训练,对方言更友好——这解释了为何两者在 AHD 上表现接近但略有差异。
19.2 最大长度的取舍
ACM 基准采用 128 token。AHD 的问题通常较短(截断展示),但答案往往很长。如果任务是分类,只用问题即可,128 足够;如果任务是生成或问答匹配,答案需要更长的窗口,或采用分段编码 + 池化。
19.3 类别权重的设置
对数量级失衡的类目,常用两种处理:类权重(class weight ∝ 1/频次)与重采样。AHD 上建议先做阈值截尾(下采样大类、剔除极小类),再对剩余类设权重——两者叠加比单纯加权更稳定。
19.4 评估口径的三件套
任何在 AHD 上报分的工作,应同时给出:accuracy(微平均观感)、macro-F1(类均衡观感)、按类目规模分组的 F1(长尾诊断)。只报 accuracy 会掩盖长尾崩溃,只报 macro-F1 会掩盖大类退化。
19.5 交叉验证的必要性
由于无官方划分,单次随机切分的结果方差可能很大。建议至少 5 折交叉验证,并报告均值与标准差。对极小类,折内可能无样本,需在报告中说明。
19.6 防泄漏的三道闸
- 近重复去重:同一问题在多个类目重复出现,去重后再切分;
- 答案级泄漏:医生回答常有模板化开头,若用答案做特征,需避免测试集答案进入训练;
- 类目映射泄漏:合并类目的映射表必须在切分前固定,不能根据测试结果调整。
§20 与患者语言研究的关系
20.1 患者语言的三个特征
医疗 NLP 长期以医生书写的病历、论文、指南为语料,患者语言长期缺席。AHD 补上的正是这一块。患者语言有三个特征:
- 症状叙述优先于诊断术语:患者说"胸口像压了块石头",不说"心绞痛";
- 时间与因果模糊:很少有精确病程,多是"最近"“好久了”;
- 情绪与求助意图交织:焦虑、恐惧、试探性询问常与症状描述混在一起。
这三个特征使患者语言成为症状规范化(symptom normalization)任务的天然材料:把自由表述映射到标准症状本体(如 SNOMED CT 的症状术语)。
20.2 与消费者健康问答的区别
HealthSearchQA 收录的是搜索引擎里的健康查询,特点是短、碎片、关键词化;AHD 收录的是平台上的完整提问,特点是长、叙事、口语化。两者分别对应"搜索意图"与"咨询意图",在问句完整度与信息量上有明显差异。做意图分类时,两者可以构成互补的训练集。
20.3 与病历文本的距离
患者语言与病历文本之间隔着一次"临床转写":医生把"胸口像压了块石头、爬两层楼就喘"转写成"活动后胸闷气促 2 周"。AHD 的医生回答正是这一转写的半成品——它比病历更口语,但比患者提问更规范。这个中间态使它成为研究"转写过程"的独特材料。
20.4 伦理边界
患者语言研究的价值与风险同源:越真实越有用,也越容易涉及隐私。任何使用 AHD 的研究都应遵守三条底线:不尝试重识别、不公开发布原始文本、不将模型用于对具体个人的诊断建议。
§12 实操:拿到 AHD 之后的第一周
12.1 第一天:验货
下载 zip 后不要急着训练,先做四项验货:
# 1. 行数与文件结构
import pandas as pd
ar = pd.read_excel("AHD.xlsx")
en = pd.read_excel("AHD_english.xlsx")
dist = pd.read_excel("Distribution of Question and Answer per category.xlsx")
print(ar.shape, en.shape, dist.shape)
print(ar.columns.tolist())
# 2. 两表行数是否一一对应(英译表应为逐行对齐)
assert len(ar) == len(en), "英译表与阿语表行数不一致,需确认版本"
# 3. 类目频次分布(检查长尾与空值)
vc = ar["category"].value_counts()
print(vc.head(10), vc.tail(10), vc.min(), vc.max())
# 4. 空值与重复
print(ar.isna().sum())
print(ar.duplicated(subset=["question"]).sum())
验货要回答四个问题:行数是否与"808k"口径相符;两表是否逐行对齐;类目分布是否与官方分布表一致;重复问题占比多少。这四个数字写进数据卡。
12.2 第二天:清洗流水线
按 ACM 论文的五步规范化,再加两步本地惯例:
| 步骤 | 操作 | 目的 |
|---|---|---|
| 1 | 去除尾部省略号与重复标点 | 消除展示截断残留 |
| 2 | 去除阿拉伯语变音符号(tashkeel) | 减少拼写不一致 |
| 3 | 合并多余空白、去首尾空格 | 统一分词边界 |
| 4 | 剥离无意义散落英文词,保留医学术语 | 降低语言混杂 |
| 5 | 阿拉伯字母规范化(أ/إ/آ → ا,ى → ي,ة → ه 视研究而定) | 合并拼写变体 |
| 6(本地) | 长度过滤(过短问题与超长答案) | 去噪 |
| 7(本地) | 近重复去重(MinHash / SimHash) | 防训练集泄漏 |
第 5 步需谨慎:字母规范化会抹平方言差异,若研究重点是方言识别,应跳过或单独保留一列原文。
12.3 第三天:切分与防泄漏
无官方划分,必须自建。三个原则:
- 按问题去重后再切分,否则同一问题在不同类目重复出现会造成测试集泄漏;
- 分层抽样(stratified split),保证每类在测试集中都有样本;
- 锁定随机种子并公开,便于复现。
对极少数类(<100 条),建议要么合并到父类,要么在报告中单列"样本不足,指标仅供参考"。
12.4 第四天:类目对齐
90 类与 42 类的映射表必须显式写出来并公开。推荐做法是产出一个 category_map.tsv:
原类目 合并后类目 处理方式
性健康 性健康与生殖 合并
不孕不育 性健康与生殖 合并
医疗服务 - 剔除
激素 - 剔除
没有这张表,任何"42 类结果"都无法复现。
12.5 第五天:基线
至少跑两条基线:多数类基线(majority class)与 TF-IDF + 线性模型。前者给出"什么都不学"的下界,后者给出"传统方法"的参照。AHD 的 ACM 基准给出 SVM 65.10 的 macro-F1,可作对照。
12.6 第六天:语言模型微调
在阿拉伯语预训练模型(AraBERTv2、MARBERTv2)上微调时,注意三点:最大长度 128 对多数问题够用,但长答案会被截断;学习率预热能稳定收敛;类别权重对长尾有实质帮助。
12.7 第七天:数据卡与复现包
产出五件套:数据卡(来源、规模、许可、已知缺陷)、清洗脚本、类目映射表、切分文件(含种子)、基线结果表。这套东西比模型权重更有长期价值。
§13 跨语言视角:英译表怎么用才不误导
13.1 三种用法
| 用法 | 做法 | 风险 |
|---|---|---|
| 跨语言检索 | 英语查询 → 检索阿语问答(用英译表建索引) | 译文丢失方言词,检索召回失真 |
| 迁移学习 | 英语模型在英译表上预训练,再到阿语数据微调 | 译文风格偏离原生英语,域差仍在 |
| 人工审阅 | 非阿语研究者借助译文核查样本内容 | 误把译文当原文引用 |
13.2 一条硬规矩
凡是关于"阿拉伯语语言现象"的结论,必须回到阿语原表验证。 译文可以作为理解的桥梁,不能作为证据。例如"患者常用埃及方言"这类判断,在英译表里完全看不出来——译文都是标准英语。
13.3 英译质量的自查方法
没有人工评分的情况下,可做三项自动检查:回译一致性(英译再译回阿语与原句的相似度)、术语一致性(同一阿语术语是否总译成同一英语词)、长度比分布(异常短或异常长的译文往往有问题)。三项都过,才能把英译表用于下游任务。
§14 常见误解澄清
误解一:AHD 是"阿拉伯语 MedQA"。
不是。MedQA 是执业考试题,有标准答案;AHD 是真实患者提问与医生回答,没有唯一正确答案。
误解二:80 万条意味着训练一定更好。
不一定。原始噪音、类目失衡与标签噪声会吃掉规模红利。ACM 基准显示,在 42 类上 AraBERTv2 只到 74.59 F1——这个数字在"清洗后"的语料上取得,若直接用 90 类原表,分数会明显更低且不可比。
误解三:CC BY 4.0 意味着可以随便发衍生数据集。
署名义务仍在;且原始平台条款与患者人格权是许可之外的独立约束。
误解四:英译表是人工精译。
原始文档未说明翻译方式,也未提供质量评估。按"未经验证的机器翻译"对待更稳妥。
误解五:有了 AHD 就不需要 MedQuAD 类资源。
两者互补:AHD 提供患者语言分布,MedQuAD 提供编辑体规范答案。做检索增强生成时,规范答案仍是更可靠的引用源。
误解六:方言混杂是缺陷,应该统一成 MSA。
取决于任务。分类任务上统一可降噪;方言识别、语域转换、鲁棒性研究上,方言正是研究对象。
§15 与库内其他多语/英语医学问答的对照矩阵
| 条目 | rid | 语言 | 规模 | 形态 | 有官方划分 | 有质量标签 | 许可 |
|---|---|---|---|---|---|---|---|
| AHD(本文) | — | 阿语 + 英译 | 80.8 万条 | 平台医患问答 | 否 | 否 | CC BY 4.0 |
| MedQuAD | 160 | 英语 | 约 4.7 万组 | 编辑体健康问答 | 否 | 否(有语义类型) | 公开 |
| cMedQA2 | 825 | 中文 | 10.8 万问 / 20.4 万答 | 社区问答 | 是 | 候选池标注 | GPL-3.0 |
| MedQA | 50 | 中/英 | 万级 | 执业考试 MCQ | 是 | 标准答案 | 研究用途 |
| MedMCQA | 111 | 英语 | 约 19 万 | 入学考试 MCQ | 是 | 标准答案 | MIT |
| HeadQA | 120 | 西语 | 数千 | 考试 MCQ | 是 | 标准答案 | 公开 |
| HealthSearchQA | 492 | 英语 | 3,375 问 | 搜索问题集 | 否 | 无答案 | 公开 |
| MedDialog | 210 | 中/英 | 数十万轮 | 多轮对话 | 是 | 无 | 公开 |
| VQA-Med | 280 | 英语 | 数千 | 影像问答 | 是 | 答案 | 公开 |
读表要点:在"患者语言"这一列里,AHD 是唯一一个大规模阿语资源;“有官方划分"与"有质量标签"两列 AHD 全为"否”,这两项缺口决定了它只能作为语料而非基准使用。
§16 研究机会:五个可发表的空白
- 方言分层评测:把 AHD 按方言(海湾/黎凡特/埃及)分组,测量模型在方言子集上的落差。ACM 基准未做此拆解。
- 标签噪声的定量估计:用多个模型交叉投票 + 人工抽检,估计 90 类的标签错误率,产出一份"可清理比例"报告。
- 生成质量基线:AHD 上尚无公开的生成评测(BLEU/ROUGE/BERTScore + 人工评分)。
- 跨语言迁移矩阵:以 AHD、cMedQA2、MedQuAD 构成阿-中-英三语迁移实验。
- 隐私风险评估:对文本做 PII 抽样标注,量化"抓取型医疗语料"的重识别风险——这是整个领域的空白。
12.8 数据卡的推荐字段
一份能被复用的数据卡,至少包含以下字段:
| 字段 | 内容示例 |
|---|---|
| 名称与版本 | AHD v6 |
| 来源与许可 | Altibbi 公开问答;CC BY 4.0(上传者声明) |
| 规模 | 808k 条,90 类;清洗后 N 条,42 类 |
| 语言与语域 | 阿语(MSA + 海湾/黎凡特/埃及方言);患者口语 + 医生书面 |
| 切分 | 分层 80/10/10,种子 42,按问题去重 |
| 预处理 | 五步规范化 + 长度过滤 + 近重复去重 |
| 已知缺陷 | 类目重叠、标签噪声、单轮、无质量标签 |
| 伦理 | 未做 PII 去除,仅供研究;不用于诊疗 |
| 限制 | 不含时间戳、医生信息、地理标签 |
§21 与"医疗问答"标签域其他条目的横向说明
21.1 为什么这个标签域需要消歧
库内"医学问答"标签下的条目已超过二十个,"问答"一词在不同条目中指向完全不同的对象:有的是考题(有标准答案、有选项),有的是文献推理(给定摘要判断结论),有的是消费者知识(网站编辑撰写),有的是社区帖子(患者提问 + 网友或医生回答),有的是对话(多轮),有的是影像问答(图 + 问)。彼此不可互相替代,也不应合并统计。
AHD 属于"社区问答"中的平台医患问答子类:问答双方分别是患者与(平台认证的)医生,而非网友互助。这一点使它在质量上介于"网友问答"(噪音大)与"编辑问答"(干净但非真实患者)之间。
21.2 与 MedDialog 的形态差异
MedDialog(rid 210)是多轮医患对话,来源为在线问诊平台的完整会话。AHD 是单轮问答,来自公开问答页。做对话系统时,前者能训练追问与澄清,后者只能训练首轮应答。两者规模都很大,但结构与用途不同。
21.3 与 HealthSearchQA 的意图差异
HealthSearchQA(rid 492)的 3,375 个问题来自谷歌搜索日志,是最"搜索意图"的一类;AHD 的问题来自问诊平台,是最"咨询意图"的一类。做意图分类或查询改写时,两者可构成对照样本。
21.4 与 HealthBench 的评测关系
HealthBench(rid 1063)是对话回答的评分框架(含评测标准与样本),不提供大规模语料。AHD 可作为其上游原料:用 AHD 训练或检索出候选回答,用 HealthBench 的评分维度评估。两者不是竞争关系。
21.5 归类建议
若要给 AHD 在库内找一个"最近邻",应选 cMedQA2(825)——同为社区平台问答、同为"问题 + 回答 + 标签"三列形态,仅语言与工程完备度不同。其次是 MedQuAD(160)——同为消费者健康问答,但语体相反。
§22 常见研究设计错误
错误一:在 90 类上直接报 accuracy。
多数类主导时 accuracy 可以虚高十几个点,且完全无法与文献对比。
错误二:用英译表做阿语语言学结论。
译文丢掉了方言与拼写信息,任何语言现象结论都必须回到原文。
错误三:把平台类目当临床金标准。
平台类目是运营标签,不是临床诊断,标签噪声已被专家复核证实。
错误四:忽略单轮约束去设计多轮系统。
用 AHD 训练出的模型在真实多轮场景中会暴露"不会追问"的问题。
错误五:不做去重就切分。
同一问题重复出现在不同类目,测试集污染会高估性能。
错误六:把第三方 74.59 F1 当官方基线引用。
这是特定清洗协议下的结果,换协议即不可比。
错误七:用 AHD 训练模型后直接部署为医疗建议系统。
数据未经临床验证,回答存在过时或错误建议,部署需人工审核与免责设计。
§23 术语表
| 术语 | 英文 | 释义 |
|---|---|---|
| 双言现象 | diglossia | 同一语言中书面标准语与口语变体并存 |
| 现代标准阿拉伯语 | Modern Standard Arabic, MSA | 阿拉伯语书面标准语,媒体与正式文本通用 |
| 变音符号 | tashkeel / harakat | 标注短元音的附加符号,日常书写常省略 |
| 医患问答 | patient–physician QA | 患者提问、医生作答的问答形态 |
| 消费者健康问答 | consumer health QA | 面向普通公众的健康知识问答 |
| 答案选择 | answer selection | 从候选答案中选出最相关的一条 |
| 分诊 | triage | 依据主诉判断应就诊科室 |
| 语域 | register | 语言使用的正式程度与场景风格 |
| 类目合并 | category merging | 将语义重叠的标签合并为一类 |
| 截尾 | thresholding | 对超上限类下采样、低于下限类剔除 |
| 宏平均 | macro-average | 先算各类指标再取平均,类间等权 |
| 微平均 | micro-average | 汇总所有样本后计算,受大类主导 |
| 数据卡 | datasheet / data card | 描述数据集来源、构成、限制的标准化文档 |
| 间接标识 | quasi-identifier | 与其他信息组合后可识别个人的属性 |
§24 一页速查卡
| 问题 | 一句话回答 |
|---|---|
| 这是什么 | 阿拉伯语平台医患问答语料,80.8 万条,90 类 |
| 谁做的 | 也门 Ibb University 团队,2024 年 |
| 在哪下 | Mendeley Data,DOI 10.17632/mgj29ndgrk.6 |
| 什么许可 | CC BY 4.0(上传者声明) |
| 有英文吗 | 有,118 MB 英译表,质量未评估 |
| 有划分吗 | 没有 |
| 有质量标签吗 | 没有 |
| 能报分吗 | 需自建协议;可参照 ACM 42 类方案 |
| 最强基线 | AraBERTv2,42 类宏平均 F1 74.59 |
| 最大缺陷 | 类目失衡、标签噪声、单轮、授权链条存疑 |
| 最像库内谁 | cMedQA2(形态)、MedQuAD(域) |
| 最不该做什么 | 直接当临床建议系统训练数据 |
§25 数据集谱系中的位置:三条脉络与一次断代
25.1 阿拉伯语 NLP 的三次资源浪潮
阿拉伯语 NLP 的资源建设大致经历三次浪潮。第一次是形态学与词表时代:研究者手工构建词干器、词形还原规则与方言词典,资源规模在万词级。第二次是标注语料时代:出现新闻语料、社交媒体语料、情感分析标注集,规模上到百万词,但集中在通用领域。第三次是应用驱动时代:按下游任务(问答、对话、检索)组织资源,规模与结构都向任务靠拢。
AHD 属于第三次浪潮中的垂直深耕型:不做通用语料,只做医疗这一垂直域;不做精巧标注,只做平台原生类目。它的贡献不是方法的,而是"把一类长期缺失的文本一次性补齐"。
25.2 医疗问答的四代形态
从工程角度看,医疗问答资源大致可分四代:
| 代际 | 典型形态 | 标注方式 | 代表 |
|---|---|---|---|
| 第一代 | 人工编写的知识问答对 | 专家逐条编写 | 早期医学 FAQ 库 |
| 第二代 | 从权威网站抽取的问答 | 规则抽取 + 语义类型标注 | MedQuAD |
| 第三代 | 平台/社区真实问答 | 平台类目 + 用户行为 | cMedQA2、AHD |
| 第四代 | 对话与多轮问诊 | 会话结构标注 | MedDialog |
AHD 是第三代的典型样本。第三代的核心矛盾是:真实性换来了标注质量的下降。第一、二代数据干净但与真实患者语言有距离;第三代贴近真实但标签噪声大、结构缺失多。第四代进一步贴近真实就诊流程,但也进一步脱离可复现的标注标准。
25.3 一次"断代":为什么非英语第三代资源稀少
第三代资源依赖一个前提:存在公开沉淀问答的平台。英语世界有大量此类平台与相对明确的公开内容规范,因此第三代英语资源丰富;中文世界有寻医问药、好大夫等社区,催生了 cMedQA 系列;阿拉伯语世界的此类平台较少,Altibbi 是其中规模最大者之一。这就是为什么 AHD 能以单一来源的 80 万条数据,成为该语言第三代资源的主要代表。
这也意味着 AHD 的脆弱性:它几乎完全依赖一个平台的历史数据。若平台变更内容策略或删除历史页面,该语言第三代资源的可得性将显著下降。
§26 数据获取后的合规自查清单
26.1 机构层面
- 是否已完成伦理审查(IRB)或豁免认定?多数机构对"公开数据二次分析"要求注册或备案;
- 是否已明确数据存储位置与访问权限,避免原始文本进入个人设备;
- 是否已签署数据使用协议(若所在机构有统一模板)。
26.2 技术层面
- 是否已做 PII 抽样筛查(姓名、电话、地址、证件号、罕见病名 + 地名组合);
- 是否已建立删除请求响应机制(若个体要求移除其文本);
- 是否已限制原始文本的外发与截图。
26.3 发布层面
- 论文示例是否已改写而非照搬;
- 衍生数据集是否声明来源与许可,并附原始许可文本;
- 模型卡是否声明训练数据包含用户生成内容及其风险。
26.4 商业化层面
- 是否已就原始平台条款取得法律意见;
- 是否已评估"训练数据含患者自述"对产品合规的影响;
- 是否已设计输出侧的内容过滤与免责声明。
一句话:CC BY 4.0 解决的是"上传者的授权",不解决"原始内容的权利"与"个人信息保护"两层问题。三层要分别过关。
§27 复现对照表:本条目引用的关键数字与出处
| 数字或事实 | 值 | 出处 | 是否三源 |
|---|---|---|---|
| 问答总量 | >808,000 | 数据集主页、论文摘要 | 是(含仓库说明) |
| 类目数 | 90 | 数据集主页、论文摘要 | 是 |
| 来源平台 | Altibbi | 数据集主页、论文摘要 | 是 |
| 许可 | CC BY 4.0 | 数据集主页 | 否(单源) |
| 阿语表体积 | 173 MB | 数据集主页 | 否(单源) |
| 英译表体积 | 118 MB | 数据集主页 | 否(单源) |
| 分布表体积 | 12.3 KB | 数据集主页 | 否(单源) |
| 打包体积 | 291 MB | 数据集主页 | 否(单源) |
| 论文卷期 | 56:110855 | PubMed | 是(DOI 一致) |
| PMID | 39286413 | PubMed | 是 |
| 合并后类目 | 42 | ACM 基准论文 | 否(单源,第三方) |
| AraBERTv2 F1 | 74.59 | ACM 基准论文 | 否(单源,第三方) |
| 最小类阈值 | 100 | ACM 基准论文 | 否(单源,第三方) |
| 最大类阈值 | 12,000 | ACM 基准论文 | 否(单源,第三方) |
使用建议:表格中标"否"的数字在二次引用时应注明"据 Mendeley v6 页面"或"据 ACM 论文",不要把第三方单源数字写成"官方数据"。
§28 与"AI-Ready"标准的差距逐条对照
"AI-Ready"不是一句形容词,而是可以逐项检验的工程状态。以下按八项常见标准对照 AHD:
| 检查项 | 状态 | 说明 |
|---|---|---|
| 格式机器可读 | 部分满足 | xlsx 可读,但非流式格式,大文件加载内存开销高 |
| 有明确 schema | 不满足 | 无字段类型定义、无类目枚举文件 |
| 有唯一标识 | 不满足 | 无样本 ID 列 |
| 有官方划分 | 不满足 | 无 train/dev/test |
| 有质量元数据 | 不满足 | 无标注者、审核状态、质量分 |
| 有许可声明 | 满足 | CC BY 4.0 |
| 有版本管理 | 部分满足 | Mendeley 版本化 DOI,但变更说明未公开 |
| 有引用规范 | 满足 | DOI + 论文 |
八项中满足 2 项、部分满足 3 项、不满足 3 项。这是"AHD 需要一层工程化包装才能称为 AI-Ready"的量化依据——也正是本库把它定位为"原始语料"而非"基准"的原因。
28.1 达标所需的四项改造
- 转格式:xlsx → Parquet/JSONL,附字段说明;
- 加 ID:为每行生成稳定 ID,便于错误追踪与删除请求响应;
- 建划分:分层切分并公开种子与文件;
- 出数据卡:把 §12.8 的字段填满并随数据发布。
这四项改造的工作量大约是一到两人周,但能显著提升复用率。
§29 读者角色路径
29.1 数据工程师
先读 §2.1 文件清单与 §6.1 获取路径,再读 §12.1 验货脚本与 §28 的八项对照。重点是格式转换与 ID 生成。
29.2 NLP 研究者
先读 §4 质量解剖、§5 任务谱、§7 基准数字,再读 §19 工程细节。重点是切分协议、评估口径与防泄漏三闸。
29.3 临床/公共卫生研究者
先读 §3.5 版本与 §26 合规清单,再读 §20 患者语言研究。重点是可识别信息风险与研究伦理边界。
29.4 产品与合规人员
先读 §6.2 三层权利、§26.4 商业化自查,再读 §11.3 不适合场景与 §22 的错误七。
29.5 教学使用者
可用 §1 十问十答作为入门材料,用 §17 类目解说与 §23 术语表作为教学补充,用 §24 速查卡作为课后复习。
§30 三个案例解剖
30.1 案例一:把 AHD 用作分类基准的完整流程
某团队要在阿拉伯语医疗分诊上做论文主实验。他们的做法是:
- 下载 v6,验货确认行数与两表对齐;
- 按问题去重,得到唯一问题约七十余万条;
- 参照 ACM 方案合并至 42 类,剔除 8 个低价值类;
- 按 [100, 12,000] 截尾,最终样本量约为原表的一半;
- 五步规范化后分层 80/10/10 切分,种子公开;
- 跑多数类基线、SVM、AraBERTv2、MARBERTv2 四条线;
- 同时报告 accuracy、macro-F1 与按类规模的 F1 分组;
- 在论文中写明"非官方基线,协议自定"。
这一流程的关键不是模型,而是 2-5 步。跳过任何一步,结果都不可比。
30.2 案例二:用 AHD 做检索增强生成的陷阱
另一团队想用 AHD 建一个"患者问答检索 + 大模型生成"的助手。初期效果不错,但上线后发现两个问题:
- 答案过时:平台上多年前的回答包含已淘汰的用药建议,检索直接召回;
- 口吻错位:检索到的回答常是"建议您尽快到医院就诊",生成模型学到后变得极其保守,对可自助处理的问题也给出一律就医建议。
修正方案是:对检索结果加时间与内容过滤(虽无时间戳,但可用答案中的药名做时效判别),并在生成侧用少量高质量示范做风格对齐。这提示:AHD 的"无质量标签"不只是评测问题,也是产品问题。
30.3 案例三:跨语言迁移实验的设计
第三个团队做阿-英跨语言迁移。他们把 AHD 英译表与 MedQuAD 混训,再在阿语原表上测试。结论是迁移有正收益,但幅度小于预期。原因排查发现两点:英译表的译文风格与 MedQuAD 的编辑体差异大;方言词在译文中被归并为标准表达,导致语言特征分布不匹配。修正做法是加入少量阿语原表做继续预训练,缩小分布差。
这个案例说明:英译表是有用的桥梁,但它同时也是一次"信息压缩",压缩掉的正是 AHD 最有特色的方言信息。
FAQ(高频问答 32 问)
A. 基础认知
1. AHD 全称是什么?
Arabic Healthcare Dataset,阿拉伯语医疗健康数据集。
2. 谁做的?
也门 Ibb University 计算机与信息技术系的 Al-Majmar、Gawbah、Alsubari 三人;数据集的 Mendeley Contributor 只署 Gawbah 一人。
3. 什么时候发布?
数据集首版 2024 年 4 月创建,论文 2024 年发表于 Data in Brief 第 56 卷,数据集 v6 于 2024 年 9 月发布。
4. 论文题目和 DOI?
AHD: Arabic healthcare dataset,doi:10.1016/j.dib.2024.110855,PMID 39286413。
5. 数据从哪个网站来?
Altibbi(altibbi.com),阿拉伯语数字健康平台的公开医患问答页。
6. 是临床数据吗?
不是。是患者自发的线上提问与医生在平台的答复,未经医院病历系统校验。
7. “AHD” 有同名缩写吗?
有,至少三个:Arabidopsis Hormone Database 2.0(植物激素)、Australian Height Datum(大地水准面)、犬急性出血性腹泻综合征。检索必须带 “Arabic”。
B. 数据与获取
8. 一共多少条?
超过 808,000 条问答;官方未公布精确行数。
9. 多少类?
90 个类目,涵盖临床专科、辅助检验、生活方式与非临床类。
10. 文件多大?
阿语表 173 MB、英译表 118 MB、类目分布表 12.3 KB;打包 zip 约 291 MB。
11. 有英文版吗?
有,AHD_english.xlsx,含英译的问题、回答与类目三项。
12. 英译是人工还是机器?
原始文档未说明翻译方式,也未给出质量评估报告。建议按"未经验证的翻译"对待。
13. 怎么下载?
Mendeley Data 数据集页(10.17632/mgj29ndgrk.6)直接下载,无需申请。
14. 许可证是什么?
CC BY 4.0,由上传者声明。
15. 可以商用吗?
许可本身允许商业使用(需署名),但原始内容来自第三方平台,患者文本含个人信息,商业场景需独立合规评估。
16. 有官方划分吗?
没有。train/dev/test 全部需要自建。
17. 有类目字典或字段说明吗?
没有单独的字典文件,只有类目分布 xlsx。字段即三列,含义需从论文描述推断。
C. 内容与质量
18. 数据是什么语言?
现代标准阿拉伯语与海湾、黎凡特、埃及等方言混杂;医生回答更接近标准语。
19. 噪音严重吗?
严重。约九成问题以省略号结尾,另有重复标点、口语拼写、夹杂英语药名等问题。
20. 类目均衡吗?
非常不均衡,最大类上万条,最小类不足百条,差两个数量级。
21. 标签可靠吗?
不完全可靠。专家复核发现存在系统性误标:遗传病问题常被放进检验类,一般健康问题被塞进过细专科。
22. 有多轮对话吗?
没有,只有单轮一问一答。
23. 有患者人口学信息吗?
没有结构化字段。患者可能在文本中自述年龄性别,但未被提取,也未做去标识说明。
24. 有质量标签吗?
没有。不知道答案是否被采纳、医生资质、答题耗时。
D. 使用与评测
25. 能直接拿来训练吗?
能,但需要先清洗、去重、切分。直接训练可行,直接报分不可信。
26. 分类能到什么水平?
在 42 类合并清洗版本上,AraBERTv2 宏平均 F1 约 74.59,传统 SVM 约 65.10。这是第三方论文结果,非官方基线。
27. 为什么要把 90 类并成 42 类?
因为类目语义重叠严重(如内科与全科、性健康与不孕不育),且部分类目样本过少或本身不可分类。
28. 用什么模型比较好?
阿拉伯语专用的 AraBERTv2 与 MARBERTv2,或多语 RoBERTa 均可;此三者在该任务上差距在 1 个点以内。
29. 和 MedQuAD 有什么区别?
MedQuAD 是英语编辑体健康知识问答;AHD 是阿拉伯语患者自发提问。一个干净不像人话,一个像人话不干净。
30. 和 cMedQA2 有什么区别?
cMedQA2 是中文社区医疗问答,有官方划分与候选池;AHD 是阿语,无划分无候选池,规模约四倍。
E. 合规与维护
31. 引用应该怎么写?
数据集:Gawbah H. AHD: Arabic Healthcare Dataset [Data set]. Mendeley Data, v6, 2024. doi:10.17632/mgj29ndgrk.6;论文:Data Brief. 2024;56:110855。
32. 后续会有新版本吗?
页面上 v6 为当前版本,是否继续更新未公布。引用时锁定版本号即可规避漂移。
附录 A:来源清单(核验时点 2026-10-17)
| # | 来源 | 类型 | 用途 |
|---|---|---|---|
| 1 | https://data.mendeley.com/datasets/mgj29ndgrk/6 | 数据集主页(一手) | 文件清单、体积、许可、机构、描述、版本 |
| 2 | https://pubmed.ncbi.nlm.nih.gov/39286413/ | 论文索引(一手) | 标题、作者、单位、卷期、DOI、摘要、关键词 |
| 3 | https://doi.org/10.1016/j.dib.2024.110855 | 论文 DOI(一手) | 期刊与出处 |
| 4 | https://doi.org/10.17632/mgj29ndgrk.6 | 数据集 DOI(一手) | 永久链接与版本锁定 |
| 5 | https://acm-prod.literatumonline.com/doi/10.1145/3812734.3813711 | 第三方基准论文 | 42 类协议、模型分数、预处理流程 |
| 6 | https://acm-prod.literatumonline.com/doi/10.1145/3812734.3813711 | 摘要与正文 | 四大挑战描述、阈值设定依据 |
| 7 | 库内 DB 检索(ai_ready_dataset) | 内部 | 查重与互链 rid 核实 |
三源互证的核心数字:808k、90 类、Altibbi 来源、CC BY 4.0——均由数据集主页与论文索引一致给出;英译表体积 118 MB 仅数据集主页给出(单源);42 类与模型分数仅第三方论文给出(单源,已在正文标注非官方)。
附录 S:双口径与存照
| 编号 | 冲突项 | 口径 A | 口径 B | 处置 |
|---|---|---|---|---|
| S1 | v6 发布日期 | 页面写 4 September 2024 | 摘要写 5 September 2024 | 正文写"2024 年 9 月" |
| S2 | 英译文件格式 | v6 文件列表:AHD_english.xlsx | 论文:AHD_english_translated.csv | 以 v6 实下为准,论文口径存照 |
| S3 | 文件数量 | 描述原文 “contains one file” | 实际三文件 + zip | 按文件列表 |
| S4 | 规模精度 | “>808k”(综合口径) | 第三方论文一处 “08,000” | 采信 808k,另一处视为排版缺失 |
| S5 | 论文引用版本 | v5 | 当前 v6 | 正文两处并列写明 |
| S6 | 英译方式 | 未说明 | 未说明 | 不作推断,列为遗留疑点 |
附录 T:维护触发点
- Mendeley 出现 v7 及以上:核对文件清单与体积变化,更新 §2.1 表格与版本链。
- 出现官方划分或官方基线:改写 §7.1 与 §11.4 的"无基准"判断。
- Altibbi 或上传者发布授权澄清:更新 §6.2 三层权利拆分。
- 出现英译质量的独立评估:更新 §13.3 与 FAQ 第 12 问。
- 库内新增阿拉伯语医疗 NLP 条目:补充 §9 家族图谱。
事实清单(硬事实 40 条)
- 数据集全称 AHD: Arabic Healthcare Dataset。
- 采集自 Altibbi(altibbi.com)公开医患问答页。
- 规模超过 808,000 条问答。
- 类目数为 90。
- 论文发表于 Data in Brief 2024 年第 56 卷,文章号 110855。
- 论文 DOI 为 10.1016/j.dib.2024.110855。
- 论文 PMID 为 39286413,PMCID 为 PMC11403399。
- 论文作者为 Nashwan Ahmed Al-Majmar、Hezam Gawbah、Akram Alsubari。
- 作者单位为也门 Ibb University 计算机与信息技术系。
- Aljazeera University(也门)为作者第二隶属单位。
- 数据集 Mendeley Contributor 仅列 Hezam Gawbah。
- Mendeley 标注机构为 Ibb University。
- 数据集 DOI 为 10.17632/mgj29ndgrk,当前版本为 v6。
- v6 DOI 为 10.17632/mgj29ndgrk.6。
- 论文引用数据集版本为 v5(10.17632/mgj29ndgrk.5)。
- 数据集首次创建于 2024 年 4 月。
- v6 发布于 2024 年 9 月(日期双口径:4 日 / 5 日)。
- AHD.xlsx 体积 173 MB,含阿语问题、回答、类目三列。
- AHD_english.xlsx 体积 118 MB,含英译三列。
- 类目分布表体积 12.3 KB。
- 打包 zip 体积约 291 MB。
- 数据集许可为 CC BY 4.0。
- 数据集分类标签包含 Medical Assistant、Natural Language Processing、Arabic Language 等 9 项。
- 论文关键词为 AHD、Arabic healthcare、Chatbot、Deep learning、Healthcare text classification、Medical assistant、NLP。
- 论文称数据以原始形态(raw form)发布。
- 约九成问题以省略号 “…” 结尾(第三方分析口径)。
- 最大类样本数超过 12,000,最小类不足 100(第三方阈值设定依据)。
- 第三方基准将类目从 90 个合并压减至 42 个。
- 合并过程中剔除 8 个类目:医疗服务、激素、医学教育、替代医学、一般医学、物理治疗、医学诊断、遗传疾病。
- 第三方基准的样本数阈值为每类下限 100、上限 12,000。
- 第三方基准采用 80/10/10 分层划分。
- 第三方基准最优模型为 AraBERTv2,宏平均 F1 为 74.59。
- MARBERTv2 宏平均 F1 为 73.88。
- 多语 RoBERTa 宏平均 F1 为 73.62。
- SVM + TF-IDF 基线宏平均 F1 为 65.10。
- 第三方训练配置为 3 epoch、batch size 16、最大长度 128 token、Adam 优化器 + 线性预热。
- AHD 混杂现代标准阿拉伯语与海湾、东部阿拉伯、埃及方言。
- AHD 无官方 train/dev/test 划分。
- AHD 无答案质量标签与患者人口学结构化字段。
- 原论文未提供任何模型基线。
尾注
本条目为 AI-Ready Wikipedia 数据集条目,生产于 2026-10-17,抓取与核验时点见附录 A。事实陈述以 Mendeley Data v6 数据集主页、PubMed 索引与 Data in Brief 论文为源;第三方基准数字(42 类、AraBERTv2 74.59 F1 等)出自 ACM 会议论文,已在正文明确标注为"非官方基线"。发布日期差一天、英译文件格式 xlsx 与 csv 不一、数据集描述"one file"与实际三文件矛盾、论文引用 v5 而仓库已至 v6 四处口径冲突,已在附录 S 逐条存照。条目与库内 MedQuAD(rid 160)、cMedQA2(rid 825)、MedQA(rid 50)、MedMCQA(rid 111)、HeadQA(rid 120)、HealthSearchQA(rid 492)、MedDialog(rid 210)、VQA-Med(rid 280)、HealthBench(rid 1063)互链,构成"医学问答"标签域内从考试题、文献问答、消费者问答、社区问答到多轮对话与影像问答的完整检索面。后续维护触发点见附录 T。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- cmedqa2 — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- medval-bench — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- cmb-benchmark-cn — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- medcalc-bench — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- qizheng-gpt — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- medisumqa — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- apollocorpus — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- healthbench — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- rexerr — 共享标签:医疗NLP / 评测基准 / 临床文本
- meddialog — 共享标签:医疗NLP / 医学问答 / 临床文本
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

