信息速览
INFOBOX — cMedQA v2.0 一屏速览
维度 内容 本质 中文社区医疗问答**答案选择(answer selection)**数据集 v2.0——给定问题与候选答案池,选出最相关答案 团队 国防科技大学(NUDT)系统工程学院,长沙;Sheng Zhang、Xin Zhang、Hui Wang、Lixiang Guo、Shanshan Liu 论文 v2.0:Multi-Scale Attentive Interaction Networks,IEEE Access 2018, vol 6, pp 74061-74071(doi:10.1109/ACCESS.2018.2883637,2018-11-27 在线) 前身 v1.0:字符级多尺度 CNN,Applied Sciences 2017, 7(8), 767(doi:10.3390/app7080767,2017-07-28 发表) 数据 108,000 问 / 203,569 答;平均每问 49 字符、每答 101 字符;来源寻医问药网(xywy.com) 划分 Train 100,000 问/188,490 答;Dev 4,000/7,527;Test 4,000/7,552;候选池 txt 给出配对关系 任务机制 无人工语义标注——标签由候选池产生(第三方描述:每题 100 候选,1 正 + 99 负采样) 核心模型 v1.0 charCNN(top-1 准确率较强基线最高提升 19%);v2.0 MPAN(多尺度 + shortcut + 注意力交互,优于当时 SOTA) 许可 LICENSE 文件 GPL-3.0 + README「available for non-commercial research」双条款并存(坑 2) 获取 GitHub zhangsheng93/cMedQA2 直链下载(zip),无注册门禁;2019-01-09 后停更 后续生态 ChineseBLUE(WSDM 2020)0/1 二分类改版;sota2.com Reranking on CMedQA v2 榜单至今活跃 引用 v1.0 + v2.0 论文合计 209 次(Semantic Scholar,2026-10 快照:93 + 116) 库内互链 medqa(50)、pubmedqa(49)、meddialog(210)、cblue(190)、cmb-cmexam(180)、huatuo-26m(823) 等
cMedQA v2.0 是一个「把在线医疗社区的真实问答变成排名考场」的数据集工程:国防科技大学团队从寻医问药网(xywy.com)采集真实用户提问与医生回答,108,000 个问题配 203,569 条回答,每个问题通过候选池机制组成一个「一道题、多个备选答案」的选择考场——模型的任务不是生成答案,而是从候选里挑出那条真正回答了问题的文本。它是 2017-2020 年中文医疗问答匹配方向事实上的标准评测集之一,配套论文从字符级 CNN(v1.0)一路做到多尺度注意力交互网络 MPAN(v2.0),并在 2026 年的 reranker 榜单上继续服役。
导语读法三则:
- 只想下数据:直奔 §6 获取与许可——GitHub 直链无门禁,但 GPL-3.0 与非商业声明双条款并存,商用前先读坑 2。
- 关心任务构造:直奔 §3 候选池机制——这个数据集没有人工标注,标签怎么来的决定了它能测什么、不能测什么。
- 做中文医疗 NLP 选型:直奔 §5 评估与基准——v1.0/v2.0/ChineseBLUE/sota2 榜单四套口径互不相同,引用前先对版本(坑 1、坑 5)。
下载后的 30 秒版本指纹自查(对照通过即为你手中的是 v2.0 全量):
| 检查点 | v2.0 应为 |
|---|---|
| README Overview 表 Total 行 | 108,000 问 / 203,569 答 |
| zip 文件清单 | question / answer / train+dev+test_candidates 共 5 个 |
| README 许可段 | available for non-commercial research 字样 |
| 引用 BibTeX | @ARTICLE{8548603}(IEEE Access) |
| 平均字符 | 问 49 / 答 101(词数列为「-」) |
§0 导读:这个数据集解决什么问题
在线医疗社区的问答匹配是一个被需求倒逼出来的研究问题:大量用户在寻医问药网等平台提出相似甚至相同的问题(症状描述、诊断治疗、用药咨询、心理咨询),认证医生逐条回复不堪重负——v1.0 论文原文描述,这种「相似问题反复出现、医生回复来不及」的现实,使「从已有回答记录里自动选出与用户新问题最匹配的那条」成为刚需。这就是答案选择(answer selection)/答案匹配(answer matching)任务:不生成新文本,只在候选池里做检索与排序。
中文场景把这个任务变得更难,难点有二。其一是领域限制:通用分词工具在医疗文本上会失灵——v1.0 论文举的例子是「盐酸西替利嗪片」「葡萄糖酸钙片」这类药名会被 Jieba 错误切分,而构建医疗领域词典成本高昂;其二才是中文本身的特性:词间无空格、字符粒度语义稀薄。v1.0 论文的对策是干脆绕开分词——用字符级(character-level)嵌入替代词嵌入,再用多尺度 CNN 从不同窗口宽度提取上下文;v2.0 论文在此之上引入注意力交互,让问题与答案在匹配时互相「看见」对方的重点。
cMedQA 的回答是三层的。第一层是数据:54,000 问(v1.0)扩到 108,000 问(v2.0),全部来自真实社区,匿名化后公开;第二层是任务协议:官方固定 train/dev/test 划分与候选池文件,保证跨论文可比——这让它成为该方向少有的「同一把尺子」;第三层是模型基准:两篇论文给出了可复现的基线体系,后续研究者可以直接在同一划分上对标。
§0 读法三则:
- 这个条目覆盖 cMedQA v1.0 与 v2.0 两个版本——两者规模、作者名单、平均长度都不同(坑 1),标题以 v2.0 立条、v1.0 作为前身记录。
- 全文统计数字均出自 GitHub README 官方表、两篇论文摘要与正文;「每题 100 候选」这类二手信息全部注明来源层级(坑 6)。
- 检索时注意:cMedQA、CMedQA、cMedQA2 三个写法在文献里混用——大写 C 的 CMedQA 有时指 CBLUE 系的 CMedQA 任务(完全不同的东西,坑 7)。
§0.1 一段话给三类读者
评测设计者:如果你想给中文医疗 QA 方向加一把尺子,cMedQA v2.0 值得先读后用——它的尺子刻度(固定划分 + 候选池文件)八年没变过,这是跨论文可比的稀缺资产;但它没有 leaderboard、没有防作弊审计,尺子的「防伪」全靠研究者的自觉。读 §3 与 §5,再决定你是直接用它的协议,还是借鉴协议造自己的数据集。
模型开发者:你是来拿训练与评测数据的——GitHub 直链下载,十分钟内可以开始跑 baseline。但要带着两个预期管理:其一,这是短文本(49/101 字符)单轮排序任务,长文本与生成能力在这里测不出来;其二,负例是采样产物,训练时别把负例当「语义无关」的绝对真值。读 §3.3 与 §3.4。
数据集工程研究者:cMedQA 是「无标注数据集」的教科书案例——用社区结构当标注来源、用候选池机制当任务定义、用固定划分当可复现性保障,以及(最重要的反面教材)用停更后的口径漂移告诉你「元数据失修的代价」。读 §8 方法学启示与 §10 避坑清单。
§0.2 它在 AI-Ready 谱系里的坐标
本库数据集条目按「获取门槛 × 元数据完备度」大致分为四种画像:
- 进门难、说明书厚:注册墙/审批制 + 论文级文档——如需机构审批的挑战赛数据。门槛高但用得踏实。
- 进门难、说明书薄:请求制 + 信息稀疏——最痛苦的组合。
- 进门易、说明书厚:公开直链 + 数据字典 + 加载脚本——AI-Ready 理想型。
- 进门易、说明书薄:直链可得 + 文档简陋——cMedQA v2.0 在这一格。
第四格的数据集有一个共同命运:获取无碍、误解横行。cMedQA v2.0 的四层口径漂移(坑 1/5/7)、词数列空缺(坑 4)与候选数存疑(坑 6)都是「说明书薄」的直接后果。本条目的写作目标之一,就是给这格数据集补一份它能官方背书范围内的最全说明书。
§0.3 版本与口径导航表
本条目涉及「cMedQA」这个名字下的多个评测对象,正式开读前先对号入座:
| 名字 | 数据规模 | 任务形态 | 指标 | 配套论文 | 本条目位置 |
|---|---|---|---|---|---|
| cMedQA v1.0 | 54,000 问/101,743 答 | 候选池排序 | top-1 ACC | Appl. Sci. 2017 | §2.4 对照表 |
| cMedQA v2.0 | 108,000 问/203,569 答 | 候选池排序 | top-1 ACC | IEEE Access 2018 | 全条目主体 |
| ChineseBLUE cMedQA | 49,719/5,475/6,149 对 | 0/1 二分类 | F1 | WSDM 2020 | §5.2 |
| sota2 CMedQA v2 榜单 | v2.0 test 划分 | 重排序 | MAP/NDCG@10/R@10 | —(榜单) | §5.3 |
| CBLUE CMedQA 任务 | 另行定义 | 社区问答匹配 | 另行定义 | CBLUE 2021 | 仅坑 7 提及(不同族) |
五行里只有第二行是本条目的「本体」,其余四行都是检索时容易撞上的近名对象。这个表是全文的防迷路地图——后文每一处数字引用都能在这张表里找到口径归属。
术语首现约定:全文中文为主,术语首现标英文原文(如「答案选择(answer selection)」);中文期刊引述(CCF 系论文的「Top-1 准确率 65.43%」等)保留原始表述。
§1.0 一条问题的生命周期:从社区到考场
在读十问十答之前,先跟一条问题走完全程——这比任何抽象描述都更快建立任务直觉:
第 1 幕 提问(寻医问药网,2018 年前后的某个凌晨)
- 用户写下一句口语化症状描述(平均 49 字符)
- 例:「头痛恶心肌肉痛关节痛颈部淋巴结疼痛怎么回事啊」
第 2 幕 回答(认证医生)
- 认证医生给出专业回答(平均 101 字符)
- 这条 (问题, 回答) 配对成为该问题的「正例事实」
第 3 幕 采集与匿名化(NUDT 团队)
- 爬取社区问答 → 匿名化处理(官方声明无个人信息)
- 归入 questions.csv 与 answers.csv,分配数字 id
第 4 幕 候选池构造
- 为每题保留正例回答 + 从答案池负采样若干条
- 写入 train/dev/test_candidates.txt(划分 + 配对关系)
第 5 幕 考场(模型评测)
- 模型读问题与候选池 → 对每个 (问题, 候选) 打分排序
- 正例排第一则该题 top-1 记 1 分
- 108,000 道这样的题组成 v2.0 的完整考场
五幕里,第 1、2 幕是「数据从哪来」,第 3、4 幕是「数据怎么变成基准」,第 5 幕是「模型怎么被考」。官方文档对第 4 幕着墨最少——而它恰恰是理解这个数据集的关键:候选池的构造方式定义了任务本身(§3 全章)。
§1 数据集速览:十问十答
Q1:cMedQA v2.0 里到底有什么?
两个 csv 和三个 txt:questions.csv(全部 108,000 个问题)、answers.csv(全部 203,569 条回答)、train/dev/test_candidates.txt(三份划分与配对文件)。问题来自寻医问药网真实用户(典型如「头痛恶心肌肉痛关节痛颈部淋巴结疼痛怎么回事啊」),回答来自认证医生或网友。仓库以 zip 打包:question.zip、answer.zip 与三个 candidates zip。
Q2:规模与长度分布?
Train 100,000 问/188,490 答、Dev 4,000/7,527、Test 4,000/7,552,总 108,000 问/203,569 答。平均每问 49 字符(Train 48、Dev/Test 49)、每答 101 字符(Train/Dev 101、Test 100)。README 表中词数列(Ave. #words)留空为「-」,只有字符数有值(坑 4)。
Q3:任务是怎么定义的?
答案选择:给定一个问题和一批候选答案,选出正确/最相关的那条。任务标签不靠人工标注,而由候选池机制产生——每个问题有一条已知对应的正确答案,负例从答案池中采样。第三方资料(dianshudata 等)描述为「每题 100 个候选,1 正 + 99 负」,官方 README 只说 candidates txt 是「training/development/test set 的划分」,未明写候选数(坑 6)。
Q4:为什么没有人工标注也算能评测?
因为「哪条回答对应哪个问题」的事实来自社区结构本身(某医生的回答就是对该问题的回复),正例无需标注;负例是采样产物。这个设计的代价是:负例可能是「语义相关但非最佳」的回答,评测测的是排名能力而非语义判断的绝对对错(§3.3 详述)。
Q5:v1.0 和 v2.0 差在哪?
三处硬差异:规模 54,000 问/101,743 答(v1.0)→ 108,000 问/203,569 答(v2.0),约翻倍;长度平均每问 119 字符/每答 212 字符(v1.0)→ 49/101 字符(v2.0),文本明显变短;作者名单 v1.0 六人(含 Cheng Jiajun、Li Pei、Ding Zhaoyun)→ v2.0 五人(换为 Guo Lixiang、Liu Shanshan)。Sheng Zhang、Xin Zhang、Hui Wang 三人贯穿两版。
Q6:论文提出什么模型?
v1.0:端到端字符级多尺度 CNN——字符嵌入避开分词,多尺度卷积核提取不同粒度上下文,top-1 准确率较强基线最高提升 19%。v2.0:多尺度注意力交互网络(Multi-Scale Attentive Interaction Networks,MPAN)——多尺度深层神经层 + shortcut connections 防退化 + 注意力交互挖掘问答句间相关性,摘要定性表述优于当时现有 SOTA「with noticeable margins」。
Q7:现在还能下载吗?
能。GitHub zhangsheng93/cMedQA2 仓库公开,zip 直接下载,无注册门禁。但注意:仓库最后 push 是 2019-01-09(add paper 提交),README 承诺的「will update and expand」未兑现,八年间无任何数据更新(坑 8)。另有 Gitee、OpenCSG、天池(v1.0)、和鲸(v1.0)等非官方镜像。
Q8:许可是什么?
双条款并存:仓库 LICENSE 文件被 GitHub 识别为 GPL-3.0,README 又声明「available for non-commercial research」。GPL-3.0 是强 copyleft 许可,与非商业条款的组合在法律上不寻常——商用、再分发、衍生数据集发布前都应谨慎并尽可能与作者确认(坑 2)。论文本身开放获取(v1.0 CC-BY,v2.0 GOLD/CCBYNCND)。
Q9:它今天还有用吗?
有。sota2.com 把「Reranking on CMedQA v2 (test)」列为独立榜单,2026 年仍有模型提交:Qwen3-Reranker-8B MAP 85.36 / NDCG@10 88.9 / R@10 97.01,BGE-Reranker-v2-m3 MAP 83.47,GPT-4o-mini MAP 67.5。在神经检索-重排(retrieve-then-rerank)范式里,它成了检验中文医疗场景 reranker 的常青基准。
Q10:为什么它对 AI-Ready 重要?
它是「协议简单、无标注依赖、开箱即评」的教科书样本:固定划分 + 候选池文件让任何模型可以在十分钟内跑通评测;同时它也示范了无标注数据集的通病——负例采样策略不透明、README 元数据稀疏(词数列空缺、候选数未明写)、停更后与后续生态(ChineseBLUE 改版)的口径漂移无人维护。AI-Ready 不只是「能下载」,还包括「元数据是否让机器正确理解任务」——cMedQA v2.0 在后者上失分明显(附录 B DAIMS 全表)。
§2 数据构成与规格
2.1 官方统计表(GitHub README 原文口径)
| Split | 问题数 | 回答数 | 平均字符/问 | 平均字符/答 |
|---|---|---|---|---|
| Train | 100,000 | 188,490 | 48 | 101 |
| Dev | 4,000 | 7,527 | 49 | 101 |
| Test | 4,000 | 7,552 | 49 | 100 |
| Total | 108,000 | 203,569 | 49 | 101 |
读表三则:
- 答案多于问题近一倍(203,569 vs 108,000)——平均每个问题约 1.9 条候选回答进入数据,这为负采样提供了足够大的答案池。
- 平均长度极短:问题 49 字符、回答 101 字符——这是社区问答的典型形态(一句话描述症状求建议),远短于临床病历或医学文献。对建模者意味着:这是短文本匹配任务,长上下文模型的优势在此被压缩。
- README 词数列空缺:官方表的「Ave. #words per Question/Answer」两列均为「-」,只有字符数列有值——词级统计需研究者自行分词估计,且一得分词工具不同结果不同(坑 4)。
2.2 文件结构与字段
仓库文件清单(GitHub 原文):
- question.zip / answer.zip:全部问题与回答
- train_candidates.zip / dev_candidates.zip / test_candidates.zip:训练/开发/测试三份划分
- 解压后为 questions.csv、answers.csv 与三个 *_candidates.txt
README 对文件的原始说明极简:「questions.csv — All Questions and their content」「answers.csv — All Answers and their content」「*_candidates.txt — The split of training set, development set and test set respectively」。官方未提供字段级数据字典、编码声明或加载脚本;DeepWiki 等第三方解读确认 candidates txt 承载的是问答配对关系(哪个问题配哪些候选答案),而不仅是行级划分。
第三方聚合页(Mengqi97/chinese-medical-dataset 等)展示了数据样例形态:questions.csv 以 question_id + content 两列为主,问题内容为无标点或少标点的口语化症状描述。回答侧为对应 id 的自然语言回答文本。官方没有发布任何样例表格之外的 schema 文档——这是元数据质量的明显失分项(附录 B DAIMS M 维)。
2.3 体量与获取规格
| 属性 | 值 |
|---|---|
| 数据总量 | 63.9MB(Awesome-Medical-Dataset 标注口径) |
| 仓库整体大小 | 90,254 KB(GitHub API,含全部 zip 与历史) |
| 打包格式 | zip(csv 与 txt 解压后使用) |
| 分发渠道 | GitHub master 分支直链(无 release、无 package) |
| 语言 | 中文简体(文本本体);元数据与论文为英文 |
| 匿名化 | 官方声明「In order to protect the privacy, the data is anonymized and no personal information is included」 |
2.4 v1.0 与 v2.0 演变对照
cMedQA 两版的关键数字对照(v1.0 数字来自官方 v1.0 仓库 README 与 OpenCSG/天池/和鲸三方一致口径):
| 维度 | v1.0(2017) | v2.0(2018) |
|---|---|---|
| 问题数 | 54,000 | 108,000(约 2 倍) |
| 回答数 | 101,743 | 203,569(约 2 倍) |
| Train | 50,000 问 / 94,134 答 | 100,000 / 188,490 |
| Dev | 2,000 / 3,774 | 4,000 / 7,527 |
| Test | 2,000 / 3,835 | 4,000 / 7,552 |
| 平均字符/问 | 119 | 49 |
| 平均字符/答 | 212 | 101 |
| README 词数列 | 有值(问 96-97、答 168-172) | 空缺(-) |
| 作者 | Zhang S, Zhang X, Wang H, Cheng J, Li P, Ding Z(6 人) | Zhang S, Zhang X, Wang H, Guo L, Liu S(5 人) |
| 论文 | Appl. Sci. 7(8):767, doi:10.3390/app7080767 | IEEE Access 6:74061-74071, doi:10.1109/ACCESS.2018.2883637 |
| 模型 | 端到端字符级多尺度 CNN | MPAN(多尺度注意力交互网络) |
三处值得展开的演变:
- 文本变短约六成:问题从 119 字符缩到 49 字符、回答从 212 缩到 101——v2.0 的筛选或截断策略官方未说明。使用者在对比两版结果时必须意识到:这是两套长度分布不同的语料,模型分数不直接可比。
- 机构署名演变:v1.0 论文署名单位为国防科技大学信息系统与管理学院(College of Information Systems and Management, NUDT, Changsha 410073);v2.0 阶段作者团队以系统工程学院(School of Systems Engineering / College of Systems Engineering)与科技与信息系统工程重点实验室(Science and Technology on Information Systems Engineering Laboratory)名义出现——学院建制调整的反映,条目正文以英文署名为准。
- 任务命名微调:v1.0 论文标题用 question answer matching(匹配);v2.0 论文标题用 question answer selection(选择)——同一任务在两版论文中的英文名不同,检索时两个词都要试。
2.5 来源社区:寻医问药网
v1.0 论文对采集源有最完整的描述:数据从在线中文健康社区(xywy.com,寻医问药)采集,用户提问主要包含症状描述、疾病诊断与治疗、药物使用、心理咨询等内容,只有认证医生被允许回答问题(only certified doctors are permitted to answer questions)。注意这与部分二手资料的说法有出入:某些聚合页称回答来自「医生/网友」,而论文原文明确认证医生门槛——按一手来源,v1.0 的回答者是认证医生;v2.0 未在 README 中重申这一约束,条目按 v1.0 论文口径记录并注明覆盖范围。
社区来源决定了数据的三个偏斜:
- 用户视角主导:问题以患者/家属的口语化描述为主,不是标准化临床术语——这与 MedQA(考试题)、emrQA(EHR 映射)等数据集形成鲜明的语域对照。
- 平台生态依赖:问题分布受寻医问药网用户结构影响(科室热度、年代流行病谱),官方未披露科室分布统计。
- 匿名化代价:官方声明为保护隐私做了匿名化且不含个人信息——处理细节(是否去除用户名、年龄、地名)未公开,使用者无法审计匿名化质量。
2.6 与同域中文问答数据集的规格对照
| 数据集 | 规模 | 来源 | 任务形态 |
|---|---|---|---|
| cMedQA v2.0 | 108,000 问/203,569 答 | 寻医问药网 | 答案选择(候选池排名) |
| webMedQA | 问:约 63,000(社区口径) | 39健康网 | 答案选择(同构竞品) |
| MedDialog(中文) | 110 万对话/400 万语句(快照口径) | 医联/春雨等在线咨询 | 对话生成/理解 |
| ChineseBLUE cMedQA 任务 | train 49,719/dev 5,475/test 6,149 | cMedQA v2.0 改版 | 0/1 二分类(F1) |
| CMB-Clin | 多轮问诊(2023) | 考试+问诊混合 | 多轮对话/评测 |
cMedQA v2.0 在这张表里的位置:规模中上、任务最「纯粹」——它是其中唯一以「候选池排名 + 固定划分」为核心协议的数据集,这使它成为排名类指标(top-1/MAP/MRR/NDCG)可以跨论文比较的少数中文医疗基准。
2.7 问题文本画像:真实样例与类型学
第三方聚合页展示了两条原始问题样例(questions.csv 实录,via Mengqi97/chinese-medical-dataset):
- question_id 65102009:「头痛恶心肌肉痛关节痛颈部淋巴结疼痛怎么回事啊」——多症状罗列求解释。
- question_id 44275784:「我怀孕37周,肠子一直呼噜呼噜叫感觉像是在里面灌水,上厕所拉稀和喷水一样,一天上厕所5次,对孩子有啥影响,应该怎么办?」——具体情境 + 症状描述 + 双重疑问。
从这类样例可以定性归纳社区问题的四个典型特征(官方未发布类型统计,以下为条目基于样例的定性画像):
- 口语化、少标点:症状用生活语言罗列(「呼噜呼噜叫」「喷水」),非临床术语;标点常缺失或滥用。
- 多症状并发:一条问题常含 3 个以上症状描述——这与真实患者的表达习惯一致,但使文本-疾病的一对一映射天然困难。
- 情境依赖:年龄、孕周、病程等关键情境嵌入在叙述中(「怀孕37周」)——对上下文敏感的模型是隐性考验。
- 复合疑问:「怎么回事啊」(求解释)+「应该怎么办」(求处置)常在同一句出现——答案选择时「部分回答疑问」的候选会形成干扰。
对使用者的三条操作层面提示:做预训练/微调前的文本清洗时,标点缺失是常态而非异常;做错误分析时,「多症状复合问题」的错误率值得单独分桶观察;做数据增广时,情境改写(孕周、年龄)比同义改写更贴近真实分布。
2.8 匿名化的已知与未知
官方匿名化声明的原文只有一句:「In order to protect the privacy, the data is anonymized and no personal information is included」。已知边界:
- 已知:发布形态中无用户名、无账号标识——样例中问题仅以数字 id 呈现。
- 未知:匿名化发生在采集时还是发布前、是否清洗了问题文本内的自发个人信息(如样例中的「怀孕37周」属于文本内的健康情境,不是标识符)、地名与医院名是否处理、处理规则是否可复现。
使用者侧的稳妥姿势:把 questions.csv 当作「文本内可能含自发健康信息」的语料对待——即便官方已做匿名化,二次分析(如疾病谱统计)时仍应按含 PHI 风险的常规谨慎处理发布物。这条提醒对一切「社区问答匿名化」数据集通用,不构成对 cMedQA 匿名化质量的指控——恰恰相反,官方在 2018 年就主动声明匿名化,领先于当时的社区惯例。
2.9 与英文同域数据集的形态对照
FACTS 核验过程中对照过的英文同域数据集(库内均有条目),按「数据来源 × 任务形态」展开:
| 数据集 | 来源 | 任务形态 | 与 cMedQA v2.0 的关键差异 |
|---|---|---|---|
| MedQA(rid 50) | USMLE 等考试题 | 单选(标准答案) | 试卷语言 vs 社区口语;人工考题 vs 真实提问 |
| MedicationQA(rid 170) | HealthTap | 消费者药物问题 | 同为消费者语域,但限药物主题、无候选池协议 |
| MedQuAD(rid 160) | NIH 网页 FAQ | 检索式问答 | 机构权威答案 vs 社区回答;FAQ 对 vs 排名候选 |
| emrQA(rid 139) | EHR 逻辑映射 | 合成生成问答 | 合成构造 vs 真实采集;模板化 vs 口语化 |
| PubMedQA(rid 49) | PubMed 摘要 | yes/no/maybe 标注 | 专家标注 vs 无人工标注 |
对照的结论性观察:cMedQA v2.0 在这组对照里占据一个独特的生态位——消费者语域 + 真实采集 + 排名协议三者的交集里,它在中文世界几乎无同期对手(webMedQA 是唯一同构者)。这解释了它 2017-2020 的标准尺地位:不是因为它最完美,而是因为它在正确的生态位上提前出现并开放了协议。
2.10 数据质量观察清单
综合官方声明与第三方核验,使用前值得知道的数据质量画像:
- 规模真实性:✅ 多源交叉一致(官方 README、Awesome-Medical-Dataset、DeepWiki、第三方聚合页四个独立口径完全吻合)——硬数字可信。
- 格式稳定性:✅ csv+txt 极简格式,八年未变——解析器不会因上游改动失效。
- 文本质量:⚠️ 口语化、少标点、多症状复合(§2.7)——不是缺陷而是语域特征,但影响清洗与分句策略。
- 标注质量:⚠️ 无人工标注,正例靠社区结构、负例靠采样——排序协议内可靠,二分类化需谨慎(§3.3)。
- 元数据质量:⚠️ 无数据字典、词数列空缺、候选数未明写——本条目坑 4/6 的根源。
- 隐私处理:✅/❓ 官方声明匿名化;处理细节未公开,二次分析按含自发健康信息语料对待(§2.8)。
这张清单可以整体拷贝进你的数据声明(datasheet)初稿——六项每项都是别人问过或将要问的问题。
§3 任务定义与候选池机制
3.1 答案选择任务的精确表述
形式化:给定问题 q 与候选答案池 A(q) = {a₁, a₂, …, a_k},模型对每个 (q, aᵢ) 打相关分并排序,目标是正确答案排在第一(top-1 准确率)或前列(MAP/MRR/NDCG)。与生成式问答(输入问题、生成回答)不同,答案选择是判别式任务:输出空间被候选池限定,评测完全自动,无需人工或 LLM 判分。
这个任务设定在 2017 年的中文医疗 NLP 里是开创性的——v1.0 论文自述「据我们所知,这是第一个公开的中文医疗问答匹配语料库」(to the best of our knowledge, the first publicly available Chinese medical questions answer matching corpus)。它把「智能导诊/相似问题复用」这一真实产品需求,翻译成了一个可离线评测的排序问题。
3.2 候选池怎么构造:官方说法与二手补充
官方 README 对候选池的全部说明只有一句话:三个 candidates txt 是「The split of training set, development set and test set respectively」。它没有回答:
- 每个问题配多少候选答案?
- 负例怎么采样(随机/按相似度/按科室)?
- 正例是否保证在候选池内?
第三方资料补齐了部分空白:dianshudata.com 等聚合页与 Awesome-Medical-Dataset 的描述均为「每个问题配有 100 个候选答案(1 正 + 99 负采样)」。这一数字被大量后续论文沿用,但官方一手来源从未明写——本条目按存照纪律将其标注为「第三方描述」而非官方事实(坑 6)。
从规模数字可以做一个算术交叉验证:Train 集 100,000 问对应 188,490 条回答——若每题 100 候选,188,490 条独立回答远不够全员不重复分配,说明候选池必然大量复用同一条回答充当多个问题的负例(同一回答对不同问题既可为负例也可为正例)。这与 1 正 + 99 负的说法在算术上相容,但复用率官方未披露。
3.3 无人工标注的双刃剑
cMedQA 的标签体系完全由候选池机制产生,没有人工语义标注团队、没有多人标注一致性报告——这与 MedQA(考试题自带标准答案)、pubmedqa(专家标注 yes/no/maybe)等标注型数据集根本不同。这个设计有三层含义:
- 正例可靠:正例来自「该回答确实是该问题的社区回复」的结构性事实,无需标注即成立。
- 负例是采样产物:一条被采样为负例的回答,可能语义上部分回答了问题(例如同科室的相似问题),只是不是「这条问题的」官方回复。因此该基准测的是相对排序能力,不是语义判断的绝对正确性——把负例当「真负例」做二分类训练会引入标签噪声。
- 无法回答「答案是否医学正确」:数据集不承载任何医学正确性判断——认证医生身份不等于该回答在医学上无误。使用者不应将其用于「医学事实校验」类任务。
ChineseBLUE 团队显然意识到了第 2 点:他们的 cMedQA 任务改造为 0/1 二分类(每行一个问答对、标签 1=匹配 0=不匹配),指标改用 F1,规模也变为 train 49,719/dev 5,475/test 6,149——与原版 100,000/4,000/4,000 与 top-1 ACC 完全不同(坑 5)。同一名字「cMedQA」在两种协议下指代两个不同的评测对象,引用时必须写明版本与协议。
3.4 分工边界:它测什么、不测什么
| 能测 | 不能测 |
|---|---|
| 中文医疗短文本的语义匹配与排序 | 医学事实正确性(无医学验证标签) |
| 字符级/子词级中文表示学习(分词免疫性) | 长文档理解(平均 49/101 字符) |
| 注意力交互结构的有效性对比 | 多轮对话(单轮问答对) |
| reranker 在医疗域的微调收益 | 答案生成质量 |
| 跨论文固定协议下的可复现对标 | 负例采样策略本身的质量(未披露) |
这条分工边界对选型者的实操建议:做检索-重排管线(医疗 FAQ 检索、相似问题聚合、导诊前的候选排序)——cMedQA v2.0 是合适的微调与评测场;做医学知识抽取、事实核查、对话生成——应另选 MedDialog、CMB-Clin 等更合适的数据集。
3.5 复现加载骨架
官方未提供加载脚本,以下为社区常用加载路径的骨架(基于 csv + candidates txt 的通用处理逻辑):
# cMedQA v2.0 加载骨架(伪代码,字段名以实际文件为准)
import pandas as pd
questions = pd.read_csv("questions.csv") # question_id, content
answers = pd.read_csv("answers.csv") # answer_id, content
# train_candidates.txt:每行给出该问题 id 与其候选回答 id 集合(含 1 正例 + 负采样)
# 官方未发布字段说明,首列约定为 question id,其余为候选 answer id
def load_split(path, qmap, amap):
pairs, labels = [], []
with open(path, encoding="utf-8") as f:
for line in f:
ids = line.split()
qid, cands = ids[0], ids[1:]
# 正例判定依赖官方配对约定:具体位置约定请对照仓库原始文件核验
for aid in cands:
pairs.append((qmap[qid], amap[aid]))
labels.append(1) # 占位——正例位置按官方约定解析
return pairs, labels
注意骨架中正例位置的解析约定需对照仓库原始文件核验——官方没有数据字典,这是所有使用者都要独立踩一遍的坑(附录 C 证据链注明此点)。
3.6 与 webMedQA 的同构对照
webMedQA(39健康网来源)与 cMedQA 是中文医疗答案选择方向的一对同构竞品,共享「社区问答 + 候选池排名」的任务骨架,差异在来源社区与协议细节:
| 维度 | cMedQA v2.0 | webMedQA |
|---|---|---|
| 来源社区 | 寻医问药网(xywy.com) | 39健康网(39.net) |
| 规模 | 108,000 问 / 203,569 答 | 社区口径数十万级问答对 |
| 配套论文 | IEEE Access 2018(MPAN) | 国内期刊系(PMC 记录) |
| 划分 | 官方固定 train/dev/test | 官方固定 train/dev/test |
| 库内立条 | 本条目(cmedqa2) | 未立条(截至本条目生产时点) |
实操含义:两个数据集的分数不可互相换算——来源社区的用户结构、问题分布、答案风格都不同;若做跨数据集泛化实验(train cMedQA → test webMedQA),结论应表述为「跨社区泛化」而非「同任务迁移」。同构对照的真正价值在于:两者同时存在且互为镜像,使「中文医疗答案选择」免于单一来源数据集的平台偏倚——前提是使用者在论文里写清楚用的是哪一个。
3.7 评测协议核对清单(复现者必读)
跑 cMedQA v2.0 评测前逐项打勾:
- 版本确认:你下的是 v2.0(108,000 问)还是 v1.0(54,000 问)?文件数与规模表对一下(坑 1)。
- 划分确认:用官方 train/dev/test_candidates.txt 原文划分,不自行重切——重切即失去跨论文可比性。
- 候选池确认:candidates txt 是配对关系的唯一权威来源;「每题 100 候选」未经官方确认,以你解析到的实际数字为准并写进论文(坑 6)。
- 正例约定:candidates txt 内正例的位置/标记约定需以原始文件逆向确认(无官方数据字典)。
- 指标口径:原版 top-1 ACC;若报 MAP/MRR/NDCG 注明是自算还是 sota2 榜单口径(坑 5)。
- 预处理声明:字符级是论文传统;你若做了分词/繁简转换/标点归一,必须写明——不同预处理的结果不可比。
- 长度口径:报长度统计时用字符数(官方口径),别用某分词器的词数冒充(坑 4)。
- 许可声明:论文里写明「available for non-commercial research」约束;商用计划另行走授权(坑 2)。
这份清单可直接作为论文 experimental setup 小节的写作模板——八项全声明,你的评测才与其他论文可比。
3.8 常见问题排查(快答八条)
- 解析出的候选数不是整数:candidates txt 可能有空行或尾随空白——按行 strip 后过滤空行再统计。
- answer_id 在 answers.csv 里找不到:多半是 id 类型问题(文本 vs 数字前导零)——统一转字符串再 join。
- 中文乱码:官方未声明编码,中文语料历史上多为 UTF-8,但也可能是 GBK 系——用 chardet 类工具先探测再固定读取编码,并写进复现说明。
- 训练 loss 不降:先查正例位置解析是否反了(把负例当正例)——这是本数据集复现事故的最高发原因(§3.5 骨架里的占位提醒)。
- top-1 高得离谱:警惕候选池泄漏(正例在负采样阶段重复出现)或测试集混入训练——随机基线检查(≈1/候选数)可以快速排错。
- 想要繁体/分词版本:官方只有简体原文版,无任何预处理变体——自行处理时声明工具与版本。
- 想合并 v1.0 与 v2.0 训练:不建议——两版文本长度分布不同且可能有重叠来源问题,官方未提供去重对照表;合并后的结果无处可比。
- 做去重后发现重复文本:社区问答天然存在相似甚至相同提问,官方未声明去重策略——发现重复按原文保留(勿擅自删),在论文里报告重复率即可。
这八条覆盖了社区复现中最常卡的环节;遇到清单外的问题,优先怀疑「官方文档没写的那部分」(编码、正例约定、去重策略)而不是自己的实现。
§4 论文与模型:从字符级 CNN 到 MPAN
4.1 v1.0(2017):字符级多尺度 CNN
论文:Chinese Medical Question Answer Matching Using End-to-End Character-Level Multi-Scale CNNs,Applied Sciences(MDPI)2017, 7(8), 767,doi:10.3390/app7080767。投稿 2017-07-04,修回 07-22,录用 07-26,发表 2017-07-28(MDPI 官网时间戳;卷期为 7(8) 八月刊,部分引用记为 2017-08——坑 1 存照关联)。Special Issue「Smart Healthcare」收录,CC-BY 开放获取(Semantic Scholar openAccessPdf: GOLD/CCBY)。
作者:Sheng Zhang, Xin Zhang, Hui Wang, Jiajun Cheng, Pei Li, Zhaoyun Ding(国防科技大学信息系统与管理学院,长沙 410073)。
方法三要素:
- 字符嵌入替代词嵌入:绕开中文分词预处理——论文明确指出通用分词工具(ICTCLAS、Jieba、THULAC、LTP)在医疗文本上会把「盐酸西替利嗪片」「葡萄糖酸钙片」这类药名错误切分,而领域词典构建成本高企;字符级输入让框架「免分词、免人工特征、免外部资源」端到端训练。
- 多尺度 CNN:不同宽度的卷积特征图堆叠,捕捉 n-gram 级局部上下文——中文字符语义稀薄,匹配更依赖后续模块从不同粒度提取语义。
- 最小监督:训练不需要人工特征、规则模板或外部知识库。
结果:在 cMedQA v1.0 上显著优于多个强基线,top-1 准确率最高提升 19%(摘要原话:improvement of top-1 accuracy by up to 19%)。引用 93 次(Semantic Scholar,2026-10 快照)。
4.2 v2.0(2018):MPAN 多尺度注意力交互网络
论文:Multi-Scale Attentive Interaction Networks for Chinese Medical Question Answer Selection,IEEE Access 2018, vol 6, pp 74061-74071,doi:10.1109/ACCESS.2018.2883637,2018-11-27 在线发表(IEEE/SciXplorer 确认),Electronic ISSN 2169-3536,开放获取(GOLD,PDF license CCBYNCND)。
作者:Sheng Zhang, Xin Zhang, Hui Wang, Lixiang Guo, Shanshan Liu(系统工程学院 / 科技与信息系统工程重点实验室,NUDT)。资助:国家自然科学基金 71331008、61105124(Peeref 收录的 Funding 字段)。
MPAN 三组件(摘要口径):
- 多尺度深层神经层:以不同粒度提取医疗文本语义——v1.0 多尺度思想的纵深版。
- Shortcut connections:防止深层网络退化——ResNet 式残差思想在问答匹配里的应用。
- 注意力交互(attentive interaction):挖掘问题与回答句子间的相关性——匹配不再只是各自编码后拼距离,而是让两段文本在中间层互相参照。
结果:MPAN 优于当时现有 SOTA「with noticeable margins」(摘要定性表述)。引用 116 次(Semantic Scholar,2026-10 快照)。
关于精确数字的存照:网络二手资料对 MPAN 在 cMedQA v2.0 test 上的精确 top-1 准确率说法互相矛盾(0.7126 一说未获一手确认)。按存照纪律,本条目只写摘要的定性结论,不采信任何未与论文原文对齐的数字(坑 3)。
4.3 两篇论文的关系:一个团队的连招
把两篇论文连读,能看到清晰的方法演进链:
- v1.0 解决「输入表示」问题:字符级 + 多尺度 CNN,证明免分词的中文医疗文本匹配可行,并顺手发布语料(v1.0)。
- v2.0 解决「交互建模」问题:在同样的字符级输入上加入注意力交互,证明「问题与答案互相看见」比「各自编码再比对」更强,并扩容语料(v2.0)。
- 两次发布构成递进:数据翻倍、任务命名从 matching 到 selection、模型从单向编码到双向交互——仓库 cMedQA2 实际上是「论文 2 + 数据集 v2.0」的合体发布(2018-11-08 仓库创建、2018-11-27 论文在线,相差十九天)。
4.4 时间线全景
| 时间 | 事件 |
|---|---|
| 2017-07-28 | v1.0 论文发表(Appl. Sci. 7(8):767,MDPI 官网 Published 时间戳) |
| 2017-08 | v1.0 论文卷期月(7(8) 八月刊——与上行在线时间为双口径,坑 1 关联) |
| 2018-11-08 | GitHub cMedQA2 仓库创建(initial dataset 提交:answer/question/candidates zip) |
| 2018-11-27 | v2.0 论文在线发表(IEEE Access vol 6) |
| 2019-01-09 | 仓库最后 push(add paper 提交,85feb92)——此后数据停更 |
| 2019-01 之后 | README「will update and expand」承诺未兑现;无 v3.0 |
| 2020 | ChineseBLUE(WSDM 2020 Healthcare Day)收录 cMedQA 二分类改版任务 |
| 2021 | CBLUE 发布,中文医疗评测社区重心迁移(cMedQA 原版未被直接收录,坑 7) |
| 2026-05(快照) | sota2.com「Reranking on CMedQA v2 (test)」榜单 5+ 模型提交,Qwen3-Reranker-8B 领跑 |
| 2026-09/10 | 本条目核验时点:仓库 393 stars / 71 forks / 4 open issues,两论文合计引用 209 次 |
4.5 人物与机构备注
- Sheng Zhang(张声/张胜生等中文写法在网络上不一,条目只以英文署名为准):两版论文一作,仓库所有者(zhangsheng93),v1.0/v2.0 全程主导。
- Xin Zhang、Hui Wang:两版论文共同作者,教授;团队核心贯穿者。
- v1.0 特有:Jiajun Cheng、Pei Li、Zhaoyun Ding;v2.0 特有:Lixiang Guo、Shanshan Liu——名单变动官方未解释。
- 机构:国防科技大学(NUDT),长沙;v1.0 署名信息系统与管理学院,v2.0 署名系统工程学院/科技与信息系统工程重点实验室——同一团队在学院建制调整前后的两种署名。
4.6 v1.0 框架技术存目
v1.0 论文的技术贡献四点(摘要与引言口径),逐条存目:
- 问题定义:首次系统提出中文医疗问答匹配问题(to the best of our knowledge, the first publicly available Chinese medical questions answer matching corpus)——把「相似问题反复出现、医生回复不过来」的产品痛点转译为判别式排序任务。
- 表示层:字符嵌入(character embeddings)替代词嵌入——规避中文分词;论文点名 Jieba 会把「盐酸西替利嗪片」「葡萄糖酸钙片」错切,且「专业术语的多样性会使通用分词工具在医疗文本上的准确率急剧下降」。
- 结构层:多尺度 CNN(multi-scale CNNs)——不同尺度的卷积特征图堆叠,适配「不同中文短语长度不一」的现实,捕捉局部上下文(n-gram 内的局部交互与依赖)。
- 训练层:最小监督(minimal human supervision)——不需要人工特征、规则模板或外部资源,端到端训练。
这四点的组合在 2017 年构成一个完整的方法论闭环:输入端砍掉分词依赖、结构端补回多粒度上下文、训练端甩掉特征工程。后续中文医疗 NLP 的大量工作沿这三条轴线展开——字符/子词表示、多粒度编码、预训练免特征——只是把 CNN 换成了 Transformer。
结果细节:论文报告该框架「显著优于多个强基线」,top-1 准确率提升最高 19%(improvement of top-1 accuracy by up to 19%)。基线体系与逐配置数字以论文第 4 节为准,本条目按存照纪律不转引未核验的分项数字。
4.7 v2.0 论文的关键词面与定位
IEEE Access 论文的官方关键词列表(README BibTeX 收录):Biomedical imaging、Data mining、Semantics、Medical services、Feature extraction、Knowledge discovery、Medical question answering、interactive attention、deep learning、deep neural networks。
关键词面的两个观察:
- 「interactive attention」是方法身份词——MPAN 相对 v1.0 的增量全在交互层:问题与答案不再各自编码后比对,而是在注意力机制下互相「提问」与「作答」。这与 2018 年前后匹配类模型的总体演进方向(ESIM、BiMPD 等交互式匹配)同步——MPAN 可视为该范式在中文医疗域的落地实现。
- ** biomedical imaging 入选关键词耐人寻味**——论文本体是纯文本任务,该关键词更多反映 IEEE Access 的跨学科投稿定位而非内容特征;检索时别被它误导去图像文献里找。
4.9 基线体系存目:cMedQA 时代的对照系
两篇论文时代的基线对照系(按可核验程度分层):
- 一手可核验(论文摘要):v1.0 报告「显著优于多个强基线」(several strong baselines),最高提升 19%;v2.0 报告优于当时 SOTA(with noticeable margins)。基线名单与逐项数字在论文正文,本条目不转引未核验分项(坑 3 的纪律同样适用于基线数字)。
- 中文期刊系可核验(CCF 收录论文):《基于注意力和字嵌入的中文医疗问答匹配方法》的对照系为词匹配、字匹配、BiLSTM——Top-1 准确率 65.43% 对三者全面占优。这组对照反映了中文社区跟进时的典型基线配置:词面方法 + 循环网络。
- 方法论谱系(定性):cMedQA 时代恰逢匹配模型从「表示型」(双塔编码 + 相似度)向「交互型」(注意力交叉)过渡——v1.0 的 charCNN 属表示型、v2.0 的 MPAN 属交互型,两代范式在同一数据集上有先后成绩,是它作为基准的方法学厚度所在。
给复现者的建议基线组合:随机(协议健全性)→ 词面(BM25/字符 n-gram)→ 双塔编码器 → 交互式模型。四层阶梯每一层都有独立信息量:随机层验证协议、词面层标定难度下限、双塔层度量表示质量、交互层度量匹配结构收益。
4.10 如果只引一篇:版本选择指南
两篇论文引哪篇,按用途决定:
| 用途 | 引用选择 |
|---|---|
| 使用 v2.0 数据(108,000 问) | 引 IEEE Access 2018(数据集随该论文发布于 cMedQA2 仓库) |
| 使用 v1.0 数据(54,000 问) | 引 Applied Sciences 2017 |
| 综述中文医疗 QA 起源 | 两篇都引(时间线 2017→2018) |
| 引用字符级方法论 | 引 v1.0(charCNN 首创) |
| 引用注意力交互方法论 | 引 v2.0(MPAN) |
只有一个例外场景建议双引:你的实验同时在 v1.0 与 v2.0 上评测(如《信息安全学报》后续论文的做法)——此时两篇论文各为其数据的出处,缺一不可。
§5 评估与基准:四套口径一张图
5.1 原版协议:top-1 准确率
v1.0/v2.0 论文的官方指标是 top-1 准确率(ACC@1):正确答案是否被排在候选池第一位。该指标与候选池构造绑定——不同论文若负采样数不同,top-1 不可比(100 候选里排第一远难于 10 候选里排第一)。因为官方未明写候选数(坑 6),跨论文复现者第一步要核对的不是模型而是协议。
5.2 衍生协议一:ChineseBLUE 二分类
ChineseBLUE(WSDM 2020 Healthcare Day 论文「Conceptualized Representation Learning for Chinese Biomedical Text Mining」)收录的 cMedQA 任务明确注明「We use cMedQA released from the paper Multi-Scale Attentive Interaction Networks…」——即基于 v2.0 数据改造:
| 属性 | 原版 v2.0 协议 | ChineseBLUE 改版协议 |
|---|---|---|
| 任务 | 候选池排序 | 0/1 二分类(问答对是否匹配) |
| 规模 | train 100,000 / dev 4,000 / test 4,000 问 | train 49,719 / dev 5,475 / test 6,149 对 |
| 指标 | top-1 ACC | F1 |
| 标签语义 | 相对排序(1 正 + 负采样) | 逐对绝对判断 |
这版改造把「排序」改成了「逐对判断」,规模与指标全部重定义——引用「ChineseBLUE cMedQA F1」与引用「cMedQA v2.0 top-1」是两件完全不同的事(坑 5)。ChineseBLUE 自我表述「recommend to use our recent released CBLUE」说明它是 CBLUE 的前身项目之一,但 CBLUE 本身未直接收录 cMedQA 原版任务(坑 7)。
5.3 衍生协议二:sota2.com 重排序榜单
sota2.com 将「Reranking on CMedQA v2 (test)」列为 Reranking 任务的独立榜单(2026-05 快照,5+ 模型提交):
| 模型 | MAP | NDCG@10 | R@10 |
|---|---|---|---|
| Qwen3-Reranker-8B | 85.36 | 88.9 | 97.01 |
| BGE-Reranker-v2-m3 | 83.47 | — | — |
| GPT-4o-mini | 67.5 | — | — |
三个观察:
- 专用 reranker 碾压通用 LLM:GPT-4o-mini 的 MAP(67.5)比 Qwen3-Reranker-8B(85.36)低近 18 分——零样本通用模型不微调在医疗域排序上不占优。
- 2018 年数据集与 2025 年模型的组合:说明 v2.0 的 test 划分至今仍被视为有效的中文医疗排序试金石。
- 口径提醒:sota2 榜单的指标口径(MAP/NDCG/R@10)与原版论文的 top-1 ACC 不同源,引用时注明榜单出处与快照日期。
5.4 学术生态的后续评测锚点
- CCF 数字图书馆收录论文《基于注意力和字嵌入的中文医疗问答匹配方法》:在 cMedQA 上 Top-1 准确率 65.43%,优于词匹配、字匹配、BiLSTM 基线——中文期刊系的代表性后续工作。
- 《信息安全学报》《语义及句法特征多注意力交互的医疗自动问答》:在 cMedQA v1.0 与 v2.0 上以 GCN + 多注意力池化 + BiGRU 提升 ACC@1——双版本并行评测的实例(也印证两版本数不直接可比)。
5.5 自建评测管线的最小步骤
从零到第一个可报告数字,最小步骤清单:
步骤 1 获取
- git clone 或 zip 下载 zhangsheng93/cMedQA2(~90MB 仓库)
- 解压 5 个 zip:questions.csv / answers.csv / 三个 *_candidates.txt
步骤 2 协议逆向(唯一无官方文档的环节)
- 打开 train_candidates.txt 观察行格式(id 布局)
- 用 answers.csv 的 id 集合交叉验证解析正确性
- 记录:每题实际候选数分布(写入你的论文/报告)
步骤 3 基线
- 无模型基线:随机排序 top-1 ≈ 1/候选数(若 100 候选则 ≈ 1%,可作协议健全性检查)
- 词面基线:BM25/字符 n-gram 重叠——cMedQA 论文时代的传统对照系
步骤 4 模型
- 字符级输入(论文传统)或现代 tokenizer——声明你的选择
- 双塔编码 vs 交互式匹配——MPAN 属后者,对照实验建议各配一个
步骤 5 报告
- top-1 ACC(主指标)+ 可选 MAP/MRR
- 声明:版本、划分、候选数实测、预处理、许可约束(附录 §3.7 八项)
步骤 2 是全部环节里唯一的「逆向工程」——官方数据字典缺失使它成为每个复现者的必修课(坑 6 的实操面)。步骤 3 的随机基线是个便宜的协议检查器:如果你的 top-1 显著低于 1/候选数,先怀疑解析错了而不是模型太差。
5.6 分数怎么读:三个常见误读
拿到一个 cMedQA v2.0 上的 top-1 分数后,最容易犯的三个解读错误:
- 把 top-1 当「答对率」。top-1 高只说明模型把「社区里那条对应回答」排到了第一——它不衡量医学正确性(§3.4)。一篇论文报告 85% top-1,正确表述是「85% 的问题其官方配对回答被排到首位」,不是「85% 的回答在医学上正确」。
- 跨论文直接比分数。候选数、负采样策略、预处理任何一项不同,分数不可比——两篇都写着「cMedQA v2.0 top-1 = 0.7x」的论文可能在测两道不同的题。可比的前提是 §3.7 清单八项全对齐。
- 用中文医疗「语言难度」解释全部差距。模型在 cMedQA 上的表现差,可能是语言问题、更可能是候选池构造问题(负例难度)或社区语域问题(口语化症状描述)——归因前先做错误分析(§2.7 建议的多症状分桶是起点)。
补一个正向读法:分数的纵向趋势比横向绝对值更有信息量——同一协议下,从词面基线到 charCNN(+19%)到交互式模型(MPAN 再提升)的阶梯,是「中文医疗短文本匹配可学习信号存在且结构化」的证据链。这条证据链不因数据集老而失效。
5.7 分数与协议的耦合警告:一个思想实验
假设一个场景:论文 A 用官方 candidates txt 报 top-1 = 0.75;论文 B 觉得 100 候选太难,自己重采样了 10 候选的池子报 top-1 = 0.90。两篇论文标题里都写「on cMedQA v2.0」。谁更高?
答案是:问题不成立。B 的 0.90 与 A 的 0.75 不在同一把尺子上——随机基线从 1% 变成了 10%,任务难度被协议改写了。这不是虚构:cMedQA 无 leaderboard、无提交审计,协议改写无人拦截,「on cMedQA」字样下可能藏着被改写过的协议。
防坑动作只有一条:读任何「on cMedQA」的结果时,先找候选数与划分来源——找到官方 candidates txt 字样才可信;找不到,当它在测另一个自制数据集。
5.8 引用规范速查
| 你要引用什么 | 正确写法 | 禁忌 |
|---|---|---|
| v2.0 数据 + top-1 | cMedQA v2.0(IEEE Access 2018, doi:10.1109/ACCESS.2018.2883637) | 别引成 v1.0 的 MDPI 论文 |
| v1.0 数据 + 19% 提升 | cMedQA v1.0(Appl. Sci. 2017, doi:10.3390/app7080767) | 规模数字别用 108,000(那是 v2.0) |
| ChineseBLUE 改版 F1 | ChineseBLUE cMedQA 任务(WSDM 2020 论文) | 别与原版 top-1 混排一张表 |
| reranker 榜单 | sota2.com Reranking on CMedQA v2 (test),注快照日期 | 别与原版 top-1 ACC 并列比较 |
§6 获取与许可:直链无门禁,但条款有暗礁
6.1 渠道全景
| 渠道 | 版本 | 许可标注 | 门槛 |
|---|---|---|---|
| GitHub zhangsheng93/cMedQA2 | v2.0 全量(官方) | LICENSE 文件 GPL-3.0(GitHub 识别)+ README「available for non-commercial research」 | 无(zip 直链) |
| Gitee gitee.com/shanghaisit/cMedQA2 | v2.0 全量镜像 | GPL-3.0 标注 | 无 |
| OpenCSG opencsg.com/datasets/billionaire/cMedQA | v1.0 与 v2.0 分列 | 平台标注 | 无 |
| 天池 tianchi.aliyun.com/dataset/90188 | v1.0 | 页面标注 CC-BY-NC 4.0,注明 cr: NUDT | 阿里云账号 |
| 和鲸 heywhale | v1.0 | 平台标注 | 平台账号 |
四点提醒:
- 官方主渠道是 GitHub——本数据集无官方 HuggingFace 版本(本环境 HF 主站被沙箱封锁走 hf-mirror.com 的注意点对它无影响,但也没必要:GitHub 可直连)。
- 天池/和鲸是 v1.0——想用 108,000 问的 v2.0 别下错(坑 1 的获取侧体现)。
- 天池页面的 CC-BY-NC 4.0 标注是转载平台自加的口径,与 GitHub 官方仓的 GPL-3.0 + non-commercial 双条款不一致——以官方仓库为准。
- 无 release、无 package:master 分支 zip 直链是唯一官方出口,仓库若被删/转私有则官方获取断链(单点风险,DAIMS S 维失分主因)。
6.2 许可双条款的细读
GitHub API 把仓库 LICENSE 文件识别为 GPL-3.0(GNU General Public License v3.0);README 首段另声明「The dataset is in version 2.0 and is available for non-commercial research」。DeepWiki 的合成解读为「available for non-commercial research under the GNU General Public License v3」——把两句捏成一句,但这两句在法律上并不自然相容:
- GPL-3.0 是强 copyleft:允许任意使用(含商用),但衍生分发需同许可开源。
- non-commercial research 声明是使用范围限制:排除商业用途。
如果两者同时有效,更严格的约束(非商业)通常会压过更宽松的(GPL-3.0 允许商用)——但 GPL-3.0 文本本身不含「非商业」选项,这种组合是数据集发布(而非软件发布)语境下的常见混搭。本条目不做法律判定,只给出实操守则:
- 学术研究:两条款下都可行,放心用,引用论文即可。
- 商业用途:被「non-commercial research」明确排除——需与作者书面确认(坑 2)。
- 再分发/衍生数据集:GPL-3.0 要求同许可开源衍生件;叠加非商业限制后边界更模糊——发布衍生数据集前建议咨询机构法务。
6.3 AI-Ready 评估视角
以库内 AI-Ready 检查单过一遍:
- 机器可读元数据:README 表格 + 论文开放获取全文 + 多个第三方聚合页——中等偏上;但无字段级数据字典、无官方 dataset card。
- 公开直链:✅ GitHub zip 直链无注册门禁——AI-Ready 核心加分项。
- 许可明确性:⚠️ 双条款并存且互不寻常,商用边界灰色(§6.2)。
- 可复现性:✅ 固定 train/dev/test 划分 + 候选池文件,跨论文可比协议完整保存;⚠️ 但候选池构造规则未官方披露,正例位置解析需自行逆向。
- 文档自洽:⚠️ README 词数列空缺(坑 4)、候选数未明写(坑 6)、ChineseBLUE 改版口径漂移无人维护(坑 5)。
综合:AI-Ready 等级「中上」——获取门槛与任务协议是长项,元数据稀疏与许可混搭是短板。与库内「注册墙」数据集(如需审批才能下载的一类)相比,cMedQA v2.0 属于「进门容易、说明书简陋」型。
6.4 与库内可获取性光谱的对照
库内数据集条目已形成一条可获取性光谱,cMedQA v2.0 的位置:
| 档位 | 特征 | 库内参照型 | 本条目对应 |
|---|---|---|---|
| 注册墙 | 注册+审批+用途审查 | 机构审批型挑战赛数据 | — |
| 账号墙 | 平台注册即可下 | 天池/和鲸 v1.0 转载(账号墙) | v1.0 的镜像档 |
| 请求制 | 邮件作者、用途声明 | upon request 型老条目 | — |
| 平台托管 | Zenodo/机构库持久化 | DOI 化存档型 | — |
| 公开直链 | 无门禁 HTTP 直下 | GitHub/HF 直链型 | v2.0 官方仓(本条目主档) |
cMedQA v2.0 坐在光谱最宽的「公开直链」档——但它同时展示了一个细节:同一数据集的不同版本可以散布在不同档位(v2.0 在直链档、v1.0 转载在账号墙档)。检索者按「能否立刻下载」过滤时会命中 v2.0;按「平台托管可持续性」过滤时反而更容易找到 v1.0 的天池页——过滤口径不同,命中的版本不同,这是「版本散布多档位」数据集的检索陷阱(坑 1 的获取侧表现)。
6.5 镜像生态逐个点评
非官方镜像的质量与风险逐个过一遍:
- Gitee(gitee.com/shanghaisit/cMedQA2):v2.0 全量镜像,GPL-3.0 标注。价值在国内网络环境下的访问速度;风险是镜像同步时点不明——以官方仓 commit(2019-01-09 后无变动)为参照,若镜像文件指纹与官方一致则等价可用。
- OpenCSG(opencsg.com/datasets/billionaire/cMedQA):v1.0 与 v2.0 分列成两个数据集页——罕见地对版本做了区分,检索者反而不易踩坑 1;标注沿用官方口径。
- 天池(tianchi.aliyun.com/dataset/90188):只有 v1.0;页面标注 CC-BY-NC 4.0 并注明 cr: NUDT——许可标注与官方仓不一致(平台自加),下载者应知数据本体许可以官方仓为准。
- 和鲸(heywhale):只有 v1.0,页面为中文社区分享性质;无许可升级或修改声明。
镜像使用总守则:镜像作加速,官方作口径——许可、版本、完整性争议一律回官方仓裁决;长期依赖项目自存档时也以官方仓文件为基准源。
6.6 自存档指南(长期依赖项目)
鉴于坑 8(个人账号单点分发、停更八年),需要长期依赖 cMedQA v2.0 的项目建议完成以下存档动作:
- 记录当前版本指纹:对 5 个 zip 文件做 sha256,与你的代码仓库一起版本化。
- 存档 README 全文与 commit hash(85feb92,2019-01-09)——文档与数据同权保存。
- 在你的数据管理文档里注明:上游无维护承诺,异动需人工触发重评(本条目附录 H 触发点 1 可直接复用)。
- 若需国内加速:Gitee 镜像 + 官方 sha256 双校验。
这套动作的成本约半小时,换来的是「上游消失也不影响你的实验可复现性」——对停更数据集,这是标准操作而非过度工程。
§7 生态与影响
7.1 学术影响:209 次引用的构成
两篇论文合计被引 209 次(Semantic Scholar,2026-10 快照:v1.0 93 + v2.0 116)。引用构成的时间线很有代表性:
- 2017-2020:中文医疗问答匹配方向的奠基期——cMedQA v1/v2 是该方向少数公开基准,CCF《计算机工程与应用》、《信息安全学报》等中文期刊后续论文全部以它为评测集,同期国际会议的中文医疗问答工作也普遍引用。
- 2020-2021:ChineseBLUE(WSDM 2020)收录其改版任务;2021 年 CBLUE 发布后社区评测重心向 CBLUE 的 CMedQA/CHIP 任务系迁移(注意 CBLUE 的 CMedQA 与 cMedQA 是不同家族,坑 7)。
- 2022-2026:原版热度回落但未消亡——神经检索范式兴起后,它以「Reranking on CMedQA v2」的身份进入 reranker 榜单(sota2.com),2026 年仍有新模型提交。
7.2 在中文医疗 NLP 数据集谱系中的位置
cMedQA v1/v2 与库内相关条目的谱系关系:
- 同期同域:webMedQA(39健康网,同构竞品——同样的答案选择任务、不同社区来源);MedDialog(医联/春雨在线咨询,110 万对话——对话生成方向)。
- 下游改版:ChineseBLUE cMedQA 任务(WSDM 2020,0/1 二分类改造)。
- 精神后继:CBLUE(2021,阿里+平安系,中文医疗评测统一基准——未直接收录 cMedQA 但继承了「中文医疗标准化评测」的问题意识);CMB-Clin(2023,多轮问诊)。
- 语料供给:huatuo-26m 等大规模中文医疗问答预训练语料的时代,cMedQA 的 108K 问已被吸入更大的预训练池——它的独立价值从「训练语料」收缩为「评测协议」。
一句话定位:cMedQA v2.0 是中文医疗问答从「能不能做」到「做得怎么样」的第一把标准尺子,如今是尺度最老的仍在服役的一把。
7.3 商业化与维护状态
- 无商业化:官方从未提供付费服务或企业授权;天池/和鲸转载均为社区分享。
- 维护停摆:last push 2019-01-09;issues 区 4 个开放问题无人回复(2026-09 快照);README 的更新承诺未兑现。
- 生态自治:数据本身因格式简单(csv+txt)而在停更后依然可用——格式越简单,单点停更的伤害越小,这是它八年不过气的工程原因。
7.5 中文医疗评测基准演进时间轴(cMedQA 视角)
把 cMedQA 放进中文医疗评测基准的十年演进里看:
| 阶段 | 时期 | 代表基准 | cMedQA 的角色 |
|---|---|---|---|
| 开创期 | 2017-2019 | cMedQA v1/v2、webMedQA、ChiMed | 主角:中文医疗答案选择的事实标准 |
| 整合期 | 2020 | ChineseBLUE(WSDM 2020) | 被收录改版(0/1 二分类任务) |
| 统一期 | 2021-2022 | CBLUE(阿里+平安系) | 未直接收录(坑 7);社区重心迁移 |
| 大语料期 | 2022-2023 | huatuo-26m 等预训练语料 | 被吸入预训练池;独立价值收缩为评测协议 |
| 评测复兴期 | 2023- | CMB-Clin 等综合评测 + reranker 时代榜单 | 常青配角:sota2 reranking 榜单持续服役 |
这条时间轴的读法:cMedQA 经历了「主角 → 被整合 → 被吸收 → 常青配角」的完整生命周期——大多数数据集停在中间某一步(被整合后遗忘,或被吸收后无协议独立价值)。cMedQA 能走完全程的护身符有二:协议简单(csv+txt,永不失配)与固定划分(八年不变,永远可比)。给新数据集设计者的启示:简单与稳定是数据集长寿的第一美德。
7.7 作者团队的后续轨迹
以公开可查证信息为限:
- v3.0 未出现:README「will update and expand」承诺未兑现(坑 8),官方渠道再无 cMedQA 系数据发布。
- 团队方向:Sheng Zhang、Xin Zhang、Hui Wang 等 NUDT 团队在中文医疗 NLP 与文本挖掘方向持续有论文产出(IEEE Access、中文期刊系),cMedQA v2 是其最有公共资产属性的产物。
- 学生名单的足迹:v2.0 新增作者 Lixiang Guo、Shanshan Liu 与退出作者 Cheng Jiajun、Li Pei、Ding Zhaoyun 的后续去向官方未说明——按学生流动的常见节奏理解即可,条目不做无据推断。
- 社区角色:Sheng Zhang 以 zhangsheng93 账号持有仓库,2019-01 后无 commit、无 issue 回复、无 README 修订——标准的「论文结题、代码归档」状态。
对一个 2017-2018 年的数据集,「结题归档」本是常态;它的特殊之处在于归档后的八年里生态反而扩张(ChineseBLUE 改版、reranker 榜单化)——数据集的公共生命超过了团队的维护投入,这是开放数据生态的理想剧情,也是口径漂移无人治理的根源(§8.4)。
7.8 引用热度与星标热度的不对称
GitHub 393 stars / 71 forks(2026-09 快照)——对 108K 量级的医疗数据集属于中等偏低;而论文引用 209 次属于中高。这种不对称的解读:cMedQA 的使用重心在论文评测而非工程落地——它是「论文里的 baseline 数据集」,不是「产品里的训练语料」。做技术选型时,星标参考价值有限,应以引用与榜单为准。
§8 方法学启示:五条可迁移的经验
8.1 「社区结构当标注」是低成本标签来源
cMedQA 的正例无需人工标注——「某回答是某问题的社区回复」这一结构性事实自带标签。这个思路可迁移到一切有回复结构的社区语料(论坛、评论-回复、工单-解决记录)。它的边界也同样可迁移:结构标签只能保证「相关性事实」,不能保证「内容质量」——回答者权威(认证医生)不等于回答正确。采用此法的新数据集应在文档中显式声明这一边界,cMedQA 没有声明(当年的惯例使然),后来者应当补上。
8.2 字符级输入是对「分词依赖」的制度性防御
v1.0 的字符级设计在 2017 年是绕开分词错误的工程妥协,回头看却是对中文医疗 NLP 的一条长期有效经验:领域专名(药名、检查名、术式名)会让通用分词器失灵,而领域词典维护成本永远追不上术语更新。后来 BERT 系的字符/子词切分在中文医疗文本上普遍表现稳健,等于大规模验证了这条路线。今天的等价问题是自己语言的 tokenizer 对领域文本的健壮性——在医疗文本上训练前,先看 token 化是否把药名切碎,是 cMedQA 经验的现代版。
8.3 固定划分是「低配版可复现性」的最大公约数
cMedQA 的跨论文可比性完全建立在「官方划分 + 候选池文件不动」上——没有 leaderboard、没有提交系统、没有防作弊审计。这层保障很薄(有人混训练测试集也无从发现),但它证明了协议文件本身公开且稳定,就足以支撑一个方向八年的评测秩序。对比后来带 leaderboard 的基准(可提交、可作弊、平台停运即失忆),cMedQA 这种「笨办法」反而寿命更长——数据集可持续性的第一决定因素是获取链路的简单性,不是评测基础设施的先进性。
8.4 停更数据集的口径漂移无人看管:ChineseBLUE 案例
v2.0 停更后,ChineseBLUE 团队按自己的需要改造了协议(0/1 二分类、新规模、F1),并明确注明数据来源——这是良性的(口径透明);但聚合网页在转述时普遍把两种口径混为一谈,八年下来「cMedQA」这个名字下面已经叠了至少四层口径(v1.0 排序、v2.0 排序、ChineseBLUE 二分类、sota2 重排序)。停更数据集没有官方账号出来纠正误传,口径漂移只能靠条目存照对抗——这正是本条目坑 1/5/7 存在的理由,也是所有「 archive 型」数据集条目的通用维护负担。
8.5 给下一代中文医疗数据集的四条设计建议
从 cMedQA 八年生命周期提炼的四条设计建议(正面经验与反面教训各半):
- 协议文件即宪法:cMedQA 的跨论文可比性全部来自「划分 + 候选池文件不变」。新数据集应把协议文件放在与数据本体同级的发布优先级上,并在文档里写清协议的每个参数(cMedQA 没写清候选数,代价是八年的复现歧义——坑 6)。
- 无标注要声明边界:「社区结构当标注」是合法的标签来源,但必须在 dataset card 里显式声明「本数据测相对排序,不测医学正确性」。cMedQA 时代没有 dataset card 惯例,后来者应补上这门课。
- 字段文档是低成本高回报资产:一份 30 行的数据字典(字段名、类型、正例约定)就能消灭「每个使用者逆向半天」的重复劳动。cMedQA 的 M 维失分(DAIMS 6.4)几乎全部来自这一项缺失。
- 停更前的「告别提交」:维护者决定停止维护时,最后一次 commit 里应包含:最终口径声明(哪些衍生协议是授权的)、常见误用澄清、存档指纹(文件 hash)。cMedQA 的最后 commit 是「add paper」——论文链接加了,但口径澄清一个字没有,于是 ChineseBLUE 改版与聚合页混传在真空中生长了八年。
四条建议的共同主题:数据集的可持续性一半在数据,一半在沟通——格式简单让 cMedQA 活了八年,文档缺失让它活得众说纷纭。
§9 与库内条目的关系
9.1 家族图谱(互链 rid 为 2026-10-04 DB 查证)
- medqa(rid 50):USMLE 考试题英文医疗问答——任务形态对照(考试标准答案 vs 社区候选池排名);同属「答案选择」大类的两岸样本。
- pubmedqa(rid 49):专家标注 yes/no/maybe 的生物医学结论判定——标注型 vs 无标注型评测的对照。
- meddialog(rid 210):医联/春雨在线咨询对话——同源于中文在线医疗咨询场景,cMedQA 取问答对、MedDialog 取对话流。
- cblue(rid 190):2021 中文医疗统一基准——cMedQA 未被其直接收录(坑 7),但 cblue 条目应与本章互链以澄清「CMedQA(CBLUE 任务)≠ cMedQA(本条目)」。
- cmb-cmexam(rid 180):2023 中文医疗多任务基准与考试题库——cMedQA 的「考后时代」继任者。
- huatuo-26m(rid 823):2600 万中文医疗问答预训练语料——cMedQA 的 108K 问被这类超大语料吸入预训练池后,其独立价值收缩为评测协议。
- medicationqa(rid 170):HealthTap 药物问题——英文同域对照(消费者药物咨询 vs 综合医疗咨询)。
- emrqa(rid 139):EHR 逻辑映射合成问答——合成生成 vs 真实采集的数据构造对照。
- medquad(rid 160):NIH 网页 FAQ 聚合——英文 FAQ 型对照。
- mediqa(rid 220):医学问答翻译/概括系列任务——社区问答语料在 NLP 任务化的另一条路径。
- chinese-critical-care-database(rid 166):中文重症监护语料——口语社区文本 vs 临床专业文本的语域对照。
9.2 互链叙事建议
- 从 cblue(rid 190)读过来的用户:注意 CBLUE 的 CMedQA 任务(社区问答匹配的 CBLUE 版)与 cMedQA v2.0 名字相近但协议不同——由本条目 §5.2 澄清。
- 从 meddialog(rid 210)读过来的用户:同源场景(中文在线咨询)的两种切法——问答对化做排名(本条目)vs 对话化做生成(meddialog)。
- 从 huatuo-26m(rid 823)读过来的用户:预训练语料时代,cMedQA 的角色从「训练+评测」收缩为「评测」——协议文件是它最后的独立资产。
§10 避坑清单:八个已踩过的坑
坑 1:cMedQA 一名两版,规模作者全不同。检索「cMedQA」常命中 v1.0(54,000 问/101,743 答、平均 119/212 字符、六位作者含 Cheng/Li/Ding)——v2.0 是 108,000 问/203,569 答、49/101 字符、五位作者(Guo/Liu 替换)。任务英文名也变(matching → selection)。引用任何数字前先对版本;天池/和鲸转载是 v1.0。
坑 2:许可双条款并存。LICENSE 文件 GPL-3.0 + README「available for non-commercial research」——GPL 允许商用、非商业声明排除商用,两者不自洽。学术用无碍;商用/再分发/衍生发布前需与作者书面确认。天池页面另标 CC-BY-NC 4.0 是转载平台口径,以 GitHub 官方仓为准。
坑 3:MPAN 精确 top-1 数字不可靠。网络二手资料对 MPAN 在 cMedQA v2.0 test 的精确 top-1 准确率互相矛盾(0.7126 一说无一手确认)——论文摘要只写定性结论(优于当时 SOTA「with noticeable margins」)。本条目只采定性表述;需要精确数字时请自行对论文原文表格核验。
坑 4:README 词数列空缺。v2.0 官方统计表「Ave. #words per Question/Answer」两列为「-」,只有字符数(49/101)有值;v1.0 README 词数字符都有(词 96-97/168-172、字符 119/212)。自动抽取时别把「-」当 0,也别用 v1.0 词数填 v2.0 的空。
坑 5:ChineseBLUE 的 cMedQA 是改版。ChineseBLUE(WSDM 2020)的 cMedQA 任务基于 v2.0 数据改造为 0/1 二分类(train 49,719/dev 5,475/test 6,149 对,指标 F1)——与原版 100,000/4,000/4,000 问 + top-1 ACC 完全不同。两种口径不可混排一张表;引用必须写明「ChineseBLUE cMedQA 任务」或「cMedQA v2.0 原版」。
坑 6:「每题 100 候选」是二手口径。官方 README 从未明写每题候选数——「100 候选(1 正 + 99 负)」来自 dianshudata 等第三方描述并被后续论文沿用。本条目表述为「候选池机制」并注明数字来源层级;复现者请以仓库原始 candidates txt 实测为准。
坑 7:CBLUE 没有直接收录 cMedQA。CBLUE(2021)自带一个名为「CMedQA」的任务(社区问答匹配的 CBLUE 版),与 cMedQA v2.0 不是一回事;ChineseBLUE 自述是 CBLUE 前身项目之一,但 cMedQA 原版任务未进入 CBLUE。检索时「CMedQA CBLUE」与「cMedQA2」要分开。
坑 8:仓库停更且单点分发。last push 2019-01-09,README「will update and expand」承诺未兑现;无 release、无官方 HuggingFace 版、issues 无人回复——官方获取完全依赖 zhangsheng93 个人 GitHub 账号。已有 Gitee/OpenCSG 非官方镜像,但镜像时效与完整性无官方背书。需要长期依赖的项目应自存档并记录版本指纹。
§11 总结
11.1 三句话总结
- cMedQA v2.0 用 108,000 个真实社区医疗问题与 203,569 条回答、以候选池机制构成中文医疗答案选择的第一把标准尺子,2017-2020 年间是该方向事实基准,两篇配套论文(charCNN → MPAN)合计被引 209 次。
- 它的协议设计极简(csv + 划分 txt + 固定 split),无门禁直链、无标注依赖、开箱即评——这是它八年不过气的工程原因;无人工标注也决定了它测相对排序而非医学正确性。
- 它停更于 2019-01-09,此后口径漂移无人看管(ChineseBLUE 改版、聚合页混传、词数列空缺、候选数存疑)——使用它的第一动作是核对版本与协议,而不是下载数据。
11.2 适合谁
- 医疗 FAQ 检索/重排团队:中文医疗域 reranker 微调与评测的直接素材(sota2 榜单可对标)。
- 中文短文本语义匹配研究者:字符级/子词级表示学习的经典试金石。
- 数据集工程研究者:「社区结构当标注」「固定划分撑起评测秩序」「停更后口径漂移」三个案例研究的活样本。
- 医学信息学教学者:一条问题的生命周期(§1.0)到口径治理(§8.4)的完整教学素材链。
11.3 不适合谁
- 需要医学事实正确性标签的项目(数据不承载医学验证)。
- 需要多轮对话或长文本的任务(单轮、平均 49/101 字符)。
- 需要活跃维护与官方答疑的团队(停更八年,issues 无回应)。
- 对隐私合规有强审计要求的场景(匿名化细节未公开,无法提供处理审计链)。
11.4 30 秒决策卡
| 你的情况 | 行动 |
|---|---|
| 要立刻跑通评测 | GitHub 下 v2.0 全量 zip,按 §3.5 骨架解析(先核 candidates txt 正例约定) |
| 做 reranker 对比 | 对标 sota2 榜单口径(MAP/NDCG@10/R@10),注快照日期 |
| 要用 v1.0 对比 | 认准 MDPI 论文与 v1.0 仓库——规模 54,000,别混 v2.0 数字 |
| 商用想法 | 先放下——non-commercial 声明明确排除,需作者书面授权(坑 2) |
| 写综述引数字 | 按本条目 §5.8 引用规范速查表对号入座 |
11.5 场景化路线图:从本条目出发的四种工作流
工作流 A:reranker 研发(最常见的当代用法)
- GitHub 拉 v2.0 → 按 §3.7 清单解析协议 → 训练划分微调 reranker。
- test 划分报 top-1 ACC(原版口径)+ MAP/NDCG(扩展口径),双指标都报。
- 对标 sota2 榜单(Qwen3-Reranker-8B MAP 85.36 为现参照系),注明快照日期。
- 微调后的模型可直接用于医疗 FAQ 检索/导诊候选排序产品管线(注意许可约束)。
工作流 B:表示学习研究
- 以字符级输入复现 v1.0 charCNN 基线(方法存目见 §4.6)。
- 对比现代 tokenizer 与字符级在医疗专名(药名、检查名)上的 token 化差异。
- 在固定划分上做消融——多尺度、交互、预训练初始化逐项拆解。
- 错误分析按 §2.7 的多症状分桶做,报告口语化语域的失败模式。
工作流 C:数据集工程与教学
- 以本条目 §8 五条启示为讲义框架,cMedQA 作正反案例库。
- 让学习者亲手做一次 candidates txt 逆向解析(§3.5/附录 M),体会「无数据字典」的成本。
- 对照 ChineseBLUE 改版(§5.2)讨论「协议漂移」与口径治理。
工作流 D:综述与引用
- 按 §0.3 导航表确定你要引用的口径,按 §5.8 速查表写引文。
- 时间线用 §4.4 全景表(MDPI/IEEE 官网时间戳为准)。
- 生态叙事用 §7.5 演进时间轴;方法学叙事用 §8。
四条工作流覆盖了本条目读者的绝大多数入场姿势——每一条都从「下载数据」之外的地方开始,这不是绕路:cMedQA 的八年教训说明,协议与口径的功课做在前面的团队,才拿得到可比的结果。
FAQ(高频问答 20 问)
A. 基础认知
Q1:cMedQA2 和 cMedQA 什么关系?
后者是前者的 v1.0(2017,54,000 问)——v2.0(2018,108,000 问)是扩容升级版,规模翻倍、文本变短、作者名单部分更替(坑 1)。
Q2:数据从哪来?
寻医问药网(xywy.com)在线健康社区:真实用户提问 + 认证医生回答(v1.0 论文明确认证门槛),匿名化后发布。
Q3:任务是什么?
答案选择/答案匹配:给定问题与候选答案池,选出最相关答案。v1.0 论文叫 matching、v2.0 叫 selection,同一任务。
Q4:有标注团队吗?
没有。正例标签来自社区结构(该回答就是该问题的回复),负例由候选池采样产生——无人工语义标注、无一致性报告。
Q5:每题多少个候选答案?
官方未明写;第三方资料(dianshudata 等)描述为 100 个(1 正 + 99 负)——按二手口径对待(坑 6)。
B. 数据与获取
Q6:怎么下载?
GitHub zhangsheng93/cMedQA2,zip 直链无注册门禁。Gitee/OpenCSG 有镜像;天池/和鲸只有 v1.0。
Q7:文件解压后是什么?
questions.csv(108,000 问)、answers.csv(203,569 答)、train/dev/test_candidates.txt(划分与配对)。
Q8:数据有多大?
63.9MB(Awesome-Medical-Dataset 口径);仓库整体 90,254 KB(含 zip 与 git 历史)。
Q9:能商用吗?
README 声明非商业研究用途;LICENSE 文件又是 GPL-3.0——双条款并存不自洽(坑 2),商用前务必与作者书面确认。
Q10:有 HuggingFace 版吗?
无官方版。第三方可能有上传,但无作者背书;主渠道 GitHub 可直连,无需镜像。
C. 评测与使用
Q11:用什么指标?
原版论文 top-1 准确率;衍生生态扩展到 MAP/MRR/NDCG(sota2 榜单)与 F1(ChineseBLUE 二分类)——四套口径不可混比(坑 5)。
Q12:MPAN 的 top-1 具体是多少?
论文摘要只给定性结论(优于当时 SOTA);网络流传的 0.7126 等精确数字无一手确认(坑 3),请查论文原文表格。
Q13:负例采样策略是什么?
官方未披露——这是复现偏差的最大潜在来源;用官方固定 candidates txt 才能与其他论文可比。
Q14:训练和测试划分会泄漏吗?
官方固定划分与候选池文件保证题目不重叠;但同一回答可同时在别题为正例、本题为负例——「题目级」无泄漏不等于「答案级」无复用。
Q15:和 CBLUE 的 CMedQA 是一个东西吗?
不是。CBLUE 的 CMedQA 是 CBLUE 系的社区问答任务;cMedQA v2.0 是 NUDT 团队 2018 年发布的数据集——名字相近、家族不同(坑 7)。
D. 维护与生态
Q16:数据集还在更新吗?
不。last push 2019-01-09,README 的更新承诺未兑现,无 v3.0(坑 8)。
Q17:论文被引多少?
v1.0 93 + v2.0 116 = 209 次(Semantic Scholar,2026-10 快照)。
Q18:现在 SOTA 是谁?
按 sota2.com 2026-05 快照:Qwen3-Reranker-8B(MAP 85.36 / NDCG@10 88.9 / R@10 97.01)领跑 reranker 榜单。
Q19:跟 webMedQA 什么关系?
同构竞品:同样做中文医疗答案选择,来源不同(寻医问药网 vs 39健康网),规模与协议互不兼容,分数不可比。
Q20:今天用它最大的价值是什么?
一把仍在服役的「老尺子」:检验新 reranker 在中文医疗短文本排序上的相对进步,以及作为「无标注数据集」方法学的教学样本。
E. 方法与复现
Q21:字符级输入现在还有必要吗?
作为方法论仍值得尊重:现代中文预训练模型的 tokenizer 对医疗专名的处理仍需自查(药名被切碎的问题没有消失)。直接复刻 charCNN 没有必要,但「先检查 token 化对药名/检查名的处理」应成为医疗文本训练的标准前置步骤(§8.2)。
Q22:随机基线应该是多少?
若候选池为 100(第三方口径),随机排序 top-1 期望约 1%——它是最便宜的协议健全性检查:解析正确的管线,随机基线应落在这个量级附近。
Q23:训练时负例怎么处理?
两种流派:按原协议做候选池内排序(listwise/rank loss),或按 ChineseBLUE 思路抽问答对做二分类。前者忠于原版协议、结果可对标;后者实现简单但引入标签噪声(负例非绝对无关,§3.3)。
Q24:能不能用它训练生成模型?
不建议。它是排序协议的数据集——「问题 + 候选 + 相对相关性」的结构里没有「理想答案」的监督信号。要练生成,用 MedDialog(rid 210)或 huatuo-26m(rid 823)这类对话/问答生成语料。
Q25:跨版本(v1.0 → v2.0)结果可比吗?
不可直接比:规模翻倍、平均长度从 119/212 缩到 49/101 字符、候选池文件两套——这是两套长度分布不同的语料(§2.4)。同时评两版可以,写清各自动机与出处。
Q26:candidates txt 解析有什么经验?
先看首行结构确定 id 布局,用 answers.csv 的 id 集合做交叉验证;解析完统计每题候选数分布并写进报告——这既是你的诚实声明,也是别人复现你工作的关键参数(坑 6 的对策)。
Q27:评测时要控制文本长度吗?
不必截断(平均 49/101 字符远低于现代模型上限),但要声明你的 max_length 设置——个别长尾问题/回答可能超长,处理方式应写入复现说明。
Q28:能和其他语言医疗 QA 数据集(MedQA 等)混评吗?
不能直接混。语言、任务形态(考试选择题 vs 社区候选池排名)、标注来源全不同(§3.4 分工边界)。跨语言对照只能作为定性讨论,不能并列排名。
Q29:论文实验环境复现得了吗?
2018 年的模型配置(charCNN/MPAN)在现代硬件上复现无障碍;但论文逐配置数字的转引风险在坑 3——建议引用时只采摘要定性结论或自行重跑。
Q30:有没有现成的加载代码?
官方没有。社区仓库(含论文作者的实验代码 fork)散见,但无官方背书;最稳妥路径是按本条目 §3.5 骨架 + §3.7 清单自建解析——半小时的活,换协议确定性。
F. 库内与选型
Q31:本条目为什么以 v2.0 立条而不是两版分开?
v2.0 是 v1.0 的同源扩容(同团队、同任务、同来源社区、仓库互为前身),分立两条会割裂版本演进叙事;v1.0 的全部硬数字已在 §2.4 对照表与事实清单完整保留。
Q32:和库内 medqa(rid 50)怎么选?
考题型评测(标准答案、单选)选 medqa;社区型排序评测(真实口语问题、候选池)选本条目。两者是「中文/英文 × 考试/社区」矩阵的两个角,任务形态不同,分数不可换算。
Q33:和库内 meddialog(rid 210)怎么选?
同源场景(中文在线医疗咨询)的两种切法:要问答对排序选本条目;要对话流(多轮、上下文)选 meddialog。管线里两者可以串联——对话系统用 meddialog 生成、用 cMedQA 协议评测候选排序。
Q34:做 RAG 医疗问答需要它吗?
如果检索库是中文医疗 FAQ,它的 reranker 微调价值直接可用(sota2 榜单即此用法);如果检索库是文档/指南,它只提供域内排序模型初始化,还需配文档级评测集。
Q35:审稿人质疑「数据集太老」怎么回应?
三个论据:协议八年不变带来的跨论文可比性(多数新基准不具备);sota2 榜单 2026 年仍活跃(Qwen3-Reranker-8B 等新模型持续提交);作为「无标注 + 社区结构当标注」的方法学案例价值独立于模型 SOTA 时效。
Q36:库内还有哪些条目和它形成互补评测面?
微调后想测多任务泛化 → cmb-cmexam(rid 180);想测临床语域 → chinese-critical-care-database(rid 166);想测英文同任务 → medicationqa(rid 170)/medquad(rid 160);想测文献推理 → pubmedqa(rid 49)。
Q37:为什么它的 DAIMS 可持续性只有 5 分?
单点分发(个人 GitHub 账号)+ 停更八年 + issues 无回应 + 更新承诺未兑现——四项叠加。格式简单的保值作用(§7.3)计入了评分但救不了维护性失分。
Q38:本条目与 cblue(rid 190)条目冲突吗?
不冲突,是澄清关系:CBLUE 自带一个叫 CMedQA 的任务,与本条目的 cMedQA v2.0 名字相近、家族不同——本条目 §5.2 与坑 7 专门做了切割,两条目互链后检索者不会再混淆。
Q39:如果只能记住一条使用纪律?
先核版本与协议,再碰数据——cMedQA 名下至少叠着四层口径(v1.0 排序、v2.0 排序、ChineseBLUE 二分类、sota2 重排序),引错口径是这条数据集最常见的引用事故。
Q40:本条目后续会更新什么?
维护触发点见附录 H:优先级最高的是上游仓库异动(新 push/断链),其次是 sota2 榜单变动与许可条款澄清。
事实清单(硬事实 30 条)
- cMedQA v2.0 含 108,000 个问题与 203,569 条回答(官方 README Overview 表)。
- 划分:Train 100,000 问/188,490 答、Dev 4,000/7,527、Test 4,000/7,552。
- 平均长度:每问 49 字符(Train 48/Dev 49/Test 49)、每答 101 字符(Train 101/Dev 101/Test 100)。
- README 词数列(Ave. #words)两列空缺为「-」,仅字符数有值。
- v1.0 规模:54,000 问/101,743 答(Train 50,000/94,134、Dev 2,000/3,774、Test 2,000/3,835)。
- v1.0 平均长度:每问 119 字符、每答 212 字符;README 词数列有值(问 96-97、答 168-172)。
- 数据来源:寻医问药网(xywy.com);v1.0 论文原文明确 only certified doctors are permitted to answer questions。
- 匿名化:官方声明 data is anonymized and no personal information is included。
- 文件:question.zip、answer.zip、train/dev/test_candidates.zip;解压后 questions.csv、answers.csv、三个 *_candidates.txt。
- 体量:63.9MB(Awesome-Medical-Dataset 口径);仓库 90,254 KB(GitHub API)。
- v1.0 论文:Chinese Medical Question Answer Matching Using End-to-End Character-Level Multi-Scale CNNs,Appl. Sci. 2017, 7(8), 767,doi:10.3390/app7080767,2017-07-28 发表(MDPI),Special Issue Smart Healthcare,CC-BY。
- v1.0 结果:top-1 准确率较强基线最高提升 19%(摘要原话)。
- v1.0 作者:Sheng Zhang, Xin Zhang, Hui Wang, Jiajun Cheng, Pei Li, Zhaoyun Ding(NUDT 信息系统与管理学院)。
- v2.0 论文:Multi-Scale Attentive Interaction Networks for Chinese Medical Question Answer Selection,IEEE Access 2018, vol 6, pp 74061-74071,doi:10.1109/ACCESS.2018.2883637,2018-11-27 在线,ISSN 2169-3536。
- v2.0 作者:Sheng Zhang, Xin Zhang, Hui Wang, Lixiang Guo, Shanshan Liu(系统工程学院/科技与信息系统工程重点实验室)。
- 资助:国家自然科学基金 71331008、61105124(Peeref Funding 字段)。
- MPAN 三组件:多尺度深层神经层、shortcut connections、attentive interaction;结论为优于当时 SOTA with noticeable margins(定性)。
- MPAN 精确 top-1 无一手确认数字(0.7126 一说未核证)。
- GitHub 时间线:2018-11-08 仓库创建(initial dataset)、2019-01-09 最后 push(add paper,85feb92)。
- 仓库状态(2026-09 快照):393 stars / 71 forks / 4 open issues;无 release、无 package。
- 许可:LICENSE 文件 GPL-3.0(GitHub 识别)+ README available for non-commercial research 双条款并存。
- 候选池:官方仅说明 txt 为 split 划分;「每题 100 候选(1 正 99 负)」为第三方描述(dianshudata 等)。
- ChineseBLUE(WSDM 2020)cMedQA 任务:基于 v2.0 改造的 0/1 二分类,train 49,719/dev 5,475/test 6,149,指标 F1。
- CBLUE 未直接收录 cMedQA 原版任务;ChineseBLUE 自述为 CBLUE 前身项目之一。
- sota2.com(2026-05 快照):Reranking on CMedQA v2 (test) 榜单——Qwen3-Reranker-8B MAP 85.36/NDCG@10 88.9/R@10 97.01;BGE-Reranker-v2-m3 MAP 83.47;GPT-4o-mini MAP 67.5。
- CCF 系后续论文:注意力+字嵌入方法在 cMedQA 上 Top-1 准确率 65.43%(优于词匹配/字匹配/BiLSTM)。
- 《信息安全学报》后续论文:GCN+多注意力池化+BiGRU 在 v1.0 与 v2.0 双版本上提升 ACC@1。
- 引用:v1.0 93 次 + v2.0 116 次 = 209 次(Semantic Scholar,2026-10 快照)。
- 镜像生态:Gitee(v2.0 全量,GPL-3.0 标注)、OpenCSG(v1.0+v2.0)、天池 dataset/90188(v1.0,CC-BY-NC 4.0 标注,cr: NUDT)、和鲸(v1.0)。
- 采集动机(v1.0 论文):相似问题反复出现使医生及时回复几乎不可能——从已有回答中自动选出最佳匹配成为刚需。
- v1.0 论文四贡献:问题定义首创(首个公开中文医疗问答匹配语料)、字符嵌入规避分词、多尺度 CNN 提上下文、最小监督免特征工程。
- v1.0 论文点名分词失效案例:「盐酸西替利嗪片」「葡萄糖酸钙片」被 Jieba 错切;通用分词工具(ICTCLAS/Jieba/THULAC/LTP)在医疗文本准确率下降。
- v1.0 论文 Special Issue「Smart Healthcare」收录;投稿 2017-07-04、录用 07-26、发表 07-28。
- v2.0 论文官方关键词含 interactive attention(方法身份词)与 deep neural networks 等 10 项。
- 社区问题样例(第三方聚合页实录):多症状罗列(「头痛恶心肌肉痛关节痛颈部淋巴结疼痛怎么回事啊」)与情境化复合疑问(孕周+症状+处置咨询)两类典型。
- 问题 id 与回答 id 为数字主键(如 question_id 65102009);questions.csv 以 question_id+content 为主的极简结构。
- Train 集回答数(188,490)远小于「每题 100 候选全员独立分配」所需——候选池必然大量复用回答充当跨问题负例(条目算术推断,官方未披露复用率)。
- v2.0 论文在线发表(2018-11-27)与仓库创建(2018-11-08)相差十九天——「论文+数据集」合体发布节奏。
- OpenCSG 平台罕见地将 v1.0 与 v2.0 分列为两个数据集页;天池/和鲸仅 v1.0。
- 检索别名风险:cMedQA/CMedQA/cMedQA2 混用;大写 CMedQA 在 CBLUE 语境指另一个任务(坑 7)。
术语表(22 条)
| 术语 | 释义 |
|---|---|
| 答案选择(answer selection) | 给定问题与候选池,选出最相关答案的判别式任务 |
| 答案匹配(answer matching) | 同任务的 v1.0 论文用名 |
| 候选池(candidate pool) | 每个问题配对的候选答案集合(含 1 正例 + 负采样) |
| 负采样(negative sampling) | 从答案池抽取非正确回答充当负例的构造方法 |
| top-1 准确率(ACC@1) | 正确答案排候选池第一位的比例;原版论文主指标 |
| MAP | Mean Average Precision,排名质量的全序列平均指标 |
| MRR | Mean Reciprocal Rank,正确答案排名倒数的均值 |
| NDCG@10 | 前 10 位归一化折损累计增益 |
| R@10 | Recall@10,正确答案进入前 10 的比例 |
| 字符级(character-level) | 以单字为最小输入单元、绕开分词的文本表示策略 |
| 多尺度 CNN | 不同宽度卷积核并行提取 n-gram 级上下文的网络结构 |
| MPAN | Multi-Scale Attentive Interaction Networks,v2.0 论文模型 |
| Shortcut connections | 跨层残差连接,防深层网络退化 |
| 注意力交互(attentive interaction) | 问题与答案在中间层互相参照的匹配机制 |
| 词嵌入 vs 字嵌入 | 词级向量依赖分词质量;字级向量免分词但单字语义弱 |
| 分词(word segmentation) | 中文无空格书写所需的词边界切分;医疗专名是其失效高发区 |
| ChineseBLUE | WSDM 2020 的中文生物医学文本挖掘基准,收录 cMedQA 二分类改版任务 |
| CBLUE | 2021 中文医疗评测统一基准;自带 CMedQA 任务与 cMedQA 数据集不同族 |
| reranker | 检索-重排管线中的精排模型;cMedQA v2 现役主战场 |
| GPL-3.0 | GNU 通用公共许可证 v3,强 copyleft;本数据集 LICENSE 文件许可 |
| 非商业研究(non-commercial research) | README 使用范围声明;与 GPL-3.0 并存构成双条款(坑 2) |
| 匿名化(anonymization) | 去除个人信息的数据处理;官方声明已执行但细节未公开 |
| 双塔编码(bi-encoder) | 问题与答案各自独立编码再比对的匹配结构 |
| 交互式匹配(cross-encoder) | 问题与答案拼接后在中间层交互的匹配结构;MPAN 属此类 |
| listwise / rank loss | 直接优化候选排序的训练目标;原版协议的忠实训练方式 |
| 检索-重排(retrieve-then-rerank) | 先粗召回再精排的管线范式;cMedQA v2 现役应用场景 |
| 域内微调(domain fine-tuning) | 在医疗域语料上继续训练以对齐域分布;cMedQA 是中文医疗排序的微调场 |
| 数据字典(data dictionary) | 字段级说明文档;cMedQA 官方缺失,复现者需自行逆向 |
| 语域(register) | 文本的语言场景类型;社区口语 vs 临床书面 vs 考试书面 |
| 负例泄漏(negative leakage) | 负采样阶段正例信息意外进入训练信号的缺陷 |
| 数据声明(datasheet) | 随数据集发布的使用与质量说明文档;cMedQA 时代尚无此惯例 |
| 存照(archival note) | 本库条目写作纪律:冲突口径并列记录、注明来源与时点 |
附录
附录 A:条目信息速查卡
| 项 | 值 |
|---|---|
| 条目名 | cMedQA v2.0 |
| url_name | cmedqa2 |
| 类型 | 数据集 + 配套论文(两版) |
| 论文 | IEEE Access 2018, 6:74061-74071(v2.0);Appl. Sci. 2017, 7(8):767(v1.0) |
| 团队 | 国防科技大学(NUDT),长沙 |
| 规模 | 108,000 问 / 203,569 答 |
| 任务 | 中文医疗答案选择(候选池排名) |
| 许可 | GPL-3.0 + non-commercial research 双条款 |
| 抓取时点 | 2026-09/10(WebSearch/WebFetch 快照) |
| 库内互链 | medqa(50)/pubmedqa(49)/meddialog(210)/cblue(190)/cmb-cmexam(180)/huatuo-26m(823)/medicationqa(170)/emrqa(139)/medquad(160)/mediqa(220)/chinese-critical-care-database(166) |
附录 B:DAIMS 评估全表
| 维度 | 评分(1-10) | 依据 |
|---|---|---|
| D 可发现性 | 8 | GitHub + 两篇开放获取论文 + 多个第三方聚合页;但 cMedQA 名下 v1/v2/ChineseBLUE/CBLUE 四层口径需自行辨析 |
| A 可获取性 | 7 | GitHub zip 直链无注册门禁;扣分项为许可双条款灰色与单点分发(个人账号) |
| I 可互操作 | 6 | csv+txt 格式极简通用;无官方 HF datasets 版、无加载脚本、正例解析约定需自行逆向 |
| M 元数据质量 | 6 | 官方统计表完整但词数列空缺;无字段级数据字典;候选池构造规则未披露 |
| S 可持续性 | 5 | 2019-01-09 停更、承诺更新未兑现、issues 无人回复;格式简单使数据本体仍可用 |
| 综合评级 | 6.4/10(中上) | 「进门容易、说明书简陋」型:获取与协议是长项,元数据与维护是短板 |
附录 C:逐项证据链自证
| 关键数字 | 来源 | 位置 |
|---|---|---|
| 108,000 问/203,569 答 + 划分 + 平均字符 | GitHub README Overview 表 | zhangsheng93/cMedQA2(多镜像交叉确认) |
| 词数列空缺「-」 | GitHub README 原文 | Overview 表(v1.0 README 同列有值对照) |
| v1.0 54,000/101,743 + 119/212 + 词数列 | v1.0 官方仓库 README | zhangsheng93/cMedQA(flyrainkey 等镜像一致) |
| v1.0 论文 DOI/日期/CC-BY | MDPI 官网 | mdpi.com/2076-3417/7/8/767(Submission/Revised/Accepted/Published 全时间戳) |
| v2.0 论文 DOI/卷期页码/日期 | IEEE Xplore + SciXplorer + README BibTeX | doi:10.1109/ACCESS.2018.2883637 |
| v2.0 作者五人 + 机构 | Awesome-Medical-Dataset + README BibTeX + DeepWiki | School of Systems Engineering, NUDT |
| top-1 提升 19% | v1.0 论文摘要 | MDPI 全文页 |
| MPAN 定性结论 | v2.0 论文摘要 | IEEE Access(with noticeable margins 原话) |
| GPL-3.0 + non-commercial | GitHub 仓库页 | LICENSE 识别 + README 首段 |
| 匿名化声明 | GitHub README 原文 | In order to protect the privacy… |
| 停更时间线 | GitHub commits(hd264 镜像页可见) | initial 2018-11-08 / last 2019-01-09 |
| 63.9MB | Awesome-Medical-Dataset cMedQA.md | Dataset Meta Information 表 |
| ChineseBLUE 改版规模/指标 | ChineseBLUE 任务表(hub.myxuybi 镜像) | 「We use cMedQA released from the paper…」注明来源 |
| sota2 榜单数字 | sota2.com | Reranking on CMedQA v2 (test),2026-05 快照 |
| 65.43% | CCF 数字图书馆收录论文页 | 《基于注意力和字嵌入的中文医疗问答匹配方法》 |
| NSFC 资助号 | Peeref 论文 Funding 字段 | 71331008、61105124 |
| stars/forks/issues | GitHub 页面快照 | 2026-09 |
| candidates txt 承载配对关系 | DeepWiki 解读 + 第三方聚合页综合 | 官方 README 原文仅称 split(措辞差需注意) |
| 「认证医生回答」 | v1.0 论文正文(only certified doctors…) | MDPI 全文;v2.0 README 未重申 |
| 数据样例(question_id 65102009 等) | Mengqi97/chinese-medical-dataset 聚合页 | 第三方实录,非官方样例表 |
| 正例解析约定无官方文档 | 本条目 §3.5/附录 M 存照 | 官方数据字典缺失的直接后果 |
附录 D:数据获取决策树
需求是什么?
├── 快速跑通一个中文医疗排序评测
│ └── GitHub 下 v2.0 全量 zip → 解析 candidates txt(先核正例约定)→ top-1 ACC
├── 做reranker 微调与对比
│ └── v2.0 训练划分微调 → test 划分评测 → 对标 sota2 榜单(MAP/NDCG@10/R@10,注快照日期)
├── 需要 v1.0 做历史对比
│ └── v1.0 官方仓库(cMedQA)或 OpenCSG/天池/和鲸镜像 → 注意 119/212 字符口径
├── 想要 0/1 二分类形式
│ └── ChineseBLUE cMedQA 任务(49,719/5,475/6,149,F1)——别与原版混用
└── 商用或再分发
└── 停:non-commercial 声明明确排除——先与作者书面确认(坑 2)
附录 E:许可条款细读(双条款 + 平台口径)
- GPL-3.0(LICENSE 文件):GitHub 识别口径;强 copyleft,衍生分发需同许可。软件许可用于数据集属常见混搭。
- non-commercial research(README):使用范围声明,排除商业用途;与 GPL-3.0 并存时以更严者为准的操作假设更稳妥。
- 天池 CC-BY-NC 4.0 标注(v1.0 转载页):平台自加口径,注明 cr: NUDT;与官方仓不一致,仅作参考。
- 论文许可:v1.0 CC-BY(MDPI);v2.0 GOLD 开放获取、PDF license CCBYNCND(Semantic Scholar 口径)——引观点引论文许可,用数据按数据许可,别互相套用。
- 引用优先级:官方 GitHub 仓 > 论文 > 转载平台标注。
附录 F:坑点档案(与 §10 对照)
| 坑 | 一句话档案 | 触发场景 |
|---|---|---|
| 坑 1 | cMedQA 一名两版:54,000 vs 108,000、matching vs selection | 检索/引用/下载数据 |
| 坑 2 | GPL-3.0 与 non-commercial 双条款不自洽 | 商用/再分发 |
| 坑 3 | MPAN 精确 top-1 二手源矛盾,只认论文原文 | 复现/写论文 |
| 坑 4 | README 词数列空缺(-),只有字符数 | 自动抽取统计表 |
| 坑 5 | ChineseBLUE 改版(二分类/F1/新规模)与原版混传 | 跨论文比较 |
| 坑 6 | 「每题 100 候选」为二手口径,官方未明写 | 复现协议 |
| 坑 7 | CBLUE 的 CMedQA ≠ cMedQA v2.0 | 检索辨析 |
| 坑 8 | 仓库停更八年、个人账号单点分发 | 长期依赖规划 |
附录 G:双口径登记表
| # | 项 | 口径 A | 口径 B | 处理 |
|---|---|---|---|---|
| 1 | v1.0 论文时间 | Published 2017-07-28(MDPI 官网) | 2017-08(7(8) 卷期月,FACTS 初记) | 按官网在线时间,卷期月括注 |
| 2 | 每题候选数 | 100(1 正 99 负,第三方) | 官方未明写 | 表述为候选池机制,注来源层级 |
| 3 | MPAN top-1 | 0.7126(一说,未核证) | 摘要定性(noticeable margins) | 只写定性 |
| 4 | cMedQA 规模 | 54,000 问(v1.0) | 108,000 问(v2.0) | 条目以 v2.0 立条,v1.0 对照表另记 |
| 5 | 许可 | GPL-3.0(LICENSE) | non-commercial(README)/CC-BY-NC 4.0(天池 v1.0 转载) | 以官方仓双条款为准,平台口径存照 |
| 6 | 回答者身份 | 认证医生(v1.0 论文原文) | 医生/网友(部分二手页) | 按 v1.0 论文口径记录 |
附录 H:维护计划与触发点
| 触发点 | 条件 | 动作 | 优先级 |
|---|---|---|---|
| 仓库异动 | zhangsheng93/cMedQA2 新 push/release/转私有 | 更新 §6 获取与时间线;若断链,升镜像为推荐渠道 | 1 |
| sota2 榜单变动 | 新模型提交或榜首更替 | §5.3 表更新并注新快照日期 | 2 |
| 官方 HF 化 | 作者或第三方获背书上 HF | 更新获取渠道与 DAIMS A/I 维 | 3 |
| v3.0 出现 | README 承诺迟到的兑现 | 本条目结构级改写 | 4 |
| 许可澄清 | 作者明确商用/再分发条款 | 坑 2 与附录 E 改写 | 5 |
附录 I:引文规范
@article{zhang2018mpan,
title = {Multi-Scale Attentive Interaction Networks for
Chinese Medical Question Answer Selection},
author = {Zhang, Sheng and Zhang, Xin and Wang, Hui and
Guo, Lixiang and Liu, Shanshan},
journal = {IEEE Access},
volume = {6},
pages = {74061--74071},
year = {2018},
doi = {10.1109/ACCESS.2018.2883637}
}
@article{zhang2017chinese,
title = {Chinese Medical Question Answer Matching Using
End-to-End Character-Level Multi-Scale CNNs},
author = {Zhang, Sheng and Zhang, Xin and Wang, Hui and
Cheng, Jiajun and Li, Pei and Ding, Zhaoyun},
journal = {Applied Sciences},
volume = {7},
number = {8},
pages = {767},
year = {2017},
doi = {10.3390/app7080767}
}
附录 J:本条目生产档案
- 生产通道:接管模式——前一实例 agent-a-cmedqa2 中断,FACTS.md 完整留存(九节),本实例 agent-a-cmedqa2-v2 以其为锚点续写,未推翻已核实内容
- 接管轨迹:锁覆写记录于 writing/cmedqa2/.lock(takeover-from 标记);私有区 .parts_agent-a-cmedqa2-v2_<ts>_<pid>
- 复核:FACTS.md 核心数字两轮 WebSearch 抽核(v2.0 规模表/README 原文/DOI/作者/许可/时间线;v1.0 规模表/MDPI 官网时间戳/19% 摘要原话)全部吻合;新发现 v1.0 发表日双口径(2017-07-28 vs 卷期月 2017-08)已存照附录 G#1
- 查重:DB url_name ILIKE %cmedqa% 零命中;writing/ 无同名冲突
- 坑点:§10 八则(坑 1-8「坑 N:」编号制)
- DAIMS:附录 B 全表(综合 6.4/10)
- 互链:正文 §9 内链 11 处(含 rid)
附录 K:FAIR/AI-Ready 检查单
| 检查项 | 状态 | 说明 |
|---|---|---|
| F1 全局唯一标识 | ✅ | DOI(两篇论文)+ GitHub 仓库路径 |
| F2 富元数据 | ⚠️ | README 表+论文完整;但无字段级数据字典 |
| A1 可访问协议 | ✅ | GitHub zip 直链,无注册门禁 |
| A2 元数据可访问 | ✅ | 即便仓库异动,论文与聚合页仍可检索 |
| I1 互操作格式 | ⚠️ | csv/txt 通用;无官方加载库,正例约定需逆向 |
| I2 词汇表引用 | ✅ | 中文医疗问答标准任务术语 |
| R1 来源溯源 | ✅ | xywy.com 来源与匿名化声明明示 |
| R3 可复现流程 | ✅ | 固定划分+候选池文件,跨论文可比协议完整 |
| AI-Ready 综合 | 中上 | 获取与协议长项,元数据与维护短板(DAIMS 6.4/10) |
附录 L:缩写速查
| 缩写 | 全称 |
|---|---|
| cMedQA | Chinese community Medical Question Answering |
| MPAN | Multi-Scale Attentive Interaction Networks |
| NUDT | National University of Defense Technology(国防科技大学) |
| ACC@1 | top-1 Accuracy |
| MAP / MRR | Mean Average Precision / Mean Reciprocal Rank |
| NDCG | Normalized Discounted Cumulative Gain |
| ChineseBLUE | Chinese Biomedical Language Understanding Evaluation |
| CBLUE | Chinese Biomedical Language Understanding Evaluation Benchmark(2021 统一基准) |
| NSFC | National Natural Science Foundation of China(国家自然科学基金) |
| DAIMS | Discoverability/Accessibility/Interoperability/Metadata/Sustainability |
附录 M:数据文件字段对照(社区口径,官方无数据字典)
官方未发布字段级说明;下表为社区通用解析口径(第三方样例页与 DeepWiki 解读综合),使用前请以仓库原始文件核验:
| 文件 | 推断字段 | 说明 |
|---|---|---|
| questions.csv | question_id(数字主键)、content(问题文本) | 108,000 行;样例见 §2.7 |
| answers.csv | answer_id(数字主键)、content(回答文本) | 203,569 行 |
| train_candidates.txt | 每行:question id + 候选 answer id 序列 | 含 1 正例 + 负采样;正例位置约定需逆向核验 |
| dev_candidates.txt | 同上 | 4,000 题 |
| test_candidates.txt | 同上 | 4,000 题 |
| README.md | Overview 表 + 文件说明 + 引用 BibTeX | 唯一的官方文档 |
自检建议:解析完成后核对三件事——行数(训练 100,000 题)、每题候选数分布(报告实测值)、answer_id 全部存在于 answers.csv。三项全过,协议解析才算落地。
附录 N:检索决策树
你想找什么?
├── v2.0 数据本体
│ └── GitHub zhangsheng93/cMedQA2(官方直链,zip 下载)
├── v2.0 论文
│ └── doi:10.1109/ACCESS.2018.2883637(IEEE Access,开放获取)
├── v1.0 数据与论文
│ └── GitHub zhangsheng93/cMedQA + doi:10.3390/app7080767(MDPI,CC-BY)
├── 0/1 二分类版
│ └── ChineseBLUE cMedQA 任务(WSDM 2020 论文附录)
├── reranker 榜单
│ └── sota2.com「Reranking on CMedQA v2 (test)」
├── 国内加速下载
│ └── Gitee/OpenCSG 镜像(以官方仓为口径基准)
└── 「CMedQA」大写 C?
└── 先确认语境:CBLUE 系任务(坑 7)还是本条目数据集——两者不同族
附录 O:基于本数据集的研究检查清单(12 项)
- 许可核对:学术用途可放心;任何商用、再分发、衍生数据集发布前与作者书面确认(坑 2)。
- 版本声明:论文/报告首段写明用的是 v1.0 还是 v2.0 与对应论文出处(坑 1)。
- 协议声明:报告实测候选数分布与正例解析约定——比引用二手「100 候选」更诚实(坑 6)。
- 划分锁定:用官方 candidates txt,不自行重切。
- 指标对齐:top-1 ACC 为原版主指标;MAP/MRR/NDCG 注明自算或榜单口径(坑 5)。
- 预处理透明:分词/字符级/繁简/标点处理全部写明。
- 长度口径:统计用字符数(官方口径),不冒充分词器词数(坑 4)。
- 负例语义:讨论部分承认负例是采样产物,结论避免「语义无关」表述(§3.3)。
- 任务边界:不做医学事实正确性声明——数据不承载该信号(§3.4)。
- 基线报告:报随机基线(≈1/候选数)与词面基线,让读者校准难度感。
- 跨库比较:与 webMedQA/MedQA 等比较时声明任务形态差异,分数不并列排名。
- 时点存照:榜单数字、星标数、引用数注明快照日期(本条目 2026-09/10)。
附录 P:检索路径示范(关键词组合与查询式)
| 目标 | 推荐查询式 | 预期命中 |
|---|---|---|
| v2.0 论文 | 「Multi-Scale Attentive Interaction Networks」+ cMedQA / doi:10.1109/ACCESS.2018.2883637 | IEEE Access vol 6 |
| v1.0 论文 | 「Chinese Medical Question Answer Matching」+ character-level CNN / doi:10.3390/app7080767 | Appl. Sci. 7(8):767 |
| 数据集页 | site:github.com cMedQA2 / Awesome-Medical-Dataset cMedQA | 官方仓与聚合页 |
| 后续评测 | cMedQA top-1 accuracy + 「answer selection」 | CCF 系/学报系中文期刊论文 |
| reranker 用法 | 「Reranking」+「CMedQA v2」+ MAP NDCG | sota2.com 榜单及 reranker 论文 |
| 改版协议 | ChineseBLUE + cMedQA + F1 | WSDM 2020 论文及其 GitHub |
| 反例(勿用) | 「CMedQA」不加版本语境地引用数字 | 极易踩坑 1/坑 5/坑 7 三重混淆 |
检索卫生两条:一、凡命中「CMedQA」字样的页面,先辨认是本数据集(小写 c 前缀或 v2.0 字样)、ChineseBLUE 任务还是 CBLUE 任务,再取数字;二、聚合页(dianshudata、天池等)的统计与许可标注一律回官方仓核验后再引用。
附录 Q:误用案例档案(三类典型事故与教训)
档案化记录 cMedQA 生态中可观察到的三类典型误用(均可在公开文献与聚合页中找到实例痕迹),供数据声明写作时自查:
- 事故一:版本嫁接。引用 v1.0 的论文(Appl. Sci. 2017)却配 v2.0 的规模数字(108,000 问),或反之——两个版本都被大量独立转载,嫁接后的错误引用会经由二手页面自我复制。教训:数字与出处必须成对引用,引 v1.0 就用 54,000/101,743,引 v2.0 就用 108,000/203,569(坑 1)。
- 事故二:口径拼接。把 ChineseBLUE 二分类版的规模(49,719/5,475/6,149)与原版排序指标(top-1 ACC)写进同一张表,或把 sota2 重排序 MAP 与论文 top-1 并列比较——四种口径四把尺子,拼接后全部失义。教训:表格里加「协议」列,每行注明口径出处(坑 5)。
- 事故三:许可想当然。看到 GitHub 开源就默认可商用(忽视 non-commercial 声明),或看到「非商业」就默认 GPL 约束不存在——双条款的两半被各取所需。教训:数据集许可声明写全两个来源(LICENSE 文件 + README 声明),商用决策走书面确认(坑 2)。
三类事故的共同根源:元数据稀疏 + 转述链条长。cMedQA 官方文档越简,二手转述越自由,口径漂移越不可逆。这也是本条目把「存照」当核心写作纪律的原因——百科条目是转述链条上少数可以钉锚点的位置。
尾注
本条目为 AI-Ready Wikipedia 数据集条目,生产于 2026-10-04,抓取与核验时点见附录 A。事实陈述以 GitHub 官方仓库(zhangsheng93/cMedQA2)、两篇开放获取论文(IEEE Access 2018 / Applied Sciences 2017)、MDPI 与 IEEE 官网时间戳、Awesome-Medical-Dataset 聚合页、ChineseBLUE 任务表与 sota2.com 榜单为源;版本混淆、许可双条款、二手数字矛盾、词数列空缺等原始文档缺陷已在坑点与附录 G 存照。条目与库内 medqa(rid 50)、pubmedqa(rid 49)、meddialog(rid 210)、cblue(rid 190)、cmb-cmexam(rid 180)、huatuo-26m(rid 823)等条目互链,构成中文医疗问答家族的完整检索面。后续维护触发点见附录 H。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- ahd-arabic-health — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- medval-bench — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- cmb-benchmark-cn — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- medcalc-bench — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- qizheng-gpt — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- medisumqa — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- ehrsql — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- apollocorpus — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- healthbench — 共享标签:医疗NLP / 医学问答 / 评测基准 / 临床文本
- rexerr — 共享标签:医疗NLP / 评测基准 / 临床文本
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

