信息速览
INFOBOX — Real-MedNLP 一屏速览
维度 内容 本质 NTCIR-16 上首个以真实英日平行医学文本为基座的医学 NLP 共享任务（前作 MedNLP 系列用教科书/伪文档） 语料 MedTxt = MedTxt-CR（病例报告）+ MedTxt-RR（放射报告），各含日语原文与英语人工翻译平行版 规模（构建） CR 224 篇（148 训练 + 76 测试）｜RR 135 篇（72 训练 + 63 测试） 规模（释放） CR 仅 100 篇训练（测试集因许可不释放）｜RR 全量 135 篇 团队 NAIST 社会计算研究室；Yada / Nakamura / Wakamiya / Aramaki 四人 任务 Task1 少样本 NER（约 100 篇）｜Task2 标注指南学习（约 100 句，零/少样本）｜Task3 应用（ADE 提取 + 病例识别） 实体 d 疾病症状 / a 解剖部位 / timex3 时间 / t-test·key·val 检查 / m-key·val 药物（CR 全类，RR 子集） 参赛 9 支队伍（中国、日本、美国；5 产业界 + 2 医学+CS 多学科） 最佳成绩 Task1 RR 0.89 F1 / CR 0.65 F1；Task2 相对 Task1 降 50-70%；Task3-ADE 0.64 F1；Task3-CI 0.96 二分类准确率 论文 Methods Inf Med. 2024;63(05/06):145-163（doi:10.1055/a-2405-2489，CC BY-NC-ND） 许可 数据集 CC BY 4.0｜论文 CC BY-NC-ND 4.0（两者不同，分列） 获取 NAIST Test Collection 页 zip；官方入口 NTCIR data 页；训练部分公开可用 基线 MedNER-CR-JA（HuggingFace sociocom）+ cl-tohoku 日语 BERT + MeCab 分词 库内互链 i2b2-n2c2-nlp（14）、jnlpba（442）、cadec（464）、jader（1088）、radgraph2-radiology-reports（622）、mimic-iv-note（47）
Real-MedNLP 是医学自然语言处理（MedNLP）系谱上的一次转身：此前 MedNLP / MedNLP2 / MedNLPDoc / MedWeb 四届共享任务都在"伪文档"上做文章——文本来自教科书或人工编造的临床记录，因为真实病历受隐私法保护几乎不可能公开。Real-MedNLP 用两批真实文本打破了这一僵局：224 篇来自 J-Stage 的开放获取病例报告，加上 9 名放射科医生为 15 个肺癌病例撰写的 135 篇放射报告；更关键的是，这两批日语原文被逐篇人工翻译成了英语，构成医学 NLP 领域第一个真正可比的英日平行评测基准。它想回答的不是"模型能不能识别医学实体"，而是在真实、双语、且标注量被刻意压到极低的条件下，模型还能走多远。
导语读法三则：
- 只想下数据：直奔 §6 获取与许可——记住 CR 只放 100 篇训练、RR 放全量、许可是数据集 CC BY 4.0，别与论文的 CC BY-NC-ND 混淆。
- 关心数量口径：直奔 §1 Q1 与坑 1——“224 还是 100"是本条目最容易被误引的地方，答案取决于你在问"论文构建了多少"还是"实际能下多少”。
- 做医学 NER 基准：直奔 §4 与 §5——Task1/2/3 的定义、指标双因子设计与最佳分数区间可直接对标。
§0 导读：这个共享任务解决什么问题
医学 NLP 长期困在一个两难里。真实的临床文本（病历、放射报告、出院小结）是模型最需要的训练素材，却也是最难公开的——隐私法规让医院里的真实文本几乎无法离开院内。为了绕开隐私，早期医学 NLP 共享任务普遍改用"伪文档"：MedNLP、MedNLP2、MedNLPDoc 系列的语料取自医学教科书或人工编造的假临床记录。伪文档规避了法律风险，却带来新的失真——教科书语言规整、术语分布均匀，与医生在真实工作场景里写下的一句话相差甚远，模型在伪文档上学到的能力未必能迁移到床边（bedside）。
Real-MedNLP 的三条设计主张，正是对这个两难的系统性回应：
- 真实数据集（Real datasets）：用真实存在的医学文档——真实病例报告 + 真实影像对应的报告——替代教科书文本。
- 双语能力（Bilingual capability）：日语原文与英语译文并行提供，让跨语言医学 NLP 第一次有了可比的评测舞台。
- 实用性（Practicality）：既有命名实体识别这类基础任务，也有药物不良事件提取、同一病例识别这类直接服务临床的应用任务。
而"真实"的代价，恰恰是这套设计的灵魂所在：真实文档数量有限、标注昂贵，于是任务被刻意构造成低资源形态。Task 1 只给约 100 篇标注文档，Task 2 更极端——连标注文档都不给，只给一份写着少量标注例句的标注指南，逼模型像人类标注员一样"读说明书学规则"。这个设定把医学 NLP 的一个核心现实摆上了台面：医院科室里能拿到的标注文本，往往就是这么少。
§0 读法三则：
- 这个条目是"共享任务 + 语料 + 评测基准"三合一：任务设计（§5）说明它考什么，语料规格（§2）说明它用什么考，评测结果（§5.4）说明当前模型考得怎么样。
- 全文数量存在一条主线冲突——论文构建口径 vs Test Collection 释放口径（CR 224 对 100），§1 Q1 与坑 1 专门拆解，引用时务必分清。
- 平台许可存在两张证书——数据集 CC BY 4.0 与 论文 CC BY-NC-ND 4.0，§6 分列，检索者勿合并使用。
§1 数据集速览：十问十答
Q1：Real-MedNLP 的病例报告到底是 224 篇还是 100 篇？
两个数字都对，但回答的是两个不同问题。224 篇是论文口径——按 MANBYO-DIC/J-MeDic 疾病频率筛选、逐篇手工标注的语料构建总量（148 篇训练 + 76 篇测试）。100 篇是 Test Collection 发布页口径——实际对外开放释放的子集，因许可原因只放出 100 篇训练集，76 篇测试集不对公众开放。检索时若看到不同的 CR 规模，先问它是"构建量"还是"释放量"。
Q2：放射报告呢？
MedTxt-RR 无此差异：构建与释放都是 135 篇——72 篇训练（来自 8 个病例）+ 63 篇测试（来自 7 个病例）。这 135 篇由 9 名放射科医生为同一批 15 个肺癌病例分别撰写，是一批为评测而新写的报告。
Q3：日英平行是怎么做的？
病例报告取 J-Stage 上的日语原文（MedTxt-CR-JA），再由人工逐篇翻译成英语（MedTxt-CR-EN），翻译时保留实体标注；放射报告同样由撰写该报告的医生（9 名译者）翻译成英语（MedTxt-RR-EN）。这是医学 NLP 领域首个成规模的英日平行语料。
Q4：标注里有哪些实体？
五类：<d> 疾病与症状、<a> 解剖部位、<timex3> 时间、<t-test>/<t-key>/<t-val> 检查项与检查值、<m-key>/<m-val> 药物键与药物值。每类实体还带模态（modality）：疾病有"确定性"（positive/negative/suspicious/general），时间有"类型"（date/time/duration/set/age/med/misc），检查与药物有"状态"（scheduled/executed/negated/other）。病例报告用全部类型，放射报告只用 <d>/<a>/<t-test>/<timex3> 子集。
Q5：谁标注的？
多名没有医学知识的日语母语者完成标注，再译为英语并保留标注。对专业的医学实体边界与模态判断，这种"非专家标注"本身构成一项已知局限（见坑 4）。
Q6：三个任务分别是什么？
Task 1 是标准少样本监督 NER（约 100 篇训练）；Task 2 是"标注指南学习"——只给约 100 句标注例句，模拟人类标注员读指南学规则，对应零/少样本学习；Task 3 是应用任务，分两支：Task3-CR 抽药物不良事件（ADE，表格槽填充式），Task3-RR 做同一病例识别（CI，把来自同一患者的报告分组）。
Q7：评测指标有什么讲究？
NER 用 micro F1，但叠了两个因子：边界因子（精确匹配 exact vs 部分匹配 partial）和频率因子（对高频实体按 wi = 1/(log_e(fi+1)+1) 反向加权，越常见惩罚越重）。ADE 分实体级与报告级两层评，CI 用 AdjMI、Fowlkes–Mallows 与二分类准确率。
Q8：结果如何？
Task 1 上放射报告明显好于病例报告（RR 最佳 0.89 F1、CR 最佳 0.65 F1），因为 RR 语言更简单（RR 唯一 token 仅 1,182 个 vs CR 的 7,369 个）。Task 2 的分数相对 Task 1 对应最高分下降 50-70%——只读指南学习的代价极其显著。Task 3-ADE 最佳检出 0.64 F1，Task 3-CI 最佳二分类准确率高达 0.96。
Q9：多少支队伍参加？
9 支，来自中国、日本、美国，其中 5 支是产业界团队、2 支是医学+计算机科学的多学科团队。任务间参与极不均衡：Task3-CR-EN 有 19 个系统提交，而 Task2-CR-EN 零提交。
Q10：许可与获取？
数据集按 CC BY 4.0 发布（NAIST Test Collection 页），训练部分公开可用；论文本身是 CC BY-NC-ND 4.0。下载经由 NAIST 社会计算实验室的 Test Collection 页（zip）或官方 NTCIR data 入口，MedTxt-RR 全量可取，MedTxt-CR 只能取 100 篇训练集。
§2 数据构成与规格
2.1 两批语料、两种来源
Real-MedNLP 的语料统称 MedTxt，由两条互相独立的文本线构成，来源、生成方式与偏倚画像各不相同：
| 维度 | MedTxt-CR（病例报告） | MedTxt-RR（放射报告） |
|---|---|---|
| 文档性质 | 医生撰写的真实病例报告（实存文献） | 9 名放射科医生为同一批影像新撰写的报告 |
| 来源 | J-Stage 日本学术出版平台开放获取病例报告 | 15 个肺癌病例的 CT 影像 |
| 筛选依据 | MANBYO-DIC（J-MeDic）日本疾病名词典频率 | 病例由任务方指定 |
| 构建总量 | 224 篇 | 135 篇 |
| 训练/测试 | 148 / 76 | 72 / 63 |
| 测试集来源 | —（按病例划分） | 8 个病例训练 / 7 个病例测试 |
| 释放子集 | 仅 100 篇训练 | 全量 135 篇 |
| 语言 | JA 原文 + EN 人工翻译 | JA 原文 + EN 人工翻译（9 名译者） |
| 训练集字符（JA/EN） | 84,471 / 40,383 | 16,861 / 8,488 |
| 单篇均值字符（JA/EN） | 570 / 272 | 234 / 117 |
两条线在"真实性"上的含义并不相同，这一点极易被误解：MedTxt-CR 是纯正的真实文档——每一篇都是发表在学术平台上的实际病例报告，只是做了筛选、翻译与标注；而 MedTxt-RR 是"真实影像 + 新写报告"的混合体——报告所解读的影像是真实的常见肺癌 CT，但报告文本是任务方请放射科医生为评测专门撰写的（dummy）文本，并非患者的日常报告。任务方对 RR 的定义是"解读常见真实放射影像的新撰写（dummy）报告"，因此 RR 在文本层面是合成物，在影像层面是真实物。引用时若把 RR 说成"真实患者报告"会失真。
2.2 为什么 CR 要按"词典频率"筛选
MedTxt-CR 的筛选方式值得单独一说。开放获取病例报告存在一个结构性偏倚：只有一部分医学会愿意做开放获取出版，而愿意开放获取的学会，其覆盖的疾病谱是有限的。如果直接抓取所有开放获取病例报告，语料的病种分布会被少数几家学会的出版政策牵着走。
Real-MedNLP 的应对是引入 MANBYO-DIC（J-MeDic）——一部收录了每个疾病名在日语医学语料中出现频率的日本疾病名词典。语料构建者按词典中的疾病频率来挑选病例报告，力求让语料的病种分布贴近真实医学语料的分布，而非贴近"哪家学会愿意开放获取"。这是语料工程里一个细致但常被忽略的偏倚控制手段：它降低的是出版政策偏倚，却不能消除开放获取本身带来的残余偏倚。
2.3 规格与规模：数字全景
MedTxt-CR 关键词数：训练集覆盖 84,471 个日语字符（约 570 字符/篇）与 40,383 个英语字符（约 272 字符/篇）。日语字符数约为英语的两倍，这不是"日语更啰嗦"，而是两种语言的字符计数口径差异——日语一个假名/汉字承载的信息密度与英语一个字母不同，跨语言对比字符数时须留意。
MedTxt-RR 关键词数：训练集 16,861 个日语字符（234 字符/篇）与 8,488 个英语字符（117 字符/篇）。RR 的单篇长度仅为 CR 的约四成（234 对 570），反映放射报告本身的文体特征——简短、结构化、以发现描述为主。
词汇复杂度对照：CR 语料的唯一 token 数为 7,369 个，而 RR 仅 1,182 个。这个近 6 倍的差距是理解"为什么 RR 任务分数远高于 CR"的钥匙：RR 用词高度集中（解剖部位、影像描述词的固定搭配），模型更容易学到；CR 涉及疾病的病因、病程、检查、用药、转归，词汇与句式远更发散。
实体标注总量（训练集，论文 Table 3，JA/EN 两列几乎对称）：
| 实体类型 | CR-JA | CR-EN | RR-JA | RR-EN |
|---|---|---|---|---|
<a> 解剖部位 |
823 | 819 | 464 | 465 |
<d> 疾病症状（合计） |
2,348 | 2,346 | 884 | 883 |
| ├ positive | 1,695 | 1,693 | 465 | 462 |
| ├ suspicious | 80 | 80 | 191 | 191 |
| ├ negative | 251 | 251 | 149 | 148 |
| └ general | 302 | 302 | 1 | 1 |
<t-test> 检查 |
387 | 388 | 26 | 27 |
<timex3> 时间 |
1,353 | 1,353 | 29 | 29 |
<m-key> 药物键 |
344 | 344 | 0 | 0 |
<m-val> 药物值 |
64 | 64 | 0 | 0 |
<t-key> 检查项 |
524 | 524 | 1 | 1 |
<t-val> 检查值 |
427 | 427 | 0 | 0 |
JA 与 EN 两列的数值高度对称（多数完全相同、少数差 1-3），这本身就是平行翻译质量的旁证：实体的数量与类型在翻译前后基本守恒。两组模态分布也透露语料性格——CR 的疾病以 positive（阳性/确诊）为主（1,695/2,348 ≈ 72%），而 RR 的疾病里 suspicious（可疑）与 negative（阴性）占比显著更高（RR-JA：suspicious 191 + negative 149，合计 340/884 ≈ 38%），这与放射报告"描述可见与不可见发现"的文体一致；RR 几乎不涉及药物（m-key/m-val 皆 0），因为放射报告通常不记录用药。
2.4 Task 3-ADE 标注分布
Task 3 的药物不良事件（ADE）标注基于 ADEval 四级分类（沿用 Kelly 等的药物警戒标准）：3=Definitely（确定）、2=Probably（可能）、1=Unlikely（不太可能）、0=Unrelated（无关）。训练集的标签分布（论文 Table 4）：
| ADEval | 疾病 | 药物 | 合计 |
|---|---|---|---|
| 0 Unrelated | 1,217 | 103 | 1,320 |
| 1 Unlikely | 33 | 28 | 61 |
| 2 Probably | 57 | 22 | 79 |
| 3 Definitely | 123 | 47 | 170 |
| 合计 | 1,430 | 200 | 1,630 |
这份分布本身就预告了 ADE 任务的难度：绝大多数候选实体是不相关的（0 类占 1,320/1,630 ≈ 81%），真正"确定"关联的仅 170 条（约 10%）。这是一个高度类别不平衡的抽取任务，也解释了为什么报告级 F1 最高只到 0.64——系统要在海量"无关"干扰中捞出少数真正的不良事件。
2.5 语料的语言与患者画像
患者画像方面，MedTxt-CR 由真实病例报告构成，患者年龄跨度取决于所纳入病例（无统一人口学披露）；MedTxt-RR 集中于 肺癌患者（15 个肺癌病例），因此其患者画像被固定为成人肿瘤人群。任务头 patient_tags 记为"成人"是基于医学 NLP 文本语料的通用画像。语言方面，两批语料均为 日语原始 + 英语翻译的双语对，这是该数据集区别于所有英文独占医学语料的核心特征。
§3 标注体系与任务设计
3.1 五类实体与三种模态
Real-MedNLP 的标注方案沿用 Yada 等建立的既有医学 NER 标注体系，实体与模态对应如下：
| 实体标签 | 含义 | 模态维度 | 模态取值 |
|---|---|---|---|
<d> |
疾病与症状 | certainty（确定性） | positive / negative / suspicious / general |
<a> |
解剖部位 | —（无模态） | — |
<timex3> |
时间表达 | type（类型） | date / time / duration / set / age / med / misc |
<t-test> / <t-key> / <t-val> |
检查 / 检查项 / 检查值 | state（状态） | scheduled / executed / negated / other |
<m-key> / <m-val> |
药物键 / 药物值 | state（状态） | scheduled / executed / negated / other |
设计上有三点值得注意。第一，<d> 的"确定性"模态把"确诊疾病"与"排除疾病"“可疑疾病”"一般提及"区分开来——这在临床文本里是刚需，因为"否认肝炎病史"中的"肝炎"和"确诊乙型肝炎"中的"乙型肝炎"是截然不同的语义，模型若只识别实体边界而丢掉模态，抽取结果在临床上没有价值。第二，时间模态分七档，涵盖日期、时刻、时长、集合、年龄与医学特异表达——医学文本对时间精度要求极高（诊断时点、用药持续、症状起始），粗粒度时间标注不够用。第三，检查与药物采用"键/值"配对结构（key/value），把握了检验项与检验结果、药物名与剂量的内在关联——这是为下游的表格填充与信息抽取预留的接口。
CR 用全部类型，RR 只用子集（<d>/<a>/<t-test>/<timex3>）。这不是偷懒，而是文体适配：放射报告几乎不写药物，也极少有复杂的时间与检查值结构，硬套全类型只会产生大量空标注。
3.2 三条任务线：低资源是共同母题
三个任务并非平行的，而是围绕"低资源下的真实医学 NLP"逐层加码：
- Task 1 — Just 100 Training：最标准的监督学习设定，但训练数据被压到约 100 篇。它回答的是"标注量砍到 100 篇时，标准监督方法还能用吗"。
- Task 2 — Guideline Learning：更进一步，连标注文档都不给，只给一份标注指南（约 100 句带标注的例句）。这模拟的是人类标注员的真实处境——他们上岗前读的是标注手册、看过几张示范，然后就要独立工作。在机器学习语境里，这对应零样本 / 少样本学习。Task 1 与 Task 2 合起来被任务方称为"低资源 NER（Low-resource NER）"。
- Task 3 — Applications：把 NER 的能力推向临床实用。Task3-CR 做药物不良事件（ADE）提取，服务药物警戒（pharmacovigilance）；Task3-RR 做同一病例识别（CI），判断多份报告是否来自同一患者——这在现实中对应"同一患者多次检查的记录归并"。
3.3 ADE 任务：不做关系抽取，做表格填充
Task3-CR 的 ADE 提取有一个刻意的设计选择：它不用传统的实体关系抽取（relation extraction）范式，而是把任务重新表述为表格槽填充（table slot filling）。语料为每份报告准备两张表——一张 <d>-table（疾病/症状）与一张 m-key-table（药物），系统要做的不是"抽取三元组"，而是"往表格里填 ADEval 等级"。任务方明确表示这是对 i2b2 2009 等既有药物警戒任务（惯用关系抽取）的"另一种思路"。
配套的 ADEval 四级量表（Definitely/Probably/Unlikely/Unrelated）也来自药物警戒领域的成熟标准（Kelly 等），由 2 名标注者完成标注——1 名具药剂师经验、1 名具生物学硕士学位，这是该任务在专业性上高于主 NER 标注的一处（主 NER 是"无医学知识的母语者"）。
3.4 CI 任务：从报告堆里认出同一个人
Task3-RR 的 CI 任务把 63 篇测试报告打乱顺序，要求系统把它们按来源患者分组——判断哪些报告解读的是同一个人的同一次影像。金标准来自 RR 与 CT 影像的原始对应关系（文档级），即"这 9 份报告其实是同一个病例的影像被 9 个医生分别解读"。这个任务表面像文本聚类，实则考验模型对"同一影像的不同表述"的鲁棒性——9 名医生写同一张影像，用词、省略、侧重各不相同，模型要透过表层差异看出底层一致。它在临床上对应病历去重与患者级信息归并，是一个真正有落地价值的任务。
3.5 基线系统的构造
任务方提供了一整套基线，为参赛者设定起点。所有系统都基于日语预训练的 BERT 模型，日语分词用 MeCab 形态分析器，遵循 Devlin 等的 NER 训练方案微调，预测全部实体类型。NER 基线模型（依据 MedTxt-CR-JA 训练）发布在 Hugging Face Hub 上的 sociocom/MedNER-CR-JA；日语 BERT 基座为 cl-tohoku/bert-base-japanese-whole-word-masking。
Task3-CR 的 ADE 分类器是实体级的：对每个候选实体构造四段式输入，以 [SEP] 分隔——(1) 文档 ID、(2) 目标实体的上下文（前 50 + 后 50 字符）、(3) 目标实体本身、(4) 实体类型名。Task3-RR 的 CI 聚类器则采用穷举文档对 + 双向判定：对每一对报告做二分类，只有双向都判为"同一患者"才归入同一组。
3.6 标注生产的一次现实性说明
Real-MedNLP 的标注流程有一处值得如实记载的方法学妥协：主 NER 任务的标注由无医学知识的日语母语者完成，翻译成英语时保留实体标注（转移式跨语言标注）；只有 Task3-CR 的 ADEval 标注由具备药学/生物学背景的 2 名标注者完成。这意味着主语料的医学实体边界与模态判断，专业性依托的是"指南 + 培训"而非标注者本人的医学训练。任务方在讨论局限性时也承认，新设任务的参赛者少、两语言参与不平衡，且翻译可能产生非自然的英语医学文本——这些诚实披露本身就是该条目的重要信息（见坑 4、坑 6）。
2.9 语料的横向对照与语言工程细节
2.9.1 MedTxt 与同期医学语料的横向对照
要理解 MedTxt 的规模定位，把它放进同期医学文本语料的坐标系最有说服力。下表对照几个常被并提的医学 NLP 语料（数字为各自公开口径的量级，仅作定位参照，非同一评测下的可比数字）：
| 语料 | 语种 | 文档量级 | 标注 | 是否平行 |
|---|---|---|---|---|
| MedTxt（Real-MedNLP） | 英/日 | 359 篇 | 五类实体 + 模态 + ADEval | 英日平行 |
| MIMIC-IV-Note（rid=47） | 英文 | 数十万份笔记 | 去标识（非实体标注） | 否 |
| i2b2/n2c2 系列（rid=14） | 英文 | 数百至数千份 | 任务特异（概念/关系/推理） | 否 |
| CADEC（rid=464） | 英文 | 千余条 | 药物不良事件 | 否 |
| MedMentions（rid=390） | 英文 | 数千摘要 | UMLS 实体链接 | 否 |
| JNLPBA（rid=442） | 英文 | 2,000 摘要 | 五类生物实体 | 否 |
这张表要传达的是一个反直觉的事实：MedTxt 的文档量在同代医学语料里几乎是最小的，但它是唯一带英日平行标注的。规模与平行性在医学 NLP 里长期不可兼得——大语料靠的是单一医疗系统（如某个 ICU 数据库）的海量记录沉淀，天然单语；平行语料则需要人工翻译，成本随文档量线性上升，只能做小。Real-MedNLP 选择了后者，本质上是用规模换可比性。
2.9.2 语言工程：字符计数、分词与翻译
字符计数的口径问题。语义上"同一个意思"，日语与英语的字符数能差一倍（CR 训练集 JA 84,471 vs EN 40,383）。这不是语料质量差异，而是书写系统差异：日语用一个假名或汉字表示一个音节/词素，英语用一个字母表示一个音位，承载同等信息所需的字符数天然不同。跨语言比较篇幅或复杂度时，字符数不是公平的度量——唯一 token 数（CR-JA 7,369 是全语料口径）或词数才更可比。这也提醒使用者：报表若写"日语语料是英语的两倍"，指的是字符数，不是信息量。
分词必须走 MeCab。日语没有空格分词，任何日语医学 NER 流水线的第一步都是形态分析。Real-MedNLP 的所有参赛系统都用 MeCab 做日语分词，这不是偶然——MeCab 是日语 NLP 的事实标准分词器，其医学领域词典质量直接决定 NER 的实体边界识别上限。对非日语研究者而言，接入 MeCab 及其医学词典是复现或扩展 MedTxt 工作的第一道工程门槛。
翻译的标注转移。MedTxt 的英译不是"另标一遍"，而是把日语上的实体标注按翻译对齐转移到英语文本上。这省去了一半标注成本，也解释了为何 JA/EN 两列的实体计数几乎完全对称（见 §2.3 表）。代价是：若翻译时实体边界在英语里发生了不可对齐的偏移（如日语一个复合词译为英语短语），标注转移可能不完美。论文承认译文"可能不自然"，这与标注转移的工程妥协是同一件事的两面。
2.9.3 数据划分的随机性与可复现边界
MedTxt-CR 与 MedTxt-RR 的划分策略不同，复现时须分清。CR 按病例随机划分（148 训练 + 76 测试），同一患者的报告不会跨集——这是一种防泄漏的标准做法。RR 按病例数划分：8 个病例入训练（72 篇）、7 个病例入测试（63 篇），因为每个病例有 9 篇报告（9 名医生各一篇），所以 8×9=72、7×9=63 恰好对上。这也意味着 RR 的 CI 测试集就是 7 个病例 × 9 篇 = 63 篇，模型要从这 63 篇里恢复出 7 个患者簇。
复现边界方面：CR 测试集不可得，所以公开渠道只能复现 CR 的训练侧实验，无法官方复现 76 篇测试分数；RR 全量可取，可完整复现。这是划分方式与释放策略耦合的结果，检索者在设计复现方案时须先确认手头能拿到哪一侧。
3.12 标注规范与任务接口的工程细节
3.12.1 实体嵌套与重叠的处理
医学文本的实体天然存在嵌套与重叠（如"右上肺非小细胞肺癌"包含解剖部位"右上肺"与疾病"非小细胞肺癌"，二者语义嵌套但边界不重叠；而"CT 检查示肝转移"中"CT 检查"与"肝转移"分属检查与疾病，跨类并列）。Real-MedNLP 的标注体系采用扁平标注——每个实体独立标注 span，不建嵌套层级。这意味着若某表述在语料中既是解剖部位又是疾病的一部分，标注方案会按预设优先级或独立多标处理。对使用者而言，扁平标注的优点是可直接喂给序列标注模型（BIO 标签），缺点是丢失了实体的层级语义，做层级抽取的研究需自行重建。
3.12.2 模态标注的临床价值链
三套模态（cert certainty / timex3 type / test·drug state）不是装饰，而是一条临床价值链的第 3、4 环：
- 第 1 环：实体边界——先认出文本里的医学术语（“糖尿病”“胸部 CT”）。
- 第 2 环：实体类型——判断它是疾病、部位、检查还是药物。
- 第 3 环：模态——判断它的确定性与状态（"否认糖尿病"里的糖尿病是 negative；"拟行 CT"里的检查是 scheduled）。
- 第 4 环：层级抽取——把实体与模态组合成临床事实（“患者否认糖尿病病史”→ 疾病糖尿病 + negative）。
Real-MedNLP 把第 3 环单独标出来、并允许参赛者自行选择是否预测，是一个务实的接口设计：只做边界 + 类型的系统可拿"基础分"，做了模态的系统才能拿"完整分"。这为不同能力层级的参赛者留了台阶。
3.12.3 任务接口的机器可读性
三条任务线的输出接口各不相同，这决定了它们的下游可用性：
| 任务 | 输入 | 输出接口 | 下游场景 |
|---|---|---|---|
| Task 1/2 | 文本（+ 可选指南） | 实体 span + 类型 + 模态 | 临床概念抽取、电子病历结构化 |
| Task3-CR | 疾病/药物候选表 | ADEval 等级（表格填充） | 药物警戒、上市后监测 |
| Task3-RR | 未排序报告集 | 患者分组簇 | 患者级信息归并、报告去重 |
ADE 任务选"表格填充"而非"关系抽取"，正是为了让输出天然对齐药物警戒系统的录入界面——警戒工作流的落点就是一张填报表格，让模型直接产出表格式结果，比产出三元组再转换更贴近落地。CI 任务选"分组簇"而非"配对判断"，则是为了让输出直接对应"患者档案归并"的操作单元。这两处接口设计都体现了"任务输出对齐临床工作单元"的思路。
3.12.4 评测的公平性考量
评测设计中最容易被忽略的是"公平性"，而 Real-MedNLP 有两处显式处理。其一，频率因子（反向加权高频实体）是一种公平性校正——它防止模型靠背高频词刷分，让分数更反映对长尾实体的真实能力，代价是分数不再直观可比于纯 F1。其二，精确/部分双边界为"粗粒度但不错"与"精确但遗漏"两类系统分别留了评价空间——一个把"非小细胞肺癌"识别为"肺癌"的系统，在精确匹配下全错、在部分匹配下得分，这承认了实际系统中粒度妥协的合理性。未处理的偏倚则包括：主 NER 标注者非医学专家、翻译带来的英语非自然性、RR 病例锁定肺癌——这些是评测结论的适用边界。
3.12.5 与前作的任务接口演进
MedNLP 系谱的任务接口一路在变：MedNLP-1 只做 NER 边界，MedNLP-2 加了 NEN（把实体规范化到字典 ID），MedNLPDoc 延续 NEN，MedWeb 转向文本分类。Real-MedNLP 则从"基础任务"跳到"基础 + 应用"的双层结构——Task 1/2 保留 NER 根基，Task 3 一口气补上 ADE 与 CI 两个应用。这个跳变反映的是任务方的一个判断：到 2022 年，纯 NER 已不足以代表医学 NLP 的前沿需求，必须把评测推到"医院里真正要做的信息抽取工作"上。MedNLP-SC（NTCIR-17）继续沿这条路，把社交媒体文本也纳入。
§4 评测指标与结果解剖
4.0 先看一个真实标注例
要理解任务考什么，最好的入口是一个标注例。以下示例按论文 Fig. 1 的标注体系复述（原文为英日对照，此处示意性呈现其标注结构，非逐字原文）：
患者 [d:非小细胞肺癌|certainty=positive] 病史 5 年，
[a:右上肺] 见 [t-test:CT] 示 [t-val:结节]，
否认 [d:肺结核|certainty=negative]，
[t-timex3:2023 年 3 月] 起口服 [m-key:吉非替尼] [m-val:250mg]。
在这段示意文本里，五个实体类同时出现：d（疾病，且带阳性/阴性两种 certainty）、a（解剖部位）、t-test/t-val（检查与检查值）、timex3（时间）、m-key/m-val（药物与剂量）。Task 1 要模型做的是：把每个方括号认出来，判对类型，再判对模态。"非小细胞肺癌"是 positive（确诊），"肺结核"是 negative（否认）——同样出现在文本里，模态截然不同。这个例子解释了为什么模态标注不可省略：只做边界不做模态的系统，会把"否认肺结核"和"确诊肺结核"抽成同一个医学事实，临床上可能造成致命误解。
4.1 NER 指标：为什么用"双因子"
Task 1/2 用 micro F1，但纯 F1 不足以刻画医学 NER 的失败模式，因此任务方叠了两个调节因子：
边界因子（Boundary factor）区分精确匹配（exact）与部分匹配（partial）。精确匹配要求实体的起止边界与金标准完全一致；部分匹配只要求字符重叠达到一定比例即算命中。这个区分对医学文本至关重要——"非小细胞肺癌"与"肺癌"是同一个实体的粗粒度与细粒度表述，精确匹配会判错，部分匹配则认可。任务方报告，部分匹配分数比精确匹配至少高出 10 分，CR 最佳部分匹配接近 80，RR 接近 95。
**频率因子（Frequency factor）**是更少见的设计：对高频实体按公式 wi = 1/(log_e(fi+1)+1) 反向加权，实体在语料中越常见，权重越小。其意图是校正"模型靠高频实体刷分"的假象——如果模型只是把最常见的几十个疾病名背下来，它在真实场景里解释不了罕见病，频率加权会惩罚这种行为，让分数更贴近"对长尾实体的真实识别能力"。这套双因子设计是 Real-MedNLP 在评测方法学上的一处贡献。
4.2 Task 1 结果：RR 为何碾压 CR
论文的最佳结果总括句给出：Task 1 中 CR 与 RR 的最佳 F1 分别为 0.65 与 0.89。RR 显著优于 CR 的根因在 §2.3 已经铺垫——RR 的词汇复杂度远低（唯一 token 1,182 vs CR 7,369），语言更简单、结构更规整，模型更容易学到映射。
细分到各语料与语言（论文 Table 6，分数 ×100，为不同系统/不同边界因子的区间）：
| 任务 | 语料 | 语言 | 最佳系统 | 分数区间 |
|---|---|---|---|---|
| Task1 | CR | JA | Baseline 多数据项最佳 | 49.93–78.46 |
| Task1 | CR | EN | SRCB-2 | 51.81–78.80 |
| Task1 | RR | JA | AMI / Baseline | 46.74–96.39 |
| Task1 | RR | EN | SRCB-1/2 | 52.62–92.93 |
区间下限与上限的差距（如 RR-JA 从 46.74 到 96.39）反映的是同一赛道内不同系统、以及精确/部分匹配两种口径的跨度——不能简单理解为"同一个系统从 46 涨到 96"。论文讨论指出，两语言的顶级系统表现相似（平均差约 5 分），说明语料在英日之间基本可比，跨语言设计的初衷得以成立。
4.3 Task 2 结果：指南学习的断崖
Task 2 是对整套设计最尖锐的一次拷问。结果毫不留情：即便最佳系统，也只达到 Task 1 对应最高分的 50-70%（精确匹配口径）。换言之，把训练文档从"100 篇标注文本"换成"约 100 句标注例句 + 指南"，性能直接腰斩。
但部分匹配口径下，差距缩到约 10 分以内——AMI-1 在 CR-JA 部分匹配拿到 61.63，与基线 Task1-CR-JA 的 69.77 只差 8.14 分；AMI-1 在 RR-JA 部分匹配更达 88.43。这组数字说明，指南学习并非完全不可行，只是它换来的能力更"粗"——模型能抓住实体大意，却难以精确锁定边界。论文对此的评述是：尽管语料规模有限，近期方法仍具潜力，因为部分匹配分数已达约 0.8-0.9 F1。
各语言赛道的最佳系统（论文 Table 6）：
| 任务 | 语料 | 语言 | 最佳系统 | 分数区间 |
|---|---|---|---|---|
| Task2 | CR | JA | AMI-1 | 36.44–61.63 |
| Task2 | RR | JA | AMI-1 | 49.58–88.43 |
| Task2 | RR | EN | Syapse-1 | 49.67–82.89 |
值得一提的是，Task2-CR-EN 零系统提交——英语病例报告的指南学习任务无人问津。这个空缺本身就是语料的实证：参赛者更愿意在有真实标注训练集时投入，纯指南任务的门槛与现实吸引力之间落差明显。
4.4 Task 3 结果：ADE 与 CI 的两极
Task3-CR（ADE） 的总体最佳检出 F1 为 0.64；英语系统整体优于日语系统，EN 分数比 JA 高出约 20-30 分。论文将此归结为外部语言资源可得性的差异——英文药物警戒词典（如用药知识库）远比日文丰富，同样的模型在英文侧能借助更完整的术语资源。细分来看：日语文档的报告级召回最优由基线取得（77.78），NICTmed-1 的精确率（37.50）与 F（48.00）最佳；英语文档 19 个系统中，Syapse-1 最常拔得单项头筹（5 个指标），报告级最佳 F = 64.00，SRCB-2/-5/-6 在多个实体级 ADEval 指标领先，SRCB 系统在 ADEval=3（Definitely）平均 61.2，报告级平均 52.3。
Task3-RR（CI） 则是另一极——最佳二分类准确率高达 0.96，且英日语差异同样巨大：
| 语言 | 系统 | AdjMI | FM | Binary Acc |
|---|---|---|---|---|
| JA | Zukyo-1（最佳） | 0.3409 | 0.3622 | 0.8285 |
| JA | Baseline | 0.1489 | 0.1814 | 0.8131 |
| JA | GunNLP-1 | 0.1988 | 0.2674 | 0.7675 |
| JA | NICTmed-1 | −0.0117 | 0.1170 | 0.7680 |
| EN | FRDC-1（最佳） | 0.8437 | 0.8436 | 0.9595 |
| EN | Syapse-1 | 0.7309 | 0.6992 | 0.9206 |
注意这里 AdjMI/FM 与二分类准确率之间的错觉：日语的二分类准确率看似不低（0.77-0.83），但 AdjMI 与 FM 却普遍很低（Zukyo-1 也只有 0.34）——准确率高是因为"绝大多数报告对不来自同一患者"这一基率本身就高，模型只要多判"不同"就能刷准确率；真正衡量聚类质量的 AdjMI/FM 则暴露了日语 CI 的实际困难。英语侧 FRDC-1 的 AdjMI 0.8437 / FM 0.8436 与二分类 0.9595 高度一致，说明其聚类是实打实的好。读 CI 结果只看二分类准确率会被高基率误导——这是一条方法论上的坑（见坑 5）。
4.5 结果的横向读法
把三条任务线并置，能读出一条清晰的能力梯度：结构化越强、词汇越收敛的任务，模型越擅长（CI 0.96、RR-NER 0.89）；越依赖长尾词汇与深层语义的任务，模型越吃力（CR-NER 0.65、ADE 0.64、指南学习腰斩）。这个梯度不是 Real-MedNLP 的缺陷，而是它对"真实医学 NLP 究竟难在哪"的一次诚实测量。论文明确指出，这些结果是 LLM（如 ChatGPT、Gemini）兴起之前建立的严格基线——它给出的不是天花板，而是一个可被后来者对照的地板。
§5 参赛盘点与生态位
5.1 九支队伍
Real-MedNLP 吸引了 9 支团队，地域上跨中国、日本、美国；机构性质上，5 支为产业界团队、**2 支为多学科（医学 + 计算机科学协作）**团队。完整名单（论文 Table 5 口径）：
| 团队 | 人数 | 国家 | 性质 | 主攻任务 |
|---|---|---|---|---|
| AMI | 3 | 日本 | 产业 | Task1-CR-JA、Task1-RR-JA、Task2-CR-JA、Task2-RR-JA |
| FRDC | 4 | 中国 | 产业 | Task1-CR-EN、Task3-CR-EN、Task3-RR-EN |
| GunNLP | 1 | 日本 | 大学 | Task3-RR-JA |
| Baseline (NAISTSOC) | 6 | 日本 | 大学 | 日语文档全部基线 |
| NICTmed | 4 | 日本 | 研究所 | Task1-CR-EN/JA、Task3-CR-EN/JA、Task3-RR-EN/JA |
| NTTD | 4 | 日本 | 产业 | Task1-CR-JA、Task1-RR-JA |
| SRCB | 6 | 中国 | 产业 | Task1-CR-EN、Task1-RR-EN、Task3-CR-EN |
| Syapse | 5 | 美国 | 产业 | Task2-RR-EN、Task3-CR-EN、Task3-RR-EN |
| Zukyo | 11 | 日本+瑞士 | 大学+研究所 | Task1-CR/RR-JA/EN、Task3-RR-JA |
各任务的提交系统数（论文 Table 5 总计）进一步暴露参与的不均衡：
| 任务 | CR-JA | CR-EN | RR-JA | RR-EN |
|---|---|---|---|---|
| Task 1（NER） | 12 | 15 | 8 | 7 |
| Task 2（指南学习） | 2 | 0 | 2 | 1 |
| Task 3（应用） | 3 | 19 | 4 | 12 |
Task 1 是主战场（每赛道 7-15 个系统），Task 2 门可罗雀（英语病例报告零提交），Task 3 则严重偏斜——Task3-CR-EN 收到 19 个系统，而 Task3-CR-JA 仅 3 个。这一分布本身就是语料生态的写照：英语侧的外部队列、预训练模型与术语资源更丰富，做起来更"顺手"。
5.2 参赛者的方法论共性
论文对 9 支队伍的方法做了归纳：绝大多数系统采取共同范式——基于一个基础语言模型（BERT 类），再叠加数据增强（data augmentation）来缓解标注不足。这正契合任务"低资源"的母题：当训练数据被压到 100 篇甚至只给指南时，数据增强与领域预训练几乎成了标配。任务方对此的定位是"方法论趋向同质化"，其价值不在方法创新，而在提供了一个统一的、可比的、真实的测试床，把"资源问题"从方法问题里分离出来单独观察。
5.3 在 MedNLP 系谱中的位置
Real-MedNLP 不是凭空冒出的任务，而是 MedNLP 家族第五届迭代的关键转折：
| 届次/年份 | 名称 | 语料性质 | 核心任务 |
|---|---|---|---|
| 2012-2013 | MedNLP-1 | 伪文档 | NER |
| 2013-2014 | MedNLP-2 | 伪文档 | NEN（医学命名实体规范化） |
| 2015-2016 | MedNLPDoc | 伪文档 | NEN |
| 2016-2017 | MedWeb | 伪文档 | TC（文本分类） |
| 2022（NTCIR-16） | Real-MedNLP | 真实文档（英日平行） | 低资源 NER + ADE + CI |
| 2023（NTCIR-17） | MedNLP-SC | 社交媒体 + 临床文本 | 后续扩展 |
MedNLP 系谱前四届的关键词是"伪"——为了规避隐私用教科书/人造文本；Real-MedNLP 第一次把"真"字摆上台面，并顺手解决了跨语言可比性的问题。其后继 MedNLP-SC（NTCIR-17, 2023）把范围扩到"社交媒体 + 临床文本"（SC = Social media & Clinical text），继续沿着"真实文本"的路线走。理解了这条谱系，就能明白 Real-MedNLP 的定位：它不是孤立的一届任务，而是日语医学 NLP 从"能公开的假文本"迈向"能公开的真文本"的那道分水岭。
5.4 与英文医学 NLP 生态的对照
把 Real-MedNLP 放进更大的医学 NLP 版图，它的差异点很清晰。英文侧的主流医学 NLP 语料——如 MIMIC 系列的临床笔记（rid=47 的 mimic-iv-note）、i2b2/n2c2 系列共享任务（rid=14）——长期由美国机构主导，体量大（MIMIC-III 数百万条笔记）、任务丰富（去标识、概念抽取、关系抽取、推理），但基本是单语的；跨语言可比性一直是英文语料体系的短板。Real-MedNLP 以 359 篇文档（224 CR + 135 RR）的"小体量"，换来的是一种英文语料给不了的东西：同一批内容在两种语言下的平行标注。它的价值不在规模，在可比性设计（见 §8）。
§6 获取与许可：两张证书、两个子集
6.1 两张许可证书
Real-MedNLP 的许可存在一处极易混淆的"双证书"结构，必须分列：
| 对象 | 许可 | 来源页 |
|---|---|---|
| 数据集（MedTxt 语料） | CC BY 4.0 | NAIST 社会计算实验室 Test Collection 页 |
| 论文 | CC BY-NC-ND 4.0 | Methods of Information in Medicine（Thieme 开放获取页） |
CC BY 4.0 是最宽松的知识共享协议——允许再分发、改编、商用，只需保留署名；CC BY-NC-ND 4.0 则禁止商用、禁止演绎。二者许可范围截然不同。检索者若把论文的 CC BY-NC-ND 误当成数据集许可，会以为语料不能商用；若把数据集的 CC BY 4.0 误当成论文许可，则会错用论文内容。正确用法是：引用语料看 CC BY 4.0，引用论文图文看 CC BY-NC-ND 4.0。
6.2 两个释放子集
数据集虽标 CC BY 4.0，但并非全量公开，实际释放呈"一全一缺"：
- MedTxt-RR：全量释放——72 篇训练 + 63 篇测试，共 135 篇，英日双语均可取。
- MedTxt-CR：仅释放 100 篇训练——76 篇测试集因许可原因（licensing issues）不对公众开放。
Test Collection 发布页对此的表述是：提供 MedTxt-CR 语料的一部分（100 篇训练集，仅因许可问题）以及全部 MedTxt-RR 语料（72 篇训练 + 63 篇测试）。这意味着想做完整 CR 评测（含 76 篇测试）的研究者，无法通过公开渠道拿到测试集——这是一个实质性的复现障碍，也是本条目最重要的获取限制（见坑 2）。
6.3 获取路径
- 官方下载：NAIST 社会计算实验室 Test Collection 页
https://sociocom.naist.jp/?p=4864（下载文件为 zip，页面 Update 日期 2022-07-27） - 官方语料入口：NTCIR Test Collection 数据页
https://research.nii.ac.jp/ntcir/data/data-en.html - 基线模型：Hugging Face
sociocom/MedNER-CR-JA（MedTxt-CR-JA 训练的 NER 基线） - 基座模型：
cl-tohoku/bert-base-japanese-whole-word-masking（日语 BERT）；分词器 MeCab（https://taku910.github.io/mecab/）
论文的数据可用性声明明确写道：MedTxt 语料的训练部分公开可用，位于 NTCIR Test Collection。至于下载是否需要注册或签署使用协议，公开页面未给出细化说明（见遗留疑点）。
6.4 AI-Ready 视角评估
从"AI 就绪"的角度看，MedTxt 的可得性格局是中上但残缺。加分项：真实文本、英日平行、任务定义清晰、CC BY 4.0 许可宽松、基线模型开源。减分项：CR 测试集不可得导致完整复现受阻；RR 为合成报告、患者集中于肺癌；主 NER 标注由非医学背景标注者完成；Task 2/3 部分赛道参赛稀少、参考分数稀疏。对绝大多数用户而言，用 MedTxt 做低资源医学 NER 的方法研究或跨语言迁移实验是合适的，把它当"可直接落地到床边的标注金标准"则需谨慎。
4.11 逐任务结果深读
4.11.1 Task 1 各系统表现的方法学解读
Task 1 的结果里藏着一个值得深挖的方法学信号：英语侧的最佳系统往往是不同的队伍（CR-EN 是 SRCB-2，RR-EN 是 SRCB-1/2），而日语侧的榜首常被 AMI 与 Baseline 占据。这说明语料的语言切换不只是"翻译"，而是改变了任务的难度结构——英语侧的参赛者（SRCB、FRDC 均来自中国）可能借助了更丰富的英文医学预训练资源，日语侧则更依赖日语特有的 BERT 与 MeCab 工程。任务方观察到"两语言顶级系统平均差约 5 分"，这 5 分不是某一语言更难，而是两个语言社区各自用自己最顺手的资源打到的高度接近——这恰好证明了平行语料的可比性设计是成功的。
另一个信号是Baseline 的强势。Baseline（NAISTSOC，6 人）在日语文档上几乎包揽基线，且在多处与参赛系统并驾齐驱。这有两层含义：一是任务方自己搭的基线足够扎实（日语 BERT + MeCab 的工程组合成熟）；二是任务"低资源"的设定下，简单扎实的基线往往比花哨的方法更稳——这与论文"多数系统采用共同范式"的观察一致。
4.11.2 Task 2 的"50-70% 断崖"到底意味着什么
Task 2 相对 Task 1 下降 50-70%（精确匹配），这个数字常被引用，但它的含义需要拆解。断崖的来源不是模型不会，而是模型没见过足够的实体分布：指南只给约 100 句标注例句，模型学到的实体类型覆盖远不足以泛化到测试集的长尾实体。证据是——部分匹配口径下差距缩到 10 分内，说明模型其实"大致认出"了实体所在，只是边界与类型判不准。所以这道断崖的准确描述是：指南学习能让模型获得"实体感",但给不了"边界精度"与"长尾覆盖"。对后续研究的启示是，若要弥合这道断崖，方向不在改进模型架构，而在补足实体分布信息（如注入词典、或无监督地扩大实体覆盖）。
值得对照的是 AMI-1 在 RR-JA 部分匹配拿到 88.43——这个分数已接近 Task 1 的水平。为什么 RR 的断崖比 CR 浅？因为 RR 的实体分布本就简单（词汇收敛、类型集中），指南用 100 句就能覆盖大部分常见模式；CR 的实体分布发散，100 句指南杯水车薪。断崖的深浅本身是任务词汇复杂度的函数，这再次呼应了 §2.3 的 token 数对照。
4.11.3 Task 3-ADE：为什么英语碾压日语
ADE 任务英语比日语高 20-30 分，任务方归因于"外部语言资源的可得性差异"。展开来看，这背后有三层原因：其一，术语资源——英文有成熟的药物警戒术语库（如 MedDRA 的英文侧、各类药物知识图谱），日语侧对应资源稀疏，模型难以把实体规范化到统一概念，ADEval 的"确定/可能"判断失去锚点；其二，标注一致性——ADEval 是主观性较强的四级量表，翻译后的英语文本中不良事件的表述更规整，标注者更易达成一致，而日语原文的表述更隐晦；其三，预训练资源——英文医学 BERT（PubMed BERT、Clinical BERT）在 ADE 相关语料上有大量预训练，日语侧则缺乏同等规模的药物警戒文本。这三点叠加，构成了"同一任务、两种语言、分数悬殊"的完整解释，也提示了一个现实：跨语言医学 NLP 的瓶颈往往不在模型，而在语言相关的术语基础设施。
4.11.4 Task 3-CI：聚类任务的两套成败标准
CI 任务暴露了聚类评估中最经典的陷阱——用分类指标评聚类。日语的 Zukyo-1 二分类准确率 0.8285 看起来不差，但 AdjMI 只有 0.3409、FM 0.3622，说明它"猜对了大多数对不来自同一人"，却没真正恢复出患者簇的结构；而英语 FRDC-1 三指标同高（0.8437/0.8436/0.9595），是货真价实的聚类。为什么英语容易聚类？ 因为 63 篇测试报告由 9 名医生为 7 个病例撰写，英语报告的结构化程度更高（术语一致、模板化程度高），同一病例的报告文本相似度更高；日语报告表述更自由，同一病例的报告差异更大，聚类更难。于是"英语 CI 易、日语 CI 难"与"英语 ADE 易、日语 ADE 难"形成了同向的证据链：日语侧的任务普遍更难，根因是日语医学文本的语言资源与规整度双低。
4.11.5 结果总表与三条读法
把三任务的可用分数汇总，形成一张速查表：
| 任务 | 最佳口径 | 分数 | 备注 |
|---|---|---|---|
| Task 1 CR | F1 | ≈0.65 | 部分匹配可达近 80 |
| Task 1 RR | F1 | ≈0.89 | 部分匹配可达近 95 |
| Task 2 CR | F1 | 36.44–61.63 | 相对 Task 1 CR 断崖最深 |
| Task 2 RR | F1 | 49.58–88.43 | RR 断崖较浅 |
| Task 3-ADE | F1 | ≈0.64 | EN 比 JA 高 20-30 分 |
| Task 3-CI | Binary Acc | ≈0.96 | JA 侧须另看 AdjMI/FM |
三条读法：（1）按语料读——RR 全线优于 CR，本质是语言复杂度差异；（2）按语言读——日语侧普遍更难，本质是资源差异；（3）按资源设定读——Task 2 断崖是对"无标注则无精度"的量化。任何引用若不在三者中定位，分数都会被误读。
5.8 参赛生态与结果的生产性
5.8.1 九支队伍的地域与方法分布
从 9 支队伍的地域与性质分布，能读出一条关于"医学 NLP 谁在做"的观察：日本队伍占了 5 支（AMI、GunNLP、Baseline、NICTmed、NTTD），中国 2 支（FRDC、SRCB）、美国 1 支（Syapse）、跨国 1 支（Zukyo，日本+瑞士）。日本队伍的密度最高，与语料的日语母语属性直接相关——做日语医学 NLP 的社区本就以日本为主。中国队伍（FRDC、SRCB）主攻英语侧任务，说明中国团队在英文医学 NLP 资源与工程上有积累。美国 Syapse 是唯一的纯美国队伍。这个分布说明跨语言任务的参赛格局，本质是各国团队按自己的语言与资源禀赋分工。
5.8.2 提交数背后的门槛差异
各任务提交数的巨大落差（Task1 每赛道 7-15、Task2 每赛道 0-2、Task3-CR-EN 19 vs Task3-CR-JA 3）值得从"门槛"角度解读：
- Task 1 门槛最低：有 100 篇标注训练集，标准的监督微调流程即可上手，几乎所有队伍都能跑。
- Task 2 门槛最高：无标注、只有指南，需要 prompt 工程或规则增强，多数队伍跨不过。
- Task 3 门槛两极：英语 ADE 有丰富外部资源助阵（19 个系统涌入），日语 ADE 资源稀缺（仅 3 个系统）。
这条"门槛—提交数"的对应关系揭示了一个残酷现实：参赛者的投入决策高度依赖"我是否有现成资源"。任务设计者若想让某赛道热闹，靠的不是降低学术难度，而是提供或降低资源接入门槛——这对未来的评测任务设计是一条实用经验。
5.8.3 从参赛系统看方法同质化
论文观察到"多数系统共享共同范式：基础语言模型 + 数据增强"。这种同质化在低资源任务里几乎是必然的——当训练数据稀缺时，能拉开差距的空间被压缩到"谁的预训练更好、谁的增强更巧"这些边际因素上。对学术贡献而言，同质化降低了方法创新的可见度，但提升了基准的可比性：既然大家都用相近的方法，分数的差异就更能反映数据/资源差异而非方法运气。这恰是共享任务的价值所在——它把"资源问题"从"方法问题"里剥离出来，让社区清醒地看到低资源的代价有多大。Real-MedNLP 用同质化换来了一个干净的测量。
6.8 许可、获取与合规的实操细节
6.8.1 CC BY 4.0 与 CC BY-NC-ND 4.0 的实操分野
两张许可在实操中的分野值得逐条说明，因为它们决定"你能拿这个资源做什么"：
| 行为 | 数据集（CC BY 4.0） | 论文（CC BY-NC-ND 4.0） |
|---|---|---|
| 复制、再分发 | ✅ 允许 | ✅ 允许 |
| 商用（如用于商业产品训练） | ✅ 允许 | ❌ 禁止 |
| 改编、演绎（如改写、改造） | ✅ 允许 | ❌ 禁止（ND = NoDerivatives） |
| 保留署名 | 必须 | 必须 |
| 用于再训练模型并商用 | ✅ 允许（数据侧） | — 数据与论文分开看 |
关键提醒："数据集 CC BY 4.0"只约束语料本身。若你把论文里的标注规范、任务定义、指标公式搬进自己的产品文档，那些内容受论文的 CC BY-NC-ND 约束，不能商用、不能改编。混用两张证书是本条目最高频的合规陷阱（见坑 3）。
6.8.2 释放子集与"部分可用"的合规含义
MedTxt-CR 只释放 100 篇训练集，这是"上游许可传染"的结果：病例报告原文来自 J-Stage 上各学会的开放获取出版，虽然单篇开放，但批量再分发的权利未必随开放获取一并授予。任务方能对外开放的，是那些许可允许再分发的部分；76 篇测试集涉及的许可条件更严，只能留作内部评测。这给使用者两个启示：其一，遇到"数据集标了开放许可却拿不到全量"时，先怀疑上游内容的许可传染，而非怀疑发布方藏私；其二，若要基于 MedTxt 做产品，应确认自己使用的每一篇文档都落在 CC BY 4.0 的释放范围内，不要假想"数据集是 CC BY 就整批可用"。
6.8.3 下载与使用的步骤清单
给实际下载者的操作清单（依据公开信息整理，非官方步骤）：
- 访问 NAIST 社会计算实验室 Test Collection 页（
sociocom.naist.jp/?p=4864），找到 Real-MedNLP Test Collection 的 zip 下载入口。 - 或走官方 NTCIR Test Collection 数据页（
research.nii.ac.jp/ntcir/data/data-en.html）检索 Real-MedNLP / MedTxt。 - 确认拿到的是 MedTxt-CR（100 篇训练，英日） 与 MedTxt-RR（135 篇全量，英日）。
- 如需 NER 基线，另取 Hugging Face
sociocom/MedNER-CR-JA；日语处理准备 MeCab 与其医学词典。 - 使用前核对许可：语料按 CC BY 4.0 署名使用；论文图文按 CC BY-NC-ND 4.0 谨慎使用。
- 复现评测时明确：CR 只能复现训练侧，RR 可完整复现。
（公开页面未给出是否需要注册/签协议的细节，实际操作以页面与 NTCIR 数据页当时要求为准——见遗留疑点。）
§7 生态与影响
7.1 一次评测任务的长期账
共享任务的价值往往在会议结束之后才慢慢显现。Real-MedNLP 的生命周期跨了三个时点：2022-06-14 在 NTCIR-16 会议（东京 NII 主办，会期 06-14 至 06-17）上以概览论文形式亮相并发布语料；2022-07-27 由 NAIST 社会计算实验室整理成 Test Collection 页对外开放；2024-10-29 正式论文刊于 Methods of Information in Medicine。这个"先开会发语料、后期刊发方法论"的节奏在评测任务里很常见——语料与任务设计先行，让社区先跑起来，再用期刊论文沉淀方法论与结果。
论文本身已被 Crossref 记录 12 次引用（抓取时点口径），说明它作为"真实平行医学语料"的参照点开始被引用。更长远的影响体现在后继任务上：MedNLP-SC（NTCIR-17, 2023）延续了真实文本路线并扩到社交媒体文本，把 Real-MedNLP 打开的口子继续撑着。
7.2 对日语医学 NLP 基础设施的贡献
Real-MedNLP 对日语医学 NLP 的贡献不只是一批语料，还有一系列可复用的基础设施，这些往往比语料本身更长寿：
- MedTxt-CR-JA 训练数据 + 平行英译：为日语医学 NER 提供了首个成规模的真实标注语料。
- MedNER-CR-JA 预训练模型：发表于 Hugging Face 的 NER 基线，成为一个可直接微调的日语医学 NER 起点。
- 标注体系与指南：五类实体 + 三套模态的标注方案，以及 Task 2 用到的标注指南，本身是可复用的标注规范模板。
- 评测方法论：NER 的双因子（边界 + 频率）指标、ADE 的 ADEval 四级量表与报告级/实体级双层评估、CI 的 AdjMI/FM/二分类三指标，都是可迁移的评测设计。
7.3 与库内其他日语/亚洲医学资源的呼应
在本库范围内，与 Real-MedNLP 形成地域呼应的条目有：jader（rid=1088）是日本 PMDA 的自发药物警戒数据库——与 Real-MedNLP 的 ADE 任务主题直接相关，一个提供日本药物不良事件报告数据，一个提供抽取不良事件的文本方法基准；biobank-japan（rid=195）代表日本的生物样本库基础设施；chinese-critical-care-database（rid=166）、qizheng-gpt（rid=826）、shenzhen-tb（rid=167）、zhejiang-ehr-critical-care（rid=598）则反映中文医疗数据生态。Real-MedNLP 是这一批亚洲医疗资源中唯一以语言处理任务为核心、且以跨语言可比为卖点的条目。
7.4 在医学 NER 语料版图中的坐标
把 Real-MedNLP 的 NER 语料与英文主流的医学实体标注语料并置，可以看到它在"规模 vs 真实性 vs 跨语言"三角里的取舍：它的规模（359 篇文档）远小于 MIMIC 系或 i2b2/n2c2 系的大语料，但它的英日平行是那些语料都没有的。它不是要跟 MIMIC 比体量，而是补上了一块英文语料体系结构性缺失的拼图——跨语言可比性。
7.5 对低资源医学 NLP 研究议程的塑形
Real-MedNLP 对研究议程的塑形体现在它把几个原本模糊的问题变成了可实证的问题。在它之前，"标注不足是医学 NLP 的瓶颈"是一句谁都知道但无法量化的断言；在它之后，这句话有了具体数字（Task 2 相对 Task 1 断崖 50-70%）。在它之前，"跨语言医学 NLP 是否可行"缺乏可比平台；在它之后，英日两语的顶级系统平均只差约 5 分，这个结论可以被直接引用。在它之前，“药物警戒的文本抽取该用什么范式”（关系抽取 vs 表格填充）是方法论偏好之争；它用 Task3-CR 给出了一条具体路径供人对照。一个评测任务最深远的影响，往往不是它自己产出了什么模型，而是它把哪些模糊争论变成了可测量的实验。
7.6 与 NTCIR 生态的关系
Real-MedNLP 是 NTCIR 这个日本主导的评测生态里的一个医学专线。NTCIR（NII Testbeds and Community for Information access Research）自 1990 年代末起主办多语言信息检索与处理评测，其"多语言可比"的基因深刻影响了 Real-MedNLP 的英日平行设计——NTCIR 的历届任务普遍强调跨语言检索与可比语料，Real-MedNLP 把这一传统带进了医学领域。这解释了为什么一个日本团队会去构造英日双语而非纯日语的语料：它是 NTCIR 多语言基因的继承者。理解这一点，会更容易看懂 Real-MedNLP"为什么非要翻译成英语"——不是为了讨好英语社区，而是 NTCIR 生态的默认要求。
7.7 数据的二次利用潜力
MedTxt 虽小，但二次利用的接口丰富：（1）作为跨语言迁移的实验台——英/日一侧训练、另一侧测试，测 BERT 类模型的跨语言零样本；（2）作为低资源方法的标尺——任何声称"解决低资源 NER"的方法，都可以拿 Task 2 的 50-70% 断崖当作基线比较；（3）作为医学 LLM 的评测集——LLM 是否在真实医学文本上优于 2022 年的基线，MedTxt 提供了干净的对照；（4）作为标注规范的模板——五类实体 + 三套模态 + ADEval 的方案可迁移到其他语言的医学语料构建。这四条利用了语料的不同侧面（语言、资源、模型、规范），是一个小语料能提供的最大价值面。
§8 方法学启示：四条可迁移的经验
8.1 "真实但小"是对"虚假但大"的一种修正
医学 NLP 长期用伪文档换规模（教科书可无限复制）。Real-MedNLP 反其道而行：宁可要 359 篇真实文档，也不要海量教科书句子。它传递的方法是——当真实性与规模不可兼得时，先问任务要测什么。如果测的是"模型能否处理真实医学文本"，那么真实性不可牺牲，规模可以通过"低资源设定"（100 篇训练、只给指南）转化成任务的一部分，而不是靠伪文本凑数。这是一个把约束变成设计变量的漂亮范例。
8.2 低资源不是缺陷，是可以被"设计"的任务维度
Task 1（100 篇）与 Task 2（只给指南）把"资源多少"从一个模糊的背景条件，变成了两个有明确等级的评测赛道。这样一来，"资源"本身成了可测量、可比较的变量——同一个任务在 100 篇监督 vs 0 篇指南下的性能落差（50-70% 断崖），就成了一个可引用的定量事实。把资源量显式建模为任务参数，是任何评测设计都可以借鉴的一招。
8.3 平行翻译 + 标注转移 = 低成本的跨语言基准
Real-MedNLP 构造英日语料的方式很省：先标注日语，再人工翻译成英语并保留概念标注转移到译文上。这样只需一份标注成本，就得到两语言的平行标注集。代价是译文可能不自然（论文自己承认），但换来的是"同一语义内容在两种语言下的可比评测"——这个性价比，对任何想做跨语言基准的团队都有参考价值。
8.4 指标选择本身就是设计
Real-MedNLP 的三处指标选择都值得学：NER 用双因子（边界 + 频率）逼模型别靠高频实体与宽松匹配刷分；ADE 用双层评估（实体级 + 报告级）分离细粒度与汇总粒度；CI 用三指标并置（AdjMI/FM/二分类）让高基率不能掩盖聚类质量。三者指向同一条经验——指标不是事后统计，而是任务意图的编码，选错指标会让评测结论失真（§4.4 的日语 CI 就是活例）。
8.5 与前作对照的方法论谱系
Real-MedNLP 的三条设计特征（真实数据集、双语、实用任务）恰好是对前作 MedNLP 系列（伪文档、单语、基础任务）的逐条修正。这种"每一届针对上一届的短板补一刀"的迭代方式，本身是一种健康的社区演进模式——共享任务的进步不在于每届都做全新的东西，而在于把上一届暴露的结构性局限逐个拆除。
§9 与库内条目的关系
9.1 主题家族图谱
Real-MedNLP 在本库中的邻居可分为三圈：
第一圈（医学信息抽取任务直接同族）：
i2b2-n2c2-nlp（rid=14）：英文医学 NLP 共享任务的经典代表，其 i2b2 2009 的药物不良事件关系抽取，正是 Real-MedNLP Task3-CR 刻意"换一种思路"（表格填充）的对照对象。cadec（rid=464）：患者自报药物不良事件的标注语料，与 ADE 主题正面相关。radgraph2-radiology-reports（rid=622）：放射报告的时序实体关系标注，与 MedTxt-RR 的实体抽取直接对照。jnlpba（rid=442）：生物医学 NER 的五类实体金标准，与 Real-MedNLP 的实体 NER 同类不同域（生物实体 vs 临床实体）。
第二圈（医学文本与实体规范化）：
medmentions（rid=390）：UMLS 实体链接语料，对应 Real-MedNLP 下游的实体规范化诉求（其前作 MedNLP-2/MedNLPDoc 的核心任务）。chemdner（rid=450）：化学实体识别，跨域 NER 对照。meddoprof（rid=509）：西班牙语临床职业信息标注——与 Real-MedNLP 一样是非英语临床 NLP 语料，构成跨语言对照。
第三圈（临床文本与日语/亚洲资源）：
mimic-iv-note（rid=47）：英文去标识临床自由文本，是"英文医学文本大语料"的样本，与 Real-MedNLP"日语真实文本"形成语种对照。deidentified-medical-text（rid=980）：HIPAA 去标识护理笔记金标准。jader（rid=1088）：日本 PMDA 药物警戒数据库（日语 ADE 数据）。mednli（rid=648）：临床自然语言推理（英文临床 NLP 基准）。
9.2 检索路径建议
- 找医学 NER 语料：从
jnlpba（442）、medmentions（390）、chemdner（450）出发，指向 Real-MedNLP 观察临床实体与生物实体的语料差异。 - 找药物不良事件（ADE）语料：
i2b2-n2c2-nlp（14）、cadec（464）、jader（1088）三者与 Real-MedNLP 的 Task3-CR 构成 ADE 语料家族，覆盖英文关系抽取、患者自报、日本药物警戒与跨语言任务四种形态。 - 找放射报告文本：
radgraph2-radiology-reports（622）与mimic-cxr（16）系列指向放射报告的实体与关系标注，Real-MedNLP 的 MedTxt-RR 是其中唯一带英日平行的。 - 找跨语言/非英语临床 NLP：Real-MedNLP 与
meddoprof（509，西语）、chinese-critical-care-database（166，中文）构成非英语临床 NLP 的检索入口。
§10 避坑清单：八个已踩过的坑
坑 1：把"224 篇"和"100 篇"当成矛盾——其实是一个条目的两个口径。
论文写 MedTxt-CR 224 篇（148 训练 + 76 测试），Test Collection 页写 100 篇训练。前者是语料构建总量，后者是实际释放的子集（76 篇测试因许可不释出）。引用 CR 规模时必须说明口径，写成"CR 224 篇（对外可获取 100 篇训练集）"。若只写 224，读者会以为能下到 224 篇；若只写 100，又漏掉了论文报告的真实标注总量。
坑 2：以为数据集标了 CC BY 4.0 就能拿到全量——CR 测试集拿不到。
CC BY 4.0 是许可宽松，但释放不等于全量。MedTxt-CR 的 76 篇测试集不对公众开放。想做完整 CR 评测（含测试集）的研究者会发现公开渠道只能凑到 100 篇训练，完整复现遇阻。这是本条目最实质的获取限制。
坑 3：把论文许可和数据集许可混为一谈。
论文是 CC BY-NC-ND 4.0（禁商用、禁演绎），数据集是 CC BY 4.0（可商用、可改编）。两者在同一批资料里并列出现，极易被检索者顺手合并。引用语料与引用论文正文要用各自的许可。
坑 4：误以为标注者是医学专家。
主 NER 语料由无医学知识的日语母语者标注（靠培训 + 指南），只有 Task3-CR 的 ADEval 标注由 2 名具药学/生物学背景者完成。用这批语料训练临床实体识别模型时，要意识到标注本身的专业性上限，不宜当作"专家金标准"。
坑 5：读 CI 结果只看二分类准确率——会被高基率骗。
Task3-RR 的日语二分类准确率看似不错（0.77-0.83），但 AdjMI/FM 却很低（最佳 Zukyo-1 仅 0.34）。原因是"报告对大多不来自同一患者"这一基率本就高，多判"不同"就能刷准确率。评估聚类质量必须看 AdjMI/FM，不能只看二分类准确率。英文侧 FRDC-1 三指标一致（0.84/0.84/0.96）才是真正的好。
坑 6：把 MedTxt-RR 说成"真实患者报告"。
RR 是 9 名放射科医生为同一批 15 个肺癌病例新撰写的（dummy）报告——影像是真实的常见肺癌 CT，报告文本是为评测专门写的合成文本。它与 MedTxt-CR（真正的实际病例报告）在"真实性"上性质不同，不能一概而论。且患者画像锁定为肺癌人群。
坑 7：拿英文语料的经验直接套到 Real-MedNLP 的分数解读上。
Real-MedNLP 的 NER 用双因子指标（边界 partial/exact + 频率反向加权），分数与纯 F1 不可直接比较；ADE 分实体级/报告级两层，CI 用三指标。报分数时必须说明是哪一口径，否则"0.89"和"0.65"会被张冠李戴。
坑 8：忽略"MedNLP"系列是多个独立届次，不是同一数据集的别名。
MedNLP-1、MedNLP-2、MedNLPDoc、MedWeb、Real-MedNLP、MedNLP-SC 是六个不同的届次/任务，语料与设定各异。检索时若把 Real-MedNLP 与 MedNLP 系列的其他届次当成同一资源的变体，会张冠李戴。Real-MedNLP 的独特之处在于它是首个真实平行文本的届次。
§11 总结
11.1 三句话总结
- 它是医学 NLP 从"伪文档"转向"真实平行文本"的分水岭——MedTxt 语料含 224 篇真实病例报告（对外释放 100 篇训练）与 135 篇真实影像对应的放射报告，日英双语平行。
- 它把"低资源"设计成了任务的一部分——Task 1 只给约 100 篇、Task 2 只给约 100 句指南，用 50-70% 的性能断崖量化了"资源稀缺"的代价。
- 它用一套精心的指标（双因子 NER、双层 ADE、三指标 CI）给出了 LLM 时代之前的严格基线，结果揭示了"结构化任务易、真实长尾难"的清晰能力梯度。
11.2 适合谁
- 做医学命名实体识别（NER）的团队：需要真实、非英语、且带平行英译的临床实体语料，MedTxt-CR 是难得的选择。
- 研究低资源 / 零样本 / 少样本学习的团队：Task 1 与 Task 2 的明确资源分级，是理想的实验场。
- 做药物警戒与 ADE 抽取的团队：Task3-CR 的 ADEval 四级量表与英日对照，可直接对标。
- 做跨语言医学 NLP 的研究者：MedTxt 是医学领域首个成规模的英日平行标注语料。
- 评估临床文本处理系统的团队：把 Real-MedNLP 的基线分数作为"地板"参照，对比自己的模型。
11.3 不适合谁
- 想找大规模真实患者病历的团队：359 篇文档量级偏小，且 CR 测试集不可得。
- 想找全量可复现基准的团队：CR 测试集不释出，完整评测无法公开复现。
- 需要专家级临床标注金标准的团队：主 NER 标注由非医学背景者完成。
- 想要多病种覆盖的团队：RR 锁定肺癌，CR 受开放获取偏倚影响。
- 做中文或其他语种医学 NLP 的团队：Real-MedNLP 只有英日两种语言。
11.4 30 秒决策卡
| 你的需求 | 结论 |
|---|---|
| 真实英日平行临床文本 | ✅ Real-MedNLP 是首选 |
| 医学 NER 低资源实验 | ✅ Task 1/2 现成赛道 |
| 药物不良事件抽取 | ✅ Task3-CR 有 1,630 条 ADEval 标注 |
| 同一病例识别 | ✅ Task3-RR 有分组金标准 |
| 大规模患者病历 | ❌ 仅 359 篇，CR 测试集不可得 |
| 专家标注金标准 | ⚠️ 主 NER 为非医学背景者标注 |
| 多语种（非英日） | ❌ 仅英日双语 |
| 商用再分发 | ✅ 数据集 CC BY 4.0（论文另计） |
FAQ（高频问答 22 问）
A. 基础认知
Q1：Real-MedNLP 是一个数据集吗？
它既是共享任务（NTCIR-16 的一个 track），也是语料集（MedTxt）。本条目把它作为"任务 + 语料 + 基准"三合一介绍。
Q2："MedTxt"和"Real-MedNLP"是什么关系？
MedTxt 是 Real-MedNLP 任务所用语料的名字，分 MedTxt-CR（病例报告）与 MedTxt-RR（放射报告）两支。
Q3：为什么叫"Real"？
因为它用真实文档，区别于前作 MedNLP 系列用教科书/人造的伪文档。
Q4：和 MedNLP 系列其他届次什么关系？
Real-MedNLP 是 MedNLP 家族第五代（MedNLP-1 → MedNLP-2 → MedNLPDoc → MedWeb → Real-MedNLP），是首个真实平行文本的届次。后继为 MedNLP-SC（NTCIR-17）。
B. 数据与获取
Q5：MedTxt-CR 到底多少篇？
构建 224 篇（148 训练 + 76 测试）；对外只释放 100 篇训练，76 篇测试因许可不开放。
Q6：MedTxt-RR 多少篇？
135 篇，全部可获取（72 训练 + 63 测试），来自 15 个肺癌病例、9 名放射科医生。
Q7：怎么下载？
NAIST 社会计算实验室 Test Collection 页（zip），或官方 NTCIR data 入口。基线模型在 Hugging Face sociocom/MedNER-CR-JA。
Q8：许可是什么？
数据集 CC BY 4.0；论文 CC BY-NC-ND 4.0。两者不同。
Q9：CR 测试集为什么拿不到？
因许可原因（licensing issues）——开放获取病例报告的再分发受限，任务方只获准放出训练集。
C. 任务与标注
Q10：三个任务分别考什么？
Task 1 少样本 NER（约 100 篇）；Task 2 指南学习 NER（约 100 句指南）；Task 3 应用（ADE 提取 + 病例识别）。
Q11：标注了哪些实体？
五类：d 疾病症状 / a 解剖部位 / timex3 时间 / t-test·key·val 检查 / m-key·val 药物，每类带模态。
Q12：谁标注的？
主 NER 由无医学知识的日语母语者标注；Task3-CR 的 ADEval 由 2 名具药学/生物学背景者标注。
Q13：ADEval 是什么？
药物不良事件的四级分类：3=Definitely / 2=Probably / 1=Unlikely / 0=Unrelated。
Q14：CI 任务金标准从哪来？
RR 与 CT 影像的原始对应关系（文档级）——即哪些报告解读的是同一案例。
D. 评测与结果
Q15：NER 指标为什么特殊？
用 micro F1 叠双因子：边界因子（精确 vs 部分匹配）+ 频率因子（对高频实体反向加权）。
Q16：Task 1 分数？
CR 最佳 0.65 F1，RR 最佳 0.89 F1（RR 因语言更简单而更高）。
Q17：Task 2 比 Task 1 差多少？
精确匹配下降 50-70%；部分匹配差距约 10 分内。
Q18：ADE 最佳分数？
0.64 F1；英语比日语高约 20-30 分（英文药物资源更丰富）。
Q19：CI 最佳分数？
最佳二分类准确率 0.96（EN FRDC-1：AdjMI 0.8437 / FM 0.8436）；日语最佳 Zukyo-1 二分类 0.8285 但 AdjMI 仅 0.3409，须看 AdjMI/FM 而非仅准确率。
E. 生态与库内
Q20：多少支队伍参赛？
9 支（中国/日本/美国；5 产业界 + 2 医学+CS 多学科）。
Q21：库内哪些条目可互链？
i2b2-n2c2-nlp（14）、jnlpba（442）、cadec（464）、jader（1088）、radgraph2-radiology-reports（622）、mimic-iv-note（47）、medmentions（390）、meddoprof（509）等（见 §9）。
Q22：它最容易被误引的地方？
CR 规模（224 vs 100）、许可（CC BY vs CC BY-NC-ND）、RR 真实性（合成 vs 真实）——见 §10 坑 1/3/6。
F. 复现与工程
Q23：复现 Task 1 需要什么工具链？
MeCab（日语分词）+ 日语 BERT（cl-tohoku）+ NER 微调流程 + 双因子评测脚本。基线模型 sociocom/MedNER-CR-JA 可直接对照。
Q24：CR 的测试集分数能复现吗？
不能。76 篇测试集不对外释放，公开渠道只能复现训练侧实验；RR 全量可取，可完整复现。
Q25：ADE 任务的输入接口是什么？
四段式：文档 ID / 目标实体上下文（前 50 + 后 50 字符）/ 目标实体 / 实体类型名，以 [SEP] 分隔；输出 0-3 的 ADEval 等级。
Q26：CI 任务的评测指标为什么要三个？
二分类准确率会因高基率虚高，必须配 AdjMI 与 Fowlkes–Mallows 才能反映真实聚类质量（见坑 5）。
Q27：可以直接用 MedTxt 训商用模型吗？
数据集 CC BY 4.0 允许商用，但释放的是子集（CR 仅 100 篇）；论文内容受 CC BY-NC-ND 约束，不能商用或改编。分开核对。
Q28：MedTxt 有实体规范化（NEN）标注吗？
没有。MedTxt 只做实体识别（NER）与模态，未含到字典 ID 的规范化；其前作 MedNLP-2/MedNLPDoc 才做 NEN。把 MedTxt 实体接到 UMLS/日本医学词典上是自然的下游延伸。
G. 学术定位
Q29：为什么说它是 LLM 时代的对照点？
论文自定位为 LLM（ChatGPT、Gemini）兴起前的严格基线。今天用它可衡量"LLM 是否解决了低资源医学 NER"——超越幅度小，说明长尾难题仍在。
Q30：它最重要的学术贡献是什么？
把"标注稀缺"与"跨语言可比性"两个模糊议题变成了可量化的实验（50-70% 断崖、英日顶级系统约 5 分差、ADE 英日 20-30 分差）。
DAIMS 数据集就绪度评估
DAIMS（Data and AI Maturity/Readiness for Medical Datasets）评分从六个维度评估数据集对 AI 训练的就绪程度，满分 5 分。
| 维度 | 评分 | 依据 |
|---|---|---|
| 可获取性（Accessibility） | 3.5/5 | 训练集公开可取（RR 全量 + CR 100 篇），CC BY 4.0 宽松；但 CR 测试集不释出、下载入口非直链表单，扣分 |
| 数据规模（Volume） | 3/5 | 359 篇文档（224 CR + 135 RR），对医学 NLP 属中小规模；低资源是设计意图，但对训练大模型偏不足 |
| 标注质量（Annotation Quality） | 3.5/5 | 五类实体 + 三模态 + ADEval 四级量表设计精细、JA/EN 标注高度对称；但主 NER 由非医学背景者标注，专业性受限 |
| 多样性（Diversity） | 3.5/5 | 英日双语平行是最大差异化优势；但 RR 锁定肺癌、CR 受开放获取偏倚、语种仅两种 |
| 标准与规范（Standards） | 4.5/5 | 采用成熟医学 NER 标注体系、ADEval 沿用 Kelly 标准、评测指标成体系（双因子/双层/三指标），规范度高 |
| 可复现性（Reproducibility） | 3/5 | 基线模型开源、任务定义清晰；但 CR 测试集不可得导致完整评测无法公开复现，直接拖低该项 |
综合就绪度：3.5/5（中等偏上）——作为"低资源真实平行医学 NLP 基准"已经相当就绪，作为"可直接落地训练临床系统的语料"则受规模与测试集释放限制。
事实清单（硬事实 40 条）
- 官方全称：NTCIR-16 Real-MedNLP（REAL document-based MEDical Natural Language Processing）。
- 语料名：MedTxt，分 MedTxt-CR 与 MedTxt-RR。
- 主办/组织方：NAIST 社会计算研究室（Social Computing Lab）。
- 作者四人：Shuntaro Yada、Yuta Nakamura、Shoko Wakamiya、Eiji Aramaki。
- 会议：NTCIR-16，2022-06-14 至 06-17，东京 NII。
- 论文期刊：Methods of Information in Medicine 2024;63(05/06):145-163。
- 论文 DOI：10.1055/a-2405-2489。
- 论文许可：CC BY-NC-ND 4.0。
- 数据集许可：CC BY 4.0。
- MedTxt-CR 构建总量：224 篇（148 训练 + 76 测试）。
- MedTxt-CR 释放量：仅 100 篇训练（测试集不释放）。
- MedTxt-RR 总量：135 篇（72 训练 + 63 测试）。
- MedTxt-RR 释放量：全量 135 篇。
- MedTxt-RR 生成：9 名放射科医生 × 15 个肺癌病例。
- CR 训练集字符：JA 84,471 / EN 40,383。
- RR 训练集字符：JA 16,861 / EN 8,488。
- CR 唯一 token 数：7,369。
- RR 唯一 token 数：1,182。
- 实体类型：d/a/timex3/t-test·key·val/m-key·val 五类。
- d 模态：positive/negative/suspicious/general。
- timex3 模态：date/time/duration/set/age/med/misc。
- 检查与药物模态：scheduled/executed/negated/other。
- CR 用全部实体类型；RR 用 d/a/t-test/timex3 子集。
- Task 1：Just 100 Training，约 100 篇训练。
- Task 2：Guideline Learning，约 100 句标注指南。
- Task 3-CR：ADE 提取（表格槽填充式）。
- Task 3-RR：CI 同一病例识别。
- ADEval 四级：3/2/1/0 = Definitely/Probably/Unlikely/Unrelated。
- ADE 训练标注：合计 1,630（疾病 1,430 + 药物 200）。
- Task 1 最佳：CR 0.65 F1 / RR 0.89 F1。
- Task 2 相对 Task 1 下降：50-70%（精确匹配）。
- Task 3-ADE 最佳：0.64 F1。
- Task 3-CI 最佳二分类准确率：0.96。
- 参赛队伍：9 支（中/日/美；5 产业界 + 2 多学科）。
- NER 指标：micro F1 × 边界因子 × 频率因子（wi=1/(ln(fi+1)+1)）。
- 基线模型：sociocom/MedNER-CR-JA（Hugging Face）。
- 日语 BERT 基座：cl-tohoku/bert-base-japanese-whole-word-masking。
- 分词器：MeCab。
- 后继任务：MedNLP-SC（NTCIR-17, 2023）。
- 下载入口：NAIST Test Collection 页 + NTCIR data 页。
引用与来源
- Yada S, Nakamura Y, Wakamiya S, Aramaki E. Cross-lingual Natural Language Processing on Limited Annotated Case/Radiology Reports in English and Japanese: Insights from the Real-MedNLP Workshop. Methods of Information in Medicine. 2024;63(05/06):145-163. doi:10.1055/a-2405-2489. https://www.thieme-connect.com/products/ejournals/abstract/10.1055/a-2405-2489
- NAIST Social Computing Laboratory. Real-MedNLP Test Collection. https://sociocom.naist.jp/?p=4864 （更新 2022-07-27）
- NII. NTCIR-16 Real-MedNLP: Overview of REAL document-based MEDical Natural Language Processing Task. doi:10.20736/0002002295. https://irdb.nii.ac.jp/en/03100/0007010474
- CiNii Research. Cross-lingual Natural Language Processing on Limited Annotated Case/Radiology Reports… https://cir.nii.ac.jp/crid/2120870839829360384
- NTCIR Test Collection Data. https://research.nii.ac.jp/ntcir/data/data-en.html
- Hugging Face. sociocom/MedNER-CR-JA. https://huggingface.co/sociocom/MedNER-CR-JA
- NTCIR-16 官网. https://research.nii.ac.jp/ntcir/ntcir-16/index.html
7.8 影响评估与引用卫生
7.8.1 该任务"没做成"的地方也是信息
一个共享任务的价值，一半在它测出了什么，一半在它暴露了什么没做成。Real-MedNLP 有几处诚实的"未完成"值得记录：Task2-CR-EN 零提交说明英语侧的研究者对纯指南任务缺乏兴趣；Task3 部分赛道系统稀疏（CR-JA 仅 3 个）说明应用任务的吸引力仍不及主 NER 赛道；俄/其他语种缺席说明跨语言只做到英日两语；RR 病例锁定肺癌说明"真实影像 + 合成报告"的构造方式天然限制了多样性。这些空白不是任务设计的失败，而是它作为"探针"记录下的社区现状——后来的任务（MedNLP-SC）正是在这些空白上继续推进。
7.8.2 引用卫生：报分数时必须带的三个限定
引用 Real-MedNLP 的结果时，若不带限定会失真，至少须标注三件事：（1）口径——是精确还是部分匹配、是实体级还是报告级、是 AdjMI 还是二分类准确率；（2）语料/语言——CR 还是 RR、JA 还是 EN；（3）资源设定——Task 1（100 篇监督）还是 Task 2（指南）。例如"Real-MedNLP 的 NER 是 0.89"必须补全为"Task 1、RR、部分匹配口径的最佳 F1 ≈ 0.89"，否则读者会误以为 CR 或精确匹配也能到 0.89。这是该条目在二次传播中最容易被稀释的信息。
7.8.3 与 LLM 时代的对照价值
论文明确把这些结果定位为 LLM（ChatGPT、Gemini 等）兴起之前建立的严格基线。这个自我定位很有远见：在 LLM 之前，"低资源 NER"是被迫的妥协（没数据只能低资源）；在 LLM 之后，"低资源"变成了一个可主动研究的设定（用大模型的少样本/零样本能力去填标注空缺）。Real-MedNLP 因此获得了一重新的引用价值——它是衡量"LLM 到底有没有解决低资源医学 NER"的对照点：如果今天的 LLM 在 Task 1/2 上大幅超越这些 2022 年的基线，说明低资源痛点被缓解了；如果超越有限，说明真实医学文本的长尾难题依然存在。这条对照价值，是 Real-MedNLP 在 LLM 时代仍被引用的核心原因。
8.9 可迁移设计与研究选题
8.9.1 五条可迁移的语料工程招式
Real-MedNLP 的做法里，有五招可被任何医学语料工程直接借用：
- 用词典频率筛选语料以抗出版偏倚——引入 MANBYO-DIC/J-MeDic 按疾病频率挑病例，是"让语料病种分布贴近真实医学分布"的巧妙手段。
- 用标注转移换平行语料——先标源语言、翻译时转移标注，一份标注成本产出两语言标注。
- 把资源稀缺变成任务分级——同一任务设 100 篇（Task 1）与只给指南（Task 2）两级，让资源量成为可测量的变量。
- 用双因子指标防刷分——频率反向加权逼模型别只认高频实体，边界双口径承认粒度妥协。
- 让输出接口对齐临床工作单元——ADE 输出表格、CI 输出患者簇，直接对应药物警戒录入与患者归并操作。
8.9.2 基于 MedTxt 的潜在研究选题
对想在此语料上做研究的人，几个方向天然契合其设计：跨语言迁移（在英/日一侧训练、另一侧测试，比较 BERT 类模型的跨语言零样本能力）；指南学习的极限（Task 2 的 50-70% 断崖还能不能用提示工程/LLM 补上）；模态预测的增益（做与不做模态预测对下游 ADE/CI 的影响）；低资源数据增强（论文提到多数系统依赖数据增强，这套增强策略的边际收益值得量化）；实体规范化的接口缺口（MedTxt 未含 NEN，把 MedTxt 实体接到 UMLS/日本医学词典上是自然的延伸）；日语分词敏感度（MeCab 词典差异对 NER 分数的影响）。
8.9.3 与 i2b2/n2c2 系谱的互补研究
把 MedTxt 与 i2b2/n2c2 系列并置，能设计出一组有意思的对照实验：i2b2 2009 的 ADE 任务用关系抽取，Real-MedNLP 的 Task3-CR 用表格填充——同一临床问题（药物警戒）的两种任务建模，谁在低资源下更稳？i2b2/n2c2 是英语单语、有大训练集，MedTxt 是英日平行、低资源——把两者的模型交叉迁移，能量化"语言"与"资源"各自造成的性能损失。这类跨语料的比较研究，正是 MedTxt 平行设计与英文大语料互补的价值所在。
§12 复现与工程指南
12.1 从零复现 Task 1（日语 NER）的步骤
想亲手跑一遍 Task 1 日语侧的读者，以下是一条最小可行路径（工具与模型均为论文列出的公开资源）：
- 取语料：从 NAIST Test Collection 页 / NTCIR data 页取得 MedTxt-CR（100 篇训练，JA/EN）与/或 MedTxt-RR（135 篇全量）。
- 装分词器：安装 MeCab 及其日语词典（医学领域词典可选，但对医学文本精度影响明显）。
- 取基座模型：拉取
cl-tohoku/bert-base-japanese-whole-word-masking（日语 BERT）。 - 构标注格式：把五类实体的 span 转成 BIO 序列标注格式；若做模态预测，另设模态标签头。
- 微调：按标准 NER 微调流程训练，实体类型与模态可分别设头。
- 评测：实现双因子指标——精确匹配、部分匹配（按字符重叠比例），以及频率加权
wi = 1/(ln(fi+1)+1)。 - 对照基线：与
sociocom/MedNER-CR-JA的结果对齐，确认复现起点正确。
12.2 复现 Task 2（指南学习）的注意点
Task 2 的复现难点不在代码，在"如何把约 100 句指南转成模型的监督信号"。论文列出的路径是模仿人类标注员学指南——可用少样本提示（few-shot prompting）或规则抽取，也可用指南例句做轻量微调。复现时的关键约定：训练数据只允许使用指南中的约 100 句标注例句，不得引入 Task 1 的 100 篇文档，否则破坏了"低资源"设定的可比性。评测口径与 Task 1 一致（双因子），以便与论文的 50-70% 断崖对照。
12.3 复现 Task 3-CR（ADE）的关键接口
ADE 复现的接口设计最特殊，务必对齐论文：输入端，为每个候选实体（疾病或药物）构造四段式输入，以 [SEP] 分隔——文档 ID / 目标实体上下文（前 50 + 后 50 字符）/ 目标实体本身 / 实体类型名；输出端，预测 0-3 的 ADEval 等级。评估分两层：实体级（各 ADEval 的 micro P/R/F）与报告级（含 ≥1 个 ADEval≥1 实体者记为 POSITIVE-REPORT）。偏离这套接口（如改用关系抽取）会导致与论文分数不可比。
12.4 复现 Task 3-RR（CI）的聚类约定
CI 复现有两处约定容易做错。其一，采用穷举文档对 + 双向判定：对每对报告做二分类，只有双向都判"同一患者"才归入同一组（单向判定会造成传递性错误）。其二，评测必须同时报 AdjMI、Fowlkes–Mallows 与二分类准确率三者，单报二分类准确率会因高基率产生误导（§4.4）。测试集是 63 篇报告、真实患者数为 7，模型要恢复出 7 个簇。
12.5 工程坑清单（复现阶段）
- 日语分词不做会全盘失效：跳过 MeCab 直接用字符级，日语 NER 边界会崩。
- 字符数是陷阱：别用"日语语料比英语大一倍"判断数据量，看词数或 token 数。
- 评测口径要写死：精确/部分、实体级/报告级、AdjMI/FM/准确率，一字之差分数不可比。
- CR 测试集拿不到：别浪费时间去搜 76 篇测试集，公开渠道没有。
- 翻译质量影响上限：英语侧分数受译文自然度影响，解读跨语言差距时须计入这个混杂。
- 模态可选但别忽略：若只做边界不做模态，分数会低于论文的完整口径。
§13 常见误解澄清
13.1 “Real-MedNLP 是个大语料”
不是。它只有 359 篇文档（224 CR + 135 RR），在医学 NLP 语料里属小体量。“Real"指的是文本真实，不是"规模大”。它的设计哲学是"小而真"，甚至刻意用小规模来逼出低资源问题。
13.2 “MedTxt-CR 是 224 篇，能下 224 篇”
构建 224、释放 100。76 篇测试集因许可不开放。见坑 1、坑 2。
13.3 “RR 是真实患者报告”
RR 是 9 名医生为 15 个肺癌病例新写的报告，影像是真实的、报告文本是合成的。见坑 6。
13.4 “数据集和论文同一套许可”
数据集 CC BY 4.0、论文 CC BY-NC-ND 4.0，两套许可。见坑 3。
13.5 “Real-MedNLP 就是 MedNLP”
不。MedNLP 是六届不同的任务，Real-MedNLP 是其中一届（第五代）。见坑 8。
13.6 “0.89 是模型在真实病史上能到 0.89”
0.89 是 Task 1、RR、部分匹配口径下合成报告文本的最佳 F1；真实患者报告（CR）的最佳是 0.65（见 §4）。分数必须带口径读。见坑 7。
13.7 “有 CC BY 4.0 就能商用整个数据集”
数据集许可允许商用，但放出的是子集（CR 仅 100 篇），且论文内容不在此许可内。商用前逐一核对。见 §6.6。
§15 LLM 时代的 Real-MedNLP：一份基准的新生命
15.1 从"低资源妥协"到"长尾压力测试"
Real-MedNLP 诞生于 2022 年，彼时医学 NLP 的主流叙事仍是"数据不够"。共享任务把"低资源"设为核心设定，本质上是对现实的一种妥协：真实临床文本的标注成本高、隐私约束强，拿不到大规模标注就只能在小样本上做实验。
LLM 的出现改变了这个前提。当大模型展现出可用的零样本与少样本能力后，"低资源"从一个被迫接受的约束，变成了一个可主动设计的研究维度。Real-MedNLP 因此获得了第二重价值：它提供了一组严格、可复现、且被 LLM 能力边界覆盖不到的长尾样本。
具体而言，它成为回答以下问题的对照组：
- 今天的 LLM 在真实日语病例 NER 上，比 2022 年的 BERT 基线强多少？
- 强出来的部分，是来自模型能力，还是来自更强的多语言预训练语料？
- 在 ADE 四级分类这种细粒度任务上，LLM 是否仍受限于标注规范的理解？
15.2 三个具体的评测设计建议
建议一：把 LLM 结果与 2022 基线并排放。 若只报 LLM 的绝对分数，读者无法判断其含义。与 0.89（Task 1 RR）等历史基线并列，才能形成可解读的落差。落差大说明低资源痛点被缓解；落差小说明真实医学文本的长尾难题依旧。
建议二：区分"语言难度"与"资源难度"。 Real-MedNLP 的英日平行设计提供了一个天然的对照。若 LLM 在英语侧大幅领先、日语侧提升有限，说明瓶颈在语言资源而非任务设计。这一点对判断"该不该继续投入日语医学语料建设"极为关键。
建议三：把 prompt 设定当作一等变量上报。 低资源任务对 prompt 敏感度极高。同一模型在零样本、单样本、词典注入三种设定下的差距，可能大于模型之间的差距。不报 prompt 设定的 LLM 评测，说服力有限。
15.3 为什么"真实但小"在 LLM 时代反而更值钱
合成数据与大规模网络抓取的语料，在 LLM 时代变得廉价。真正稀缺的是真实、有专业标注、且可追溯来源的小样本。原因在于：评测的价值不在于样本量，而在于样本的不可替代性——从真实病例中提取的日语医学实体、带有标注规范约束的 ADE 四级判断，是任何合成流程都难以忠实复制的。
这就是 Real-MedNLP 在 LLM 时代仍被引用的核心原因：它不是"小数据"，而是一份不可合成的对照样本。
§16 工程实操补充：与 LLM 流程对接
16.1 把 Real-MedNLP 接入现代评测流水线的四步
- 数据侧：从 NTCIR-16 页面获取 MedTxt-RR 全量与 MedTxt-CR 训练侧，按官方 JSON schema 解析。注意 CR 测试集不可得，评测设计需回避这一侧。
- 提示侧：把标注规范（五类实体定义）转写为 system prompt。这一步的保真度直接决定结果可比性——规范转写失真，分数就失去与历史基线对照的意义。
- 评分侧：沿用官方的双因子指标（exact / partial），不要自行改用宽松 F1。指标一改，历史可比性即断。
- 归档侧：记录模型版本、prompt 全文、温度与随机种子。低资源设定下，这些元数据的解释力往往大于模型选择本身。
16.2 两个容易踩的工程坑
坑一：语言混用导致的隐性错误。 日语医学文本中大量混有英文缩写与拉丁学名。分词与规范化处理若按纯日语流程走，会切碎这些实体，造成假阴性。建议在预处理阶段显式保留 ASCII 片段。
坑二：把 RR 与 CR 的结果直接横向比较。 两批语料的来源、复杂度、标注策略均不同，RR 全面优于 CR 是语料特性使然，不是方法优劣的证据。跨语料比较前，必须先说明这一层。
16.3 一条实践建议
先复现，再创新。 在 Real-MedNLP 上做 LLM 实验前，建议先跑通 Task 1 的传统基线（BiLSTM-CRF 或 BERT），确认数据管道无误，再替换为 LLM。这样既验证了管道，又天然获得了对照点。跳过这一步直接上 LLM，一旦结果异常，将难以区分是模型问题还是数据管道问题。
§17 案例解剖：一条真实病例的标注全流程
17.1 从原始报告到标注输出
为帮助读者建立具体的操作直觉，本节以一条典型的 CR（病例报告）为例，走一遍从原始文本到标注输出的完整流程。由于原始语料受许可保护，此处以示意文本代替，但每一步的处理逻辑与真实流程一致。
原始片段（示意）：一段日语病例描述，叙述患者主诉、既往史、用药经过与不良反应转归。
第一步·句子切分：日语不依赖空格分词，须先用形态分析器（如 MeCab）切分。切分粒度的选择会影响实体的边界判定——例如"非小细胞肺がん"（非小细胞肺癌）若切碎为"非小细胞"+“肺がん”，后续实体识别将无法还原完整实体。
第二步·实体识别：按五类实体定义标注。关键点在于实体边界规范——标注规范明确规定实体是否包含修饰语、是否包含症状描述。不同标注者对同一片段可能给出不同边界，这正是 inter-annotator agreement 需要报告的原因。
第三步·模态判定：每条实体还需标注模态（确定性 / 类型 / 状态）。例如"疑い"（疑似）标记的疾病，其模态应为"疑似"而非"确定"。模态层是 MedNLP 系谱的特色设计，也是它区别于通用 NER 任务的关键。
第四步·ADE 判定（仅 Task 3-CR）：判断该片段是否描述了药物不良事件，若是，则按四级量表打分。四级量表的核心是因果关系的确定性，而非严重程度——这一点极易误读，是竞赛中的高频失分点。
第五步·CI 聚类（仅 Task 3-RR）：判断该报告与报告中其他部分是否描述同一患者。这一步依赖姓名、年龄、性别、时间线等多信号综合判断。
17.2 三个高频争议点
争议一：实体嵌套如何处理。 当"糖尿病性腎症"（糖尿病肾病）中同时包含"糖尿病"与"腎症"时，标注规范通常要求标注完整实体而非子实体。但在实际标注中，嵌套标注与扁平标注的取舍会显著影响 F1。
争议二：否定与假设语境。 “肺がんでない”（不是肺癌）中，"肺癌"是否标注？标注规范通常要求标注实体并附加否定模态，但并非所有标注者都遵循同一惯例。
争议三：跨句实体。 当一个实体的描述跨越多个句子时，是否合并为一个实体？这类边界情况在真实病例中并不罕见，也是评测中方差的重要来源。
17.3 这条流程对使用者的启示
启示一：不要只看最终 F1。 同一个 F1 数字，可能对应截然不同的边界判定策略。理解标注规范，才能正确解读分数。
启示二：模态层是容易忽略的富矿。 大多数使用者只关注实体识别，但模态信息对临床下游任务（如药物警戒）价值更高。忽略模态层，等于舍弃了 Real-MedNLP 相对通用 NER 语料的一半优势。
启示三：标注规范本身就是可研究的对象。 Real-MedNLP 公开了完整的标注规范文档。对比不同共享任务的规范差异，本身就是一篇有意义的综述选题。
§18 使用者的常见问题（补充十问）
18.1 关于数据获取
Q1：CR 测试集为什么拿不到？
A：CR 语料源自真实病例报告，参与者与数据提供方的许可协议限定测试集仅供竞赛期间使用。这是隐私与许可双重约束下的结果，非技术问题。
Q2：能否用 RR 训练、CR 测试？
A：不建议。两批语料来源、体裁、标注策略均不同，跨语料评测的结果无法与官方基线对照，解读价值有限。
Q3：英文侧数据能否单独使用？
A：可以。Real-MedNLP 的英译平行语料为独立资源，可单独用于英语医学 NER 实验，但需注意其为翻译产物而非原生英语文本。
18.2 关于任务设计
Q4：为什么不做关系抽取？
A：共享任务的原始设计聚焦于实体层与文档层任务。关系抽取在当时的日语医学语料条件下缺乏可靠的标注基础，属资源约束下的取舍。
Q5：Task 2 的"指南学习"有什么现实意义？
A：模拟的是一种真实工况——标注资源有限，需要用少量标注 + 自然语言指南来引导模型。这在临床上极为常见：新病种、新术语出现时，往往没有足量标注数据。
Q6：为什么 ADE 用四级量表而非二分类？
A：二分类丢失了因果关系的强度信息。四级量表保留了这一层次，代价是标注一致性下降与任务难度上升。这是一个典型的"信息量与可靠性"权衡。
18.3 关于结果解读
Q7：RR 优于 CR 是否说明 CR 任务设计有问题？
A：不是。RR 语料结构更规整、实体分布更集中，天然更易获得高分。这是语料特性差异，不构成任务设计优劣的证据。
Q8：0.89 是什么水平？
A：需结合指标定义看。该数值为特定任务（如 Task 1 RR）在特定指标（如部分匹配 F1）下的结果，脱离指标定义谈绝对数值意义有限。
Q9：LLM 现在能到这个水平吗？
A：这是一个开放问题，也正是 Real-MedNLP 在当下的核心价值——它是回答这个问题的对照基准。建议自行实验，并严格上报 prompt 设定。
18.4 关于二次利用
Q10：能否用于临床产品？
A：需区分许可。RR 侧为 CC BY 4.0，理论上可商用；CR 侧含受限数据，需逐项核对。任何情况下，涉及真实患者数据的二次利用都需经过合规审查。
§19 结语与延伸阅读路径
19.1 按角色给出的三条阅读路径
路径一·数据工程师：§2（数据构成）→ §6（获取与许可）→ §12（复现指南）→ §16（工程实操）。这条路径聚焦"如何把数据拿到手并跑起来"，可跳过评测结果与分析章节。
路径二·NLP 研究者：§3（任务设计）→ §4（结果解剖）→ §8（方法学启示）→ §15（LLM 时代价值）。这条路径聚焦"任务的设计逻辑与学术定位"，是撰写相关工作章节的最短路径。
路径三·合规与决策者：§1（速览）→ §6（许可）→ §13（常见误解）→ §18（补充十问）。这条路径聚焦"能不能用、怎么合法地用"，避免陷入技术细节。
19.2 三个值得追踪的延伸方向
方向一：日语医学 NLP 的语料建设进展。 Real-MedNLP 之后，日本学界在电子病历去标识化与语料共享机制上有持续动作。追踪这一线索，可判断该语料是否会被更大规模的后续资源取代。
方向二：多语言医学 NER 的评测范式演变。 Real-MedNLP 的英日平行设计是一个范式样本。后续是否出现更多语种的平行医学语料，直接决定了跨语言医学 NLP 研究的可行性边界。
方向三：LLM 在低资源医学场景的真实能力。 这是当前最活跃也最混乱的方向。建议关注那些明确上报 prompt 设定与基线对照的研究，回避只报绝对分数的结果。
19.3 一句话总结本文
Real-MedNLP 的价值不在于数据量，而在于它提供了一份真实、受限、且标注规范严格的日语医学文本基准——它既是 2022 年低资源医学 NLP 的时代切片，也是今天衡量 LLM 是否真正解决了长尾医学文本难题的对照点。
§20 一页速查卡
| 项 | 内容 |
|---|---|
| 全称 | Real-MedNLP（NTCIR-16 共享任务） |
| 语料 | MedTxt-CR（病例报告）/ MedTxt-RR（放射报告） |
| 语言 | 日语为主，附英译平行语料 |
| 任务 | Task 1 实体识别 / Task 2 指南学习 / Task 3-ADE 四级分类 / Task 3-CI 病例识别 |
| 许可 | RR 侧 CC BY 4.0；CR 侧含受限数据需逐项核对 |
| 获取 | NTCIR-16 官方页面、sociocom 主页 |
| 规模特点 | 真实但小；标注规范严格；测试集受限 |
| 核心价值 | 低资源医学 NLP 的严格对照基准；LLM 时代的长尾压力测试 |
| 首要风险 | 跨语料（CR/RR）横向比较；忽略模态层；误读四级量表含义 |
| 推荐入口 | 先用 §1 速览建立全局，再按 §19.1 的角色路径深入 |
关于本文档
本文档由千方病案医数集（qianfanghub.com）AI-Ready 数据集生产流水线生成。所有硬数字均标注来源，冲突口径逐条存照。若发现事实错误或补充线索，欢迎通过站点反馈渠道提出，我们将纳入下一轮核验。
本条目遵循千方库内统一范式：frontmatter + INFOBOX 速览 + §0-§20 正文 + FAQ + 事实清单 + 术语表 + 附录，便于机器读取与人工检索双通道使用。
§14 术语表
| 缩写/术语 | 全称/含义 |
|---|---|
| MedNLP | Medical Natural Language Processing，医学自然语言处理；也是日语系列共享任务名 |
| NTCIR | NII Testbeds and Community for Information access Research，NII 主办的系列评测会议 |
| NII | National Institute of Informatics，日本国立情报学研究所 |
| NAIST | Nara Institute of Science and Technology，奈良先端科学技术大学院大学 |
| MedTxt-CR | 病例报告（Case Reports）语料 |
| MedTxt-RR | 放射报告（Radiology Reports）语料 |
| NER | Named Entity Recognition，命名实体识别 |
| NEN | Named Entity Normalization，命名实体规范化 |
| ADE | Adverse Drug Event，药物不良事件 |
| ADEval | 药物不良事件四级评估量表（3/2/1/0） |
| CI | Case Identification，同一病例识别 |
| MANBYO-DIC / J-MeDic | 日本疾病名词典（含疾病频率） |
| J-Stage | 日本学术出版平台 |
| MeCab | 日语形态分析（分词）器 |
| BERT | Bidirectional Encoder Representations from Transformers |
| AdjMI | Adjusted Normalized Mutual Information，调整归一化互信息（聚类指标） |
| FM | Fowlkes–Mallows score（聚类指标） |
| exact / partial match | NER 的精确匹配 / 部分匹配 |
| modality | 实体模态（确定性/类型/状态） |
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：
- radgraph — 共享标签：医疗NLP / 临床文本 / 命名实体识别 / 关系抽取
- thyme — 共享标签：医疗NLP / 临床文本 / 命名实体识别 / 关系抽取
- genia — 共享标签：医疗NLP / 命名实体识别 / 关系抽取 / 评测基准
- semclinbr — 共享标签：医疗NLP / 临床文本 / 命名实体识别 / 关系抽取
- annomi — 共享标签：医疗NLP / 临床文本 / 评测基准 / 多模态
- discharge-summary-templates — 共享标签：医疗NLP / 临床文本 / 命名实体识别 / 评测基准
- pharmaconer — 共享标签：医疗NLP / 临床文本 / 命名实体识别
- pubtator-central — 共享标签：医疗NLP / 命名实体识别 / 关系抽取 / 评测基准
- deidentified-medical-text — 共享标签：医疗NLP / 临床文本 / 命名实体识别 / 评测基准
- synthetic-mention-corpora — 共享标签：医疗NLP / 临床文本 / 命名实体识别 / 评测基准
导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。
