信息速览

数据集名称NTCIR RR-TNM — 日语放射报告肺癌 TNM 分期三标签分类语料

数据类型人工标注,文本数据,原始数据

规模243 份放射报告 · 27 例 Radiopaedia 肺癌病例 · 9 名放射医师（train 108/12 例 · val 54/6 例 · test 81/9 例）

接入方式NAIST Sociocom 发布的日语放射报告语料：Radiopaedia 27 例肺癌 CT 病例 × 9 名 board-certified 放射医师独立书写的自由文本报告 + 逐报告粗粒度 T/N/M 分期标签（JLCS 第 8 版聚合），无 PHI，CC BY 4.0

AI 就绪度

INFOBOX — NTCIR RR-TNM 一屏速览

维度内容

本质 243 份日语放射报告 + 逐份 T/N/M 粗粒度分期标签的三标签文档分类语料（非影像集、非 NER 集）

来源 Radiopaedia 27 例肺癌 CT 病例 × 9 名 board-certified 放射医师独立书写（经 Y’s Reading 远程阅片公司招募）

任务 NTCIR-17 MedNLP-SC Radiology Report (RR-TNM) Subtask，2023 年，主席 Yuta Nakamura / Shouhei Hanaoka

标注 JLCS（日本肺癌学会）第 8 版聚合：T0-T4、N0-N3、M0/M1；标签由书写医师给出后人工核对

划分按病例切分：train 108 文档/12 例 · val 54/6 · test 81/9（12:6:9）

首发成绩 T/N/M 最佳 accuracy 67% / 80% / 93%；joint accuracy 最高仅 0.3704（NAISTSOCRR-2）

意外发现 gpt-3.5-turbo 零样本在 N/M 超 80%，不经训练胜过微调的日语 LLM 与 BERT 系；T 类全员瓶颈

瓶颈解释 N/M 只看解剖部位，T 需把肿瘤尺寸数值与标准阈值比较——语言模型的弱项

许可 CC BY 4.0，Sociocom zip 公开直链（2025-05-16 更新版），无需注册申请

隐私 零 PHI：报告非来自真实医疗机构，而是对 Radiopaedia 去标识病例的独立解读

谱系 MedTxt-RR（135 文档，NTCIR-16）→ RR-TNM（243，NTCIR-17） → RadNLP 2024（378 日+243 英，NTCIR-18）

库内互链 real-mednlp（直系前作）、radgraph 系（英文同任务域）、nsclc-radiomics（肺癌影像侧）、mednli

PANDA-PLUS 用 546 张切片重新教模型看前列腺，而 NTCIR RR-TNM 干的是另一件事：它让 9 名放射科医师对着同一批 27 张肺癌 CT 各写各的报告，再把每份报告的 TNM 分期逐份标出——于是同一例癌症有了 9 种说法、1 个金标准答案。这是日语世界第一个开放的放射报告分期语料，也是「同一病例、多种表达」这条 NAIST 系技术路线在分期任务上的一次收官：以前用多医师报告研究「怎么写」，这次用多医师标签研究「怎么判」。两年后同一团队把 joint accuracy 从 0.37 推到 0.81，RR-TNM 正是那条基准线的起点。

导语读法三则：

只想下数据：直奔 §6——CC BY 4.0、zip 直链、无需申请，Sociocom 页面一次点完；注意按论文口径它是三标签任务，别被任务页的 cStage 字样带偏（坑 2）。
关心 LLM 临床推理：直奔 §4 结果解剖——零样本 ChatGPT vs 微调日语 LLM vs BERT 系的同台对决，以及 T 类为何全员翻车（尺寸数值比较）。
做非英语临床 NLP：直奔 §5 与 §7——Radiopaedia 路线怎么绕开医院伦理拿到 243 份多医师报告，以及这条路线的天花板。

§0 导读：这个数据集解决什么问题

肺癌分期（staging）是肿瘤诊疗的枢纽决策：T（原发灶）、N（淋巴结）、M（远隔转移）三个维度组合出分期，直接决定治疗方案。但放射报告里分期常常不直接写出来——报告描述征象（肿块大小、淋巴结肿大、胸水、远隔灶），分期要读者自己在脑内把征象对进 TNM 标准。Sexauer 等人 2018 年的统计显示，文本报告的 TNM 完整度远低于结构化 PET/CT 数据；这意味着海量存量报告里的分期信息处于「写了但没写全」状态，抽取自动化价值极高。

对 NLP 而言，分期是一个刁钻的评测任务：它看似文档分类，实则需要临床推理——把「充実成分径 2.5 cm かつ臓側胸膜に浸潤」这样的散落证据组合、数值比较、再套标准。2013 年以来的 NTCIR 医学 NLP 系列（MedNLP → MedNLPDoc → MedWeb → Real-MedNLP）一直在为日语临床文本补基础设施，但到 2022 年为止，日语开放放射报告语料只有 MedTxt-RR 的 135 份，且只带 NER 标签——离真实应用远。RR-TNM 团队在概述论文里说得很直白：NER 标签离直接的真实世界应用太远，TNM 标签更近。

RR-TNM 的回答分三层。第一层是数据：243 份日语放射报告，全部无 PHI，逐份带 T/N/M 标签——放射报告语料规模较 MedTxt-RR 近三倍，且第一次带上「接近真实应用」的标签。第二层是构造方法：9 名医师独立书写同一病例的报告，不讨论、不共识——中等观察者间差异被明确接受，因为目标是文本语料而非影像-语言对齐集。第三层是基准：三队七套系统给出第一组分项与联合成绩，T/N/M 难度阶梯（93% > 80% > 67%）与 joint accuracy 天花板（0.37）成为两年后 RadNLP 2024 的对照原点。

§0 读法三则：

这个条目是「语料+共享任务基准」二合一：本体是 243 份带标签报告，衍生品是七套系统的成绩单与任务设计范式（§4）；两者许可同为 CC BY 4.0，无获取分层。
全文硬数字均出自概述论文（Proc NTCIR-17, DOI 10.20736/0002001328）与 Sociocom 数据集页；任务页与论文在 cStage 上的双口径已在坑 2 存照。
检索时注意命名：语料的常见引用名是「RR-TNM subtask dataset」或「MedNLP-SC RR-TNM」；NTCIR-18 的 RadNLP 2024 是后继任务（细粒度+双语），不是同一数据集的别名（坑 1）。

§1 数据集速览：十问十答

Q1：243 这个数字怎么来的？
27 例 Radiopaedia 肺癌病例 × 9 名放射医师每人独立写一份 = 243 份。三人分头核验一致：概述论文 §3（「Nine board-certified radiologists diagnosed the same open 27 lung cancer cases independently」）、Sociocom 数据集页、MedNLP-SC 任务页。

Q2：报告是什么语种、什么内容？
日语自由文本放射报告，模拟真实工作流写成：医师拿到 .docx 表单（内含 Radiopaedia 病例链接、虚构年龄/性别/病例介绍），阅 CT 后书写所见与诊断。除少量影响分期的笔误被订正外，报告原文未做任何修改。

Q3：标签长什么样？
每份报告三个标签：T∈{T0,T1,T2,T3,T4}，N∈{N0,N1,N2,N3}，M∈{M0,M1}。标注依据 JLCS（日本肺癌学会）第 8 版规约，但聚合到粗粒度——T 不区分 Tis/T1mi/T1a/T1b/T1c/T2a/T2b，M 不区分 M1a/M1b/M1c。标签先由书写报告的医师自己给出，再人工核对、与报告表述不一致时纠正。

Q4：数据怎么划分？
按病例切分（防止同一病例的报告跨集泄漏）：12 例 108 份进训练集、6 例 54 份进验证集、9 例 81 份进测试集，比例约 0.44:0.22:0.33。每份报告属于且只属于一集。

Q5：三集难度一样吗？
不一样。Figure 3 的标签分布显示：训练集以 T1 为主，验证集 T4 占比偏高，测试集 T0 偏多；卡方检验证实 T 分布在三集间差异显著（p<0.01），N（p≈0.11）与 M（p≈0.07）未达显著。这意味着跨集直接比 accuracy 天然带分布偏移——论文自己也点了这一笔。

Q6：有隐私问题吗？
没有。报告不含任何真实患者信息（no personal health information）：病例来自 Radiopaedia 公开病例库，书写时注入的是虚构患者信息。这是 Radiopaedia 路线的核心卖点——绕开医院数据伦理，直接拿到可公开分发的多医师语料。

Q7：2023 年那场比赛谁赢了？
三队 16 人、七套系统。分项最佳：T 0.6667（NAISTSOCRR-2，三 BERT 各管一摊）、N 0.8025 与 M 0.9259（KRad-1，gpt-3.5-turbo 零样本）。联合最佳只有 0.3704——分项强、联合弱，T 是全员短板。

Q8：为什么 T 最难？
论文给出的解释：N 和 M 只需识别解剖部位（有无淋巴结转移/远隔转移），而 T 的标准混合了尺寸数值比较与解剖浸润——模型要把「3.2 cm」「5 cm 以上」「主気管支に及ぶ」这类散落证据精确对进阈值。数值比较恰是（当时的）语言模型的弱项。

Q9：这个数据集和 MedTxt-RR、RadNLP 2024 是什么关系？
一条谱系上的三代：MedTxt-RR（NTCIR-16 时代，15 例 135 份，NER 标签）→ RR-TNM（NTCIR-17，27 例 243 份，TNM 标签，本条目）→ RadNLP 2024（NTCIR-18，42 例 378 份日语 + 243 份英语翻译，细粒度 TNM + 句子级 subtask）。RR-TNM 的 27 例与 MedTxt-RR 的病例互不重叠（筛选时显式排除了 28 例重叠候选），而 RadNLP 2024 的日语部分则把 MedTxt-RR 的 15 例原样并入。

Q10：为什么它对 AI-Ready 重要？
它是「零门槛获取 + 标签直接可用 + 无 PHI」的三优样本：CC BY 4.0、zip 直链、标签即任务目标，检索者 clone 即可复现 NTCIR-17 全部七个系统的评测。在库内的非英语临床文本光谱里，它与 real-mednlp（NTCIR-16）构成唯二的日语临床语料支点，而它是其中更贴近下游应用的一个。

§2 数据构成与规格

2.1 规模、来源与病例筛选漏斗

RR-TNM 的 27 例不是顺手抓的，而是走了一条四层漏斗。2023-01-18，团队在 Radiopaedia 用 42 个关键词（lung cancer、lung carcinoma、lung adenocarcinoma、sclc、nsclc、GGO、part-solid、minimally invasive adenocarcinoma 等）做限定检索：病理确诊（Diagnosis = “Certain”）、含 CT（Modality = “CT”）、视野覆盖胸部（Systems = “Chest”）。初检得到 256 例，随后：

漏斗层	排除数	排除理由
初检候选	256 例	Radiopaedia 关键词检索命中
第一轮排除	-28	与 MedTxt-RR 重叠，或缺患者人口学信息，或缺病例介绍
第二轮粗筛	-161	非原发肺癌，或 CT 图像缺失/截断
第三轮细筛	-16	CT 征象高度模棱两可（highly equivocal）
终选	27	人工终选，覆盖与分期相关的各类影像征象

整个筛选由一名具有六年诊断经验的 board-certified 放射医师执行。终选的 27 例在论文 Appendix A（Table 4）有完整名单：从 invasive lung adenocarcinoma、lepidic predominant adenocarcinoma、Pancoast tumor、small cell lung carcinoma 到 asbestosis complicated by lung cancer、hypertrophic osteoarthropathy、common bile duct stone and lung cancer——既有「纯正」分期病例，也有需要从合并症背景里剥出分期的干扰项，且 27 例按训练/验证/测试 12/6/9 的归属逐例列明。这份名单本身就是可复现性的礼物：研究者可以逐一回溯 Radiopaedia 原始病例页，对照影像与 9 份报告的分歧。

与真实医院队列相比，这条路线的取舍很清楚：拿不到连续收治的流行病学代表性，但拿到了零伦理摩擦、可公开分发、且同一病例有多医师平行文本。对语言建模来说，后者往往更重要——同样的病灶可以有多少种写法，只有平行语料能回答。

2.2 报告生成流程：九名医师、零指示、零共识

报告生成环节与 Y’s Reading, Inc.（一家日本远程阅片公司）合作招募 9 名 board-certified 放射医师。流程刻意贴近真实工作流：

不直接下达书写指示——团队不告诉医师「请把征象写全」或「请按分期相关组织内容」，让报告自然呈现真实报告的风格惯性与信息取舍；
表单只给最小上下文：Radiopaedia 病例超链接、年龄、性别、病例介绍（case presentation），.docx 格式经邮件收发；
注入虚构患者信息消歧模棱两可的影像征象——这是「间接引导」的关键手法：不加要求，而是用背景信息让歧义自然消解；
独立书写、不讨论共识——9 份报告之间允许分歧存在，团队明言「中等的观察者间差异已经足够」，因为目标是文本语料，不是影像-语言多模态对齐集；
最小编辑：收到报告后除少数影响癌症分期的笔误外一律不改。

这套流程的产品属性值得展开。同一病例的 9 份报告，本质是对同一份影像的 9 个条件采样样本——风格、详略、用词、甚至征象取舍都可能不同，但底层病灶相同。这使语料天然支持三类研究：其一，表达多样性度量（同一所见有多少种日语写法）；其二，分期一致性（9 人对同一病例的 TNM 判断是否收敛）；其三，报告风格与下游任务精度的关系（哪种写法的报告更容易被判对）。MedTxt-RR 论文（Stud Health Technol Inform 2022;290:253-257）为这一「临床可比语料」（clinical comparable corpus）概念提供了方法学出处，RR-TNM 是该概念的第二次落地。

2.3 标签体系：JLCS 第 8 版与粗粒度聚合

标注框架是日本肺癌学会（JLCS）「臨床・病理肺癌取扱い規約」第 8 版（2021 改订版）。论文 Table 1 全文收录了日语版标准：T 从 TX（无法判定原发灶）到 T4（>7 cm 或纵隔/心脏/大血管/椎体等浸润或同侧异叶卫星结节），N 从 NX（无法评价）到 N3（对侧纵隔/锁骨上窝转移），M 从 M0 到 M1（细分为 M1a 对侧肺内结节/恶性胸水、M1b 单器官单发转移、M1c 多发转移）。这份表的存在使非日语研究者也能核对每条标准的原文措辞。

但 RR-TNM 的实际标签是聚合后的粗粒度：

T：只保留 T0/T1/T2/T3/T4 五档——T1 内部的 T1mi/T1a/T1b/T1c、T2 内部的 T2a/T2b、以及 Tis 全部并入对应主档；
N：N0/N1/N2/N3 四档（NX 在最终标签集中不出现）；
M：只保留 M0/M1 两档——M1a/M1b/M1c 全部并入 M1。

粗粒化是一把双刃剑。好处是任务可学性：81 份测试文档若摊到细粒度 T 的十余档，每档样本趋近于零，accuracy 会失去意义；五档 T 让每档仍有可观的先验支撑。代价是分辨率：T1a（≤1 cm）与 T1c（>2 cm ≤3 cm）之间的临床差异被抹平，而这个区间恰是低剂量筛查时代最常见的手术决策带。两年后 RadNLP 2024 恢复细粒度（T0/Tis/T1mi/T1a-T2b/T3/T4、M0/M1a/M1b/M1c），等于公开承认粗粒度是当时语料规模下的权宜之计。

标签生产流程是两段式：先由书写报告的医师按 JLCS 标准给出自己报告的 TNM，再由团队人工核对——发现标签与报告文本表述不一致时进行纠正。这个设计避免了「标注者与写作者两套理解」的系统性漂移，但也意味着标签继承书写医师的个体判断倾向（§4 的观察者间差异讨论适用于标签层）。

2.4 数据划分与标签分布

划分按病例进行，12:6:9（≈0.44:0.22:0.33），同一病例的 9 份报告绝不跨集——这是多医师平行语料特有的泄漏风险，RR-TNM 从设计上就封死了。

Figure 3 的标签分布值得细读（论文以堆叠条形图呈现，无逐格数字表）：

T 类：训练集 T1 显著主导（早期肺癌为主），验证集 T1 占比下降、T4 偏多，测试集 T0 偏多；卡方检验 p<0.01，三集 T 分布差异统计显著；
N 类：三集大体相似（N0 为主、N1/N2/N3 递减），p≈0.11 不显著；
M 类：三集大体相似（M0 为主），p≈0.07 不显著。

这个分布偏移是解读 §4 所有成绩的前提：测试集 T0 偏多意味着 T 类 accuracy 的分母里混入了一批「报告根本没写原发灶」的边缘样本；验证集 T4 偏多则让验证集上的模型选择偏向晚期样本的判别。论文没有做分布校正，后续使用者若要做跨集对比，应自行加先验校正或按病例分层重采样。

2.5 与 MedTxt-RR 的边界

RR-TNM 的筛选第一轮就显式排除了与 MedTxt-RR 重叠的 28 例——两代语料病例互斥，不会出现「同一病例在两个数据集里带不同标签」的脏数据问题。但谱系上两者是直系：RR-TNM 概述论文把 MedTxt-RR 列为语料构造方法的直接来源（following the method to build our previous MedTxt-RR dataset），病例筛选协议、报告生成流程、虚构患者信息手法全部同源。到 RadNLP 2024，15 例 MedTxt-RR 报告（135 份）被原样并入日语语料，三代终于合流——彼时的划分也重新洗牌（train 108/12 例不变，test 扩到 216/24 例）。

检索者容易犯的错是把 MedTxt-RR 135 份、RR-TNM 243 份、RadNLP 日语 378 份当成三个独立集合做累加——378 里已经含 135，RR-TNM 的 27 例也含在 42 例里。正确的集合关系是：RadNLP 2024 日语语料 ⊇ MedTxt-RR ∪ RR-TNM（标签口径不同：NER vs 粗 TNM vs 细 TNM + 句子级 span）。

§3 比赛设计：任务、指标与七套系统

3.1 任务定义与参赛流程

RR-TNM subtask 的正式定义是三标签文档分类（论文图 1 标注为 multi-label document classification，实际是三个并列的多类分类）：给定一份放射报告全文，输出 T、N、M 三个类别各一个值。注册窗口 2023-01-06 至 06-26（原定 06-01 截止，延期三周半）；参赛队先领训练/验证集，测试集 07-10 解锁、07-17 提交截止，08-01 公布评测，12-12~15 在东京 NII 召开的 NTCIR-17 会议上总结。

三队 16 人正式参赛：KRad（8 人，1 稿）、kuhp（京都大学医院背景，7 人，3 稿）、NAIST-SOCRR（组织方所在 NAIST 社会计算实验室的参赛队，5 人，3 稿）；KRad 与 kuhp 有 6 名共同成员——参赛池高度重叠，本质上是两个研究集群的七次尝试。

3.2 评测指标：分项与联合的双轨

论文设计了四种主指标加一种附加分析：

Separate evaluation：T accuracy、N accuracy、M accuracy 各自独立计算——分类对一档算对一档；
Joint evaluation：joint accuracy——T、N、M 三档全对该份报告才计对；
附加分析：quadratic weighted kappa——对 T（五档有序）与 N（四档有序）惩罚大跨度错判（T1 判成 T4 比 T2 判成 T3 严重得多），M 只有两档时加权 κ 仍有意义但区分度下降。

joint accuracy 是这套指标里最「狠」的一个：即使三个分项都在 80%，如果错误独立分布，joint 期望只有 0.8³≈0.51——而错误往往不独立（T 判错的报告常伴 N 混乱），所以实际 joint 会进一步走低。RR-TNM 的成绩单印证了这一点：最佳 joint 0.3704，远低于任何分项。这个指标设计也被 RadNLP 2024 原样继承，成为 NTCIR 分期任务的指纹。

3.3 七套系统速览

KRad-1（gpt-3.5-turbo，零样本）：prompt 四件套——模型 persona（「you are a skilled thoracic surgeon」）、JLCS 分期标准全文、按标准分期并以 JSON 格式返回的指令、放射报告原文。用正则从输出抽取分期，格式错误一律置 T0/N0/M0。不经任何训练。

kuhp-1/2/3（open-calm-7b，微调）：CyberAgent 的 70 亿参数开源日语 LLM（GPT-NeoX 架构），用指令微调框架训练；数据增强 100 倍——随机丢字、打乱句序；再混入手工制作的问答对补充临床知识。三个系统的差异只在训练轮数与数据配比（约 0.35 epoch vs 0.69 epoch 两档）。

NAISTSOCRR-1（JMedRoBERTa，联合预测）：单个深度模型同时推断 T/N/M——微调 JMedRoBERTa（日语生物医学预训练 RoBERTa，在学术文献上训练）。

NAISTSOCRR-2（三 BERT 分任务）：T、N、M 拆成三个独立任务，各用一个微调的日语双向模型——JMedRoBERTa、东大 Tohoku-BERT-v3（通用日语 BERT）、UTH-BERT（东京大学医院临床文本 BERT）。三种预训练语料（学术/通用/临床）各管一摊。

NAISTSOCRR-3（多数类基线）：全部预测训练集最频标签 T1N0M0。它存在的意义是给所有系统画底线——任何 joint accuracy 不高于 0.1975 的系统等于没学到东西。

3.4 结果总表与三组对照

论文 Table 2 完整成绩（accuracy 与 quadratic weighted kappa）：

系统	模型	类型	T acc	N acc	M acc	Joint	T κw	N κw	M κw
KRad-1	gpt-3.5-turbo	Causal	0.3951	0.8025	0.9259	0.2716	0.3660	0.8422	0.8436
kuhp-1	open-calm-7b（~0.35 epoch）	Causal	0.4815	0.6049	0.7407	0.2346	0.6536	0.5699	0.6386
kuhp-2	open-calm-7b（~0.69 epoch）	Causal	0.4568	0.5185	0.7778	0.2099	0.0000	0.0000	0.0000
kuhp-3	open-calm-7b（~0.69 epoch）	Causal	0.4444	0.5062	0.7901	0.1975	0.5016	0.6453	0.4220
NAISTSOCRR-1	JMedRoBERTa	Bidirectional	0.6049	0.6049	0.8765	0.3086	0.6018	0.6577	0.7419
NAISTSOCRR-2	JMedRoBERTa + Tohoku-BERT-v3 + UTH-BERT	Bidirectional	0.6667	0.5679	0.8395	0.3704	0.6556	0.6933	0.6692
NAISTSOCRR-3	多数类基线（T1N0M0）	-	0.3086	0.4198	0.5926	0.1975	0.0000	0.0000	0.0000

对照一：零样本 GPT-3.5 vs 微调日语 LLM。KRad-1 在 N（0.8025）与 M（0.9259）上碾压所有微调系统——kuhp 的 open-calm-7b 在 N 上最高只有 0.6049，差近 20 个百分点。零样本、无训练、纯 prompt 就做到了这一点，这是 2023 年共享任务里最早的「LLM 零样本临床推理」实证之一。但同一系统 T 只有 0.3951——低于多数类基线的 0.4815 口径（kuhp-1 的 T acc），甚至跌破了基线逻辑：GPT-3.5 在 T 上系统性偏向某一档（加权 κ 0.3660 显示其错误并非全无序），数值比较失败得很有规律。

对照二：双向 BERT vs 因果 LLM 的错型差异。NAISTSOCRR-2 的 T 0.6667 是全场最高，但 N 只有 0.5679——反过来 KRad-1 的 N 0.8025 但 T 0.3951。两种架构的强弱项几乎互补：双向模型对「局部征象枚举→分档」的 T 类任务更稳，因果大模型对「全局解剖证据→有无转移」的 N/M 判断更强。joint accuracy 的桂冠（0.3704）落在双向系，靠的正是 T 短板更短的那一方。

对照三：微调轮数的反效果（kuhp-2 事故）。kuhp-2 与 kuhp-3 同为 0.69 epoch，kuhp-2 的加权 κ 三项全 0——预测分布退化到与真实分布无秩序相关（通常意味着模型塌缩到单一输出或输出错乱），而同配置的 kuhp-3 却正常（κw T 0.5016/N 0.6453/M 0.4220）。概述论文未展开解释，这组「同配置、结果天壤之别」的样本成为小样本微调不稳定性的现成教学案例。

3.5 T 类为何是全员瓶颈

论文给出的解释值得原文引用式转述：N 和 M 只基于解剖（anatomy alone），T 的标准却混合了解剖与肿瘤尺寸——尺寸必须与标准阈值做数值比较，而这正是语言模型的困难所在。报告里尺寸的写法五花八门：「3.2 cm」「約35mm」「充実成分径25mmかつ全体径40mm」（磨玻璃成分与实性成分的双径）「5cmを超える」——把这一切归一化到 T1/T2/T3/T4 的边界上，需要的不只是阅读理解，还有单位换算与「充実成分径 vs 病変全体径」的临床区分（JLCS 第 8 版对 part-solid 病变以实性成分径为准，这正是 T1mi/T1a/T1b/T1c 的分界依据）。

值得注意的是这条瓶颈的生命力：2024 年 RadNLP 的日语赛道上，细粒度 T 的最佳 accuracy 也只到 0.8889（NECMedDX），低名次系统在 T 上依旧崩盘（TUSNLP 的 T acc 低至 0.0185）——「N/M 易、T 难」的格局贯穿两代任务。

§4 LLM 临床推理视角：RR-TNM 作为早期试金石

4.1 2023 年的时间切片价值

RR-TNM 的比赛窗口（2023 年 7 月提交）恰好落在 ChatGPT 引爆后的第一个评测周期。当时参赛者的工具箱里：gpt-3.5-turbo 是最强通用 LLM，open-calm-7b 是日语开源 LLM 的代表，JMedRoBERTa/Tohoku-BERT-v3/UTH-BERT 是日语 BERT 三系。三年后回看，这份成绩单是「LLM 能否零样本做临床推理」问题的一个干净时间切片——没有指令微调的干扰、没有 RAG、没有思维链工程，只有 persona + 标准 + 报告的最朴素 prompt。

结论有两面。乐观面：N 0.8025、M 0.9259——对「有无淋巴结转移」「有无远隔转移」这种解剖判断，零样本 GPT-3.5 已经接近可用。悲观面：T 0.3951，且加权 κ 只有 0.3660——不是均匀的随机错，而是系统性的分档偏差。论文的归因（数值比较困难）在后续文献里反复得到验证：涉及尺寸阈值、剂量计算、实验室数值分级的任务，LLM 需要显式的中间推理或工具调用才能稳定过关。kuhp 用 100 倍增强微调 open-calm-7b 也没能解决 T——增强可以教句法鲁棒性，教不了「35mm 究竟落在哪一档」的数值比对能力。

4.2 joint accuracy：临床部署的真实约束

RR-TNM 留给评测方法学的遗产是 joint accuracy 的残酷性。临床现实里，一份报告的分期要三个维度全对才有用——T 错了手术范围错，N 错了清扫范围错，M 错了治疗范式从根治转向姑息。0.3704 的最佳 joint 意味着：当时最强的系统，每三份报告只有一份给出完全可用的分期。而三个分项的最佳值（0.67/0.80/0.93）单独看都颇为体面——这正是 joint 指标的价值：它把「各项都还行」的错觉击碎。

这个教训在 RadNLP 2024 得到量化回响：细粒度下最佳 joint（fine）0.8148，同期 N/M 各在 0.93-0.97——即便两年后 T 提升到 0.89，joint 仍被 T 拖住。对任何想做「报告→分期」产品化的团队，RR-TNM 给出的先声是：别用分项均值立项，用 joint 定验收线。

4.3 加权 kappa 与临床错误的代价分层

quadratic weighted kappa 的引入点是临床语境下「错误不等价」：T1 判 T4 可能导致根治手术被放弃，T2 与 T3 的混淆则影响小得多。RR-TNM 的 κw 数据里藏着几个分项 accuracy 看不到的信号：

KRad-1 的 M κw 0.8436 与 N κw 0.8422 几乎并列，说明其 M 0.9259 不是靠「全押 M0」的先验作弊——错误分布与真实分布高度有序相关；
kuhp-1 的 T κw 0.6536 反而高于 T acc 0.4815 的直觉预期——其错误集中在一档之内（小偏差），大跨度错判少；
kuhp-2 的三 κw 全 0 是模型退化的直接指纹（§3.4）。

这套「accuracy 看 hits、κw 看错型」的双读法，是 RR-TNM 评测设计里最可迁移的方法学资产。

4.4 三年后的复盘点

把 RR-TNM 放进 LLM 临床推理的编年史，它是一块界碑：在此之前的日语临床 NLP 评测（MedNLP/MedNLPDoc/Real-MedNLP）全是 NER、关系抽取、文档分类这类「传统」任务；RR-TNM 第一次把「需要临床知识与数值推理」的任务放进日语共享任务框架，并实证了通用 LLM 的零样本能力与硬天花板。此后 RadNLP 2024 的参赛系统已经普遍是 few-shot prompting + CoT + RAG + LLM ensemble（NECMedDX、ORAD、OURad 等），joint fine 直上 0.81——范式切换完成。RR-TNM 那个 0.37 的天花板，正是新范式要打破的靶子。

§5 后继与谱系：从 RR-TNM 到 RadNLP 2024

5.1 四大升级

NTCIR-18 RadNLP 2024（会议 2025-06-10~13，东京）是同一团队的直接续作，相对 RR-TNM 的四大升级：

维度	RR-TNM（NTCIR-17）	RadNLP 2024 主任务（NTCIR-18）
语种	日语	日语 + 英语双轨
语料	243 日语（27 例）	378 日语（42 例）+ 243 英语（27 例翻译）
标签粒度	粗：T0-T4 / N0-N3 / M0-M1	细：T0/Tis/T1mi/T1a-T2b/T3/T4 / N0-N3 / M0/M1a/M1b/M1c
子任务	无	句子级 8 类 span 二分类（micro F2.0）

英语语料的产生方式本身是个工程样本：27 例日语报告的 train/val 部分用 GPT-4 翻译，再由苏黎世大学的 board-certified 放射医师人工修订——修订者只求「读起来像自然放射报告」，不回看原始影像、不看 TNM 标签；test 部分先 GPT 翻译（论文截取处未展开，口径为机器翻译后处理）。这套「MT + 医师轻校」流水线把翻译成本压到可用精度，值得非英语语料双语句式复用。

5.2 语料合流与集合关系

RadNLP 2024 的日语 378 份 = RR-TNM 的 27 例 243 份 + MedTxt-RR 的 15 例 135 份——三代语料在同一任务框架下首次合流。划分变为 train 108/12 例、val 54/6 例、test 216/24 例。对检索者的实操含义：若你在 RadNLP 日语语料里看到了 RR-TNM 的样本，那不是污染，是官方合流；反过来，用 RR-TNM 训练的模型不应直接评测于 RadNLP 测试集之外的旧划分（两者 test 集不同）。

5.3 RadNLP 2024 成绩对照

日语主任务（细粒度）前排：NECMedDX joint fine 0.8148 / T 0.8889 / N 0.9676 / M 0.9306；ORAD 0.7407；OURad 0.7315；Ubie 0.7315。对照 RR-TNM 的最佳 joint 0.3704——两年时间 joint accuracy 翻倍还多。驱动因素有三：细粒度标签虽有更多分档，但头部系统普遍用 few-shot + CoT + 集成；英语翻译语料让多语预训练模型吃到双语红利（NURad 用日英双语 LLM ensemble）；句子级 subtask 的 8 类 span（Measure/Extension/Atelectasis/Satellite/Lymphadenopathy/Pleural/Distant/Omittable）为分期提供了中间监督——先定位征象句子、再做分期判断的级联成为主流。

日语 subtask（span 二分类）冠军 tsukurad 的 micro F2.0 0.881，且在 Inclusion（0.9582）、Lymphadenopathy（0.9431）、Pleural（0.9259）上接近封顶——但 Satellite（肺内转移/癌性淋巴管炎）与 Distant（远隔转移）仍是拉分项。这与主任务的格局互为镜像：解剖学上「看得见摸得着」的征象易判，弥散性/隐匿性征象难判。

5.4 谱系全景

NAIST 社会计算实验室的日语医疗 NLP 共享任务谱系（RR-TNM 的坐标）：

年份	任务	语料	标签
NTCIR-11/12（2013/2016）	MedNLP / MedNLPDoc	日语临床文本	NER
NTCIR-13（2017）	MedWeb	多语 Tweet	疾病分类
NTCIR-16（2022）	Real-MedNLP	224 病例报告 + 135 放射报告（MedTxt）	NER 等
NTCIR-17（2023）	MedNLP-SC：RR-TNM（本条目）+ SM-ADE	243 日语放射报告 + 四语 Tweet	T/N/M 分期
NTCIR-18（2025）	RadNLP 2024	378 日 + 243 英放射报告	细 TNM + 8 类 span

SM-ADE（Social Media Adverse Drug Event Detection）是 MedNLP-SC 的另一子任务——四语（日/英/德/法）T5 生成推文的药物不良事件检测，与本条目同属一个共享任务但语料完全独立（见坑 5 的撞名风险）。

§6 获取与许可：一条直链走到底

6.1 获取方式

RR-TNM 是库内获取摩擦最低的语料之一：

访问 Sociocom 数据集页 https://sociocom.naist.jp/?p=6910/（标题 MedNLP-SC Radiology Report TNM staging (RR-TNM) Dataset，2025-05-16 更新）；
点击 Download file: zip 直链下载；
解压即得 train/validation/test 三分片（108/54/81 份报告与标签）。

无需注册、无需签署协议、无需邮件申请。唯一的「门槛」是页面为日英混排、正文说明极简——所有细节要回概述论文（NII 業績リポジトリ开放 PDF，1.1 MB）里挖。MedNLP-SC 任务页另有训练样本 zip（ntcir17_mednlp-sc_rr_train_sample）可供下前先试味。

6.2 许可条款

数据集页明确标注 CC BY 4.0。实操含义：

允许商用、允许再分发、允许衍生——只需署名；
署名对象建议写 NAIST Social Computing Lab 与 NTCIR-17 MedNLP-SC RR-TNM subtask，并引用概述论文（DOI 10.20736/0002001328）；
注意上游Radiopaedia 病例页各自的许可（多为 CC BY-NC-SA）不传染本语料——语料只含文本与标签，不含影像；但若你想把报告与 Radiopaedia 影像配对做图文任务，就必须同时遵守 Radiopaedia 的许可与使用条款（非商业限制），这时整体项目就不是 CC BY 4.0 了。

6.3 AI-Ready 评估

按库内 DAIMS 光谱打分，RR-TNM 几乎是满分样本：

维度	评分	依据
可获取性	A	公开 zip 直链，无注册无申请
许可明确度	A	CC BY 4.0 页面明示
机器可读性	B+	结构化标签文件，但字段文档极简（正文未附数据字典，需自行从 zip 推断）
标签可用性	A	标签即任务目标，无需再加工
隐私合规	A	无 PHI（虚构患者信息 + Radiopaedia 去标识病例）
文档完备性	B	概述论文详尽，但数据集页本身说明极少
维护活跃度	B	2025-05-16 有更新；无版本号体系

扣分点集中在文档与版本管理：没有 changelog、没有数据字典、没有引用格式要求页——这是学术界小团队托管语料的通病。与其说影响获取，不如说影响引用规范性：论文与数据集页的「27 例×9 医师」口径完全一致，三源互证零冲突，这在同类数据集里相当罕见。

6.4 与库内可获取性光谱的对照

库内临床文本语料的获取光谱上，RR-TNM 处于「全开放」端：与 MIMIC-III/IV（需 PhysioNet 凭证与 CITI 培训）相比零摩擦；与 radgraph（300 份公开 + 500 份请求制）相比无分层；与 aci-bench（注册制）相比无表单。它是「研究者收到 CC BY 4.0 文本、clone 即复现比赛」的理想形态——代价是规模（243 份在临床 NLP 里属于小语料，对比 MIMIC 的百万级笔记）。小而纯、大而涩，RR-TNM 选了前者。

§7 生态与影响

7.1 团队谱系与组织生态

RR-TNM 的组织阵容是 NAIST 社会计算实验室（Aramaki 实验室）与东大的合体：总主席 Eiji Aramaki 与 Shoko Wakamiya（NAIST）、RR 子任务主席 Yuta Nakamura 与 Shouhei Hanaoka（东大，均持医师执照）、SM 子任务主席 Shuntaro Yada（NAIST）。协作方 Y’s Reading, Inc.（远程阅片公司）解决了「9 名在职放射医师的时间从哪来」的现实问题——这是学术界共享任务组织里少见的商业合作直接嵌入语料生产的案例。

资助口径（MedNLP-SC 页）：JST CREST JPMJCR22N1、JST AIP-PRISM JPMJCR18Y1、MHLW（厚生劳动省）JPMH21AC500111；概述论文另列 JST AIP Trilateral AI Research JPMJCR20G9 与法国 ANR-20-IADJ-0005-01（三方联合 AI 计划）。日本官方对「日语临床 NLP 基础设施」的持续投入由此可见一斑——RR-TNM 不是孤立作品，是国家级路线图的一环。

7.2 参赛生态的规模与结构

三队 16 人、七套系统的参赛规模在 NTCIR 历史上属中等偏小——但它精确映射了 2023 年日语医疗 NLP 社区的全貌：KRad 与 kuhp 共享 6 名成员（京都系放射信息学圈子），NAIST-SOCRR 是东道主自带的学生队。参赛队之间的成员重叠反而提高了结果可信度：不同思路（零样本 LLM vs 微调 LLM vs 多 BERT）出自相互了解的同一批人，胜负更可能归因于技术路线而非工程投入差。

7.3 在「非英语临床 NLP」版图上的位置

英语放射报告 NLP 有 MIMIC-CXR（37.7 万报告）、RadGraph（600 金标 + 22 万推理）这类重资产；日语一侧在 2023 年之前几乎是荒地——MedTxt-RR 135 份是全部家底。RR-TNM 之后，日语放射报告语料的可用规模翻了近三倍（到 RadNLP 2024 为 378 份），且首次携带「接近下游应用」的分期标签。库内条目里可以与之对话的坐标：

real-mednlp（rid=1122）：NTCIR-16 直系前作，MedTxt 语料（224 病例报告 + 135 放射报告，NER 标签）。RR-TNM 的筛选显式排除了与 MedTxt-RR 重叠的病例；两者合并构成 RadNLP 2024 日语语料全貌。
radgraph（rid=561）/ radgraph2-radiology-reports（rid=622）/ rad-coreference-resolution（rid=621）：英文报告结构化三件套。与 RR-TNM 是同任务域（放射报告信息抽取）、不同语言、不同标签哲学（token 级 schema vs 报告级分期）。
mednli（rid=648）：MIMIC-III 出院小结的临床 NLI——英文侧的「推理型」临床文本基准，与 RR-TNM 的分期推理互为镜像。
nsclc-radiomics（rid=247）/ nsclc-radiogenomics（rid=257）/ lung-pet-ct-dx（rid=475）/ nlst（rid=317）：肺癌影像侧坐标——RR-TNM 只含文本，这些条目补影像与结局；Radiopaedia 病例的 CT 本体恰好是这些影像库的「不可商用」对照面。
jsrt（rid=147）：日本放射线技术学会的经典胸片结节基准——日语医学影像界的早期开放标杆，与 RR-TNM 构成「日语开放医学数据」的影像/文本两极。
mdv（rid=515）/ jader（rid=1088）：日语医疗大数据（账单库/副作用报告库）——与 RR-TNM 的小语料精标路线互补。
vqa-med（rid=280）：另一系医学评测任务家族（ImageCLEF），与 NTCIR 的共享任务哲学对照。

7.4 引用与影响

概述论文（DOI 10.20736/0002001328）是本语料的规范引用；两篇参赛系统论文（Nishio et al. 的 KRad ChatGPT 论文 DOI 10.20736/0002001283、Fujimoto et al. 的 kuhp 论文 DOI 10.20736/0002001299、Fukushima et al. 的 NAISTSOCRR 论文 DOI 10.20736/0002001285）构成方法学引文链。数据集本身在日语医疗 NLP 社区被用作分期任务的默认评测集，RadNLP 2024 出现后部分功能被后者取代——但粗粒度标签 + 固定 test 划分的可比性使其仍是「复现 2023 年基准」的唯一入口。

§8 方法学启示：四条可迁移的经验

8.1 Radiopaedia 路线：绕开医院伦理的多医师语料

RR-TNM 证明了一条不碰医院数据的临床语料路线：公开病例库（Radiopaedia）+ 远程阅片公司招募的多名执业医师 + 虚构患者信息消歧 + 人工四轮筛选。收益是零 PHI、可公开分发、同病例多医师平行文本；代价是病例选择偏倚（Radiopaedia 用户上传的「教学级」病例）与规模天花板（27 例已经筛掉九成候选）。这条路线已被同一团队复用三代（MedTxt-RR → RR-TNM → RadNLP），对任何想构建非英语临床语料又无法接入 EHR 的团队，是最现成的蓝图。

8.2 「不共识」设计的语料价值

9 名医师独立书写、不讨论共识——这是有代价的刻意设计。代价：标签与文本都可能携带个体偏差，标签需事后人工核对。收益：语料保住了表达多样性这个本质资产（MedTxt-RR 论文的核心命题：同一医学内容有多少种写法），并且让「观察者间差异」成为语料的可研究属性而非缺陷。对任何构建多标注者临床语料的项目，RR-TNM 的立场是：先想清楚你要的是金标准还是语料——两者对共识的要求恰好相反。

8.3 粗粒度标签是规模约束下的诚实选择

243 份样本撑不起细粒度 TNM 的十余档——RR-TNM 直接聚合，并在论文里明说。两年后语料扩到 621 份（378+243）才恢复细粒度。这比硬上细粒度然后让每档三个样本的做法诚实得多：标签粒度应与语料规模匹配，且第一期论文就应写明聚合逻辑，为后继细粒度留下迁移路径。

8.4 评测设计：joint 指标先行

T/N/M 全对才算对的 joint accuracy，把「分项体面、联合不可用」的现实暴露在排行榜第一行。任何多维度临床预测任务（分期、分级、多器官评估）都应优先设计联合指标——分项均值会系统性高估部署可用性。RR-TNM 的 0.3704 不是难看，是诚实。

§9 与库内条目的关系

9.1 家族图谱

直系前作：real-mednlp（rid=1122，NTCIR-16 Real-MedNLP / MedTxt）——RR-TNM 复用其语料构造方法、排除其病例重叠、最终在其后继任务中与之合流。两条目合读 = NTCIR 日语医疗 NLP 近十年主线。
同任务域（英文）：radgraph（rid=561）、radgraph2-radiology-reports（rid=622）、rad-coreference-resolution（rid=621）——英文放射报告结构化三件套。RR-TNM 与它们构成「放射报告 NLP」的语言对照组：日语做报告级分期推理，英语做 token 级 schema 抽取。
临床推理兄弟：mednli（rid=648）——临床 NLI 基准。RR-TNM 的分期是「报告→结构化结论」的生成式推理，MedNLI 是「前提→假设」的验证式推理，两者合起来是临床文本推理的两半。
肺癌影像侧：nsclc-radiomics（rid=247）、nsclc-radiogenomics（rid=257）、lung-pet-ct-dx（rid=475）、nlst（rid=317）——文本只有分期标签没有影像，影像条目只有影像没有报告级分期标签，天然互补。
日语医学数据生态：jsrt（rid=147，影像）、mdv（rid=515，账单）、jader（rid=1088，副作用报告）——RR-TNM 补上「放射报告文本」这一缺位。
评测任务家族：vqa-med（rid=280）——ImageCLEF 系的医学评测对照面。

9.2 检索路径建议

搜「日语临床 NLP / 日本語医療 NLP」→ real-mednlp（1122）+ 本条目，两篇连读；
搜「放射报告结构化」→ radgraph 系（561/622/621）+ 本条目，注意语言差异；
搜「肺癌分期」→ 影像侧四条目（247/257/475/317）+ 本条目，影像-文本互补；
搜「LLM 临床推理评测」→ mednli（648）+ 本条目 §4 + bedside-bench（1147）等新基准。

§10 避坑清单：八个已踩过的坑

坑 1：RadNLP 2024 不是 RR-TNM 的别名。前者是 NTCIR-18 后继任务（细粒度+双语+378 日语），后者是 NTCIR-17 本体（243 日语）。引用时要分清：说「243 份」指 RR-TNM，说「378 份日语」指 RadNLP。两者语料有包含关系（RadNLP 日语语料含 RR-TNM 的 27 例）但标签口径不同（粗 vs 细）。

坑 2：cStage 双口径。MedNLP-SC 任务页写参与者需分配四个标签（T、N、M、cStage 临床分期），但概述论文的任务定义、指标与结果表全是三标签、无 cStage。按论文三标签口径使用；若看到某文献声称 RR-TNM 带 cStage 标签，那是对任务页的误读。

坑 3：三集 T 分布不等。卡方检验 p<0.01：验证集 T4 偏多、测试集 T0 偏多。跨集比 accuracy 前先做分布检查；直接拿验证集成绩预测测试集会系统性偏乐观（验证集晚期样本多、测试集 T0 边缘样本多）。

坑 4：标签是粗粒度聚合。T 没有 Tis/T1mi/T1a/T1b/T1c/T2a/T2b，M 没有 M1a/M1b/M1c。想研究早期 T1 亚档或 M1 转移灶数的模型，这个数据集给不了监督——去 RadNLP 2024 语料（细粒度）。

坑 5：MedNLP-SC 里有两个子任务。SM-ADE（四语 Tweet 药物不良事件）与 RR-TNM（日语放射报告分期）同属 MedNLP-SC。搜「MedNLP-SC dataset」可能同时命中两者；本条目只管 RR-TNM，SM 语料是 T5 生成推文，勿混。

坑 6：语料无影像。报告只含文字；Radiopaedia 病例的 CT 影像需另行获取且受 Radiopaedia 许可约束（多为 CC BY-NC-SA，非商用）。想做图文多模态的团队要重新评估许可链。

坑 7：kuhp-2 的成绩不是数据集问题。其加权 κ 三项全 0 是模型训练事故（同配置 kuhp-3 正常）。复现者看到「kuhp-2 全零」不必怀疑数据。

坑 8：测试集只有 81 份。单格 accuracy 波动约 1.2 个百分点；两系统 accuracy 差 3 个百分点以内不构成排序证据。论文自己也只在小数点后四位呈现——那是精确计算，不是精确结论。

§11 总结

11.1 三句话总结

RR-TNM 是首个开放的日语放射报告分期语料：27 例 Radiopaedia 肺癌 CT × 9 名 board-certified 放射医师独立书写 = 243 份无 PHI 报告，逐份带粗粒度 T/N/M 标签，CC BY 4.0 直链下载。
2023 年基准赛况：零样本 gpt-3.5-turbo 在 N/M 超 80% 胜过所有微调系统，但 T 类（含尺寸数值比较）全员瓶颈，最佳 joint accuracy 仅 0.3704。
它是三代谱系的中间一环：MedTxt-RR（135，NER）→ RR-TNM（243，粗 TNM）→ RadNLP 2024（378 日 + 243 英，细 TNM + 句子级 span），joint accuracy 两年内从 0.37 推到 0.81。

11.2 适合谁

做日语临床 NLP、需要放射报告域语料的研究者（几乎没有替代品）；
评测 LLM 临床推理与数值比较能力的团队（§4 的 T 类瓶颈是现成的靶子）；
构建非英语多标注者语料的团队（Radiopaedia 路线蓝图 + 不共识设计范式）；
需要「同病例多医师平行文本」做表达多样性研究的人。

11.3 不适合谁

需要细粒度 TNM（T1a/T1b/T1c、M1a/M1b/M1c）的团队 → RadNLP 2024；
需要影像-文本配对的团队（语料无影像，Radiopaedia 影像另受非商用许可）；
需要大规模数据做预训练的团队（243 份是评测规模，不是预训练规模）；
需要真实医院分布做流行病学推断的团队（Radiopaedia 教学级病例，非连续收治）。

11.4 30 秒决策卡

我要下数据做日语放射报告 NLP → 要。CC BY 4.0 直链，三分片即用。
我要做细粒度分期 → 换 RadNLP 2024（本条目只有粗粒度）。
我要配影像 → 慎：影像不在包内，且 Radiopaedia 许可非商用。
我要复现 2023 基准 → 要：论文 Table 2 七系统成绩可完整对标。
我要预训练 → 不够：去 MIMIC 系或日语大规模 EHR（mdv）。

FAQ（高频问答 24 问）

A. 基础认知

Q1：RR-TNM 是数据集还是比赛？
两者：NTCIR-17 MedNLP-SC 的一个子任务（比赛）+ 该任务发布的数据集（243 份日语放射报告与 T/N/M 标签）。数据集以比赛命名（RR-TNM = Radiology Report TNM staging）。

Q2：报告是真实医院写的吗？
不是。是 9 名 board-certified 放射医师对 Radiopaedia 公开肺癌 CT 病例的独立解读，经 Y’s Reading 远程阅片公司招募，注入虚构患者信息。全文无 PHI。

Q3：为什么 27 例能有 243 份报告？
27 × 9 = 243：每例被 9 名医师各写一份。同一病例的 9 份报告是对同一影像的 9 个独立表达——这正是语料的核心资产。

Q4：标签谁标的？
书写报告的医师按 JLCS 第 8 版给出自己报告的 T/N/M，团队再人工核对、不一致时纠正。粗粒度聚合：T0-T4、N0-N3、M0/M1。

Q5：能商用吗？
能。CC BY 4.0，署名即可。但若把 Radiopaedia 影像拉进来配对，整体项目受 Radiopaedia 许可约束（多为非商用）。

B. 数据与获取

Q6：在哪下、要申请吗？
Sociocom 数据集页（sociocom.naist.jp/?p=6910/）zip 直链，无注册无申请，2025-05-16 更新版。

Q7：zip 里是什么结构？
train/validation/test 三分片（108/54/81 份），文本 + 标签。数据字典未随包发布，需从文件自行推断（FAQ 见 §6.3 机器可读性 B+ 的由来）。

Q8：训练集、验证集、测试集怎么分？
按病例分：12 例 108 份 / 6 例 54 份 / 9 例 81 份。同病例报告绝不跨集。三集 T 分布差异显著（p<0.01），见坑 3。

Q9：和 MedTxt-RR 什么关系？
同团队前作（135 份，NER 标签）。RR-TNM 筛选时显式排除了 28 例重叠候选，两者病例互斥；RadNLP 2024 时两者合流。

Q10：和 RadNLP 2024 什么关系？
后继任务：378 日语（含本集 27 例）+ 243 英语翻译，细粒度标签 + 句子级 subtask。见 §5。

C. 标注与质量

Q11：观察者间一致性有多高？论文没给 kappa？
概述论文未报告标签层观察者间 κ（报告书写「中等差异已足够」是有意设计）。这是本数据集最常被问的空白——使用者若需一致性基线，可在训练/验证集上自行测量。

Q12：虚构患者信息会污染标签吗？
不会——标签是分期判定，与患者身份无关；虚构信息只是让影像征象的解读上下文完整。

Q13：为什么 T 聚合掉 T1a/T1b/T1c？
243 份样本撑不起细粒度（§8.3）。这是规模约束下的诚实选择，RadNLP 2024 已恢复细粒度。

Q14：测试集答案会泄漏吗？
test 标签在比赛期间不公开，赛后随数据集发布。同病例不跨集的设计封死了主要泄漏面。

D. 评测与复现

Q15：joint accuracy 0.3704 是什么水平？
2023 年最优。三维度全对才算对——分项 0.67/0.80/0.93 的「体面」在 joint 下现出原形。两年后 RadNLP 冠军 0.8148。

Q16：GPT-3.5 零样本赢了吗？
分项赢一半：N/M 超 80% 全场第一；T 0.3951 明显落后。赢在解剖判断，输在数值比较（§4）。

Q17：kuhp-2 为什么 κ 全零？
训练事故（模型退化），同配置 kuhp-3 正常。非数据问题（坑 7）。

Q18：怎么复现比赛评测？
下载 zip → 按 81 份 test 算 T/N/M accuracy 与 joint accuracy + quadratic weighted κ → 对照论文 Table 2。指标定义在论文 §5.1 全文可查。

E. 库内与谱系

Q19：库内还有别的日语临床语料吗？
real-mednlp（1122，MedTxt NER）、mdv（515，账单）、jader（1088，副作用报告）、jsrt（147，影像标注）。放射报告分期域仅本条目。

Q20：和 radgraph 比哪个好？
不同语言不同哲学：RadGraph 是英文 token 级 schema（600 金标+22 万推理），RR-TNM 是日语报告级分期（243 全金标）。做日语没有选择，做英语 RadGraph 规模大得多。

Q21：能和肺癌影像条目连起来做多模态吗？
理论上可以（Radiopaedia 27 例的影像在原站），但要自己解决影像获取与许可（坑 6），且 27 例的规模只够做案例研究。

F. 引用与规范

Q22：正确引用是什么？
Nakamura, Y., Hanaoka, S., Yada, S., Wakamiya, S., Aramaki, E.: NTCIR-17 MedNLP-SC Radiology Report Subtask Overview: Dataset and Solutions for Automated Lung Cancer Staging. Proc. NTCIR-17, pp.145-151, 2023. DOI: 10.20736/0002001328.

Q23：数据集有版本号吗？
没有正式版本体系；数据集页 2025-05-16 有更新记录。引用时注明抓取日期即可。

Q24：后继任务还开放征集吗？
RadNLP 2024 已于 NTCIR-18（2025-06）总结收官；组织方声明未来可能继续扩充语料或加细粒度标注。关注 sociocom.naist.jp 公告。

事实清单（硬事实 24 条）

数据集：243 份日语放射报告，无 PHI（三源互证：概述论文 / Sociocom 数据集页 / MedNLP-SC 任务页）。
构成：27 例 Radiopaedia 肺癌病例 × 9 名 board-certified 放射医师独立书写。
划分：train 108 份/12 例，validation 54 份/6 例，test 81 份/9 例（12:6:9），按病例切分。
标签：T∈{T0-T4}，N∈{N0-N3}，M∈{M0/M1}，JLCS 第 8 版聚合口径。
任务定义：三标签文档分类（论文口径）；任务页另有 cStage 四标签口径（双口径存照）。
指标：T/N/M accuracy + joint accuracy + quadratic weighted kappa。
最佳成绩：T 0.6667（NAISTSOCRR-2），N 0.8025 与 M 0.9259（KRad-1），joint 0.3704（NAISTSOCRR-2）。
KRad-1 = gpt-3.5-turbo 零样本（persona + 标准 + JSON 指令），无训练。
kuhp = open-calm-7b 微调（GPT-NeoX 架构），100 倍增强，kuhp-2 加权 κ 全零（模型退化）。
NAISTSOCRR-2 = JMedRoBERTa + Tohoku-BERT-v3 + UTH-BERT 分任务。
多数类基线（T1N0M0）：T 0.3086 / N 0.4198 / M 0.5926 / joint 0.1975。
参赛：三队 16 人 7 稿；KRad 8 人 1 稿、kuhp 7 人 3 稿、NAIST-SOCRR 5 人 3 稿；KRad 与 kuhp 共享 6 人。
病例筛选：256 候选 → 排 28（重叠/缺信息）→ 粗筛排 161 → 细筛排 16 → 27 例；筛选者为 6 年经验放射医师一人。
Radiopaedia 检索条件：Diagnosis=Certain、Modality=CT、Systems=Chest，42 关键词，2023-01-18。
报告生成：Y’s Reading, Inc. 招募；.docx 表单；无指示、无共识、虚构患者信息消歧；除影响分期的笔误外不改原文。
T 分布三集差异显著（卡方 p<0.01）；N p≈0.11、M p≈0.07 不显著。
时间线：注册 2023-01-06~06-26；测试集 07-10；提交 07-17；评测 08-01；会议 2023-12-12~15 东京 NII。
论文：Proc NTCIR-17 pp.145-151，DOI 10.20736/0002001328。
许可：CC BY 4.0（Sociocom 数据集页明示），zip 公开直链，2025-05-16 更新。
谱系前作：MedTxt-RR 135 份/15 例（NTCIR-16 世代，NER 标签）；RR-TNM 排除其 28 例重叠。
后继：RadNLP 2024（NTCIR-18）——378 日语（42 例，含本集 27 例）+ 243 英语（GPT-4 翻译 + 苏黎世放射医师修订），细粒度 TNM + 8 类句子级 span（micro F2.0）。
RadNLP 2024 日语主任务冠军 NECMedDX joint fine 0.8148；日语 subtask 冠军 tsukurad F2.0 0.881。
资助：JST AIP Trilateral JPMJCR20G9、JST AIP-PRISM JPMJCR18Y1、JST CREST JPMJCR22N1、MHLW JPMH21AC500111、ANR-20-IADJ-0005-01。
RR 子任务主席：Yuta Nakamura（东大，MD）、Shouhei Hanaoka（东大，MD, PhD）；总主席 Eiji Aramaki、Shoko Wakamiya（NAIST）。

术语表（20 条）

术语	英文	释义
TNM 分期	TNM classification	以 T（原发灶）/N（淋巴结）/M（远隔转移）三维度组合评价癌症进展的国际标准体系
粗粒度聚合	coarse-level aggregation	把 Tis/T1mi/T1a 等细分档并入 T1/T2 主档的标签简化
JLCS 规约	General Rule for Clinical and Pathological Record of Lung Cancer	日本肺癌学会的肺癌临床病理处理规约（第 8 版 2021），与 UICC 第 8 版高度一致
放射报告	radiology report	放射科医师对影像检查所见与诊断的书面报告，分期常隐含在征象描述中
joint accuracy	joint accuracy	T、N、M 三档全对才计对的严格指标
加权 kappa	quadratic weighted kappa	按错误跨度加权惩罚的有序分类一致性指标
board-certified radiologist	board-certified radiologist	通过专科医资格认证的放射科医师（本语料 9 名均为）
远程阅片	teleradiology	异地医师读片出报告的服务形态；Y’s Reading 是日本代表企业
Radiopaedia	Radiopaedia	开放放射病例参考库，本语料全部病例来源
临床可比语料	clinical comparable corpus	同一医学内容由多名医师书写的平行文本（MedTxt-RR 提出的概念）
观察者间变异	inter-observer variability	不同医师对同一影像判断的分歧；本语料有意保留
无 PHI	no personal health information	不含个人健康信息；本语料以虚构患者信息 + 去标识病例保证
充実成分径	solid component size	日语报告术语：part-solid 病变中实性成分直径，JLCS T 分档依据
磨玻璃影	ground glass opacity（GGO）	CT 上云雾状密度增高影，早期肺腺癌常见表现，42 检索关键词之一
MedNLP-SC	Medical NLP for Social media and Clinical texts	NTCIR-17 医学 NLP 共享任务，含 RR-TNM 与 SM-ADE 两子任务
Real-MedNLP	Real document-based MEDical NLP	NTCIR-16 前作任务，MedTxt 语料（224 病例 + 135 放射报告）
MedTxt-RR	MedTxt-Radiology Reports	NAIST 系日语放射报告语料第一代（135 份，NER 标签）
RadNLP 2024	Radiology NLP 2024	NTCIR-18 后继任务：细粒度 TNM + 双语 + 句子级 span
SM-ADE	Social Media Adverse Drug Event detection	MedNLP-SC 另一子任务（四语 Tweet 药物不良事件），勿与 RR-TNM 混淆
span 分类	span classification	RadNLP subtask 的句子级多标签二分类（8 类征象 span）

附录

附录 A：条目信息速查卡

项	值
slug	ntcicir-rr-tnm
官方名	MedNLP-SC Radiology Report TNM staging (RR-TNM) Dataset
任务	NTCIR-17 MedNLP-SC RR Subtask
机构	NAIST 社会计算实验室 + 东京大学
论文	Proc NTCIR-17 2023, pp.145-151, DOI 10.20736/0002001328
数据	243 份日语放射报告 + T/N/M 粗粒度标签
划分	108/54/81（按病例 12/6/9）
许可	CC BY 4.0
获取	Sociocom zip 直链（无申请）
语言	日语（后继有英语翻译版）
后继	NTCIR-18 RadNLP 2024
库内近邻	real-mednlp(1122)、radgraph(561)、mednli(648)、jsrt(147)

附录 B：DAIMS 评估全表

#	维度	评分	说明
1	D1 可发现性	B+	Sociocom 页面可发现，但站点搜索弱；论文与任务页互链完整
2	D2 可访问性	A	zip 直链零摩擦，无注册无申请
3	A1 标注质量	A-	医师自标 + 人工核对；未公布观察者间 κ
4	A2 标签粒度	B	粗粒度聚合（任务可学性与分辨率的折中）
5	I 互操作性	B-	无数据字典、无标准 schema（如 json_ld/HL7）；纯文本+标签
6	M 维护性	B	2025-05-16 有更新；无版本号体系
7	S 可持续性	B	同团队三代持续运营（NTCIR-16→18）；依赖学术资助周期
8	隐私合规	A	零 PHI，虚构信息 + Radiopaedia 去标识
9	许可清晰度	A	CC BY 4.0 明示
10	复现支持	A-	论文含 27 例名单（Appendix A）、全标签标准（Table 1）、全部系统成绩（Table 2）
综合		A-	小语料精标 + 零摩擦获取的典范；扣分在文档工程化程度

附录 C：坑点档案（与 §10 对照）

坑	一句话	后果	排查法
1	RadNLP≠RR-TNM	引错语料规模	看 243 vs 378
2	cStage 双口径	误信四标签	按论文三标签
3	三集 T 分布不等	跨集比较失真	卡方自检/分层
4	标签粗粒度	细分档无监督	换 RadNLP
5	MedNLP-SC 双子任务	下错数据包	看文件是报告还是 Tweet
6	语料无影像	图文计划受阻	查 Radiopaedia 许可
7	kuhp-2 全零	误判数据问题	对照 kuhp-3
8	test 仅 81	排序不稳	差 <3pp 不下结论

附录 D：数据获取决策树

需要日语放射报告语料？
├─ 要分期标签（报告级 T/N/M）
│   ├─ 粗粒度够用 → 本条目（Sociocom zip，CC BY 4.0）
│   └─ 要细粒度/句子级 → RadNLP 2024 语料（Sociocom radnlp-2024 页）
├─ 要 NER 标签 → real-mednlp（MedTxt-RR，库内 rid=1122）
├─ 要大规模预训练 → 本条目不够（243 份）；转 MIMIC 系/mdv(515)
└─ 要图文配对 → 影像不在包内；评估 Radiopaedia 许可（非商用）
    └─ 影像组学需求 → nsclc-radiomics(247)/lung-pet-ct-dx(475)

附录 E：评测指标计算骨架（伪代码）

# 输入: preds[81] = [(T,N,M), ...], golds[81] = [(T,N,M), ...]
T_ACC = mean(p.T == g.T for p, g in zip(preds, golds))
N_ACC = mean(p.N == g.N for p, g in zip(preds, golds))
M_ACC = mean(p.M == g.M for p, g in zip(preds, golds))
JOINT = mean(p == g for p, g in zip(preds, golds))          # 三元组全等

# quadratic weighted kappa（以 T 为例，5 档）
def qwk(y_true, y_pred, K=5):
    O = confusion_matrix(y_true, y_pred, K) / len(y_true)
    w[i][j] = (i - j)**2 / (K - 1)**2                        # 权重
    E = outer(hist_true, hist_pred)                          # 期望矩阵
    return 1 - sum(w * O) / sum(w * E)
# RR-TNM 复现要点: 格式非法预测置 T0/N0/M0（KRad-1 规则，论文 §4.1）

附录 F：Radiopaedia 27 例分集名单（论文 Appendix A 全转）

#	病例（Radiopaedia 标题节译）	集
1	浸润性肺腺癌	val
2	贴壁生长为主型腺癌	train
3	支气管镜活检确诊肺癌	val
4	浸润性黏液腺癌	test
5	肺癌致左上叶不张	train
6	肺癌致完全性肺不张	val
7	右旁气管旁增厚 - 小细胞肺癌	train
8	肺腺癌 - EGFR 突变	val
9	肺癌骨转移	train
10	石棉沉着症并发肺癌	train
11	T1b 肺尖癌	val
12	支气管黏液表皮样癌	train
13	Pancoast 瘤伴 CT 引导活检	train
14	巨块型肺癌	train
15	酷似肺炎的浸润性黏液腺癌	test
16	转移性肺腺癌	test
17	转移性肺癌	train
18	晚期转移性肺癌	val
19	肺腺癌	test
20	肺腺癌	test
21	肺腺癌	test
22	肺癌	train
23	Pancoast 瘤	test
24	肥厚性骨关节病（并发肺癌背景）	train
25	胆总管结石与肺癌	train
26	原发肺肉瘤样癌	test
27	肺癌 Luftsicher 征	test

（完整英文标题与 URL 见论文 Appendix A Table 4；此处为节译，train 12 例 / val 6 例 / test 9 例归属逐例照录。）

附录 G：标签分布读图笔记（论文 Figure 3）

T 类堆叠条：训练集以 T1（深青段）压倒性主导，T3/T4 黄绿段极薄；验证集 T4（黄段）明显变厚；测试集最左 T0（深紫段）占比肉眼可见地高于另两集。与卡方结论一致：T 分布不均衡主要在「早期 vs 晚期 vs 无原发灶」三象的配比上。
N 类堆叠条：三集形态相似，N0 深紫段约占四成以上，N1/N2 递减，N3 极少。
M 类堆叠条：三集均 M0（深紫）过半、M1（黄）次之；训练集 M1 段略厚。

（论文未给逐格数字，本节为图形读数，不引精确百分比。）

附录 H：库内互链点声明

互链条目	rid	关系
real-mednlp	1122	直系前作（NTCIR-16 MedTxt）；RR-TNM 排除其病例重叠，后继任务中合流
radgraph	561	英文报告 token 级 schema——同任务域不同语言不同粒度
radgraph2-radiology-reports	622	英文报告时序抽取
rad-coreference-resolution	621	英文报告共指消解
mednli	648	临床 NLI——推理型临床文本基准的英文镜像
nsclc-radiomics	247	肺癌 CT 影像组学（影像侧互补）
nsclc-radiogenomics	257	肺癌影像-基因组（影像侧互补）
lung-pet-ct-dx	475	肺癌 PET/CT 边界框（影像侧互补）
nlst	317	肺癌筛查队列（结局侧互补）
jsrt	147	日语医学影像早期开放标杆（影像/文本两极）
mdv	515	日语医院账单大数据（规模互补）
jader	1088	日语副作用报告库（文本规模互补）
vqa-med	280	另一系医学评测任务家族（ImageCLEF）

附录 I：双口径与存照清单

cStage 四标签（任务页）vs 三标签（论文）：按论文三标签口径成稿；任务页口径记为早期计划。
MedTxt-RR 135 份（15 例×9）：MedTxt-RR 页与 RadNLP 论文一致；real-mednlp 条目（1122）同口径，零冲突。
「27 例」三源一致：论文 §3、Sociocom 数据集页、MedNLP-SC 任务页均写 27 例，无冲突。
zip 内部字段结构未实测：本条目成稿未下载语料本体，字段级细节（json/csv 列名）存疑，见遗留疑点。
NTCIR-18 概述论文 DOI 未逐字核验：正文不引该 DOI，只引会议与论文题名。
标签分布只有图形：附录 G 为读图笔记，非精确数字。

附录 J：遗留疑点

zip 包内文件命名与字段（如 train.jsonl? report_id 格式? 标签列名?）未实测——接管者可下载一次补全。
标签层观察者间一致性（9 名医师标签的 κ）论文未报告——若有后续分析论文，值得追踪。
NTCIR-18 RadNLP 概述论文的精确 DOI 段位未核验（推断 10.20736/0002001330 附近，不写入正文）。
英语翻译语料 test 部分的翻译流程（GPT 翻译后是否医师复核）论文相应段落未在本次抓取范围内，存疑。

§12 案例解剖：三份报告的分期推理全流程

12.1 案例一：典型 T1N0M0 早期腺癌（推演）

以 Radiopaedia 27 例中「T1b apical lung cancer（肺尖癌）」为参照的典型早期病例，9 份报告的共性证据链大致是：上叶外周结节、充実成分径在 1-2 cm 区间、无纵隔淋巴结肿大描述、无远隔灶。一份合格报告的分期推理路径：

征象抽取：结节位置（肺尖=上叶）、大小（报告里可能写「18mm」也可能写「約2cm」——单位与精度表述不一）、密度类型（实性 vs part-solid）；
T 判定：实性成分径 >1 cm ≤2 cm → T1b。若报告只给整体径而未区分实性成分，医师需回看影像判断是纯实性还是混合磨玻璃——这正是 JLCS 第 8 版的关键分岔（part-solid 以充実成分径为准）；
N 判定：报告未提肺门/纵隔淋巴结 → 按影像实际无肿大 → N0；若报告只写「リンパ節腫大なし」而不分站，N0 是唯一合理档；
M 判定：无远隔征象 → M0；
合成：T1bN0M0 → 聚合标签 T1N0M0。

多医师分歧的高发点在 T1b/T1c 边界（1.8 cm 与 2.1 cm 的测量差异就跨档）与「报告未写淋巴结 → 是影像无异常还是漏查」的解读差异。聚合到粗粒度后，T1b/T1c 之争被吸收（同归 T1），这解释了为什么 N/M 的 accuracy 天然高于 T——聚合抹平了 T 内部最激烈的战场。

12.2 案例二：晚期病例的 T4/N2/M1 组合（推演）

「Lung cancer causing complete atelectasis（肺癌致完全性肺不张）」与「Advanced metastatic lung cancer」一类病例的推理复杂度陡增：

T 判定：全肺不张按 JLCS 直接 T2 起评（「肺門まで連続する一側全体の無気肺」）；若合并胸壁浸润或同叶卫星结节则 T3；合并纵隔/椎体浸润则 T4。报告若同时描述肿块与继发不张，医师需把「原发灶尺寸」与「继发改变范围」分开评估——报告的写法（先肿块后不张，还是混叙）直接影响可抽取性；
N 判定：纵隔淋巴结短径 >1 cm、环状强化、融合成团——报告可能逐站描述（4R/4L/7 站）也可能一笔带过「縦隔リンパ節腫大」。N2 vs N3 的分界在对侧纵隔/锁骨上；
M 判定：恶性胸水在 JLCS 归 M1a（与 UICC 一致）——「胸水貯留を認める」这句话的定性（漏出液 vs 恶性）直接翻转 M 档；对侧肺结节、肾上腺/骨/脑病灶各归 M1。

这一类病例的 joint accuracy 期望显著低于早期病例：三个维度都有多个可分歧点，任何一个错档 joint 归零。RR-TNM 测试集若晚期病例占比高（验证集 T4 偏多是先兆），joint 的分布就会呈现「早期病例全对、晚期病例普遍失分」的双峰——这是用 0.3704 这个单一数字时应当想到的微观结构。

12.3 案例三：干扰病例——合并症背景下的分期（推演）

「Common bile duct stone and lung cancer」「Hypertrophic osteoarthropathy」「Asbestosis complicated by lung cancer」这类干扰病例检验的是医师（和模型）的「信息路由」能力：报告里有大量与分期无关的征象（胆管结石、石棉斑、杵状指背景），分期推理必须先做征象过滤——哪些所见属于肺癌、哪些是背景噪音。石棉沉着症并发肺癌的病例里，胸膜斑块不是胸膜浸润（不升 T 档），肺纤维化背景里的结节定位更难——这些「看着像分期证据但不是」的陷阱，正是 Radiopaedia 教学级病例的价值：它们被收录往往恰因为展示这类鉴别。

对 NLP 系统，这类病例解释了 T 类的一部分失败模式：模型把背景征象（如胸膜增厚）误当作分期证据，产生大跨度错判（T1→T4），加权 κ 因此比 accuracy 掉得更狠。RadNLP 2024 增设的句子级 subtask（8 类 span，含 Omittable「明确与分期无关」）正是对这一失败模式的机制性回应——先过滤再分期。

12.4 案例解剖的方法论小结

三组案例展示的同一条主线：分期推理的难度不在单条征象识别，而在证据路由与阈值比较。RR-TNM 的成绩阶梯（M 0.93 > N 0.80 > T 0.67）恰好按「证据路由复杂度」排序：M 只需回答「有没有」（最简单的路由），N 需要分站定位（中等），T 需要尺寸数值 + 密度分型 + 浸润判断（最复杂）。这条主线对任何做临床文本推理系统的团队都是设计指南：把系统架构的复杂度预算花在 T 类问题（数值比较器、征象路由器）上，而不是均匀分布在三个分类头上。

§13 常见误解澄清（八条）

误解一：「243 份报告就是 243 个病人」。
错。243 份报告对应 27 例病例——同一病例 9 份。做患者级统计、按病例切分数据集、或声明「样本量 243」都会犯重复计算错误。正确的「独立单元」是 27 例；正确的「文本单元」是 243 份。

误解二：「报告来自真实医院，是临床数据」。
错。报告是对 Radiopaedia 公开病例的模拟工作流书写（虽由真实执业医师执笔）。它具备临床文本的语言真实性，但不具备真实临床分布（连续收治、各期占比、合并症谱）。做流行病学或部署前验证不能只靠它。

误解三：「标签是专家共识」。
错。9 名医师独立书写、明确不共识；标签由书写者自报后人工核对。观察者间分歧被保留为语料属性。把标签当 ground truth 用于高 stakes 决策建模前，应自行评估一致性。

误解四：「RR-TNM 是细粒度分期数据集」。
错。T1a/T1b/T1c、Tis/T1mi、M1a/M1b/M1c 全部被聚合。细粒度需求去 RadNLP 2024。

误解五：「数据集里有 CT 影像」。
错。纯文本+标签。影像在 Radiopaedia 原站，另受其许可（多为 CC BY-NC-SA）约束，商用配对需重新规划。

误解六：「joint accuracy 低说明数据集标注质量差」。
不成立。joint 低反映的是任务难（三维度全对）与 T 类的数值推理瓶颈，不是标签噪声。证据：M accuracy 能到 0.9259——若标签系统性噪声大，任何一档都不可能这么高。

误解七：「RadNLP 2024 发布后 RR-TNM 过时了」。
不成立。两者的可比性锚点是「粗粒度 + 固定 test 81 份」——2023 年七系统的成绩只能在这个设定下复现；RadNLP 换了标签体系与划分，成绩不可直接横比。要引用「2023 年 LLM 零样本临床推理水平」，RR-TNM 是唯一入口。

误解八：「MedNLP-SC 的数据集都是放射报告」。
错。MedNLP-SC 有两个子任务：SM-ADE（四语 T5 生成推文 + 不良事件标注）与 RR-TNM。Sociocom 上两套 zip 并存，下载前认准「rr」字样与报告内容。

§14 下游实操清单（按任务类型）

14.1 训练分期分类器（经典路线）

下载 zip，解析 train（108）与 validation（54）文本+标签；
选择模型：日语 BERT 系（Tohoku-BERT-v3 / UTH-BERT / JMedRoBERTa——后者即 NAISTSOCRR 获胜配置）；
决定分类头：联合三分类（NAISTSOCRR-1 配置）或三个独立分类器（NAISTSOCRR-2 配置，T 最佳的来源）；
训练与模型选择均在 validation 上做——注意 validation T4 偏多（坑 3），选模型时可对 T 加类权重；
test（81）一次性评测：T/N/M accuracy + joint accuracy + quadratic weighted κ；
对标基线：多数类 T1N0M0（joint 0.1975）与 NAISTSOCRR-2（0.3704）。

14.2 评测 LLM 零样本/少样本推理

复现 KRad-1 prompt 结构：persona（胸外科医师）+ JLCS 标准（论文 Table 1 日语原文）+ JSON 输出指令 + 报告全文；
输出解析：正则抽取 T/N/M，格式错误置 T0/N0/M0（KRad 规则）——这一规则本身是评测公平性的一部分，勿省；
报告级 few-shot 时，从 train 抽示例；同病例的其他报告绝不可进示例（泄漏）；
重点分析 T 类错误的错误跨度分布（κw vs accuracy 双读，§4.3）；
若用 CoT/工具调用，请把「尺寸数值比较」作为显式步骤暴露——RR-TNM 的核心瓶颈正在于此。

14.3 报告表达多样性研究（语料特有玩法）

以病例为组内单位（27 组 × 9 份）；
度量维度建议：句子数、所见-诊断结构顺序、术语变体（同一病灶的表述家族）、信息完整度（有无遗漏关键征象）；
与 MedTxt-RR（135 份/15 例）合并可得 42 组平行文本；
方法参照：MedTxt-RR 论文（Stud Health Technol Inform 2022;290:253-257）提出的临床可比语料框架。

14.4 观察者间差异研究

以标签为对象：27 例 × 9 医师的 T/N/M 判定矩阵；
计算病例内医师间 κ（T 五档有序、M 两档用 unweighted）；
对照报告文本：分歧病例的语言特征（是否模糊表述、是否漏写关键证据）；
注意：标签经人工核对，测得的是「核对后残差」，真实现场分歧可能更大。

14.5 作为 RadNLP 2024 的预训练/ warm-up

RR-TNM 243 份全在 RadNLP 日语 378 份内——官方合流，不构成泄漏担忧（但要认清 RadNLP 的划分不同）；
可先用粗粒度标签 warm-up，再在 RadNLP 细粒度上微调——粗到细的课程学习路线；
RadNLP 句子级 subtask 的 8 类 span 标注只覆盖 RadNLP 版语料，RR-TNM 原始包内无 span 标签。

§15 按角色阅读路径

NLP 研究者（日语临床方向）：§1 → §2 → §4 → §14.1——先懂数据构成，再懂 2023 基线，照清单开训。

LLM 评测工程师：§1 → §3.3 → §4 → §14.2——重点吸收 KRad-1 prompt 结构与 T 类瓶颈分析，再照清单搭评测。

临床信息学/放射科背景读者：§0 → §2.2 → §12 案例解剖 → §8.2——你们最熟悉的观察者间变异问题在这里被做成语料特性。

数据集构建者：§2.1 漏斗 → §2.2 流程 → §8 四条方法学启示 → §6.4 光谱对照——Radiopaedia 路线的完整蓝图。

库内巡检/互链维护：§9 家族图谱 → 附录 H 互链声明 → 附录 I 存照。

只想快速决策：INFOBOX → §11.4 决策卡 → 结束。

§16 一页速查卡

═══════════════════════════════════════════════════════════════
 NTCIR RR-TNM 速查卡 (ntcicir-rr-tnm)
═══════════════════════════════════════════════════════════════
 数据    243 日语放射报告 = 27 Radiopaedia 肺癌例 × 9 医师
 标签    T{0-4} / N{0-3} / M{0,1}  粗粒度  JLCS 第8版
 划分    train 108/12例 · val 54/6例 · test 81/9例  按病例切
 隐私    零 PHI（虚构患者信息 + 去标识病例）
 许可    CC BY 4.0  Sociocom zip 直链  2025-05-16 版
 任务    三标签文档分类（无 cStage——论文口径）
 指标    T/N/M acc + joint acc + quad weighted κ
 基线    多数类(T1N0M0): joint 0.1975
 2023 最佳  T .6667 / N .8025 / M .9259 / joint .3704
 冠军    NAISTSOCRR-2(三BERT分任务, joint) · KRad-1(gpt-3.5零样本, N/M)
 瓶颈    T 类全员短板——尺寸数值比较是 LLM 弱项
 前作    MedTxt-RR 135份/15例 NER（NTCIR-16, 库内 real-mednlp rid=1122）
 后继    RadNLP 2024: 378日+243英 细粒度+8类span（NTCIR-18）
 谱系    joint acc 0.37(2023) → 0.81(2024)
 检索    sociocom.naist.jp/?p=6910/  ·  DOI 10.20736/0002001328
═══════════════════════════════════════════════════════════════

§17 扩展 FAQ（进阶 16 问）

Q25：为什么测试集是 9 例 81 份而不是别的比例？
12:6:9 是组织方对「训练充足性 vs 测试显著性」的权衡。81 份 test 在五档 T 上的最小类（如 T0）样本有限，这是 RR-TNM 成绩置信区间的根本约束。RadNLP 2024 把 test 扩到 24 例 216 份，就是对这一约束的修正。

Q26：KRad-1 的 gpt-3.5-turbo 用了哪个版本？
论文引用了 gpt-3.5-turbo 的文献条目但未标注具体快照日期（2023 年 7 月比赛窗口内的默认版本）。复现者须知：gpt-3.5-turbo 是持续更新的滚动模型，跨时段复现存在模型漂移。

Q27：报告文本有没有脱敏痕迹（如 <name> 占位符）？
语料本身无 PHI（虚构信息），不需要脱敏占位。报告为自由文本，书写医师自然行文。

Q28：能否用这个数据集训练日语放射报告生成器？
能但不理想：243 份是评测规模，且只覆盖肺癌初诊场景。生成任务建议看库内 reg2026（639）或 chest-ct-sepsis-er（600）等报告生成语料；RR-TNM 更适合当生成器输出分期的评测集。

Q29：标签有没有 stage（分期综合）字段？
没有。论文与数据包口径均为 T/N/M 三标签；cStage 是任务页早期计划口径（坑 2）。Stage 组合可由 T/N/M 自行合成（JLCS 第 8 版组合表），但那是使用者的推导，不是官方标签。

Q30：9 名医师的背景（年资/亚专科）公开吗？
不公开。已知信息仅：均为 board-certified、经 Y’s Reading 招募。病例筛选者是「6 年经验放射医师一人」。

Q31：与同期英文 LLM 分期研究（如 on-premise LLM 论文）怎么对齐？
参考文献 [10]（Fujimoto et al., CClassificaion of cancer TNM stage from Japanese radiology report using on-premise LLM，DOI 10.20736/0002001299）即 kuhp 系统论文——英语界同期有 Sexauer 2018（TNM 完整度统计）等，但 RR-TNM 是第一个把 LLM 零样本 vs 微调放在同榜的日语分期评测。

Q32：三集划分是随机还是分层的？
论文表述为 randomly split（比例 12:6:9），未声明按标签分层——而卡方检验显示 T 分布跨集显著不同，说明随机切分在病例数少时没保住分布。使用者勿假设分层。

Q33：数据集页的 2025-05-16 更新改了什么？
页面只记了更新日期与下载文件，未附 changelog。比对 RadNLP 论文口径可确认语料本体（27 例 243 份）未变——更新更可能是链接维护或页面迁移。

Q34：能不能用 RR-TNM 做弱监督/半监督方法的域适应评测？
可以，但要注意「域」的定义：train/val/test 同源（Radiopaedia+同批医师），域差异只有分布偏移（T 类）。跨真正的域（真实医院报告）需要 RadNLP 或私有数据——RR-TNM 单独无法测域泛化。

Q35：kuhp 的 100 倍数据增强具体怎么做？
随机丢字符 + 打乱句序（论文 §4.2）。这是字符级与句序级两层噪声注入，模拟报告书写变异。kuhp-2 的退化说明增强 + 微调轮数的组合在 7B 日语 LLM 上不稳定。

Q36：评测时有考虑「格式错误置 T0/N0/M0」对成绩的影响吗？
该规则只用于 KRad-1 的 LLM 输出解析（论文 §4.1）。它对 KRad-1 的 T 0.3951 有压低效应（格式错判成 T0）——但这正是「端到端可用性」的诚实计分：生产系统的解析失败就是失败。

Q37：数据集有没有已知的后续分析论文？
组织方在 RadNLP 2024 概述论文中持续引用 RR-TNM（作为对照基线 0.37）；参赛系统论文三篇（Nishio/Fujimoto/Fukushima，NTCIR-17 proceedings）。追踪 Aramaki 实验室与 Nakamura 的后续发表可发现更多使用案例。

Q38：与 UICC 第 8 版的差异会不会影响跨库对比？
JLCS 第 8 版与 UICC 第 8 版高度一致（论文原话 closely align）；主要差异在日本特色的表述细节（如 T 分档的充実成分径术语体系）。与英文库（如 SEER 的 stage 字段）对比时要经过标准映射，不可直接比档。

Q39：想给报告加 NER/span 标注怎么办？
两条路：用 RadNLP 2024 的句子级 8 类 span（覆盖同一语料）；或基于 real-mednlp 的 MedTxt NER 标签体系自行标注（RR-TNM 的 27 例不含于 MedTxt 的 15 例，需新标）。

Q40：库内有没有与 RR-TNM 成绩直接可比的条目？
无。库内英文放射报告条目（radgraph 系）测的是 NER/关系，不是分期 accuracy；mednli 是 NLI。RR-TNM 的成绩体系在库内是孤本——这也正是它的收录价值。

§18 与消歧说明（检索者必读）

本条目在库内属于易混区，三组消歧边界必须划清：

其一：与库内日语文语料的消歧。库内日语医疗数据有 real-mednlp（1122，NTCIR-16 MedTxt：224 病例报告+135 放射报告，NER 标签，日语原文+英译平行）、mdv（515，医院账单结构化数据）、jader（1088，副作用自发报告）、jsrt（147，胸片影像+结节标注）。RR-TNM 与 real-mednlp 同出 NAIST 系共享任务谱系、同为日语临床文本、同为 Sociocom 托管，是最易混的一对：区分锚点是「NTCIR-17 vs NTCIR-16」「TNM 分期标签 vs NER 标签」「243 份 vs 135+224 份」。两者不是同一数据集的两个名字，而是谱系上的两代——合并阅读正确，合并引用错误。

其二：与英文 TNM/分期抽取任务的消歧。库内英文侧没有直接同款（报告级 TNM 分类），但存在三类近邻，检索时易被关键词「TNM」「staging」「lung cancer」拉到一起：radgraph（561）与 radgraph2（622）是英文报告的 schema 抽取（实体会含 TNM 相关概念，但任务是 token 级标注不是报告级分期）；nsclc-radiomics（247）等肺癌影像条目常在元数据中携带 TNM 字段（影像配套的临床标签），但其数据主体是 CT 影像不是文本；mednli（648）是临床推理基准但与 TNM 无关。RR-TNM 的独特坐标是：日语 + 文本 + 报告级分期标签——三者同时成立的库内孤本。

其三：与 RadNLP 2024（后继任务）的消歧。这是最容易在引用层面出错的一组：RadNLP 2024 的日语语料（378 份）包含 RR-TNM 的 243 份，但标签换成细粒度、划分重排、并新增英语翻译轨与句子级 subtask。若论文写「we use the 378-report Japanese dataset」那是 RadNLP；「243-report dataset」是 RR-TNM；两者都用「sociocom.naist.jp」托管、都姓 Nakamura/Aramaki 团队、都与「Radiopaedia 9 医师」叙事绑定。slug 级检索词建议：本条目查 ntcicir-rr-tnm / RR-TNM / MedNLP-SC；后继查 radnlp-2024 / NTCIR-18。

（本节同时提示库内互链维护者：本条目与 real-mednlp 的互链是「谱系前作」关系，与 radgraph 系是「同域异语言」关系，与 RadNLP 未来若入库则是「直接后继」关系——三类关系在附录 H 中已分列。）

§19 逐系统复现手册（2023 七系统全还原指南）

19.1 复现前的准备

硬件/软件：七系统全部可在单卡（24GB）或 API 级别复现——这是 RR-TNM 作为基准的隐藏优点：它诞生于「LLM API + 中型开源模型」时代，没有千亿参数本地部署门槛。
数据：Sociocom zip；只需 train（108）与 validation（54）做训练/调参，test（81）留到最后一次评测。
对照锚点：论文 Table 2 的每格数字即验收线；注意 test 仅 81 份，±3 个百分点内视为复现噪声（坑 8）。

19.2 复现多数类基线（NAISTSOCRR-3）

preds = [("T1","N0","M0")] * 81
# 验收线: T .3086 / N .4198 / M .5926 / joint .1975 / κw 全 0

五分钟可复现。它的价值是校准你对 test 集分布的直觉：T1 占 30.9% 说明 test 12 例 108 份报告里 T1 类报告约占三成——与训练集 T1 主导的分布呼应，但测试集另有明显 T0 段（§2.4）。

19.3 复现 KRad-1（gpt-3.5-turbo 零样本）

Prompt 骨架（论文 §4.1 四要素）：

system: You are a skilled thoracic surgeon.
user: 以下の肺癌取扱規約（第8版）に従い、放射線科レポートの
      T分類・N分類・M分類を判定してください。
      {JLCS 第8版 T/N/M 基準（论文 Table 1 日语原文）}
      出力は JSON 形式で: {"T": ..., "N": ..., "M": ...}
      レポート: {radiology report}

复现要点：

JLCS 标准直接从论文 Table 1 抄日语原文（含 T1mi/T1a/T1b/T1c/T2a/T2b/M1a/M1b/M1c 全细分档与「充実成分径」措辞）——标准文本的完整性直接影响 N/M 成绩；
输出解析用正则抽取 T/N/M 字段；格式非法一律置 T0/N0/M0——这是 KRad 的评测规则，省略它会虚高成绩；
模型漂移提示（Q26）：2023-07 的 gpt-3.5-turbo 与今天同名模型的权重已不同；现代版本复现出更高/更低的数字都不算「复现失败」，应作为新数据点报告。

19.4 复现 kuhp-1/2/3（open-calm-7b 微调）

基座：cyberagent/open-calm-7b（HuggingFace，GPT-NeoX 架构日语 LLM）；
指令微调框架：论文引 Fujimoto et al. 所用框架；现代复现可用 LoRA/QLoRA 等价替代——但要报告配置差异；
数据增强 100 倍：对每份训练报告生成 100 个扰动副本（随机丢字符 + 随机打乱句子顺序）；
混入手工问答对（临床知识注入）——论文未公布 QA 对内容，这是复现的主要自由度；
训练轮数：约 0.35 epoch（kuhp-1）与约 0.69 epoch（kuhp-2/3）；
观察 kuhp-2 现象：同配置重跑可能遇到类似的训练崩塌（κ 全零）——保留 checkpoint，用 validation 上的 κw 而非 loss 做模型选择。

19.5 复现 NAISTSOCRR-1/2（双向 BERT 系）

NAISTSOCRR-1：JMedRoBERTa（sugimoto-iki 等发布的日语生物医学 RoBERTa，学术论文语料预训练）单模型三任务联合——输出层给 T/N/M 三个分类头；
NAISTSOCRR-2：三模型分工——T 用 JMedRoBERTa、N 用 Tohoku-BERT-v3（cl-tohoku）、M 用 UTH-BERT（东京大学医院临床语料 BERT）。分工理由论文未详述，但从结果反推：T 需要最强的通用语义理解（JMedRoBERTa 学术语料覆盖肿瘤学术表述），N/M 是解剖定位（UTH-BERT 的临床语料见过大量解剖描述）；
训练细节：标准 fine-tune（分类头交叉熵），输入为报告全文（日语 BERT 的 512 token 限制下可能需截断/滑窗——论文未说明截断策略，是复现自由度之二）；
验收锚点：NAISTSOCRR-2 的 T 0.6667 与 joint 0.3704。

19.6 复现后的扩展实验建议

架构交叉验证：把 NAISTSOCRR-2 的「三模型分工」套到 LLM 上（三次调用各判一档），把 KRad-1 的「单调用全判」套到 BERT 上——验证 §3.4 的互补性假设是否稳健；
prompt 消融：persona 句、JLCS 标准全文、JSON 指令三要素逐一移除，量化各要素对 N/M 成绩的贡献；
T 类专项：在 T 判定前插入显式数值抽取步骤（正则抽 mm/cm 数值→程序比较阈值）——若 T accuracy 显著回升即坐实「数值比较瓶颈」假说；
跨集稳健性：在 train 上做 12 例的 6-fold 病例级交叉验证，估计成绩方差，再对照 test 的单点成绩。

§20 T 类错误深读：数值比较为什么难

20.1 JLCS T 标准的判定树

把论文 Table 1 的 T 标准翻译成判定树，可以看出语言模型要过的关卡：

原发灶可见？
├─ 否 → T0（或 TX 若只能细胞诊确认）
└─ 是
    ├─ 上皮内癌（充実成分径 0cm 且全体径≤3cm）→ Tis
    ├─ 充実成分径 ≤3cm 且未侵叶支气管 → T1
    │   ├─ 充実成分径 ≤0.5cm → T1mi
    │   ├─ ≤1cm → T1a
    │   ├─ >1cm ≤2cm → T1b
    │   └─ >2cm ≤3cm → T1c
    ├─ >3cm ≤5cm 或（≤3cm 且 侵主支气管不达隆突/脏胸膜浸润/阻塞性肺炎）→ T2
    │   ├─ >3cm ≤4cm → T2a
    │   └─ >4cm ≤5cm → T2b
    ├─ >5cm ≤7cm 或（≤5cm 且 胸壁/横隔神经/心膜浸润或同叶卫星结节）→ T3
    └─ >7cm 或 横隔膜/纵隔/心脏/大血管/気管/反回神経/食道/椎体/隆突浸润
        或同侧异叶卫星结节 → T4

三重挑战叠加：单位与表述归一化（18mm / 1.8cm / 約2cm）、双径制（part-solid 病变：充実成分径 vs 病変全体径，T 分档只看前者）、条件分支（≤3cm 但满足 T2 附加条件仍升 T2）。语言模型若把「3cm 以下でも以下のいずれかであるもの」这类条件句读漏，就会系统性把浸润病例压在 T1——这正是低 T accuracy 但有一定 κw（错误有序）的微观机制。

20.2 报告侧的表达噪声

同一病灶在 9 份报告里的尺寸表述可能横跨：「2.3cm 大の結節」「径約23mm」「23×19mm」「充実成分径15mm・全体径28mm」。多径并存时（长×宽），医师默认取长径；模型若取了短径，1-2mm 的差异恰好跨过 2cm 分界的概率不低。RR-TNM 没有公布每份报告的原始测量值对齐表——这类细粒度错误分析需要研究者自行从报告文本抽取数值重建（§19.6 第 3 条实验即是）。

20.3 从 RR-TNM 到 RadNLP 的进步解剖

两年间 T coarse accuracy 从 0.67 到 0.92（NECMedDX，coarse 口径），驱动因素按 RadNLP 论文的系统描述归纳：

显式推理：CoT 与 few-shot 把「抽数值→比阈值→定档」拆成显式步骤——数值瓶颈被工程化解；
中间监督：句子级 8 类 span（Measure 类标注「主病灶存在与直径的描述句」）让模型先定位证据再推理——分级联结构直接对应 §12.4 的「路由」瓶颈；
规模：训练集不变（108 份），但英语翻译轨使多语模型可借力英文放射文献的预训练分布。

值得记录的对照数字：即便 2024 年 T fine 最佳 0.8889，低名次系统仍有 T 0.0185（TUSNLP）的塌方——瓶颈从「无人能解」变成「能解但脆弱」，这是任务成熟而非任务消失。

§21 与库内条目的深读对照

21.1 与 real-mednlp（rid=1122）的双语料对读

维度	real-mednlp（MedTxt，NTCIR-16）	RR-TNM（NTCIR-17）
规模	224 病例报告 + 135 放射报告	243 放射报告
语言	日语原文 + 英语人工翻译	日语（后继 RadNLP 才有英译）
标签	NER 等（低资源设置）	T/N/M 分期
病例	15 例放射报告部分	27 例（与前作病例互斥）
任务定位	基础设施（NER）	下游应用（分期）
合流	→ RadNLP 2024 日语语料 ←	→ 同左

两库合并构成 42 例 378 份的日语放射报告全集（即 RadNLP 日语语料本体）。研究中先在 real-mednlp 上做 NER 预训练、再在 RR-TNM 上做分期微调的课程路线，等于复刻了组织方的任务谱系。

21.2 与 radgraph（rid=561）的「结构 vs 判定」对照

RadGraph 用 token 级 schema（实体+属性+关系）把英文报告拆成结构化原子；RR-TNM 用报告级标签把日语报告压成三个判定。前者胜在可组合（任何下游任务都能从原子重建），后者胜在直接对齐临床决策（分期就是医嘱的输入）。两个条目合读是「信息抽取的两种哲学」：拆解哲学 vs 判定哲学。LLM 时代的趋势是判定哲学抬头（直接问结论），但可解释性审计仍需拆解哲学——库内同时收录两者恰好构成方法论光谱。

21.3 与肺癌影像四条目的「文本-影像」桥

nsclc-radiomics（247，422 例 CT 影像组学）、nsclc-radiogenomics（257，211 例影像-基因组）、lung-pet-ct-dx（475，355 例 PET/CT 边界框）、nlst（317，26,254 例 LDCT 筛查）——这四个条目都在「影像→分期/结局」侧工作，而 RR-TNM 在「报告→分期」侧。它们之间隔着一层没被库内任何条目直接覆盖的映射：影像所见→报告文本（report generation）。RR-TNM 的 27 例 Radiopaedia 影像原则上可以作为桥样本（影像+9 份平行报告+分期标签），但规模太小；实用路线是把 RR-TNM 当报告侧评测集、影像条目当影像侧训练集，两个模态各自建模型后在分期标签上对齐验证。

21.4 建议互链点汇总（供主会话回填）

real-mednlp /1122/：谱系前作，NTCIR 双璧（R018 纪律：rid 以 DB 实测为准，本条目写作时实测 1122 在架）；
radgraph /561/、radgraph2-radiology-reports /622/、rad-coreference-resolution /621/：英文报告结构化三件套；
mednli /648/：临床推理镜像；
nsclc-radiomics /247/、nsclc-radiogenomics /257/、lung-pet-ct-dx /475/、nlst /317/：肺癌影像侧；
jsrt /147/、mdv /515/、jader /1088/：日语数据生态；
vqa-med /280/：评测任务家族对照。

§22 统计卫生：使用本语料的六条守则

所有 percentage 都基于 81 或更小的分母：报告置信区间（Wilson 区间即可），不要裸报点估计；「T accuracy 提升 5pp」在 81 份下大约是 4 份报告的差距。
病例级聚类：同一病例的 9 份报告强相关，任何显著性检验都应按病例聚类（cluster-robust）或病例级 bootstrap——把 243 份当独立样本会虚假膨胀显著性。
三集分布偏移：跨集比较前先跑卡方（T 类 p<0.01 是已知的）；需要时做先验校正或病例分层重采样。
聚合标签的传递性：把 RR-TNM 粗标签映射到 RadNLP 细标签体系只能向下兼容（粗⊃细的父档），反向映射不可逆。
多医师结构是特性不是噪声：研究表达多样性时病例内变异是信号；研究分期时它构成标签的「核对后残差」——两种用法对同一结构的解读相反，先声明你的用法。
引用三件套：概述论文（DOI 10.20736/0002001328）+ 数据集页（Sociocom ?p=6910）+ 抓取日期。RadNLP 语料引用另加其概述论文——别把两代混引。

§23 结语：小语料的杠杆

243 份报告在医学 NLP 里是小数字——MIMIC-CXR 的 37.7 万份报告面前几乎不可见。但 RR-TNM 的杠杆效应来自三重稀缺性的叠加：日语（非英语临床文本的普遍稀缺）、放射报告（临床文本中最依赖视觉推理的子类）、分期标签（临床决策的直接输入）。它用一个小语料同时撬动了三个社区：日语 NLP 得到第一个分期基准，LLM 评测得到一个数值推理试金石，数据集工程得到一份 Radiopaedia 路线的完整蓝图。

它的局限同样清晰：27 例的病例池撑不起流行病学、粗标签撑不起细粒度分期、无影像撑不起多模态。但组织方用两年时间把这三个局限逐一变成了后继任务（RadNLP 2024）的升级项——小语料没有试图假装自己是大数据集，而是诚实地做完了当前规模下能做的一切，然后把路标立到了下一站。这种「规模诚实、路线连续」的姿态，或许比语料本身更值得库内其他条目的构建者参照。

§24 伦理与合规细读

24.1 隐私链条的三层拆解

RR-TNM 的「无 PHI」声明值得逐层拆解，因为它不是单一措施而是三层设计的叠加：

病例层：27 例全部来自 Radiopaedia——一个「用户上传去标识病例」为存在前提的公开平台。Radiopaedia 的投稿条款要求上传者移除所有直接标识符（姓名、ID、日期、面部信息等）；团队再经四轮人工筛选（§2.1），留下的病例自带「教学展示级」的去标识成熟度。
信息层：报告书写时注入虚构的年龄/性别/病例介绍——表单里的患者背景是编造的。这意味着报告文本中出现的任何人口学信息从源头就是假的，不存在「残留真实信息」的通路。
文本层：报告是 9 名医师的独立创作，不是医院病历的转录——不存在「从真实 EHR 抄出标识符」的风险面。

三层叠加后，CC BY 4.0 的无限制分发才站得住。对比库内其他临床文本条目的合规路径：MIMIC 系走「真实数据 + 重度脱敏 + 凭证准入」，aci-bench 走「角色扮演对话 + 注册分发」，RR-TNM 走「虚构上下文 + 公开病例 + 全开放」——三者是「合规换取开放度」光谱上的三个刻度，RR-TNM 站在最开放端，代价是规模与临床分布真实性（§13 误解二）。

24.2 许可的边界情形

三个容易误判的边界情形：

把 RR-TNM 报告喂给商用 LLM API 训练服务：CC BY 4.0 允许（署名即可）；但若 API 供应商声称「用你的数据训练其模型」，最终模型里的文本来源仍是 CC BY 4.0 语料——合规链条仍闭环，但建议在自家文档保留署名记录。
从报告反向爬取 Radiopaedia 影像再分发：违反 Radiopaedia 许可（多数病例 CC BY-NC-SA 非商用）——语料的 CC BY 4.0 不覆盖上游影像，配对后整体项目被拉低到最严格的上游许可。
翻译 RR-TNM 为其他语言再分发：CC BY 4.0 允许衍生与再分发（署名+标注改动）；但注意 RadNLP 2024 已官方发布了 27 例的英语版（GPT-4 翻译+医师校订）——用官方版比自制版更具可比性。

24.3 「多医师不共识」的伦理面

独立书写、不共识的设计在伦理上还有一个被低估的好处：没有权威压制的生态效度。真实临床里报告由当班医师独立完成，共识会议是事后质控而非书写前提——RR-TNM 的流程与真实工作流同构，其标签的「核对后残差」恰好保留了真实世界的不确定性结构。对安全关键系统（分期影响治疗强度）的评测来说，见过不确定性的数据比打磨过的共识数据更有训练价值——前提是你把它当特性用（§22 守则 5）。

§25 基准迁移指南：RR-TNM 在不同 LLM 时代的用法

25.1 2023 年（任务原点）：零样本可行性的裁决场

RR-TNM 的原生语境：GPT-3.5 刚刚证明「不训练也能做临床判断」，但没人测过日语放射报告这种「低资源语言 × 高推理密度」的角落。RR-TNM 给出的裁决——N/M 可用（>80%）、T 不可用（40%）——是那一年最有信息量的单点证据之一：它把「LLM 能否做临床 NLP」这种二元问题升级为「哪些子任务能、哪些不能」的分解问题。

25.2 2024-2025 年：作为细粒度任务的 coarse 消融基线

RadNLP 2024 之后，RR-TNM 的主要用法变成消融对照：在 RadNLP 细粒度成绩旁边放一列 RR-TNM coarse 成绩，就能量化「标签聚合度」对成绩的贡献——细粒度难，有多少难是分档变多造成的、有多少是任务本质？粗细对照是目前唯一可用的实验设计（同一批医师、同一批病例、两套标签口径）。做这一对照时注意：RR-TNM 与 RadNLP 的 test 划分不同（9 例 vs 24 例），对照要在 RadNLP 语料内自建 coarse→fine 的映射重评，不能直接搬 2023 年的数字。

25.3 2026 年（写作时点）：推理模型的数值试金石

推理型模型（o1/R1 系及后继）的强项恰是「显式多步推理」——而 RR-TNM 的 T 类瓶颈（§20 的判定树）正是为「抽数值→比阈值→走分支」这种推理链量身定做的探针。建议的评测设计：

三档难度设定：直接回答（复现 KRad-1）/ CoT 后回答 / 提供程序化数值比较工具后回答——第三档若显著回升，坐实瓶颈归因；
错误跨度分析：报告 κw 与 accuracy 的差值，识别「有序但偏移」的系统性压档 vs 「无序」的随机塌方；
对照 RadNLP 冠军配置（few-shot + CoT + 集成）：当前旗舰模型零样本应该能到什么水平？若 joint 仍不过 0.8，说明报告级分期仍有残余难度。

25.4 使用寿命判断

RR-TNM 的三种资产有不同的半衰期：文本与标签（243 份金标）半衰期长——只要日语放射报告 NLP 存在，它就是评测集；成绩单（七系统数字）半衰期中——2023 年快照的价值随模型进步衰减，但作为历史锚点不可再生；任务设计（joint 指标、聚合策略、Radiopaedia 路线）半衰期最长——已被 RadNLP 继承，且可迁移到任何语言/癌种。库内收录的本条目按此三层组织：正文硬数字属第二层（永久存照），§8/§14/§19 属第三层（可迁移），数据本体指路第一层。

§26 术语补充（检索与消歧用）

检索词	命中判断
RR-TNM	本条目（NTCIR-17 MedNLP-SC Radiology Report TNM staging）
MedNLP-SC RR	同上
MedTxt-RR	前作语料（real-mednlp 条目，135 份 NER）——非本条目
RadNLP	后继任务（NTCIR-18，378+243 份细粒度）——非本条目
NTCIR-17 医疗	MedNLP-SC = RR-TNM + SM-ADE 两子任务
SM-ADE / Social Media Corpus	MedNLP-SC 另一子任务（四语推文）——非本条目
JLCS 規約	标签标准体系（第 8 版），非数据集名
Sociocom	NAIST 社会计算实验室数据集门户（本条目与前作/后继均托管于此）
Y’s Reading	远程阅片协作公司（医师招募渠道），非数据集名

§27 维护与更新记录

日期	事项
2023-03~07	NTCIR-17 MedNLP-SC 比赛周期（03-10 样例发布 → 07-17 提交截止）
2023-08-01	评测结果公布
2023-12-11/12	概述论文公开（NII リポジトリ / NTCIR-17 会议）
2025-05-16	Sociocom 数据集页更新（开放 zip 下载）
2025-06-10~13	NTCIR-18 RadNLP 2024 收官（语料合流 + 细粒度升级）
2026-10-17	本条目成稿（三源核验：概述论文 PDF 全文 / Sociocom 数据集页 / MedNLP-SC 任务页；RadNLP 概述论文 PDF 交叉核对）

条目边界声明：本条目覆盖 NTCIR-17 RR-TNM 数据集本体（243 份日语放射报告 + T/N/M 粗粒度标签）及其任务、成绩、方法学与库内关系。RadNLP 2024 作为直接后继在 §5 做生态性描述，若其语料未来单独立条，本条目 §5 应改写为互链指向。MedTxt-RR/Real-MedNLP 的细节以 real-mednlp 条目（rid=1122）为准。

§28 附：报告写作规范的镜像价值

RR-TNM 语料有一个常被忽略的次生用途：它是「规范报告该怎么写」的一面镜子。9 名医师在无指示条件下自然产出的 243 份报告，隐含着日本放射报告体的实际分布——所见（所見）与诊断（診断）的结构、尺寸表述的单位习惯、阴性征象的写法（明记「〜を認めない」还是省略不提）。对训练报告生成模型的团队，这份语料提供了「同一影像的 9 种自然写法」的对照集，可以用来：

风格基线：统计所见部分的段落结构与句式分布，作为生成模型的风格正则参照；
完整度审计：对照分期标签反推报告里哪些证据是「必写」的（所有 M1 报告必然提到远隔证据）——反推出「分期完整性清单」；
歧义度量：同一病灶的尺寸表述家族（§20.2）可量化报告的数值表述熵——熵高的表述习惯训练出的抽取模型更鲁棒。

这与 Radiopaedia 路线的精神一致：不指示医师怎么写，才能看见真实的写法谱系；看见了谱系，才能反过来定义「什么是好报告」。对库内报告生成条目（reg2026 等）的构建者，这份「从评测集反推写作规范」的路径值得借鉴——评测集与训练集的价值可以互相流动。

§29 30 秒决策卡（附：一句话版本）

下数据：Sociocom ?p=6910 zip 直链，CC BY 4.0，零申请。
用数据：train 108/val 54/test 81，按病例切；T/N/M 三标签；跨集比较先查分布。
比成绩：对标 joint 0.3704（2023 最佳）；±3pp 内不下排序结论。
要细粒度：换 RadNLP 2024。
引数据：Nakamura et al., Proc NTCIR-17 2023, DOI 10.20736/0002001328。

版本与存档

成稿：2026-10-17，agent-a-ntcicirrrt
核验源：① NTCIR-17 概述论文 PDF 全文（research.nii.ac.jp，7 页）；② Sociocom 数据集页（?p=6910）；③ MedNLP-SC 任务页；④ NTCIR-18 RadNLP 2024 概述论文 PDF（9 页，交叉核对语料合流与后继成绩）
硬数字三源互证完成：243 份 / 27 例 / 9 医师 / 108-54-81 划分 / CC BY 4.0 / T-N-M 最佳 0.6667-0.8025-0.9259 / joint 0.3704
双口径存照：cStage（任务页四标签 vs 论文三标签）；zip 内部结构未实测（遗留疑点）
库内消歧：与 real-mednlp（1122）为谱系两代、与英文 radgraph 系为同域异语言、与 RadNLP 2024 为直接后继——三组边界见 §18

维度	内容
本质	243 份日语放射报告 + 逐份 T/N/M 粗粒度分期标签的三标签文档分类语料（非影像集、非 NER 集）
来源	Radiopaedia 27 例肺癌 CT 病例 × 9 名 board-certified 放射医师独立书写（经 Y’s Reading 远程阅片公司招募）
任务	NTCIR-17 MedNLP-SC Radiology Report (RR-TNM) Subtask，2023 年，主席 Yuta Nakamura / Shouhei Hanaoka
标注	JLCS（日本肺癌学会）第 8 版聚合：T0-T4、N0-N3、M0/M1；标签由书写医师给出后人工核对
划分	按病例切分：train 108 文档/12 例 · val 54/6 · test 81/9（12:6:9）
首发成绩	T/N/M 最佳 accuracy 67% / 80% / 93%；joint accuracy 最高仅 0.3704（NAISTSOCRR-2）
意外发现	gpt-3.5-turbo 零样本在 N/M 超 80%，不经训练胜过微调的日语 LLM 与 BERT 系；T 类全员瓶颈
瓶颈解释	N/M 只看解剖部位，T 需把肿瘤尺寸数值与标准阈值比较——语言模型的弱项
许可	CC BY 4.0，Sociocom zip 公开直链（2025-05-16 更新版），无需注册申请
隐私	零 PHI：报告非来自真实医疗机构，而是对 Radiopaedia 去标识病例的独立解读
谱系	MedTxt-RR（135 文档，NTCIR-16）→ RR-TNM（243，NTCIR-17） → RadNLP 2024（378 日+243 英，NTCIR-18）
库内互链	real-mednlp（直系前作）、radgraph 系（英文同任务域）、nsclc-radiomics（肺癌影像侧）、mednli