CATS-58 — 临床缩写义项消歧平衡基准集

INFOBOX — CATS-58 一屏速览

维度	内容
本质	临床缩写义项消歧（acronym sense disambiguation）方向的平衡基准集，非采集型语料、非挑战赛
团队	University of the West of England（UWL）——Nevena K. Dicheva（通讯）/ Sama Aleshaiker / Laden Husamaldin
发布	Hugging Face NevenaD/CATS-58；DOI 10.57967/hf/7114；论文 Under review / In preparation
规模	58 缩写 × 2 义项 × 150 句 = 17,400 条（义项间完全均衡）
字段	acronym / sense / sentence 三件套，扁平表，CSV 与 JSON
体积	原始 1.74 MB；Parquet 转换分支 654 kB
生成方式	CASI 灵感 → 义项关键词受控词表 → 模板句生成 → 临床嵌入过滤 → 人工验证 + 注册护士校验
许可	CC BY 4.0（单层，公开直链，无门禁）
亮点	义项完全均衡——直击既有无基准集的严重义项失衡与多义痛点
短板	全合成句、每缩写仅 2 义项、无 baseline、无真实 EHR 噪声、论文在审
定位	受控压力测试集，须与真实去标识临床文本（如 MIMIC-IV-Note）配对使用
库内互链	UMLS（558）、SNOMED CT（557）、MedMentions（390）、JNLPBA（442）、i2b2/n2c2（14）
检索提示	勿与 Zenodo 上鲸类生物日志的 CATS_58.txt（动物追踪标签，同名数字巧合）混淆

CATS-58 是一个"专治临床缩写看不明白"的数据集：临床上 AB、CA、PAC 这类两三字母缩写随处可见，同一个缩写在病历里可能是完全不同的意思，人读错会误诊、机器读错会误判医嘱。以往的评测集在这个问题上有一个共同的毛病——义项分布严重失衡，常见义项压倒性多、罕见义项样本寥寥，于是模型学会了"猜多数"就能刷到高分。CATS-58 的做法很直接：选 58 个高歧义缩写，每个只保留 2 个义项，每个义项严格 150 句——把平衡做成硬约束，让"猜多数"这条捷径收益归零。

导语读法三则：

1. 只想下数据：直奔 §6——CC BY 4.0 公开直链，load_dataset("NevenaD/CATS-58") 一行可取，无需申请。
2. 要给自己的系统找压力测试：直奔 §4 与 §5——理解"完全均衡"这个设计做了什么、以及它与真实病历的差距在哪。
3. 要做数据集综述：直奔 §8 生态位与 §10 避坑——本条目最容易被误认成别的 CATS（鲸类追踪标签）或 CASI 本体。

§0 导读：这个数据集解决什么问题

0.1 临床缩写：一个被低估的高频歧义源

医学文本里缩写的密度远高于普通英语。一份真实病历里，“CA” 可以是 cancer（癌）、calcium（钙）、coronary artery（冠状动脉）、cardiac arrest（心脏停搏）；“AB” 可以是 antibody（抗体）、abortion（流产）、AIDS 相关脑病、血型 AB；“PAC” 可以是 premature atrial contraction（房性早搏）、premature atrial complex、pulmonary artery catheter（肺动脉导管）。这些不是同义词，是同一个字符串承载的互不相容的医学概念。

对人类读者，语境通常能消歧；对机器，这构成一个典型的词义消歧（word sense disambiguation, WSD）问题，只不过词表从"多义词"换成了"缩写-义项"映射表。任务形式化后非常干净：给定一句临床文本与其中出现的缩写，预测该缩写在句中的正确义项。

0.2 既有评测集的三个结构性问题

CATS-58 的数据集卡把自己的动机写得毫不客气，直接点名既有资源的三类顽疾：

1. 义项严重失衡（severe sense imbalance）。多数消歧数据集里主义项占比极高，模型只要"永远选最常见义项"就能拿到看起来不错的分数。这种基线吃掉了大部分指标空间，使得真正需要区分力的少数样本被统计噪声淹没。
2. 临床缩写的重度多义（high polysemy of clinical abbreviations）。同一缩写的义项数在真实语料中可达十余个，而样本量不足以支撑每个义项都被充分学习。
3. 语境多样性不足（limited contextual diversity in real-world resources）。义项虽然多，但每个义项的同质化例句稀少，模型学到的是"关键词匹配"而不是"语境推理"。此外，缺少面向混合可解释管线（hybrid and explainable pipelines）的平衡基准。

这三条合起来指向一个结论：既有的评测集在衡量"消歧能力"这件事上信噪比太低。

0.3 CATS-58 的答案：把平衡做成硬约束

CATS-58 的应对策略可以概括为"三刀"：

刀	动作	代价
第一刀剪义项数	每个缩写只保留 2 个义项，砍掉罕见义项	放弃对长尾义项的覆盖
第二刀剪分布	每个义项严格 150 句，义项间完全均衡	主义项样本被刻意压低
第三刀剪句式	用受控模板批量生成，并在缩写位置上均衡（句首/句中/句尾）	句式规律性上升，自然度下降

代价是明确的：它不再是"真实语料抽样"，而是受控合成的压力测试集。收益同样明确：任何"猜多数"的基线策略在这里都失效，指标直接反映真实的语境区分能力。

0.4 §0 读法三则

1. 不要把它当训练集的主力。17,400 句相对真实临床 NLP 的训练需求（百万句量级）很小；它的位置是评测与校准，不是预训练燃料。官方 Recommendations 节也把它定位为 benchmarking 与管线开发。
2. "完全均衡"是设计宣称，使用时要自己守住。官方不提供 train/val/test 划分，只建议"按缩写与义项做分层切分"——一旦你随机切分，义项平衡就可能被破坏，本数据集最核心的价值也就漏掉了（详见 §5.4）。
3. 同名陷阱极多。“CATS” 这个缩写在生物医学外还有另一批高知名度含义（动物追踪标签 CATS tag、若干临床试验缩写），检索时必须带限定（详见 §10 坑 7）。

§1 数据集速览：十问十答

Q1：CATS-58 到底是什么、名字怎么读？

全称 Clinical Acronym Test Set，58 指 58 个临床缩写。它是一个临床缩写义项消歧的平衡基准数据集。名字里的 “Test Set” 已经点明用途——它是拿来测的，不是拿来训的（虽然技术上下载下来也能训）。

Q2：规模到底是多少？

三个数字连乘：58 缩写 × 2 义项/缩写 × 150 句/义项 = 17,400 条。每一条是一行，包含缩写、义项、句子三个字段。这个乘法关系是硬约束而非约数——官方原文写的是 “150 sentences per sense” 与 “Fully balanced across senses”。

Q3：数据长什么样？

一张扁平表，一行一个实例，三个字段：

字段	内容	举例（示意）
acronym	歧义缩写	CA
sense	金标准义项	cancer
sentence	含该缩写的临床句	一句提到该缩写的临床语境句

格式为 CSV 或 JSON（HF 另提供自动转换的 Parquet 分支）。没有额外字段：没有句法树、没有实体标注、没有义项锚点位置（缩写可能在句首/句中/句尾，需自行定位）。

Q4：义项为什么是 2 个？

这是刻意的收窄。真实临床缩写的义项数往往远多于 2，但样本量跟不上；把义项数压到 2 可以让每个义项拿到足量（150 句）且等量的样本，从而构造一个信噪比高的二义判别任务。代价是不覆盖长尾义项——官方在 Limitations 里自己承认了这一点。

Q5：句子是谁写的、怎么来的？

四步流水线：① 基于 CASI（Clinical Abbreviation Sense Inventory）与临床领域相关性定义缩写-义项对；② 为每个义项构造义项特异性临床关键词受控词表；③ 用结构化模板 + 受控变化生成 150 句；④ 校验义项平衡、语境区分度与无 PII。

生成之后还有两道过滤：临床嵌入模型做语义过滤（确保句子与义项语义对齐）、人工验证歧义案例，并由一名注册护士验证句子的临床合理性。

Q6：有真实患者数据吗？

没有。官方明确声明 “No real patient records or identifiable health data were used”，句子是合成但临床扎根的（synthetically generated but clinically grounded）。

Q7：有论文吗？怎么引用？

论文尚在 Under review / In preparation，没有 DOI、没有期刊名、没有预印本编号。当前的规范引用方式是数据集本身：doi = 10.57967/hf/7114（Hugging Face 数据集 DOI），BibTeX 作者为 Dicheva / Aleshaiker / Husamaldin，年份 2025。这是本条目与库内绝大多数条目的结构性差异——没有可引的同行评审文献锚点。

Q8：授什么权？能商用吗？

CC BY 4.0——署名即可，允许商用、允许修改、允许再分发。前提是保留署名（数据集卡给了 BibTeX 与 APA 两种格式）。注意：许可宽松不等于可以上临床，官方在安全考量里明确写了未批准临床部署。

Q9：我能拿它测什么？

四类用途（官方 Uses 节）：训练临床缩写消歧模型、医学义项分类、评测生物医学句嵌入模型（看嵌入空间是否真的分开了不同义项）、搭建语义 + 关键词的混合可解释管线。另加两类应用向用途：医学 RAG 与护理/医学教育的智能辅导系统（ITS）。

Q10：它最大的短板是什么？

一句话：全是合成句。官方自己列了一串没覆盖到的东西——非正式临床速记、真实 EHR 的噪声与变异、话语级复杂度。结论也很坦白：只在受控条件下训练的模型会高估自己的置信度，一到非结构化真实病历上就掉分。所以它必须和真实去标识临床文本配对使用，这条在 §7 会展开。

§2 数据构成与规格

2.1 规模的三层拆解

CATS-58 的总量不是一个孤立的数字，而是一个严格的三级乘法结构：

层级	数量	说明
缩写（acronym）	58	选定的高歧义临床缩写
义项（sense）	2 / 缩写	每个缩写的义项数固定为 2，合计 116 个义项
句（sentence）	150 / 义项	每个义项的句子数固定为 150
合计实例	17,400	58 × 2 × 150，一行一实例

三层都是等量而非"约等于"：义项间 150:150，缩写间 2:2。这正是"balanced"一词的全部含义——在缩写维度与义项维度上双重均衡。

值得注意的是这个 17,400 与库内动辄十万、百万级的文本数据集相比并不大：它的体积（原始 1.74 MB）也就相当于一张高清照片。CATS-58 的价值不在规模，在结构。

2.2 字段表与数据形态

官方给出的字段定义：

字段名	类型	描述（官方口径）
acronym	string	歧义临床缩写（如 AB、CA、PAC）
sense	string	该缩写的正确展开义项（金标准标签）
sentence	string	含该缩写的语境丰富临床句

数据形态：Flat table（one instance per row）——扁平表，一行一个实例。文件格式：CSV / JSON；HF 另提供 refs/convert/parquet 分支（2025-11-29 由自动转换 bot 建立），供 datasets 库与在线 viewer 直读。

没有的东西同样值得记录：

• 没有 split 字段（官方不给 train/val/test，见 §5.4）
• 没有标注者字段（不给"这句谁写的/谁验的"粒度信息）
• 没有缩写位置字段（句首/句中/句尾只在生成时被打散，不在数据里显式标注）
• 没有 UMLS/SNOMED 概念标识符（义项是字符串，不是受控概念 ID——这是与 §8 的术语本体条目的关键断层）

最后一点尤其重要：sense 字段是自由文本而非本体编码，这意味着跨数据集的义项对齐需要使用者自行做术语映射（见 §8.4）。

2.3 去标识与隐私

官方声明极为干脆：无真实患者记录、无可识别健康数据。整个数据集由合成句构成，因此不存在去标识（de-identification）这一环节——没有可去标识的原始文本。

对使用者的实际含义：

1. 无伦理审批负担：不像 MIMIC 系列需要数据使用协议（DUA）与 IRB 备案，CATS-58 可以直接下载、直接进管线。
2. 但也没有真实分布：隐私上的零风险，正是真实性上的零收益。它不能替代任何真实临床语料（§7.3 展开）。
3. PII 校验是主动做的：官方把"absence of personally identifiable information"列为最终三条校验项之一——因为模板生成仍可能意外产出形似人名/地名/日期的字符串，需要显式排查。

2.4 语言与地域偏倚

数据集语言为 English (en)。官方在 Limitations 里把偏倚说得很直白：数据集反映 Anglophone 生物医学语言规范（范指英语国家），可能限制：

• 文化与机构多样性（cultural and institutional diversity）
• 国际病历书写风格（international documentation styles）

对中文场景的直接警示：中文病历里的缩写体系与英文并不重合（中文常见的"心梗""房颤"多为汉字词或拼音缩写），且英文缩写在不同国家的展开习惯也不同（例如同样是 MS，英语国家的多发性硬化 vs 其他语境）。把 CATS-58 直接迁移到中文临床 NLP 需要额外的术语映射与义项重定义工作，不能假设义项集合通用（详见 §10 坑 6）。

2.5 与 CASI 的血缘关系

CATS-58 的数据集卡在介绍与源数据两处都点明其灵感来源是 CASI = Clinical Abbreviation Sense Inventory。理解这一血缘是理解 CATS-58 定位的关键：

维度	CASI（灵感源）	CATS-58（本条目）
性质	缩写-义项清单（sense inventory）	带句子的实例级基准数据集
主要内容	缩写与可能义项的枚举	缩写 × 义项 × 语境句 三元组
均衡性	未以均衡为核心设计	义项完全均衡是核心设计
规模形态	清单式	17,400 条实例，扁平表

CASI 提供"有哪些缩写、各有哪些义项"的知识骨架，CATS-58 提供"每个义项在真实语境里长什么样"的实例肉。这两者不是竞争关系而是接力关系——CATS-58 相当于把 CASI 的义项清单"落地"为可训练的语料。

需要说明的是：CASI 本体（哥伦比亚大学出品的 Clinical Abbreviation Sense Inventory）在检索上常与生物医学文献中的其他缩写资源混淆，且其自身的公开可得性形态在本次抓取的网络预算内未做独立实核——这一条已列入 FACTS §9 遗留疑点，条目正文不做超出官方卡表述的断言。

§3 构建流水线：从义项清单到 17,400 句

3.1 四步总览

官方在 Data Collection and Processing 节把构建过程写成四条，顺序即因果：

步	动作	产出	质量控制点
①	基于 CASI 与临床领域相关性定义 acronym–sense 对	58 × 2 = 116 组	领域相关性判断
②	为每个义项构造义项特异性临床关键词受控词表	116 份关键词表	关键词须"只属该义项"
③	用结构化模板 + 受控变化生成 150 句/义项	17,400 句	缩写位置均衡
④	四项终校：义项平衡 / 语境区分度 / 无 PII / 人工验证	定稿数据集	人工 + 注册护士

这四步的巧妙处在于第 2 步把"消歧"问题前移了：不是先写句子再判断义项，而是先把"这个义项专属的词"列出来，再让句子围绕这些词长出来。这样生成的句子天然带着义项信号，语义过滤才有意义。

3.2 第 2 步的深意：义项特异性关键词为什么是关键

考虑 CA 的两个义项 cancer 与 calcium。如果只让模型自由生成句子，很可能产出"CA level was elevated"这种两个义项都讲得通的句子——这类句子对消歧训练毫无价值，反而引入标签噪声。

受控关键词词表的作用是强制引入判别性证据：cancer 义项的句子会倾向于出现 tumor、malignancy、biopsy、metastasis 一类词；calcium 义项则倾向于出现 serum、mmol/L、hypercalcemia、parathyroid 一类词。于是每个句子至少携带一条"指向唯一义项"的硬证据。

这一设计的双重后果必须一起看：

• 正面：语境区分度被保证，义项标签的可信度高，适合做"嵌入是否分得开"的评测。
• 负面：模型可能学会只抓关键词而不做真正的语境推理——这正是"受控生成导致的文体规律性"（stylistic regularities）的来源。真实病历里，“elevated CA” 可能要靠上下文更长距离的信息才能判断，而这里的句子往往一个词就泄露答案。

给使用者的实操建议：若用 CATS-58 做嵌入评测，建议额外做一次关键词遮蔽消融（把义项特异性关键词替换为中性词，再测同一批句子），两次分数的差值就是"关键词依赖度"。这是本数据集一个非常有价值的用法，但官方并未提供，需要自行实现（§9.3 给出骨架）。

3.3 第 3 步的受控变化：缩写位置均衡

“Controlled sentence length and position variation of acronyms”——这是数据卡 Design Properties 里的一条，具体化为 balanced for acronym position（start, middle, end）。

为什么要在意缩写在句子的哪个位置？

1. 位置影响可消歧难度。缩写出现在句首时，读者/模型还看不到任何语境，只能靠后续内容回看；出现在句尾时，语境已经全部给出，判断更容易。若数据集中缩写全在句尾，评测会系统性高估消歧能力。
2. 位置影响注意力机制的作用方式。Transformer 类模型对长距离依赖的处理在不同位置表现不同，位置分布偏斜会让评测带有隐藏的架构偏好。
3. 位置均衡是可核查的设计声称。因为它是三档均衡分配，使用者可以在下载后自行验证每个义项的句子在位置上的分布是否接近 1:1:1——这是一条可复现的质量抽查点（§9.2 给出核查脚本骨架）。

注意：位置并不在数据字段里，需要使用者从 sentence 字段自行定位缩写出现的字符位置再分类。官方只做了生成侧的均衡，没有把位置标签一并交出。

3.4 语义过滤与人工验证

生成之后不是直接发布，而是过两道关：

第一道：临床嵌入模型语义过滤（semantic filtering using clinical embedding models）。具体做法是用临床领域预训练的句嵌入模型计算"句子"与"义项描述/关键词表"的语义相似度，剔除相似度过低的句子——这类句子通常是模板填槽失败的产物（语法通但语义不搭）。

值得注意的口径缺口：官方只写了"clinical embedding models"这一类属，没有披露具体型号（是 BioBERT 派生的句嵌入？PubMedBERT？还是通用模型？）。这直接影响可复现性——如果别人重做一遍，用不同嵌入模型会得到不同过滤结果。此点列入 FACTS §9 遗留疑点。

第二道：人工验证（manual validation of ambiguous cases）。针对"歧义案例"——即语义过滤得分处于边界、嵌入模型自己也拿不准的句子——由人工判定其义项归属。官方没有披露验证的规模（验证了几条、占总量比例、由谁验证）。

第三道（未被列入四步但写入源数据节）：注册护士验证。数据卡 “Source Data” 节写 “validated by a registered nurse”——一名注册护士对句子的临床合理性做了校验。这是保证"合成句不至于荒谬"的关键一环，但同样没有披露规模与形式（全量逐句？抽样？）。

三条验证加起来，可以给出的定性判断是：质量控制在"合成数据集"这个类别里属于偏严的一档（有语义过滤 + 人工 + 临床人员三层），但每一层的可复现细节都未充分披露。这在只有数据集卡、没有论文的情况下是必然结果——论文在审，方法细节只能等。

3.5 流水线的可迁移性

这套"义项清单 → 关键词表 → 模板生成 → 过滤 → 人工验证"的流水线本身是可迁移的资产，尤其对非英语临床 NLP：

1. 选取本地高歧义缩写集合（中文可用"心梗/房颤/慢阻肺"类汉字缩写，或拼音首字母缩写）
2. 为每义项构造本地语言特异性关键词表（中文需注意同义词与省略表达）
3. 用本地病历风格模板生成，注意句式多样性可能需更多模板
4. 做本地语言的语义过滤（中文临床嵌入模型）与临床人员验证

最大的迁移障碍不是技术，而是真实义项空间的确定——中文病历的缩写义项分布没有 CASI 这样的现成清单，需要自建 sense inventory。这恰是 CATS-58 最难被简单复制的地方：它的价值一半在句子，一半在背后那套 116 个义项的定义。

§4 任务定义与评测设计

4.1 任务形式化

CATS-58 支持的核心任务是缩写义项分类（acronym sense classification），一种受限的词义消歧：

给定输入 (sentence, acronym)，输出 sense ∈ S(acronym)，其中 |S(acronym)| = 2。

三类衍生任务：

任务	输入	输出	用途
义项分类（主任务）	句子 + 缩写	义项标签	消歧模型训练与评测
句嵌入评测	句子	向量	检验嵌入空间是否按义项聚类
混合管线评测	句子	义项 + 判定依据	可解释性（关键词证据 vs 语义证据）

第二类（句嵌入评测）是数据卡"Uses"节明确点出的——“Evaluating biomedical sentence embedding models”。这是一个容易被忽视但极具价值的用法：因为义项完全均衡，任何嵌入模型在这个数据集上的聚类指标都不受类不平衡干扰，是一个干净的表征质量探针。

4.2 为什么"二义"比"多义"更适合做基准

初看 2 义项是简化，细想是评测设计的优化：

1. 指标退化风险最小。多义任务中，macro-F1 与 micro-F1 的差距会被类不平衡放大，读者常在两种口径间摇摆；二义且均衡时，accuracy、macro-F1、micro-F1 三者数值接近，报告口径的争议大幅下降。
2. 随机基线明确。二义均衡时随机基线恰为 0.5，任何 0.5 以上的提升都可直接解释为"学到了语境"。多义且不均衡时，随机基线与多数类基线不重合，解读需要额外说明。
3. 可做配对检验。同一缩写的两个义项样本量相等，可以构造严格配对的统计检验（每个缩写的准确率作为一个观测，58 个缩写给 58 个观测），检验模型是否在"某些缩写上系统性更好"。这是多义不平衡数据难以实现的。

代价是不覆盖长尾——若真实系统的失败模式集中在罕见义项，CATS-58 测不出来。它的定位由此确定：测"基础消歧能力"，不测"全覆盖能力"。

4.3 建议的切分策略（官方未给，本文补）

官方明确"不提供预定义划分"，并建议 “stratified splitting per acronym and sense”。字面含义是按缩写与义项分层——但这里有一个必须讲清楚的技术陷阱：

如果你按 80/20 随机切分每个 (缩写, 义项) 组，得到的是"同分布测试集"：训练与测试句子来自同一模板池、同一关键词表。这样的切分测不出泛化，只测得出"模型能否记住这个缩写的这个义项"。

更有价值的三种切分（本文建议，非官方）：

切分方案	做法	测什么	难度
S1 同分布（官方字面）	每个 (缩写,义项) 组内 80/20 随机	基本拟合能力	低
S2 留缩写（leave-acronyms-out）	留出若干缩写的全部数据作测试	对新缩写的泛化	中
S3 留义项（leave-senses-out）	对每个缩写，用 1 个义项训练、另 1 个义项测试	对未见义项的泛化（最难）	高

S3 尤其值得做：它逼模型理解"这个缩写在这个语境里表示什么"而不是"这个缩写通常是哪两件事之一"。若 S1 高分而 S3 接近 0.5，说明模型学到的是缩写级先验而非语境级推理——这是本数据集能揭示的最有价值的失败模式。官方 Recommendations 也强调必须评测 “out-of-distribution acronym contexts” 与 “low-frequency edge cases”，S2/S3 正是这一建议的可操作化。

4.4 指标建议

指标	计算口径	适用
Accuracy	全体正确率	主指标（二义均衡下最直观）
Macro-F1	义项级 F1 的算术平均	与 accuracy 对照，均衡时应接近
每缩写准确率（58 个值）	按 acronym 分组算准确率	做配对检验、找弱点缩写
嵌入聚类指标	silhouette / NMI / 线性探针准确率	句嵌入评测场景
关键词遮蔽增益差	原句准确率 − 遮蔽关键词后准确率	诊断关键词依赖度（§3.2）

不要报告的东西：不要报"多数类基线"——在完全均衡的数据上它等于 0.5，与随机基线重合，报了也没有信息量。这一点与在其他不均衡数据集上的惯例相反，值得在方法节里显式说明，否则审稿人会追问为什么没报。

4.5 与混合可解释管线的接口

数据卡把"Explainable hybrid NLP pipelines combining semantics and keywords"列为用途之一，这暗示了一种双通道架构：

• 关键词通道（确定性）：查义项关键词表，命中即给出候选
• 语义通道（概率性）：句嵌入相似度给出候选
• 仲裁层：两通道一致则输出，冲突则按置信度或规则裁决

CATS-58 之所以适配这一架构，是因为它的句子被设计成关键词可命中（义项特异性词表的存在保证了这点）。这使得"关键词通道"的召回率天然较高，可以把混合管线的上限与纯语义管线的差距量化出来。

反过来说，这也暴露了评测的偏乐观风险：CATS-58 上混合管线的漂亮分数，很可能在真实病历上大幅回落——因为真实病历的关键词通道会因缩写变体、拼写错误、省略而频繁失效。这就是 §7 反复强调"必须与真实语料配对"的技术根因。

§5 数据质量解剖：优势与代价的量化视角

5.1 官方自认的四类技术局限

数据卡 “Technical Limitations” 节写了四条，逐条转译并加注后果：

官方局限	原文要点	实际后果
合成性	无法完全捕捉 informal clinical shorthand 与 noisy real-world EHR variability	真实部署时性能下降；短形式、错拼、地方缩略语不在词表内
二义上限	真实用法可能含更多罕见义项	系统在真实文本上会遇到"第三种意思"，且没有拒识（reject）训练信号
句式规律	受控生成带来 stylistic regularities 与 discourse-level complexity 下降	模型可能依赖句式模板线索；长文档级消歧能力未被覆盖
语言文化偏倚	反映 Anglophone 生物医学语言规范	跨语言、跨机构迁移时义项定义与用词习惯均需重做

四条里杀伤力最大的是前两条，后两条是程度问题。

5.2 三类社会技术风险（Sociotechnical Risks）

官方另起一节写"模型风险"，措辞比技术局限更严厉：

1. 过度自信风险：“Models trained exclusively on CATS-58 may overestimate confidence under controlled linguistic conditions”——只在受控语言条件下训练的模型，会把"我在训练集上很准"误当成"我在临床上很靠谱"。这类模型在真实病历上不仅掉分，还掉得没有预警。
2. 真实病历性能下降：“Underperform on unstructured real clinical notes”——非结构化自由文本是本数据集的盲区。
3. 文化与制度多样性缺失：见 §2.4。

这三条合起来其实是同一个警告的不同侧面：受控条件与真实条件之间存在系统性落差，而这个落差不体现在 CATS-58 的指标上。你不可能通过刷 CATS-58 的分数来发现这个落差。

5.3 安全考量：一个罕见直白的官方红线

数据卡 Safety Considerations 节写得毫不含糊：

Incorrect acronym disambiguation in clinical contexts can contribute to documentation errors, misinterpretation of orders or findings. For this reason, CATS-58 is not approved (yet) for clinical deployment, and is strictly intended for research and education.

拆开看：

• 危害路径：误消歧 → 病历记录错误 → 医嘱或检查结果误读。这不是抽象风险：把 PAC 从"房性早搏"误判为"肺动脉导管"直接改变处置方向。
• 官方立场：未批准临床部署（not approved yet），严格限于研究与教育。"(yet)"这个括号保留了未来可能性，但也意味着当前没有任何临床验证背书。
• 延伸要求：Recommendations 节要求使用方"always evaluate systems on: out-of-distribution acronym contexts, low-frequency edge cases"，并"clearly communicate that models trained on this dataset are decision-support only, not diagnostic tools"。

这是一个罕见的、由数据集作者主动划出红线的数据集。多数数据集把风险声明写成免责套话，CATS-58 则明确写了"误用会导致什么"。对要把它写进产品文档的团队，这段是必须转述给合规与临床团队的。

5.4 "完全均衡"的两面性

均衡是 CATS-58 最大的卖点，但它同样是一把双刃剑：

正面（相对于不均衡数据集）

• 消除"猜多数"捷径，指标反映真实判别力
• 随机基线与多数类基线重合（0.5），解读成本低
• 义项间可直接对比（150:150 配对），支持严格的统计检验
• 适合做嵌入空间的"干净"聚类评测

负面（相对于真实分布）

• 分布失真：真实临床文本里主义项占比极高，CATS-58 的 50:50 与真实先验严重不符。在 CATS-58 上训出的分类器，先验是错的——若直接部署，会对罕见义项过度预测（假阳性飙升）。
• 正确的用法规避：把 CATS-58 用作测试集而非训练集，或在训练时用真实语料估计先验后做先验校正（prior correction / logit adjustment）。这一条官方未明说，但它是"均衡数据集"使用者的必修课。
• 不可当"义项频率表"：任何从 CATS-58 统计出的义项频率都是人造的 50:50，与临床实际无关。若有论文用 CATS-58 的义项分布论证"某缩写以某义项为主"，那是彻底的误用（§10 坑 3）。

5.5 质量抽查清单（使用前的五步）

下载后建议按下面五步自查，每步都能在十几行代码内完成（脚本骨架见 §9.2）：

步	检查	期望	异常时的含义
1	行数 = 17,400	完全相等	版本/切分异常
2	唯一 acronym 数 = 58	相等	缩写集合缺失
3	每 (acronym,sense) 组行数 = 150	全部相等	均衡性被破坏
4	每缩写义项数 = 2	全部相等	义项定义异常
5	缩写位置三档分布	大致 1:1:1	位置均衡未落实

第 5 步是唯一有容差的检查——因为位置统计依赖"如何定位缩写"（整词匹配还是子串匹配），不同规约下会略有差异。若三档严重偏斜（例如句尾占 70%），说明位置均衡未真正实施，评测的可信度需要打折。

§6 获取、许可与使用门槛

6.1 一行代码到手

CATS-58 的获取路径在库内属于最简一档——无注册、无申请、无 gating、无 DUA：

from datasets import load_dataset

ds = load_dataset("NevenaD/CATS-58")
print(ds)                      # 查看 split 结构（官方未预划 split）
df = ds["train"].to_pandas()   # 或按实际 split 名取用
print(df.head())
print(df.groupby(["acronym", "sense"]).size().describe())  # 抽查均衡性

若 datasets 库版本较新，会走 refs/convert/parquet 分支（2025-11-29 由自动转换 bot 建立），读取更快；若走不通，也可直接在网页端下载原始 CSV/JSON（1.74 MB，秒级完成）。

替代入口：HF 数据集页面的 “Files and versions” 提供原始文件逐个下载；镜像站（如 hf-mirror.com、huggingface.cn）可作网络受限环境的备选——但镜像不是官方源，引用时仍须指向 huggingface.co/datasets/NevenaD/CATS-58 与 DOI 10.57967/hf/7114。

6.2 许可条款的实际义务

CC BY 4.0 是四类 CC 协议中最宽松的之一，义务只有一条：署名（Attribution）。具体到 CATS-58：

你能做的	条件
商用	允许（CC BY 不排斥商业使用）
修改/衍生	允许（可改、可扩、可翻译）
再分发	允许（可打包进自己的数据集）
训练模型并商用模型	允许（训练行为本身不构成"演绎"，且即使构成，CC BY 也允许）
不署名直接用	不允许

署名方式用官方给的 BibTeX 或 APA 即可（见 §6.4）。CC BY 4.0 无"禁止演绎"（那是 ND）、无"非商业"（那是 NC）、无"相同方式共享"（那是 SA）——这一点值得与库内其他条目对照：例如 PANDA 本体的 CC BY-NC-SA 限制商用且要求传染式共享，MIMIC 系列的 DUA 限制再分发。CATS-58 在许可上是库内最开放的一档。

一个实务提醒：CC BY 4.0 允许修改，但修改后的版本不应再冒充 CATS-58。若你扩充了义项或改写了句子，应明确标注"基于 CATS-58 修改"，并保留原署名——这是"署名"义务在衍生场景下的标准做法，不是额外限制。

6.3 版本链与快照存档

层	位置	说明
原始文件	HF 主分支（CSV/JSON）	主发布形态
Parquet 转换	refs/convert/parquet 分支	2025-11-29 由 bot 自动建立
数据集 DOI	10.57967/hf/7114	引用时应同时给出 DOI 与 HF URL
镜像	hf-mirror.com / huggingface.cn 等	非官方，仅作下载通道

版本管理建议：HF 数据集会更新（作者可随时提交新版本），而 CATS-58 没有 Zenodo 快照，因此复现性依赖你自己冻结版本。做法是在论文中记录 HF 仓库的 commit hash（网页 “Files and versions” 可查），或下载后自存一份并计算文件 MD5。这一点在只有数据集卡、没有期刊快照的情况下尤须注意。

6.4 规范引用格式（官方两种）

APA：

Dicheva, N. K., Aleshaiker, S., & Husamaldin, L. (2025). CATS-58: Clinical Acronym Test Set [Dataset]. Hugging Face. https://doi.org/10.57967/hf/7114

BibTeX：

@dataset{dicheva_2025_cats58,
  author    = {Dicheva, Nevena K. and Aleshaiker, Sama and Husamaldin, Laden},
  title     = {CATS-58: Clinical Acronym Test Set},
  year      = {2025},
  publisher = {Hugging Face},
  doi       = {10.57967/hf/7114},
  url       = {https://huggingface.co/datasets/NevenaD/CATS-58}
}

两点提醒：

1. 年份是 2025（官方 citation 块），不是抓取年份 2026。若论文在审后正式发表，应补引论文并保留数据集引用——数据集与论文是两件资产。
2. 不要自行编造论文引用。当前无 DOI、无期刊、无 arXiv 号，任何"CATS-58, in Proc. of …"的写法都需先核实；在论文发表前，数据集 DOI 是唯一规范锚点（§10 坑 2）。

6.5 AI-Ready 门槛速判

门槛项	CATS-58 状况	判定
公开直链	HF 无 gating，一行 load_dataset	✅ 优
许可明确	单一 CC BY 4.0，无歧义	✅ 优
机器可读元数据	HF dataset card + Parquet schema + DOI	✅ 良
文档完备度	数据集卡覆盖动机/结构/构建/偏倚/安全；但无论文、无 baseline	⚠️ 中
规模	17,400 条 / 1.74 MB	⚠️ 小（评测够用，训练不足）
版本可冻结	无 Zenodo 快照，需自存 commit hash	⚠️ 中
划分就绪	无预定义 split	⚠️ 需自建（且需谨慎，见 §4.3）

一句话：门槛极低、体量极小、定位极清——它是"拿来就测"型资产，不是"拿来就训"型资产。

§7 应用场景与正确用法

7.1 场景一：消歧系统的受控压力测试

最直接的用法。典型流程：

1. 在你的真实临床语料上训练消歧模型（数据来自自院病历或 MIMIC-IV-Note 类去标识语料）
2. 在 CATS-58 上测试，观察跨域性能落差：真实域训练 → 受控域测试的落差，反映模型是"学到了缩写义项的通用规律"还是"记住了本院书写习惯"
3. 若落差极大（例如真实域 F1 0.85、CATS-58 上 0.55），说明模型严重依赖域特异线索（科室简称、医生习惯缩写），在跨机构部署时会失效

这个用法把 CATS-58 当作第二个域的探针，而不是主战场。它不告诉你"你在临床上有多准"，它告诉你"你的模型有多依赖特定书写习惯"。

7.2 场景二：句嵌入模型的义项可分性评测

数据卡明确列为用途之一（“Evaluating biomedical sentence embedding models”）。做法：

1. 用目标嵌入模型编码全部 17,400 句
2. 以 sense 为标签做聚类，计算 NMI / ARI / silhouette
3. 或做线性探针（frozen encoder + logistic regression），报 5 折交叉验证准确率

为什么这个评测特别干净：义项完全均衡意味着任何基于信息论的指标（NMI、熵）都不受类不平衡干扰。在不均衡数据集上，一个把所有句子映射到同一点的退化模型也可能拿到不错的 accuracy；在 CATS-58 上它会立刻暴露。

要注意的污染：若嵌入模型在预训练时见过 CATS-58 或类似合成模板，分数会虚高。这类"数据集污染"在小型公开数据集上尤其常见，评测时应声明模型训练截止时间与数据来源，必要时做模板级去重检查（若模型来自同一批作者则几乎必然见过）。

7.3 场景三：与真实语料配对——本条目最推荐的用法

官方 Recommendations 节的第一条建议就是"Combine CATS-58 with real-world de-identified clinical text (where permitted)"。这不是客套，而是本数据集的设计前提。推荐的配对结构：

层	数据	作用
受控层	CATS-58（17,400 句）	测上限：模型在"信息充分、噪声为零"时的能力
真实层	去标识临床笔记（MIMIC-IV-Note / i2b2-n2c2 / 本院语料）	测下限：模型在"信息残缺、噪声充分"时的能力
落差	两层指标差	本数据集最有价值的读数

落差本身就是一个可发表的结果：若某系统在 CATS-58 上 0.95、真实语料上 0.62，这 33 个百分点的差距比任何单一分数都更能说明"合成评测的乐观偏差有多大"。做数据集方法学研究的团队，这个差值就是论文的核心图表。

配对时须注意的真实层障碍（这些障碍也正是 CATS-58 刻意规避掉的）：

• 真实笔记里缩写有大量变体拼写（Pt./pt/patient，hx/Hx/history）
• 缩写可能跨行断开或被符号包裹（[CA]、CA*）
• 同一缩写在不同科室有科室特异义项（这是真实分布的一部分，CATS-58 无法覆盖）
• 真实笔记的义项标签往往不存在——需要人工标注或弱监督生成，成本高

7.4 场景四：医学教育中的智能辅导系统（ITS）

数据卡的 Uses 节明确提到 “Intelligent Tutoring Systems (ITS) for nursing and medical education”，且机构背景（UWL，护理与医学教育见长）与此吻合。

用途逻辑：护生和医学生在阅读病历时最容易卡在缩写上。以 CATS-58 的句-义项对为素材，可以构建：

• 缩写义项卡片：给一句病历，问学生"这里的 CA 什么意思"，即时判分
• 义项辨析练习：同一缩写的两句对照，让学生指出差异
• 易错义项库：统计学生在哪些缩写上易错，生成个性化复习集

这类用途下 CATS-58 的"合成"属性反而是优点——教学材料不需要真实患者数据，只需要临床上像真的。而且 CC BY 4.0 允许直接嵌入商业教育产品，这在教学场景是非常实用的许可。

7.5 场景五：RAG 系统的术语层前置

数据卡把 “Retrieval-Augmented Generation (RAG) systems in medicine” 列为用途。技术逻辑：

在检索前先做缩写消歧，把查询里的缩写展开为义项，再用展开后的完整术语去检索——避免"CA"检索回一堆"钙"文献却漏掉"癌"文献。

典型管线：

用户查询 → 缩写识别 → CATS-58 训出的分类器判定义项
        → 义项扩展（CA → cancer / carcinoma / neoplasm）
        → 术语检索（走 UMLS/SNOMED 同义词扩展）
        → 返回文献 → LLM 生成

这里 CATS-58 与库内 UMLS（rid 558）、SNOMED CT（rid 557）是上下游关系：CATS-58 判定义项字符串，UMLS/SNOMED 把字符串映射为受控概念 ID，再驱动检索。这条链路在 §8.4 详述。

风险提示：RAG 场景的错误代价比分类任务更高——一次误消歧会把整个检索引向错误方向，且 LLM 会把错误术语"合理化"地写进答案。此类系统必须有置信度阈值与"低置信度拒识"分支，而 CATS-58 本身不含拒识训练信号（它是二义必选任务），这是使用者的额外工程负担。

§8 生态位与库内互链

8.1 临床 NLP 基准的三层地图

把库内临床 NLP 相关条目按"处理的语言单位"排布，CATS-58 的位置一目了然：

层	语言单位	代表条目（库内 rid）	典型任务
字符/词层	缩写、术语	CATS-58（本条目）、UMLS（558）、SNOMED CT（557）、SNOMED-ICD10 映射（1131）	缩写消歧、术语归一化
短语/实体层	实体提及	MedMentions（390）、JNLPBA（442）、BioMedICA（734）	命名实体识别
句子/文档层	句、段落、笔记	i2b2/n2c2（14）、MIMIC-IV-Note（47）、BioMedParse（953）、Real-MedNLP（1122）	概念抽取、事件抽取、解析
任务层	问答/推理	QAMeBI（1050）、ArcheHR-QA（1000）、EHR-ReasonCon（1007）	问答、推理一致性

CATS-58 在这一地图的最底层——它测的是"最小语义单位是否理解对了"。这条链的隐含假设是：底层错了，上层全错。一个把"CA"理解成"钙"的问答系统，即使推理能力再强，也会给出荒谬的答案。

8.2 与术语本体的关系：互补而非重叠

初学者常把 CATS-58 与 UMLS/SNOMED 混为一谈，三者的定位差异必须讲清：

维度	CATS-58	UMLS（558）	SNOMED CT（557）
内容	缩写 + 义项字符串 + 语境句	概念 + 同义词 + 语义类型 + 关系	临床术语的层级化受控词表
核心问题	“这个缩写在这句话里是什么意思”	“这个字符串可能对应哪些概念”	“这个概念在本体中处于什么位置”
是否含语境	是（句子级）	否（字符串级）	否（概念级）
是否有唯一答案	是（金标准义项）	否（一词多概念）	否（需编码规则）
规模	17,400 句	百万级概念/千万级字符串	数十万概念

一句话分工：UMLS 告诉你"CA 可能是哪 40 个概念"，CATS-58 告诉你"在这一句里 CA 是哪一个"。前者是候选集生成，后者是候选集消歧。

这一分工直接决定了它们可以串联：CATS-58 的输出（义项字符串）应作为查询键去 UMLS 里取概念 ID，再走 SNOMED-ICD10 映射（rid 1131）落到编码。但这条链路需要自建，官方没给——这是 §8.4 讲的断层。

8.3 与真实病历条目的"受控-野生"配对

库内 MIMIC-IV-Note（rid 47）与 Real-MedNLP（rid 1122）是真实临床文本的代表。CATS-58 与它们构成 §7.3 描述的配对结构：

对照轴	CATS-58	MIMIC-IV-Note / Real-MedNLP
数据来源	合成模板	真实病历（去标识）
噪声水平	受控（近零）	高（缩写变异、断行、错拼）
义项分布	完全均衡（50:50）	严重不均衡（真实先验）
标签可得	全量金标准	需人工/弱监督生成
隐私门槛	无	DUA + 培训 + IRB
规模	1.74 MB	GB 级

结论：CATS-58 与真实病历条目不是替代关系，而是同一条评测流水线的两端。库内若已有条目在 MIMIC 上做临床 NLP，本条目是其"受控对照组"的天然补充；反之，只读 CATS-58 的读者会误判临床 NLP 的难度。

8.4 一个必须讲清的断层：义项字符串 ≠ 本体编码

sense 字段是自由文本字符串（如 cancer、calcium），不是 UMLS CUI、SNOMED concept ID 或任何本体编码。这意味着：

1. 跨数据集不可直接对齐：另一数据集若用 malignancy 而非 cancer 表示同一义项，字符串比对会失败。
2. 下游检索需自建映射：要接 UMLS/SNOMED，必须先做字符串 → 概念的归一化（可用精确匹配 + 同义词表 + 嵌入相似度三级兜底）。
3. 义项边界未定义：cancer 与 carcinoma 在这里是同一义项还是两个义项，官方未给出定义性说明——只能说每个缩写恰好有 2 个 sense 取值，其粒度为作者判断。

这个断层是本数据集最值得后续补充的方向：若官方为每个义项配一个 UMLS CUI，CATS-58 将从"字符串消歧基准"升级为"概念消歧基准"，可用性会显著提升。当前没有，使用者需自行承担映射成本。

8.5 建议互链点（库内 rid 均为实测在架）

条目	rid	互链方向	理由
umls	558	CATS-58 → UMLS	义项字符串 → 概念 ID 的上位本体
snomed-ct	557	CATS-58 → SNOMED CT	临床术语规范化
snomed-icd10-map	1131	下游	概念 → 编码的落地环节
medmentions	390	同级互补	实体提及消歧 vs 缩写消歧
jnlpba	442	同级互补	生物医学 NER 经典基准
i2b2-n2c2-nlp	14	上层	临床文本概念抽取共享任务
mimic-iv-note	47	受控-野生配对	真实病历缩写场景
real-mednlp	1122	受控-野生配对	真实世界医学 NLP 集合
qamebi	1050	下游	生物医学问答的术语理解环节
archehr-qa-bionlp-task-2025	1000	下游	BioNLP 2025 EHR 问答（含缩写处理）
biomedparse	953	同级	生物医学文本解析
biomedica	734	同级	生物医学文本挖掘语料
ehr-reasoncon	1007	下游	EHR 推理一致性（依赖术语理解正确）

清单刻意控制在同类任务范围内——不建议在入库时把它们全部写成 relatedLink，因为 frontmatter 的 relatedLink 只应放真实存在的 URL 且数量适中；具体互链由主会话按入库后的 rid 回填（写手不臆测 rid，见纪律包与 R018）。

8.6 生态位一句话总结

如果库内已有条目按"数据形态"归类，CATS-58 是比较特殊的一格：它极小、极干净、全合成、许可最开放。它不承担"大规模训练语料"的角色，而是承担"最小可验证单位"的角色——在任何涉及临床术语的系统里，它是第一个该跑的单测。

§9 上手实操：从下载到出报告

9.1 十分钟跑通最小管线

目标：不训练任何模型，用最简单的"关键词规则 + 义项先验"得到第一个基线数字，确认数据可用。

import re, pandas as pd
from datasets import load_dataset

ds = load_dataset("NevenaD/CATS-58")
df = ds[list(ds.keys())[0]].to_pandas()

# 1) 结构性自查
print("总行数:", len(df))                              # 期望 17400
print("唯一缩写:", df.acronym.nunique())                 # 期望 58
print("每义项句数分布:\n", df.groupby(["acronym","sense"]).size().describe())
print("每缩写义项数:\n", df.groupby("acronym").sense.nunique().value_counts())

# 2) 位置分布自查（缩写出现位置）
def pos_bucket(row):
    s, a = str(row.sentence), str(row.acronym)
    m = re.search(rf"\b{re.escape(a)}\b", s, re.I)
    if not m: return "miss"
    r = m.start() / max(len(s), 1)
    return "start" if r < 0.33 else ("mid" if r < 0.66 else "end")

df["pos"] = df.apply(pos_bucket, axis=1)
print(df.pos.value_counts(normalize=True))             # 期望 start/mid/end 大致均等

# 3) 每个缩写的最小 baseline：永远猜该缩写的第一个义项
first_sense = df.groupby("acronym").sense.first().to_dict()
df["pred"] = df.acronym.map(first_sense)
print("常数基线准确率:", (df.pred == df.sense).mean())  # 均衡数据下应≈0.5

三行 print 就能验证 §5.5 的抽查清单。若第 3 步的准确率明显高于 0.5，说明数据并非完全均衡，应回查版本——这是一条极强的自检信号。

9.2 完整核查脚本骨架

import pandas as pd
from datasets import load_dataset

def audit(path_or_name="NevenaD/CATS-58"):
    ds = load_dataset(path_or_name)
    df = ds[list(ds.keys())[0]].to_pandas()
    report = {}

    # A. 规模
    report["n_rows"] = len(df)
    report["n_acronym"] = df.acronym.nunique()
    report["n_sense_pairs"] = df.groupby(["acronym", "sense"]).ngroups

    # B. 均衡性（核心）
    cnt = df.groupby(["acronym", "sense"]).size()
    report["cells"] = len(cnt)
    report["cell_min"], report["cell_max"] = int(cnt.min()), int(cnt.max())
    report["balanced"] = bool(cnt.min() == cnt.max())

    # C. 义项数
    sens = df.groupby("acronym").sense.nunique()
    report["sens_per_acr_min"], report["sens_per_acr_max"] = int(sens.min()), int(sens.max())

    # D. 缺失/空串
    report["null_cells"] = int(df[["acronym", "sense", "sentence"]].isna().sum().sum())
    report["empty_sentence"] = int((df.sentence.astype(str).str.strip() == "").sum())

    # E. 缩写是否真的出现在句子里（抽查）
    import re
    hit = df.apply(lambda r: bool(re.search(rf"\b{re.escape(str(r.acronym))}\b",
                                            str(r.sentence), re.I)), axis=1)
    report["acr_in_sentence_rate"] = round(float(hit.mean()), 4)

    return report

if __name__ == "__main__":
    for k, v in audit().items():
        print(f"{k:24s} {v}")

acr_in_sentence_rate 这一项最容易被忽略却最要紧：若该值显著低于 1.0，说明部分句子里缩写被改写（如 CAs 复数形式、CA's）或无 \b 边界（如 CA-level），基于位置或关键词的规则会失效，需改用更宽松的匹配或多模式匹配。

9.3 关键词遮蔽消融（测"关键词依赖度"）

§3.2 提出的诊断，落地为可执行步骤：

1. 从训练集统计每个义项的判别性关键词：对每个 (acronym, sense) 组，取该组句子里高频、且在另一义项组里低频的词（如 TF-IDF 差值前 k 个）。
2. 生成遮蔽版测试集：把句子里的判别性关键词替换为占位符 [TERM]。
3. 分别在原测试集与遮蔽测试集上跑同一模型，记录准确率。
4. 关键词依赖度 = 原准确率 − 遮蔽准确率。差值越大，模型越依赖关键词而非语境。

预期结果：简单规则/线性模型依赖度高（差值大），真正学到语境的大模型依赖度低。两种模型在 CATS-58 上可能打平，但遮蔽后立刻分出高下——这正是本数据集被设计成"关键词可命中"所带来的独特诊断价值。

注意：遮蔽关键词会破坏句子语法，导致部分模型输出异常。建议同时报告"遮蔽后语法可接受率"（人工抽查 50 句即可），否则差值可能被语法噪声污染。

9.4 一个容易踩的工程坑：acronym 字段不是唯一键

acronym 在数据集中重复出现 300 次（每缩写 2 义项 × 150 句）。若你按 acronym 做 merge 或建立索引，会得到笛卡尔积。

正确做法是建立复合键 (acronym, sense) 或 (acronym, sense, sentence)。这听起来基础，但在"多义-均衡"型数据上，复合键漏写导致的静默错误极常见——例如把预测结果按 acronym 汇总再去重，会把两个义项的预测混成一条。

对应的防御写法：

# 错误：按 acronym 去重会丢义项
# df.drop_duplicates("acronym")

# 正确：复合键
df.drop_duplicates(["acronym", "sense", "sentence"])

9.5 结果报告模板

下面是一份最小可复现的结果报告模板，直接填数即可：

项	内容
数据版本	HF commit hash：____________
数据规模核查	17,400 行 / 58 缩写 / 116 义项组 / 组内 150 句 ✅
位置分布	start __% / mid __% / end __% / miss __%
切分方案	S1 同分布 / S2 留缩写 / S3 留义项（勾选）
主指标	Accuracy __；Macro-F1 __
每缩写准确率	最低 __（缩写 __）；最高 __（缩写 __）
关键词依赖度	原 __ − 遮蔽 __ = __
声明	decision-support only, not diagnostic；未用于任何临床部署

最后一行不是形式主义——官方 Recommendations 明确要求使用方"clearly communicate that models trained on this dataset are decision-support only, not diagnostic tools"。若你的论文/产品文档用了 CATS-58，这一句应原样出现在限制节里。

9.6 复现性存档清单

需要存的东西	为什么
HF 仓库 commit hash	数据集无 Zenodo 快照，只有 commit hash 能锁定版本
原始文件 MD5（CSV 或 JSON）	对抗平台静默更新
你的切分种子与切分文件	官方无 split，切分完全由你定义——不给切分文件别人无法复现
关键词遮蔽的词表	§9.3 的消融依赖它，不给则差值不可复现
模型训练截止日期	排除"预训练时见过 CATS-58"的污染

尤其是切分文件：这是"无官方 split"型数据集最常见的复现缺口。同样标注"在 CATS-58 上 0.93"的两篇论文，切分不同则完全不可比。

§10 避坑清单：九个已踩过的坑

坑点 1：把"Test Set"当训练集用。 名字里的 “Test Set” 是定位声明，不是营销词。17,400 句做评测足够、做训练严重不足（对比通用临床 NLP 预训练语料的百万句量级）。更麻烦的是先验问题：在 50:50 均衡数据上训出的分类器，直接部署会对罕见义项过度预测（§5.4）。若确要训练，必须用真实语料重估先验并做 logit adjustment。

坑点 2：编造论文引用。 官方数据集卡明确写 “Paper: Under review / In preparation”，无 DOI、无期刊、无预印本号。任何声称 CATS-58 有正式论文的引用都是错的（除非论文在抓取时点之后发表，此时需重新核实）。规范做法是只引数据集 DOI 10.57967/hf/7114，并在文中注明"论文在审"。

坑点 3：用 CATS-58 统计义项频率。 数据集中每个义项严格 150 句，义项频率必然是 50:50——这是设计，不是临床实际。若有研究用 CATS-58 的义项分布论证"CA 在临床上主要表示钙"，属于把实验对照组当成了流行病学调查。真实义项频率必须从真实语料统计。

坑点 4：随机切分破坏均衡。 官方不给 split，建议"stratified splitting per acronym and sense"。若图省事全局随机切分，某些 (缩写,义项) 组可能在验证集中只剩几例，均衡性名存实亡。更隐蔽的错误是切分后未重算测试集的类分布，导致报告的 accuracy 与 0.5 随机基线不可比。务必用 §9.2 的 audit 对测试集子集再跑一次均衡检查。

坑点 5：忽视"合成"二字，拿它当临床性能证明。 “在 CATS-58 上 0.97"不能推出"在临床上可用”。官方 Sociotechnical Risks 节写得很清楚：受控条件训练的模型会 overestimate confidence，在非结构化真实笔记上 underperform。若产品文档引用 CATS-58 分数而不提这一条，属于选择性披露。

坑点 6：把英文缩写体系直接迁移到中文。 数据集是 English (en)，义项集合是英语临床惯例下的定义。中文病历的缩写（“心梗”“房颤”"慢阻肺"或拼音首字母）与英文缩写不重合，同一个 ASCII 缩写在中英文语境下义项也不同。要做中文版必须重建 sense inventory，不能靠翻译 CATS-58。

坑点 7：与「CATS tag」（鲸类生物日志）混淆。 检索 CATS_58 会命中 Zenodo 记录 4902325 与 Dryad 10.5061/dryad.vt4b8gtqm 的 “CATS tag example deployment”——其中 20200313-125332-CATS_58.txt/.bin/.obs 等文件是 CATS（customized animal tracking solutions）动物追踪标签采集的座头鲸等须鲸运动数据（Stanford University 的 Hopkins Marine Station，由 Goldbogen 实验室整理的工作流示例），与临床 NLP 毫无关系。"58"只是该次部署的编号，与本数据集的 58 个缩写纯属数字巧合。检索时须带 “clinical acronym” 或 “HuggingFace” 限定。

坑点 8：把 sense 当成本体编码。 sense 是自由文本字符串，不是 UMLS CUI 或 SNOMED concept ID。跨数据集合并、接下游术语检索时必须自建映射（§8.4）。若直接 merge 到 UMLS 表上，成功率会很低——需要精确匹配 + 同义词 + 嵌入相似度三级兜底。

坑点 9：忽略许可只需要署名，但产品端仍须合规声明。 CC BY 4.0 允许商用，很多团队据此认为"可以直接进产品"。许可允许 ≠ 临床可用：官方明确 “not approved (yet) for clinical deployment”，并要求使用方声明 decision-support only。开源许可证解决的是版权，不解决医疗器械合规——这是两套完全独立的体系，别混。

§11 总结

11.1 三句话总结

1. CATS-58 用 58 个高歧义临床缩写 × 2 义项 × 150 句的严格均衡结构，把"临床缩写消歧"从"猜多数也能拿高分"的模糊评测，变成二义均衡下的干净判别任务。
2. 它的代价同样明确：全合成句、每缩写仅 2 义项、无 baseline、无真实 EHR 噪声、论文在审——它是受控压力测试集，不是真实世界的镜子。
3. 它的正确用法是配对与诊断：与真实去标识临床文本配对测落差，用关键词遮蔽消融测依赖度，用留义项切分测真正的语境泛化。

11.2 适合谁

• 临床 NLP 消歧系统开发者：需要一个无捷径可走的测试集，验证系统是否真的在"读语境"。
• 生物医学句嵌入研究者：需要类平衡干净的聚类/探针评测集，CATS-58 的均衡性直接消掉了指标干扰。
• 医学教育产品团队：CC BY 4.0 允许嵌入商业教学产品，合成数据无隐私负担，是 ITS 素材的理想来源。
• RAG 系统架构者：需要在检索前置做术语消歧，避免缩写歧义污染召回。
• 数据集方法学研究者：这是"合成受控 vs 真实野生"落差的教科书样本，落差本身就是可发表的结果。

11.3 不适合谁

• 需要大规模训练语料的团队：17,400 句 / 1.74 MB，不够预训练，也不够微调一个大模型。
• 需要真实义项分布的流行病学研究：50:50 是人造分布，不可当临床频率。
• 需要覆盖长尾义项的系统：每缩写只 2 义项，第三、第四义项一律缺席。
• 需要中文临床缩写支持的项目：语言与缩写体系均不通用，必须重建。
• 想找"可以直接上临床的验证证据"的合规团队：官方明确未批准临床部署，CATS-58 不提供任何临床有效性证据。

11.4 30 秒决策卡

你的情况	行动
只想确认这数据能不能用	load_dataset("NevenaD/CATS-58") 跑 §9.1 的七行自检
要测消歧系统	真实语料训练 → CATS-58 测试 → 报落差（§7.1）
要测句嵌入	冻结编码器 + 线性探针，报 5 折 CV（§7.2）
要写数据集综述	§8.1 三层地图 + §5.1 局限表可直接引用
要做医学教育产品	CC BY 4.0 可用，但产品文档须带 decision-support only 声明
要引用	BibTeX 见 §6.4，只引数据集 DOI，不要编论文
在中文场景要用	先读坑点 6，评估自建 sense inventory 的成本

FAQ（高频问答 34 问）

A. 基础认知

Q1：CATS-58 是挑战赛吗？

不是。没有比赛、没有 leaderboard、没有 baseline 排名。它是一个静态发布的数据集，评测协议由使用方自行定义。

Q2：名字里 58 指什么？

58 个被选中的高歧义临床缩写。不是 58 个文件、不是 58 个作者、不是 58 个义项（义项是 116 个）。

Q3：“Clinical Acronym Test Set” 里的 Test 是强调测试吗？

是的。官方 BibTeX 标题就是 “Clinical Acronym Test Set”，而数据卡正文把它称为 “balanced … benchmark dataset”。两处措辞一致指向"评测"定位。

Q4：17,400 是怎么算的？

58 缩写 × 2 义项/缩写 × 150 句/义项 = 17,400 条实例。三个数字都是官方明示的硬约束（“58 acronyms”、“2 distinct clinical senses”、“150 sentences per sense”、“Fully balanced across senses”）。

Q5：这数据集多大？

原始 CSV/JSON 共 1.74 MB（官方 Downloads 口径），Parquet 转换版 654 kB。文本数据集里属于极小体量。

Q6：有真实患者数据吗？

没有。全合成句，官方声明 “No real patient records or identifiable health data were used”，无 PII。

B. 数据与获取

Q7：怎么下载？

load_dataset("NevenaD/CATS-58")，或网页端直接下载 CSV/JSON。无 gating、无申请、无 DUA。

Q8：授权是什么？能商用吗？

CC BY 4.0，可商用、可修改、可再分发，唯一义务是署名。但商用不等于可临床部署（见 Q28）。

Q9：有 train/val/test 划分吗？

没有。官方鼓励使用方 “apply stratified splitting per acronym and sense”。切分方案需自建，且建议存档切分文件以便复现（§9.6）。

Q10：有镜像站吗？

有第三方镜像（hf-mirror.com、huggingface.cn 等）可作下载通道，但引用与版本锚定必须指官方 huggingface.co/datasets/NevenaD/CATS-58。

Q11：数据会更新吗？

HF 数据集可被作者随时提交新版本，而 CATS-58 无 Zenodo 快照。要复现必须锁定 commit hash 或自存 MD5（§6.3）。

Q12：有论文吗？

论文正在审稿或筹备中（Under review / In preparation），无 DOI、无期刊、无预印本。 当前只能引数据集 DOI 10.57967/hf/7114。

C. 数据构成

Q13：字段有哪些？

三个：acronym（缩写）、sense（金标准义项）、sentence（含缩写的临床句）。无其他元数据。

Q14：有哪些缩写？

官方只举了三例：AB、CA、PAC。完整 58 个清单未在数据卡列出，需下载后统计。

Q15：义项是自由文本还是本体编码？

自由文本字符串（如 cancer），不是 UMLS CUI/SNOMED ID。跨库对齐需自建映射（§8.4）。

Q16：句子是真实病历摘录吗？

不是。全部由"义项特异性关键词表 + 结构化模板 + 受控变化"生成，再经临床嵌入过滤、人工验证、注册护士校验。

Q17：句子长度和缩写位置有控制吗？

有。官方写明 “Controlled sentence length and position variation of acronyms”，并把缩写位置在句首/句中/句尾三档做了均衡。

Q18：义项怎么定义的？ granularity 如何？

基于 CASI 与临床领域相关性。每个缩写固定 2 个义项，但义项粒度的具体判定规则未公开（如 cancer 与 carcinoma 是否合并）。

D. 构建与质量

Q19：怎么保证句子语义正确？

三道关：临床嵌入模型的语义过滤（剔除与义项不搭的句子）+ 歧义案例人工验证 + 注册护士对临床合理性的校验。

Q20：用的是哪个嵌入模型？

官方只写 “clinical embedding models”（类属），未披露型号。这影响复现，已列为遗留疑点。

Q21：验证了多少句？

未披露。人工验证的规模、比例、验证者身份（除"a registered nurse"外）均无细节。

Q22：为什么每个缩写只有 2 个义项？

为了让每个义项拿到足量且等量的样本（150:150），构造信噪比高的二义判别任务。代价是不覆盖长尾义项，官方在 Limitations 里已承认。

Q23：怎么自己核查数据质量？

五步：总数 17,400、唯一缩写 58、每组 150 句、每缩写 2 义项、位置三档约 1:1:1。脚本见 §9.2。

E. 使用与评测

Q24：能用来训练吗？

技术上可以，但不推荐作主训练集。若用，必须做先验校正，否则部署时会对罕见义项过度预测（§5.4）。

Q25：怎么切分最合理？

官方建议按缩写与义项分层（S1）。本文额外建议做 S2 留缩写、S3 留义项的分布外测试，后者能揭示"模型是否只学了缩写级先验"（§4.3）。

Q26：该报哪些指标？

Accuracy 为主（二义均衡下最直观）、Macro-F1 作对照、每缩写准确率做配对分析、嵌入场景加 NMI/silhouette。不要报多数类基线——在这里它等于随机基线 0.5。

Q27：怎么测"关键词依赖度"？

做关键词遮蔽消融：把义项判别性关键词替换成占位符，比较遮蔽前后准确率差（§9.3）。

Q28：能上临床吗？

不能。 官方原文 “not approved (yet) for clinical deployment, and is strictly intended for research and education”，并要求所有模型声明 “decision-support only, not diagnostic tools”。

Q29：中文场景能用吗？

不能直接迁移。语言是英语，缩写体系与义项定义均为英语临床惯例；中文需重建 sense inventory（坑点 6）。

Q30：能接 UMLS/SNOMED 吗？

可以，但要自建映射：sense 字符串 → 概念 ID（精确匹配 + 同义词 + 嵌入三级兜底），再走 SNOMED-ICD10 映射落编码（§8.2、§8.4）。

F. 生态与检索

Q31：和 CASI 什么关系？

CASI（Clinical Abbreviation Sense Inventory）是本数据集的灵感源与义项定义基础；CATS-58 相当于把 CASI 的义项清单落地为带语境句的实例级基准（§2.5）。

Q32：检索时该用什么关键词？

“CATS-58” + “clinical acronym” 或限定 site:huggingface.co。别单独搜 “CATS 58”——会撞上鲸类动物追踪标签数据集（坑点 7）。

Q33：有官方 baseline 或 leaderboard 吗？

没有。任何引用"CATS-58 上 SOTA 是 xx"的说法都需要核对来源，多半是把别人的自测当成官方结果。

Q34：如果我要引用它的偏倚声明，该怎么写？

官方四类技术局限（合成性/二义上限/句式规律/语言偏倚）与四类社会技术风险（过度自信/真实病历下降/文化制度单一/文档误读）都是原文可引的，建议直接转述并标注 “per the dataset card”。

---

事实清单（硬事实 34 条）

1. CATS-58 全称 Clinical Acronym Test Set，是由 Hugging Face 发布的临床缩写义项消歧基准数据集，仓库 NevenaD/CATS-58。
2. 作者为 Nevena K. Dicheva（通讯）、Sama Aleshaiker、Laden Husamaldin 三人；官方数据卡拼写为 “Nevena K. Dicheva / Dr Sama Aleshaiker / DR Laden Husamaldin”。
3. 通讯邮箱 nevena.dicheva@uwl.ac.uk，域名指向 University of the West of England（UWL）。
4. 资助状态：Not externally funded（无外部资助）。
5. 数据集 DOI：10.57967/hf/7114（Hugging Face 数据集 DOI，非论文 DOI）。
6. 论文状态：Under review / In preparation，无 DOI、无期刊、无预印本编号。
7. 引用年份：2025（官方 citation 块）。
8. 规模：58 个缩写 × 2 个义项/缩写 × 150 句/义项 = 17,400 条实例。
9. 义项总数为 116（58 × 2）。
10. 均衡性声明：Fully balanced across senses（义项间完全均衡）。
11. 字段：acronym、sense、sentence 三列，无其他元数据。
12. 数据形态：Flat table（one instance per row）。
13. 文件格式：CSV / JSON；另有 refs/convert/parquet 自动转换分支。
14. Parquet 转换分支建立日期：2025-11-29（parquet-converter bot 在 discussion #1 中公告）。
15. 原始文件体积：1.74 MB；Parquet 体积：654 kB。
16. 语言：English (en)。
17. 无预定义 train/validation/test 划分；官方建议 “apply stratified splitting per acronym and sense”。
18. 缩写样例：AB、CA、PAC（官方 e.g. 列举，完整清单未公布）。
19. 灵感来源：CASI = Clinical Abbreviation Sense Inventory。
20. 构建四步：定义 acronym–sense 对 → 构造义项特异性关键词受控词表 → 结构化模板 + 受控变化生成 150 句 → 四项终校。
21. 义项关键词：每个义项有专属的 “controlled vocabulary of sense-specific clinical keywords”。
22. 句子在缩写位置上均衡（start / middle / end 三档），句子长度受控。
23. 语义过滤使用 “clinical embedding models”（未披露具体型号）。
24. 人工验证对象为 ambiguous cases（歧义案例）。
25. 注册护士验证：句子由一名 registered nurse 校验临床合理性（验证规模未披露）。
26. 三项终校：sense balance / contextual distinctiveness / absence of PII。
27. 无真实患者数据：“No real patient records or identifiable health data were used”。
28. 源风格参考：clinical documentation styles / nursing education materials / biomedical literature patterns / CASI acronym–sense definitions。
29. 许可：CC BY 4.0（Creative Commons Attribution 4.0 International），单层，可商用，须署名。
30. 获取门槛：无 gating、无 DUA、无注册，公开直链。
31. 用途（Uses）：消歧模型训练、医学义项分类、生物医学句嵌入评测、可解释混合管线、医学 RAG、护理与医学教育 ITS。
32. 越界用途（Out-of-Scope）：直接临床决策/诊断、无临床验证的实时部署、法律保险计费判定、患者结局预测。
33. 安全声明：not approved (yet) for clinical deployment，strictly intended for research and education；模型须声明 decision-support only, not diagnostic tools。
34. 官方无 baseline、无 leaderboard、无官方评测脚本。

---

术语表（32 条）

术语	释义
Acronym（缩写）	由首字母或音节节略构成的短词形，本数据集中为 58 个高歧义临床缩写
Sense（义项）	缩写在特定语境下对应的完整医学概念表述；本数据集中每缩写固定 2 个
Sense inventory（义项清单）	一个缩写所有可能义项的枚举表；CASI 即此类资源的代表
Acronym sense disambiguation（缩写义项消歧）	给定句子与缩写，判定其义项的任务
WSD（Word Sense Disambiguation，词义消歧）	更广义的"多义词在语境中定其义"任务，缩写消歧是其受限子类
CASI	Clinical Abbreviation Sense Inventory，临床缩写义项清单，本数据集灵感源
Controlled vocabulary（受控词表）	预先限定取值的词表；本数据集中指义项特异性关键词集合
Sense-specific keyword（义项特异性关键词）	只属某一义项、在其他义项中罕见的词，构成判别性证据
Template-based generation（模板生成）	用结构化句式框架填槽生成句子的方式，本数据集主要构建手段
Controlled variation（受控变化）	在模板生成中按预设维度（如位置、长度）系统变化的做法
Semantic filtering（语义过滤）	用嵌入模型计算句子与义项语义相似度并剔除低分句
Clinical embedding model（临床嵌入模型）	在临床/生物医学语料上训练的句/词向量模型
Balanced dataset（均衡数据集）	各类别（此处为义项）样本量相等的设计
Class imbalance（类不平衡）	类别样本量悬殊，导致"猜多数"基线过强的现象
Majority baseline（多数类基线）	永远预测最多类别的基线；均衡数据下等于随机基线
Random baseline（随机基线）	随机猜测的期望准确率；二义均衡下为 0.5
Stratified splitting（分层切分）	按分组（此处为缩写与义项）保持比例地划分数据集
Leave-acronyms-out（留缩写）	留出若干缩写的全部样本作测试的切分，测对新缩写泛化
Leave-senses-out（留义项）	每缩写用 1 义项训练、另 1 义项测试，测对未见义项泛化
OOD（Out-of-Distribution，分布外）	测试数据分布与训练不同，官方要求必测的一项
Prior correction（先验校正）	用真实类别先验调整模型输出，纠正均衡训练带来的先验偏差
Logit adjustment（logit 调整）	在推理时按类别先验对 logit 加减偏移的校正方法
Reject option（拒识）	低置信度时不下判断的机制；CATS-58 不含此训练信号
Macro-F1	各类 F1 的算术平均；均衡数据下应接近 accuracy
Linear probe（线性探针）	冻结编码器只训线性分类头，测表征质量
Silhouette（轮廓系数）	聚类紧密度与分离度指标
NMI（Normalized Mutual Information）	聚类与真实标签的归一化互信息
ARI（Adjusted Rand Index）	调整兰德指数，聚类一致性指标
Keyword masking ablation（关键词遮蔽消融）	把判别性关键词替换为占位符后再测，用以量化关键词依赖
Hybrid pipeline（混合管线）	关键词（确定性）通道 + 语义（概率性）通道 + 仲裁层的架构
Anglophone bias（英语圈偏倚）	数据反映英语国家医学书写习惯，跨语言迁移受限
ITS（Intelligent Tutoring System，智能辅导系统）	面向护理/医学教育的自适应教学系统，官方列出的用途之一
Decision-support only	官方要求的使用方声明：仅作决策支持，非诊断工具

附录

附录 A：条目信息速查卡

项	值
条目名	CATS-58
url_name	cats-58
类型	平衡基准数据集（缩写义项消歧）
官方发布	Hugging Face NevenaD/CATS-58
DOI	10.57967/hf/7114
团队	University of the West of England（UWL）
规模	58 × 2 × 150 = 17,400 条
许可	CC BY 4.0
论文	Under review / In preparation（无标识符）
抓取时点	2026-10-17
库内互链	umls(558)/snomed-ct(557)/snomed-icd10-map(1131)/medmentions(390)/jnlpba(442)/i2b2-n2c2-nlp(14)/mimic-iv-note(47)/real-mednlp(1122)

附录 B：DAIMS 评估全表

维度	评分（1-10）	依据
D 可发现性	7	HF 平台可索引、DOI 可解析、数据集卡完整；但缩写完整清单未公布，检索易与同名 CATS 混淆
A 可获取性	10	无 gating、无申请、CC BY 4.0、一行 load_dataset；库内可获取性最优档
I 可互操作	6	CSV/JSON/Parquet 标准格式，datasets 库原生支持；但 sense 为自由文本，无本体编码，跨库对齐需自建映射
M 元数据质量	6	数据集卡覆盖动机/结构/构建/偏倚/安全五节，文档质量在纯卡发布型数据集中属中上；但无论文、无 baseline、无义项清单、无生成模型型号
S 可持续性	6	HF 平台托管稳定、DOI 持久；但无 Zenodo 快照，版本冻结依赖 commit hash；单一维护者
综合评级	7.0/10（中上偏可获取）	可获取性与许可为库内最优档，互操作性与元数据完备度被"无本体编码+无论文"拖低

附录 C：逐项证据链自证

关键数字/声明	来源	位置
58 acronyms / 2 senses / 150 sentences	HF 数据集卡	Design Properties 节
17,400 = 58×2×150	本文推导（官方未直接给总数）	由 Design Properties 三项相乘
Fully balanced across senses	HF 数据集卡	Design Properties 节
字段 acronym/sense/sentence	HF 数据集卡	Dataset Structure 节
CSV / JSON / Flat table	HF 数据集卡	Dataset Structure 节
1.74 MB / 654 kB	HF 数据集卡	“Size of downloaded dataset files” / “Size of the auto-converted Parquet files”
CC BY 4.0	HF 数据集卡	License 字段
DOI 10.57967/hf/7114	HF 数据集卡	Citation 块
Under review / In preparation	HF 数据集卡	Dataset Sources 节
CASI 灵感来源	HF 数据集卡	Curation Rationale + Source Data 节
关键词受控词表 + 模板生成	HF 数据集卡	Data Collection and Processing 节
位置均衡 start/middle/end	HF 数据集卡	Data Collection and Processing 节
注册护士验证	HF 数据集卡	Source Data 节
无 PII / 无真实患者记录	HF 数据集卡	Source Data 节 + 终校三条
not approved for clinical deployment	HF 数据集卡	Safety Considerations 节
Parquet 分支 2025-11-29	HF discussion #1	parquet-converter bot 公告
同名干扰项（鲸类 CATS_58）	Zenodo 4902325 / Dryad 10.5061/dryad.vt4b8gtqm	文件清单与描述

附录 D：获取决策树

我要用 CATS-58 做什么？
├── 只做消歧评测 ────────────→ load_dataset("NevenaD/CATS-58") → §4.3 选切分 → 报 accuracy/macro-F1
├── 测句嵌入质量 ────────────→ 冻结编码器 + 线性探针 → 报 5 折 CV + silhouette
├── 测自己的真实域系统 ──────→ 真实语料训练 → CATS-58 测试 → 报跨域落差（§7.1）
├── 做医学教育产品 ──────────→ CC BY 4.0 可用 → 保留署名 → 产品文档加 decision-support 声明
├── 做中文临床消歧 ──────────→ 不能直接迁移 → 自建 sense inventory（坑点 6）
└── 想做临床部署验证 ────────→ 不可用（官方未批准临床部署）

附录 E：数据字段使用规范

字段	可用作	不可用作
acronym	分组键（须与 sense 复合）、检索键	唯一键（每缩写重复 300 次）
sense	分类标签、聚类标签、义项字符串查询键	本体编码（非 UMLS CUI/SNOMED ID）、临床频率依据
sentence	模型输入、位置统计对象	真实病历风格样本（合成）

附录 F：切分方案对比表

方案	训练/测试构成	测的能力	期望准确率区间	报告建议
S1 同分布	每组 80/20 随机	基本拟合	0.85-0.98（强模型）	必报，但注明"偏乐观"
S2 留缩写	留出 N 个缩写全部样本	新缩写泛化	0.70-0.90	报留出缩写清单
S3 留义项	每缩写 1 义项训、1 义项测	未见义项泛化	0.50-0.75	最有信息量，须报
随机全局切分	全表随机	——	不可比	不建议（破坏均衡，坑点 4）

附录 G：自查脚本（完整可运行版）

"""CATS-58 下载后五步结构自查。"""
import re
import pandas as pd
from datasets import load_dataset


def audit(name="NevenaD/CATS-58"):
    ds = load_dataset(name)
    df = ds[list(ds.keys())[0]].to_pandas()
    out = {}

    # 步骤 1：总行数
    out["rows"] = len(df)                      # 期望 17400

    # 步骤 2：唯一缩写数
    out["acronyms"] = df["acronym"].nunique()  # 期望 58

    # 步骤 3：每 (缩写, 义项) 组句数，应全为 150
    cell = df.groupby(["acronym", "sense"]).size()
    out["cells"] = len(cell)                   # 期望 116
    out["cell_min"], out["cell_max"] = int(cell.min()), int(cell.max())
    out["balanced"] = cell.min() == cell.max()

    # 步骤 4：每缩写义项数，应全为 2
    per = df.groupby("acronym")["sense"].nunique()
    out["senses_per_acronym"] = per.value_counts().to_dict()

    # 步骤 5：缩写出现位置三档分布
    def bucket(row):
        s, a = str(row["sentence"]), str(row["acronym"])
        m = re.search(rf"\b{re.escape(a)}\b", s, re.I)
        if not m:
            return "miss"
        r = m.start() / max(len(s), 1)
        return "start" if r < 1 / 3 else ("mid" if r < 2 / 3 else "end")

    out["position"] = df.apply(bucket, axis=1).value_counts(normalize=True).round(3).to_dict()
    return out


if __name__ == "__main__":
    for k, v in audit().items():
        print(f"{k:22s} {v}")

附录 H：义项字符串 → 本体编码映射骨架

"""sense 字符串归一化到 UMLS/SNOMED 概念的三级兜底骨架。
注意：CATS-58 不提供概念 ID，本脚本仅为可用性补丁，非官方实现。
"""
import json


def norm(text: str) -> str:
    return " ".join(str(text).lower().split())


def map_sense(sense: str, exact: dict, synonym: dict, embed_index) -> dict:
    """三级兜底：精确匹配 → 同义词表 → 嵌入最近邻。"""
    key = norm(sense)

    if key in exact:
        return {"cui": exact[key], "method": "exact", "score": 1.0}

    if key in synonym:
        return {"cui": synonym[key], "method": "synonym", "score": 0.9}

    hit = embed_index.search(sense, top_k=1)     # 返回 (cui, cosine)
    cui, score = hit[0]
    if score >= 0.80:
        return {"cui": cui, "method": "embedding", "score": float(score)}

    return {"cui": None, "method": "unmatched", "score": float(score)}


if __name__ == "__main__":
    # exact/synonym 建议从 UMLS MRCONSO 的 STR 字段构建
    exact = json.load(open("umls_str_to_cui.json"))
    synonym = json.load(open("manual_synonyms.json"))
    print("骨架就绪：需自备 embed_index（如 sapbert 或 biosynonym 模型）")

附录 I：关键词依赖度消融脚本

"""用 TF-IDF 差值找义项判别词，做遮蔽消融以量化关键词依赖度。"""
import re
from collections import Counter


def top_terms(texts, other_texts, k=8, min_len=4):
    """本义项高频、另义项低频的词。"""
    def toks(ts):
        c = Counter()
        for t in ts:
            for w in re.findall(r"[A-Za-z][A-Za-z\-]{%d,}" % (min_len - 1), str(t).lower()):
                c[w] += 1
        return c

    a, b = toks(texts), toks(other_texts)
    score = {w: a[w] / (1 + b.get(w, 0)) for w in a}
    return [w for w, _ in sorted(score.items(), key=lambda x: -x[1])[:k]]


def mask(sentence, terms):
    out = str(sentence)
    for t in terms:
        out = re.sub(rf"\b{re.escape(t)}\b", "[TERM]", out, flags=re.I)
    return out

遮蔽后必须抽查 50 句的语法可接受率，否则准确率差会被语法破坏污染（§9.3 已述）。

附录 J：官方偏倚声明原文对照表

官方小节	原文要点（英）	中文转述
Technical Limitations	synthetically generated, may not fully capture informal clinical shorthand / noisy real-world EHR variability	合成生成，覆盖不了非正式速记与真实 EHR 噪声
Technical Limitations	Each acronym is limited to two senses, whereas real clinical usage may contain additional rare senses	每缩写仅 2 义项，真实使用可能有更多罕见义项
Technical Limitations	controlled generation patterns may introduce subtle stylistic regularities / reduced discourse-level complexity	受控生成带来文体规律性与话语级复杂度下降
Sociotechnical Risks	Models trained exclusively on CATS-58 may overestimate confidence under controlled linguistic conditions	只在本数据集训练会高估置信度
Sociotechnical Risks	Underperform on unstructured real clinical notes	在非结构化真实笔记上性能下降
Sociotechnical Risks	reflects Anglophone biomedical language norms	反映英语圈生物医学语言规范
Safety Considerations	not approved (yet) for clinical deployment	未批准临床部署
Recommendations	decision-support only, not diagnostic tools	仅决策支持，非诊断工具

附录 K：双口径登记表

项	口径 A	口径 B	处理
标题	BibTeX：Clinical Acronym Test Set	卡正文：clinical acronym and term sense disambiguation	条目按"缩写（及术语）义项消歧"表述，附录存照
首发时间	citation year 2025	Parquet bot 2025-11-29（推定为首发之后）	只写"2025 年发布"，不写确切日期
论文状态	Under review	In preparation	两者并存，统一表述为"在审/筹备中，无标识符"
义项数	Design Properties：2 senses	Limitations：limited to two senses	一致，均为 2，无冲突
语料性质	“synthetically generated”	“clinically grounded，validated by a registered nurse”	表述为"合成但临床扎根"

附录 L：检索决策树

我要搜 CATS-58
├── 精确搜 "CATS-58" + site:huggingface.co ──→ NevenaD/CATS-58（正确）
├── 搜 "CATS 58" 无限定 ────────────────────→ 撞上 Zenodo/Dryad 鲸类追踪标签（错误，坑点 7）
├── 搜 "CATS" + acronym + clinical ─────────→ 可能命中临床缩写研究文献（相关但非本数据集）
├── 搜 "CASI" + abbreviation ───────────────→ 命中灵感源 CASI 自身（相关但非本数据集）
└── 搜 "CATS-58 paper" ─────────────────────→ 论文在审，无结果属正常（坑点 2）

附录 M：引文规范

数据集（推荐）：

@dataset{dicheva_2025_cats58,
  author    = {Dicheva, Nevena K. and Aleshaiker, Sama and Husamaldin, Laden},
  title     = {CATS-58: Clinical Acronym Test Set},
  year      = {2025},
  publisher = {Hugging Face},
  doi       = {10.57967/hf/7114},
  url       = {https://huggingface.co/datasets/NevenaD/CATS-58}
}

正文提及建议句式：

我们在 CATS-58（Dicheva et al., 2025；doi:10.57967/hf/7114）上评测缩写义项消歧能力。该数据集含 58 个高歧义临床缩写，每缩写 2 个义项、每义项 150 句，义项间完全均衡，许可为 CC BY 4.0；其所附论文尚在审稿中。

禁止：编造期刊名、卷期、页码，或把数据集 DOI 写成论文 DOI。

附录 N：本条目生产档案

项	值
代理	agent-d-cats58
锁	writing/cats-58/.lock = agent-d-cats58 2026-10-17T01:28
私有分片区	writing/cats-58/.parts_agent-d-cats58_<时间戳>_<PID>/
网络预算消耗	WebSearch 1 次；WebFetch 0 次
三源互证构成	HF 主站卡 + HF 镜像卡 + 两张卡的 citation 块交叉 + 同名干扰源排除（Zenodo/Dryad）
环境残留	`ps aux \
分片	5 片，按序 cat 拼接
自检	check_md / preflight_check / acceptance / YAML safe_load 四项

附录 O：FAIR 检查单

原则	达标情况
Findable（可发现）	✅ HF 平台 + DOI + 数据集卡元数据；⚠️ 缩写清单未公布，检索需精确限定
Accessible（可访问）	✅ 无门槛直链 + 标准 API
Interoperable（可互操作）	⚠️ 格式标准（CSV/JSON/Parquet），但义项无本体编码，语义互操作需自建
Reusable（可复用）	✅ CC BY 4.0 明确；⚠️ 无官方 split、无 baseline，复现需自存切分与哈希

附录 P：与库内条目的互链优先级

优先级	条目	rid	理由
P0	umls	558	义项归一化的直接上位本体
P0	snomed-ct	557	临床术语标准化核心
P1	mimic-iv-note	47	真实病历缩写场景，受控-野生配对
P1	medmentions	390	实体提及标注，同级互补
P2	i2b2-n2c2-nlp	14	临床文本 NLP 共享任务家族
P2	jnlpba	442	生物医学 NER 经典基准
P2	real-mednlp	1122	真实世界医学 NLP 合集
P3	qamebi / archehr-qa-bionlp-task-2025 / ehr-reasoncon	1050 / 1000 / 1007	下游任务层
P3	snomed-icd10-map / biomedparse / biomedica	1131 / 953 / 734	相邻工具层

附录 Q：坑点档案（与 §10 对照）

编号	坑点	类型	已否实证
坑点 1	把 Test Set 当训练集	用法误判	官方卡 Design/Recommendations 明确
坑点 2	编造论文引用	引文污染	官方卡 “Under review / In preparation”
坑点 3	用其统计义项频率	设计误读	均衡设计本身即反证
坑点 4	随机切分破坏均衡	工程错误	官方建议分层切分
坑点 5	当临床性能证明	过度外推	官方 Sociotechnical Risks
坑点 6	英文缩写迁移中文	语言误用	官方 Anglophone 偏倚声明
坑点 7	与鲸类 CATS tag 混淆	检索污染	Zenodo 4902325 / Dryad 实证
坑点 8	把 sense 当本体编码	数据误读	字段定义为 string
坑点 9	许可宽松误当临床合规	合规误判	Safety Considerations 原文

附录 R：维护触发点

触发条件	建议动作
官方论文正式发表	补引论文、更新 frontmatter 的 source 与 schema_org 的 ScholarlyArticle
数据集版本更新	重跑附录 G 自查、更新 commit hash 与体积数字
官方公布完整缩写清单	补入正文 §2.1 表格
出现第三方评测 leaderboard	增补 §4 指标参照
医学本体迁移至新版本（UMLS/SNOMED）	复核附录 H 映射骨架的可用性

附录 S：缩写速查

缩写	全称	含义
CASI	Clinical Abbreviation Sense Inventory	临床缩写义项清单
CATS-58	Clinical Acronym Test Set (58 acronyms)	本数据集
WSD	Word Sense Disambiguation	词义消歧
NER	Named Entity Recognition	命名实体识别
EHR	Electronic Health Record	电子病历
ITS	Intelligent Tutoring System	智能辅导系统
RAG	Retrieval-Augmented Generation	检索增强生成
OOD	Out-of-Distribution	分布外
PII	Personally Identifiable Information	个人可识别信息
DUA	Data Use Agreement	数据使用协议
NMI	Normalized Mutual Information	归一化互信息
ARI	Adjusted Rand Index	调整兰德指数
CUI	Concept Unique Identifier（UMLS）	概念唯一标识符
UWL	University of the West of England	西英格兰大学

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• rarebench — 共享标签：临床文本 / 医学问答与基准 / 评测基准 / 知识图谱
• meds-ins — 共享标签：临床文本 / 医学问答与基准 / 评测基准 / 医学考试
• mtcmb — 共享标签：临床文本 / 医学问答与基准 / 评测基准 / 医学考试
• synthetic-mention-corpora — 共享标签：临床文本 / 评测基准 / 命名实体识别 / 知识图谱
• bc2gm — 共享标签：医学问答与基准 / 评测基准 / 命名实体识别
• blue-benchmark — 共享标签：临床文本 / 医学问答与基准 / 评测基准
• distemist — 共享标签：临床文本 / 命名实体识别 / 知识图谱
• umls — 共享标签：临床文本 / 命名实体识别 / 知识图谱
• xmedbench — 共享标签：医学问答与基准 / 评测基准 / 医学考试
• care-bench — 共享标签：临床文本 / 医学问答与基准 / 评测基准

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。