MedLexSp / Medical Lexicon for Spanish — 100,887 词目的西班牙语医学词法词典

CSIC-ILLA 用自然语言处理(NLP)从 13 类术语库与 400 万词医学语料反推词法:100,887 词目、302,543 屈折形、42,958 个 UMLS CUI,附 spaCy/Stanza 词形还原模块

来源 13 类术语库与词典(西班牙皇家医学院 DTM、MeSH、SNOMED CT、MedDRA、ICD-10、ATC、NCI 词典、OMIM、OrphaData 等)+ 306 份药品特性摘要(SPC)+ MedlinePlus 西语版 + 逾 400 万词医学语料 + 六个西语标注语料库 + 600 万词 COVID-19 网络文本发布时间: 2026-10-17最后更新: 2026-10-20 阅读 19
MedLexSp / Medical Lexicon for Spanish — 100,887 词目的西班牙语医学词法词典

信息速览

数据集名称MedLexSp / Medical Lexicon for Spanish — 100,887 词目的西班牙语医学词法词典
数据类型文本数据,标注数据,领域知识
规模0(不涉及患者);规模计数以词法单元计:100,887 词目 / 302,543 屈折形 / 42,958 UMLS CUI
接入方式13 类术语库与词典(西班牙皇家医学院 DTM、MeSH、SNOMED CT、MedDRA、ICD-10、ATC、NCI 词典、OMIM、OrphaData 等)+ 306 份药品特性摘要(SPC)+ MedlinePlus 西语版 + 逾 400 万词医学语料 + 六个西语标注语料库 + 600 万词 COVID-19 网络文本
AI 就绪度

INFOBOX — MedLexSp 一屏速览

维度 内容
本质 西班牙语医学词法词典(lexicon,非语料、非影像);可挂载到 spaCy/Stanza 当领域词表
出身 CSIC 语言文学与人类学研究所(ILLA),Leonardo Campillos-Llanos 单作者构建
论文 J Biomed Semantics. 2023 Feb 2;14(1):2(doi 10.1186/s13326-022-00281-5;PMID 36732862)
规模 100,887 词目(33,988 单字 + 66,899 多字)|302,543 屈折形(130,915 + 171,628)|42,958 UMLS CUI
词性 N 89.40%|ADJ 4.89%|NPR 2.76%|ADJ/N 1.02%|AFF 0.90%|V 0.86%|其余 <0.2%
原料 13 类术语库/词典 + DTM 皇家医学院医学词典(40,076 中纳入 30,733)+ 400 万词语料 + 6 个标注语料库
评测 posF1 spaCy 88.7→92.3、Stanza 92.2→94.0;lemmaF1 93.1→95.1、95.1→96.0(开放词类宏平均)
格式 DSV + LMF XML + spaCy/Stanza lemmatizer + LR 词法记录(4 类)
获取 DIGITAL.CSIC 签许可后下载;代码与 COVID-19 词表在 GitHub 公开(MIT 未声明,随仓库)
许可 自定义「研究/教育免费 + 签协议」,不是 CC;MedDRA/SNOMED CT/OMIM 子集不随公开版
一句话 如果你的西语临床 NLP 还在用通用西语词形还原器,「úlceras」会被还原成乱七八糟的东西——这就是它存在的理由

§0 导读:这个数据集解决什么问题

西班牙语临床文本的自然语言处理(Natural Language Processing, NLP)长期处在一个尴尬位置:工具很多,但都不是为医学文本准备的。spaCy 和 Stanza 提供的西语模型训练自新闻与百科语料,对「úlceras」「adenopatías」「antihipertensivos」这类词的处理是"能切、能猜、但不可靠"。更麻烦的是词形还原(lemmatization):面对一个没见过的屈折形,spaCy 常常原样返回,Stanza 则会按西语构词规则硬造一个不存在的词——论文里记录的 *sendrar、*corticoid 就是这类虚构词形的实例。对信息抽取系统而言,一个虚构词目意味着这条实体永远匹配不上任何概念 ID。

MedLexSp(Medical Lexicon for Spanish,西班牙语医学词典)的回答很直接:先把"西班牙语医学词"这件事的词法事实穷举出来,再把这些事实注入现成工具。做法分四步。第一步收集原料:把西班牙皇家医学院医学词典(Diccionario de Términos Médicos, DTM)、MeSH、SNOMED CT、MedDRA、ICD-10、ATC、NCI 词典、OMIM、OrphaData 等 13 类术语资源里的西班牙语词条聚拢,再用 400 万词以上的医学语料做频次筛选。第二步补词法:为每个条目生成单复数、阴阳性、动词变位等屈折形,并给出词性标注(Part-of-Speech, POS)。第三步接概念:把能对上 UMLS 的条目挂上概念唯一标识符(Concept Unique Identifier, CUI)与语义类型。第四步交付:DSV 表格、LMF XML、spaCy 与 Stanza 的词形还原模块,以及四类专门的词法记录文件(缩写、词缀、名动派生、形名派生)。

结果就是本条目要解释的三组数字:100,887 个词目、302,543 个屈折形、42,958 个 UMLS CUI。这三组数字不是同一件事的三种说法,而是三个层次的计数:概念层(CUI)、词典层(词目)、表层(屈折形)。理解这三层的关系,是理解 MedLexSp 全部设计取舍的钥匙。

§0 读法三则:

  1. 这是一份词典,不是语料库。它不含病历、不含句子、不含标注实例;它提供的是"词长什么样、属于哪个概念"的静态知识。任何"用它训练 NER"的说法,都需要先经过它给语料做预标注(§5)。
  2. 全文统计数字均出自论文表格(表 3、表 4、表 6、表 7)与 DIGITAL.CSIC 元数据;正文与表格唯一冲突处(期刊卷期 14(1) 与 GitHub 引用 14(2))已在坑 2 存照。
  3. 检索时不要把 MedLexSp 与 “Medical Lexicon” 通用词组混为一谈——后者是任意医学词典的通称,前者是 DIGITAL.CSIC 上带 DOI 的具名资源(坑 1)。

§1 数据集速览:十问十答

Q1:MedLexSp 是什么类型的数据?
是一份词法资源(lexical resource):词目、屈折形、词性、形态学属性、UMLS 概念映射构成的结构化表格。没有句子、没有患者记录、没有影像。它更像一部可以为机器读取的医学词典,而不是一个可用于训练的数据集;但因为可以直接挂进 spaCy/Stanza 流水线,工程上它常常以"模型增强包"的形态被使用。

Q2:三个核心数字分别指什么?
100,887 是词目(lemma,即词典条目,如 hígado),其中单字词 33,988、多字词 66,899;302,543 是屈折形(inflected form,即实际出现在文本里的变形,如 hígados),单字形 130,915、多字形 171,628;42,958 是 UMLS CUI,即这些词目背后能对上的概念数。词目 : CUI ≈ 2.35 : 1,意即同一概念在西班牙语里平均有 2.35 个说法。

Q3:为什么屈折形数量是词目的三倍?
西班牙语的形态变化比英语重得多:名词与形容词有阴阳性与单复数(diabético/diabética/diabéticos/diabéticas),动词有一套完整的变位表(陈述式、虚拟式、命令式的时态与人称组合)。平均每个词目 3.0 个屈折形;而分布是极度偏斜的——单个 CUI 对应词形数最大达 475 个,标准差 15.43,说明少数高频概念(多为动词类或复合症状描述)贡献了大量词形。

Q4:词性分布说明了什么?
名词(N)占 89.40%,形容词(ADJ)4.89%,专有名词(NPR)2.76%,其余类别均不足 1.1%。这符合医学词典的常识:医学语言的名词密度极高。但有两个细节值得注意——词缀(AFF)单独标注了 913 条(如 reno- 肾),动词(V)仅 867 条。词缀单列是为了支持构词法分析(遇到未登录词时可按词缀拆分推理),动词稀少则反映了医学叙述中"过程"多以名词形式出现(diálisis 而非 dializar)。

Q5:它的原料到底有哪些?
论文列出的来源可分四组:① 前序工作积累的西语医学文本词表(约 38,354 条,含 400 万词语料统计);② 词典/术语表 13 类,核心是 DTM(40,076 条中纳入 30,733 条,纳入率 76.7%);③ 领域语料(306 份药品特性摘要 SPC、MedlinePlus 西语版);④ 标注语料(PharmaCoNER、CODIESP、CANTEMIST、智利等待列表语料 CWLC、CT-EBM-SP)。COVID-19 词条另用词嵌入方法补充。

Q6:为什么说 DTM 是这一版的关键?
DTM 是西班牙皇家医学院(Real Academia Nacional de Medicina de España, RANME)编纂的权威医学词典,此前从未以结构化形式进入 NLP 流水线。MedLexSp 通过与 RANME 签署协议取得授权,把其中 30,733 条转为带词性、带屈折形的机器可读条目。这是本资源相较于"用 MeSH 西语版拼一个词表"的根本差别:DTM 描述的是临床医生实际使用的西语医学词汇,而不是术语标准的中文/英文直译。

Q7:UMLS 关系是怎么建立的?
不是"查询 UMLS 西语词表"这么简单。构建路径是:先有词目,再通过字符串匹配与人工核查挂 CUI;前序词表约 47.61% 能精确匹配到 CUI,其余通过多词变体、缩写展开、词缀派生等路径补充。最终 42,958 个 CUI 携带 UMLS 语义类型(semantic type)与语义组(semantic group)。语义类型分布高度集中:Disease_or_Syndrome 超过 25,000 条,Pharmacologic_Substance 超过 8,000 条。

Q8:能直接拿来提升模型指标吗?
能,但增益取决于任务。论文报告:把 MedLexSp 挂到 spaCy 的西语模型上,开放词类 POS 标注的宏平均 F1 从 88.7 升到 92.3(+3.6),词形还原从 93.1 升到 95.1(+2.0);挂到 Stanza 上 POS F1 从 92.2 升到 94.0(+1.8),词形还原从 95.1 升到 96.0(+0.9)。增益最大的是 spaCy——因为它原本的领域知识最弱。

Q9:为什么许可这么麻烦?
因为它的原料受制于多层协议。DTM 需要 RANME 授权,MeSH 西语版由 BIREME 提供,MedDRA、SNOMED CT、OMIM 各有自己的使用限制。MedLexSp 本体因此采用自定义许可(研究/教育免费、须签署协议),且公开分发版不含受限制来源的数据子集。这意味着你拿到的公开版与论文描述的构建材料在覆盖面上存在差异——这是引用时必须说明的事实。

Q10:它在千方库里的位置是什么?
它是库内唯一一份西班牙语词法层资源。库内的 UMLS(rid 558)、SNOMED CT(rid 557)、MedDRA(rid 579)都是概念/术语层,不含屈折形;MedLexSp 补上的正是"从文本表层到概念"的那一段,是西语临床 NLP 流水线里缺的那块拼图。

§2 数据构成与规格

2.1 三层次结构:概念、词目、屈折形

MedLexSp 的记录模型可以画成三层金字塔。塔尖是 42,958 个 UMLS CUI——概念层,与语言无关;中间是 100,887 个西班牙语词目——词典层,一个概念可能对应多个词目(同义词、缩写、派生词);塔基是 302,543 个屈折形——表层,一个词目按西语形态规则展开。

三层之间的比例关系是理解这份资源的关键。词目 : CUI = 2.35(SD 2.16),说明同义现象普遍;屈折形 : CUI = 7.04(SD 15.43),说明形态展开在部分概念上极端膨胀。标准差远大于均值,是典型的幂律分布:绝大多数概念只有 1-2 个词形,少数概念(尤其是包含动词变位的复合表达)有上百个。

论文给出的一条分布事实值得记住:单个 CUI 对应的最大词形数为 475。这个数字提醒工程使用者——用 CUI 做索引时,倒排表的单条目长度可能非常大,需要设置截断或分片策略。

2.2 词性标签集与分布

MedLexSp 使用 9 个词性标签,其中 3 个是复合标签(表示兼类):

标签 全称 词目数 占比 示例
N 名词 noun 90,188 89.40% hígado(肝)
ADJ 形容词 adjective 4,933 4.89% hepático(肝的)
NPR 专有名词 proper noun 2,786 2.76% Streptococcus
ADJ/N 形容词兼名词 1,033 1.02% diabético(糖尿病的/糖尿病人)
AFF 词缀 affix 913 0.90% reno-(肾-)
V 动词 verb 867 0.86% sangrar(出血)
N/NPR 名词兼专名 107 0.11% aspirina(阿司匹林)
ADV 副词 adverb 40 0.04% levemente(轻微地)
ADJ/ADV 形容词兼副词 20 0.02% in situ(原位)

复合标签的存在是有意为之:aspirina 既可作普通名词(“吃一片阿司匹林”)也可作专名(商品名语境),diabético 既可修饰名词也可直接指人。在 POS 标注任务中,这类兼类词正是错误高发区(§5.4)。

2.3 形态学属性

除词性外,每个条目还携带形态学属性:语法性(通性/阳性/阴性)、数(单数/复数/单复数同形)、动词的人称、时态、语气与动词形式,以及变体类型(缩写、首字母缩略词)。这些属性使 MedLexSp 不仅能用于分析,也能用于生成——例如从词目反推正确屈折形,支持自然语言生成(Natural Language Generation, NLG)场景下的数一致性检查。

2.4 语义标注

每个带 CUI 的条目还挂两重语义信息:UMLS 语义类型(semantic type,如 Disease_or_Syndrome)与语义组(semantic group,如 DISO)。语义类型粒度细(UMLS 全集 127 种),语义组粒度粗(若干大类)。MedLexSp 的语义类型分布高度偏斜:

  • Disease_or_Syndrome:> 25,000 条,占绝对多数
  • Pharmacologic_Substance:> 8,000 条
  • 其余类型分散

这一分布直接反映了词表来源的构成:DTM 以疾病与临床操作词汇为主,ATC 与 Nomenclátor 贡献药物名。也解释了论文的自我限定——由于纳入 CANTEMIST(肿瘤病例)语料,Neoplastic Process 类占比偏高,因此不适合基因组学任务(GENE 组代表不足)。

2.5 分发格式

格式 内容 适用场景
DSV 六字段表:CUI|词目|变体|词性|语义类型|语义组 直接入库、SQL 关联、批处理
LMF XML 符合 ISO 24613 的词法标记框架结构 与词典学工具链(如 LMF 编辑器)互通
spaCy lemmatizer 扩展词表模块,新增 106,396 词形,合计 564,725 词形 直接挂接到 es_core_news_* 模型
Stanza lemmatizer 扩展模块,新增 104,551 词形 挂接到 Stanza 西语处理管线
LR_abr.dsv 缩写—全称对照 缩写展开、首字母缩略词消歧
LR_affix.dsv 词缀/词根记录 未登录词构词推理
LR_n_v.dsv 名动派生对(535 条) 如 diálisis → dializar
LR_adj_n.dsv 形名派生对(2,366 条) 如 hígado → hepático

DSV 的字段设计明显借鉴 UMLS 的 MRCONSO.RRF 与 MRSTY.RRF——概念来源文件与语义类型文件,但把两者合并成一张宽表,代价是语义信息不与 CUI 唯一对应时就无法正交展开。使用者若需严格的「概念—语义类型」多对多关系,应当自行按 CUI 归并。

2.6 与通用西语词表的差异

把 MedLexSp 与 spaCy/Stanza 自带的西语词表放在一起比较,差异集中在三处:

  1. 领域密度:通用词表里医学名词几乎不占显要位置,MedLexSp 89.4% 是名词且全部为医学术语。
  2. 多字词占比:MedLexSp 词目里 66,899 条(66.3%)是多字词(如 insuficiencia cardíaca),通用词表几乎不覆盖多字术语——这正是医学实体识别最需要的部分。
  3. 概念绑定:通用词表只有词性,没有 CUI;MedLexSp 把词法与概念串联,使词形还原的结果可以直接进入实体规范化(entity linking)流程。

(衔接 §3)

§3 构建流水线:一部词典是怎么被"算"出来的

MedLexSp 的构建不是传统词典编纂——没有一群人围坐分词条手写释义。它是四段式流水线:原料聚合 → 词法展开 → 概念对齐 → 缺口填补。每一段都有明确的技术手段与明确的失败模式,理解这四段,也就理解了这份资源的边界在哪。

3.1 第一段:原料聚合

输入是四组异质资源。第一组是前序词表:作者此前从医学文本语料中抽取的 38,354 条西语词,附带 400 万词的语料统计,这部分提供了"临床上真正在用的词"的经验基础。第二组是权威词典:DTM 贡献最大,40,076 条中纳入 30,733 条;此外还有 NCI 词典、OrphaData(罕见病)、DSM-5 西语版、ICPC(基层医疗国际分类)。第三组是术语标准:MeSH(经 BIREME 授权的西语版,复核 20,649 条)、SNOMED CT(复核 48,188 条)、ICD-10 与 ICD-O-3、ATC 药物分类、MedDRA、WHO-ART、OMIM。第四组是专名词典:Nomenclátor 药品品牌名库、SDEdb 西班牙药物效应数据库。

聚合阶段的核心工艺是频次筛选:并非所有术语标准的条目都进入最终词表。对 MeSH 与 SNOMED CT 这类体量巨大的标准,作者用 400 万词医学语料统计词频,剔除在本国临床文本中实际低频的条目。这一步骤决定了 MedLexSp 的性质——它不是对某个标准的完整翻译,而是"标准 ∩ 实际使用"的交集。

3.2 第二段:词法展开

有了词目还不够,因为文本里出现的是屈折形。第二段的工艺是规则生成 + 人工校验:

  • 名词按阴阳性词尾规则展开单复数(-o/-a、-ción/-ciones、-itis 不变格等);
  • 形容词按四形变化(阳性单数/阴性单数/阳性复数/阴性复数)展开;
  • 动词按西语三类变位(-ar/-er/-ir)与标准时态—人称组合展开,规则动词自动生成,不规则动词查表;
  • 多字词按末词变化、前词保持(insuficiencia cardíaca → insuficiencias cardíacas),但部分固定搭配整体不变(如 in situ)。

展开后得到 302,543 个屈折形。平均每个词目 3.0 个形,但分布偏斜:名词通常 2-4 个形,形容词 4 个形,动词可多达数十个形。多字屈折形(171,628 个)比单字屈折形(130,915 个)还多——这个反直觉的数字说明多字术语在西语医学文本中的权重被严重低估。

3.3 第三段:概念对齐

第三段把词目挂到 UMLS CUI 上。路径有三条:

  1. 精确匹配:词目字符串与 UMLS 西语词表条目完全一致 → 直接挂 CUI。前序词表约 47.61% 走这条路。
  2. 变体匹配:处理词序倒置(cáncer de pulmón / pulmón, cáncer de)、冠词省略、介词差异等表层变体。
  3. 派生匹配:利用 LR_n_v(名动派生)与 LR_adj_n(形名派生)记录,把派生词归到同一概念下——例如 diálisis 与 dializar、hígado 与 hepático。

无法对齐的词目(如部分商品名、空间形容词)保留在词表中但无 CUI。这是刻意设计:词法完整性优先于概念完整性。一个词可以在西语里合法存在、需要被正确标注词性,却不一定在 UMLS 中有对应概念。

3.4 第四段:缺口填补——COVID-19 词条

2020-2021 年疫情期间出现的大量新词(COVID-19、confinamiento、hidroxicloroquina、FFP2、N95、EPI)在任何既有术语库中都来不及收录。第四段用词嵌入相似度方法系统性地补:

  1. 选定 20 个种子词(含 arbidol、remdesivir、camrelizumab、confinamiento、cuarentena 等,覆盖药物、防护、公共卫生三类);
  2. 用 600 万词疫情网络文本训练 100 维 SkipGram fastText 嵌入(min count=3,窗口 5);
  3. 对每个种子取 50 个最近邻,筛出未登录词(OOV);
  4. 人工核查每个候选在 UMLS 中的登记情况。

最终收集 222 个词条、491 个词形、158 个唯一 CUI。最佳配置下,OOV 候选中有 11.30% 能映射到 CUI——这个比例不高,但恰好揭示了疫情期间术语体系与概念体系的错位:新词先出现,概念后登记。

论文还报告了一个有价值的负面结论:在主题相关的小语料上训练的嵌入,优于大规模通用语料上的嵌入;而只取 10 个最近邻时覆盖不足(多为拼写错误与分词错误)。这条经验可以直接迁移到其他"新兴术语发现"任务。

3.5 流水线的可迁移性

这套四段式工艺的成本结构值得注意:第一段依赖授权(DTM/RANME、MeSH/BIREME),第三段依赖 UMLS 许可,第四段依赖语料与嵌入模型——全过程几乎不需要逐条人工释义。这与传统的"专家写词典"相比,成本可能低一到两个数量级。代价是质量上限由原料决定:DTM 没有的语义关系,MedLexSp 也不会有;UMLS 没有登记的概念,MedLexSp 也挂不上去。

对想做同类资源(如中文医学词法词典、葡萄牙语版本)的团队,这条流水线是可以照搬的模板,但需要注意两个前提:① 必须有一个权威的本国医学词典作为主原料(DTM 之于西语,类比《医学名词》之于中文);② 必须有一个大规模概念体系可挂(UMLS 之于西语,中文场景可考虑以 SNOMED CT 中文版或 ICD-11 中文版为锚)。

§4 三组数字:规模解剖与口径辨析

4.1 100,887 词目:不是"10 万个医学词语"

这个数字常被简化传播为"10 万条西语医学术语",但论文表 3 的拆分更有信息量:单字词 33,988,多字词 66,899。也就是说,三分之二是词组。这与其他语言资源(如英文 SPECIALIST Lexicon 以单字词为主)形成鲜明对比,也反映了西语医学表达的一个特点:大量概念依靠"名词 + 介词短语"构造,而非单一词汇(dolor de cabeza、insuficiencia cardíaca congestiva、carcinoma de células escamosas)。

对下游任务,这个构成的直接后果是:分词质量决定一切。如果分词器把 insuficiencia cardíaca congestiva 切成四个词,MedLexSp 的多字词条目就永远匹配不上。论文在 NLP 用例中专门讨论了这一点,并在 GitHub 代码中给出了自定义分词与词形还原的脚本(token_lemma_medlexsp_spacy.py,2026-02-03 更新)。

4.2 302,543 屈折形:一个被低估的规模

屈折形数量是词目的三倍,但真正值得注意的是分布:

  • 平均每词目 3.0 个形式;
  • 单字屈折形 130,915(平均每单字词目 3.85 个);
  • 多字屈折形 171,628(平均每多字词目 2.57 个)。

多字词的屈折形/词目比反而更低,因为许多固定搭配只在末词变格,甚至不变(in situ、a priori 类拉丁借词)。这带来一个实践中的坑:不能假设"多字术语一定有复数形式"(见坑点 6)。

另一个必须警惕的口径问题是"564,725 词形"。这个数字出现在 spaCy 模块说明中——它是基础 spaCy 西语词表与 MedLexSp 新增 106,396 条合并后的运行时词表大小,不是 MedLexSp 本体的规模。本体是 302,543,新增是 106,396(去重后不重复计入),合计模型运行时词表 564,725。混用这三个数字会写出"MedLexSp 包含 56 万个词形"这样的错误表述(见坑点 3)。

4.3 42,958 CUI:概念覆盖率的天花板

42,958 个 CUI 意味着 MedLexSp 能覆盖 UMLS 西语概念的一个子集。对照 UMLS 的总规模(千万级概念、数百万西语词条),这个数字不算大,但论文的定位很清楚:它服务的是临床文本处理,不是全医学知识覆盖。在这个定位下,覆盖率的关键不是"占 UMLS 多少",而是"在本国临床文本中能命中多少"。

论文的两项覆盖率指标间接回答了这个问题:

  • 前序词表 47.61% 可精确映射 CUI;
  • COVID-19 OOV 候选 11.30% 可映射 CUI。

前者是"既有词表的概念化率",后者是"新词的概念化率"。两者都不到一半,说明 MedLexSp 的价值更多在词法层(把词形归一、把词性标对),而非概念层(把每个词都挂上 UMLS 概念)。工程使用时应当分层对待:先用词法层提升分词与词形还原,再用概念层做实体链接,并对未挂 CUI 的条目保留降级路径(如按词表来源标签区分处理)。

4.4 语义类型分布的三个信号

论文报告:Disease_or_Syndrome 超过 25,000 条,Pharmacologic_Substance 超过 8,000 条。这两个数字合计已经占了带 CUI 条目的绝大部分,剩余数千条散布在其余语义类型中。这三个信号分别是:

  1. 疾病与药物是本资源的强项,与临床文本的最高频实体类型吻合;
  2. 解剖、操作、检验类覆盖中等,在 CT-EBM-SP 预标注中 ANAT/CHEM/DISO/PROC 四组均被使用,但论文未给出各组的准确率拆分;
  3. 分子与基因类是弱项,论文明确说明 GENE 组代表不足,不适合基因组学任务。

§5 任务、评测与真实用例

5.1 两个任务:POS 标注与词形还原

论文选取的两个评测任务是 POS 标注(给每个词标词性)与词形还原(把屈折形归到词目)。这两个任务是几乎所有医学 NLP 流水线的前置步骤,也是 MedLexSp 最直接的用武之地。评测集是临床病例与临床试验文本,混合了正式术语与临床简写。

评测协议是:用相同模型,分别在"不挂 MedLexSp"与"挂 MedLexSp"两种条件下跑,比较开放词类(名词、动词、形容词、副词、专名)的宏平均 P/R/F1。闭类词(介词、冠词等)由通用词表覆盖,不计入差异。

5.2 主要结果

工具 POS P POS R POS F1 Lemma P Lemma R Lemma F1
spaCy 基线 91.3 87.0 88.7 (±4.4) 93.6 92.9 93.1 (±2.4)
spaCy + MedLexSp 93.3 91.9 92.3 (±2.9) 95.4 95.1 95.1 (±2.1)
Stanza 基线 94.7 95.5 92.2 (±3.6) 95.4 95.0 95.1 (±2.0)
Stanza + MedLexSp 94.9 93.7 94.0 (±2.6) 96.3 96.0 96.0 (±1.8)

读这张表要注意三点。第一,绝对增益:POS F1 +3.6(spaCy)/ +1.8(Stanza),词形还原 +2.0 / +0.9。第二,方差收窄:spaCy 的 POS F1 标准差从 4.4 降到 2.9,说明词表带来的改善在不同文本子集上更一致,而不只是平均分被拉高。第三,上限位置:Stanza + MedLexSp 组合达到 POS 94.0、词形还原 96.0,这已经是论文主张的"目前西语临床文本的最佳可用配置"。

一个反直觉的细节:spaCy 基线的词形还原(93.1)低于 Stanza 基线(95.1),挂上同一份词表后差距缩小到 0.9(95.1 vs 96.0)。这说明 MedLexSp 的作用在很大程度上是替代模型自身的西语构词规则——spaCy 原本对未登录词采用"原形作 lemma"的保守策略,收益空间更大。

5.3 分类别表现与失败模式

论文表 7 给出分类别 F1(spaCy+MLS / Stanza+MLS):

类别 spaCy + MedLexSp Stanza + MedLexSp
ADJ 形容词 91.06 92.28
ADV 副词 94.05 95.55
NOUN 名词 95.59 96.75
PROPN 专名 19.49 47.92
VERB 动词 88.64 89.29

专有名词一栏是这张表最刺眼的地方:spaCy 只有 19.49,Stanza 也只有 47.92。论文的误差分析给出了原因:PROPN 包含大量商品名、机构名、以人名命名的疾病(如 síndrome de Guillain-Barré)与药物品牌名,这些词的词性判断依赖上下文句法而非词典——词表帮不上忙。反过来,名词(96.75)与副词(95.55)已经接近饱和。

另外三类高频错误:过去分词(ulcerada 被当作形容词还是动词分词)、形名兼类(antiemético 既是"止吐的"也是"止吐药")、首字母缩略词(UCI 重症监护病房、VIH 艾滋病毒)。缩略词错误可以通过 LR_abr.dsv 部分缓解,但兼类词只能靠上下文消歧。

5.4 用例一:CT-EBM-SP 预标注(1,200 篇 / 292,173 词)

第一个用例把 MedLexSp 当作预标注器:对 1,200 篇循证医学临床试验文本(500 篇 SciELO 期刊摘要 + 700 篇 EudraCT 试验公告,共 292,173 词)用四个语义组(ANAT 解剖、CHEM 化学物质、DISO 疾病、PROC 过程)自动标注实体,再由三名不同背景的标注员(计算语言学家、医学词典编纂者、临床医生)复核。整个过程历时七个月。

结果链条非常清晰:

  • 自动预标注 56,343 个实体;
  • 人工复核后保留 46,699 个,删除 17.12%;
  • 期刊摘要子集:25,265 → 20,031(删 20.71%);
  • 试验公告子集:31,078 → 26,668(删 14.19%);
  • 标注者间一致性:严格匹配 F1 85.65%(±4.79),宽松匹配 93.94%(±3.31)。

删除的原因集中在三类:多义词误标(vacuna 作动词"接种"时被当成名词"疫苗")、笼统与具体重叠(dolor 与 dolor de cabeza 同时命中,形成嵌套)、交叉实体(live vaccines 这类复合表达的边界判定分歧)。17.12% 的删除率是衡量"词典驱动的规则预标注"可靠性的一个关键基准——它说明即使是最权威的词典,直接用于实体抽取也需要人工兜底,但工作量从"全人工"降到"只做删改"。

进一步,用这份复核后的标注训练序列标注模型(SequenceLabeler、FLAIR、BERT),测试集 F 值落在 80.28%(±0.99)到 86.74%(±0.19)之间——这是"词典预标注 + 少量人工 + 模型微调"三段式路线的一个可复现参照点。

5.5 用例二:临床病例文本的词法处理

第二个用例更贴近日常使用:对临床病例叙述文本做分词、词性标注、词形还原,与 spaCy/Stanza 默认模型对比。收益与 §5.2 的数字一致,但论文特别强调了一个失败现象:Stanza 在遇到未登录词时会生成不存在的西语词形(如 *sendrar、*corticoid),而 spaCy 倾向于原样返回。前者制造"看起来像词但不是词"的假象,对下游实体链接危害更大;后者至少可以被 OOV 检测捕获。这条经验在选型时很有用:如果下游有关键的未登录词处理逻辑,spaCy 的保守行为更容易补救。

5.6 评测的边界

必须说明三点局限:① 评测集规模与来源论文未逐一披露(临床病例文本的具体篇数、token 数未见表格),复现需要自行准备同域数据;② 没有跨机构、跨国家的验证(全部为西班牙语欧洲变体);③ 没有与临床专用模型(如基于 RoBERTa-BNE 的西语医学模型)的对比——MedLexSp 的对照对象是"通用模型 vs 通用模型 + 词表",而不是"通用模型 vs 领域预训练模型"。若要做严肃的方法比较,这一点需要在引用时补足。

(衔接 §6)

§6 获取与许可:一份要签字的词典

6.1 三条获取路径

MedLexSp 的交付物分散在三个位置,各自规则不同:

路径 内容 门槛
DIGITAL.CSIC(DOI 10.20350/digitalCSIC/14656) 词表本体:DSV 表、LMF XML、LR_*.dsv 词法记录 阅读并签署 MedLexSp License 2022 后方可下载
DIGITAL.CSIC 数据集页附件 README.txt、下载指引 PDF、许可 PDF 公开可读
GitHub lcampillos/MedLexSp spaCy/Stanza 词形还原代码、COVID-19 词嵌入与词条提取脚本、停用词表、频次表 无需申请,随仓库获取

三个位置的分工很清楚:本体受许可管控,代码与衍生物公开。这也是本条目在"可获取性"评分上不去满分的根本原因——数据本体不是"点开即下",而是"申请—签署—下载"。

6.2 许可条款的实质

许可名为 MedLexSp License 2022,不是 Creative Commons 系列,也不是 MIT/Apache。论文与数据集页给出的要点是:

  • 免费用于研究与教育;
  • 使用前须签署许可协议;
  • 分发按 DIGITAL.CSIC 的仓库条款;
  • 受第三方协议限制的来源(MedDRA、SNOMED CT、OMIM 等)不包含在公开分发版中。

这意味着三件事必须写清楚:

  1. 不能简单标注为 CC BY。本库若把它标为 CC BY 4.0,会误导下游商用团队。正确的表述是"自定义研究教育许可,需签署"。
  2. 公开版 ≠ 论文版。论文描述中包含了 MedDRA、SNOMED CT、OMIM 的条目,但公开分发版不含这些受限制来源的子集。用公开版复现论文中的语义类型分布时,可能得到不同的数字。
  3. 商用与再分发边界未明示。许可 PDF 中对"商用"与"再分发"的具体条款,本条目未逐条核对,属于遗留疑点(见 §10 与 FACTS §9)。企业使用前必须直接向作者确认。

6.3 版本链

  • 2022-05-25:DIGITAL.CSIC 首次登记(DCAT 元数据 creation/modification 双日期均为该日)。
  • 2023-02-02:J Biomed Semantics 14(1):2 刊出,标志论文版定稿;DOI 与首版一致,未见独立版本号。
  • 2026-02-03:GitHub 最后一次代码提交(分词与词形还原脚本修订),数据本体未见更新记录。

也就是说,数据集层面只有一个版本,变化体现在代码侧。引用时使用数据集 DOI 即可,不需要版本号区分。这一点与许多带 v1/v2 的数据集不同,容易在引用格式上出错(坑 5)。

6.4 与相邻资源的许可对照

资源 许可形态 是否需申请
MedLexSp 自定义研究/教育许可 + 签署 是
UMLS(库内 rid 558) UMLS License Agreement(免费注册) 是(在线同意)
SNOMED CT(库内 rid 557) Affiliate License(成员制) 是(按国家成员组织)
MedDRA(库内 rid 579) 订阅制(MSSO) 是(付费订阅)
OMIM(库内 rid 159) 网站数据下载条款(学术免费,商用受限) 视用途
Orphanet/ORDO(库内 rid 812) CC BY 4.0 否

把 MedLexSp 放在这张表里就能看出它的许可位置:比 UMLS 严格一点(要人工签署而非在线点选),比 SNOMED CT/MedDRA 宽松得多(不收费、不按国家成员组织)。这个"中等门槛"恰恰解释了一个现象——它在学术圈被引用,但在产业界几乎不见使用(GitHub 仅 1 star)。

§7 生态与互链:它在千方库里和谁说话

7.1 上游:概念与术语体系

  • UMLS(rid 558):最直接的上游。MedLexSp 的 42,958 个 CUI、语义类型、语义组全部来自 UMLS;它的记录格式(CUI|词目|变体|POS|语义类型|语义组)也是对 MRCONSO 与 MRSTY 的合并简化。两者不是同一层:UMLS 是概念与关系本体,MedLexSp 是"西班牙语表层如何抵达这些概念"的词法桥。
  • SNOMED CT(rid 557):术语来源之一,复核 48,188 条后筛选纳入。受许可限制,公开版不含 SNOMED CT 专有子集。
  • MedDRA(rid 579):药物警戒术语来源,同样受订阅限制。
  • OMIM(rid 159):遗传病与基因条目来源,构成 GENE 组的少量覆盖(论文承认该组代表不足)。
  • Orphanet/ORDO(rid 812):罕见病词条来源(OrphaData),是西语罕见病名词的主要补充。
  • ChEBI(rid 314):本身不是直接来源,但 CHEM 语义组的概念边界与 ChEBI 的化学实体分类有重合,交叉使用时需注意概念粒度差异。

7.2 平行:同域语料与任务

  • PharmaCoNER(rid 504):西班牙语药物实体识别语料,既是 MedLexSp 的词表来源之一,也是它的评测域之一。两者构成"词表 ↔ 标注语料"的闭环,是库内少有的同语种同域配对。
  • CT-EBM-SP:MedLexSp 论文自建的 1,200 篇临床试验标注语料(292,173 词),目前库内无独立条目;检索西语临床试验 NLP 时需从 MedLexSp 条目进入。
  • JNLPBA(rid 442)/CHEMDNER(rid 450):英文生物实体识别基准。可作为"术语级 NER 的方法论对照",但语言不同,不能直接比较分数。
  • i2b2/n2c2(rid 14):英文临床 NLP 共享任务语料。对照价值在任务设计(去标识、药物抽取、时间关系),而非语言。
  • Real-MedNLP(rid 1122):英日平行病例与放射报告语料。与 MedLexSp 的关系是"如果有西语版,MedLexSp 会是它的词法前置件"——目前只是方法论上的类比。
  • DDI Corpus(rid 1129):药物相互作用抽取金标准(英文)。西语场景若要迁移,需要 MedLexSp 提供药物名词形与缩写展开。

7.3 下游:可直接挂载的工程位点

  • 临床文本去标识与结构化(如 Deidentified Medical Text, rid 980):西语版本若有,MedLexSp 可作为名字/机构名之外的术语识别基线。
  • 术语编码映射(如 SNOMED CT → ICD-10 映射, rid 1131):西语自由文本 → SNOMED CT 的中间层,可用 MedLexSp 做词形归一后再映射。
  • 医学问答与检索:西语医学问答系统在召回阶段可用 CUI 做同义扩展(infarto / ataque al corazón 归到同一 CUI)。

7.4 检索路径建议

  • 精确检索词:MedLexSp、Medical Lexicon for Spanish、Campillos-Llanos;勿用 Spanish medical dictionary(会命中大量在线词典网站)。
  • 想拿数据:DIGITAL.CSIC DOI 10.20350/digitalCSIC/14656 → 读 README → 签许可 → 下载 DSV/XML。
  • 想快速试效果:GitHub lcampillos/MedLexSp 的 spacy_lemmatizer/ 与 stanza_lemmatizer/ 目录,按 README 安装扩展模块。
  • 想引用:论文 doi 10.1186/s13326-022-00281-5 + 数据集 doi 10.20350/digitalCSIC/14656 双引;仅引论文会遗漏数据版本信息。

§8 方法学启示:四条可迁移的经验

8.1 词法完备性优先于概念完备性

MedLexSp 允许"有词目但无 CUI"的条目存在。这个取舍看似降低了"概念覆盖率"指标,实际上提升了工具可用性——因为下游任务的第一步(分词、词性标注)只需要词法信息,第二步(实体链接)才需要概念。把两件事解耦,使得资源可以分阶段使用,也使得资源不因 UMLS 覆盖不足而整体失效。这一原则对所有"从术语库反推语言学资源"的项目都成立。

8.2 多字词是医学词表的真正战场

66.3% 的词目是多字词,171,628 个多字屈折形超过单字屈折形。任何以单字词为主的词表构建思路,在医学领域都会漏掉最大的一块。这条经验的反面案例同样清晰:通用西语词表几乎不覆盖多字术语,导致 spaCy/Stanza 在西语医学文本上的 PROPN 与多字术语识别表现差。

8.3 预标注的价值可以用"删除率"量化

CT-EBM-SP 用例给出了一个可复用的评价框架:词典预标注的实体,人工复核后删除 17.12%。这个数字既是质量指标(越低越好),也是工作量指标(决定人工成本)。相比"直接用词典做规则匹配然后宣称 F1",这种"预标注 + 复核 + 删除率报告"的方法论更诚实,也更适合作为数据集构建的标准流程。

8.4 新兴术语必须用分布方法补,不能靠人工等

COVID-19 词条补充用词嵌入相似度,从 20 个种子词出发找到 222 个词条。这个方法的价值不在于结果规模,而在于它可以在术语被官方收录之前完成。论文给出的最佳配置(SkipGram、d=100、min count=3、窗口 5、主题相关小语料)可以直接迁移到下一次公共卫生事件或新药上市潮。

§9 与库内条目的关系:消歧说明

这是本条目最需要写清楚的部分。千方库内已有 UMLS、SNOMED CT、MedDRA 等概念/术语层条目,也有若干"多语词表/词法"类条目,检索时极容易混淆。以下逐条说明它们与 MedLexSp 的边界在哪里、什么时候该看哪一条。

9.1 MedLexSp vs UMLS(rid 558)

关系:上游—下游,不是同一层。

UMLS(Unified Medical Language System)是概念本体 + 词汇变体库:它把来自 200 多个源词表的概念统一到 CUI 下,并提供语义网络(Semantic Network)的 127 种语义类型与概念间关系。MedLexSp 是西班牙语词法层:它借用 UMLS 的 CUI 与语义类型作为标注,但自身不是本体,不含概念间关系,也不试图穷举 UMLS 的全部概念。

判断口径:

  • 需要"概念之间是什么关系"(如 diabetes 是 disease 的子类、metformin 治疗 diabetes)→ 看 UMLS 条目;
  • 需要"西班牙语里 diabético 有哪几种词形、词性是名词还是形容词"→ 看 MedLexSp;
  • 需要"西语文本里的 azúcar alta 对应哪个概念"→ 两者结合:MedLexSp 做词形归一与同义扩展,UMLS 给概念关系。

一句话消歧:UMLS 管"概念是什么、彼此什么关系",MedLexSp 管"西班牙语把这些概念说成什么样"。

9.2 MedLexSp vs SNOMED CT(rid 557)

关系:来源与被筛选,且公开版不含其专有子集。

SNOMED CT 是临床术语标准(概念 + 描述 + 关系),也是 MedLexSp 的术语来源之一(复核 48,188 条)。但 MedLexSp 对 SNOMED CT 只做两件事:取西语描述、按频次筛选。它不继承 SNOMED CT 的 is-a 层级,也不做后组合(post-coordination)。

判断口径:

  • 需要编码、需要临床语义推理、需要与 EHR 对接 → SNOMED CT;
  • 需要把西语自由文本切成词并对齐概念 → MedLexSp(且注意公开版可能缺 SNOMED CT 子集)。

9.3 MedLexSp vs MedDRA(rid 579)

关系:来源之一,公开分发版不含。

MedDRA 是药物警戒术语(五大层级:SOC/HLGT/HLT/PT/LLT),MedLexSp 从中取西班牙语词条用于药物不良反应表达。两者的用途完全不同:MedDRA 用于监管报告编码,MedLexSp 用于 NLP 词法处理。

判断口径:做药物警戒编码 → MedDRA;做西语病历文本的不良反应抽取 → MedLexSp 词形归一 + MedDRA 编码(若已获 MedDRA 许可)。

9.4 MedLexSp vs RadLex(rid 837)

关系:同域无交集,不存在映射。

RadLex 是 RSNA 的放射学术语本体(英文),MedLexSp 未把 RadLex 列为来源。做西语放射报告的术语处理时,MedLexSp 只能覆盖通用医学词与部分影像学名词,放射学专名(如各序列名称、位置描述)覆盖不全。若需要西语放射学术语,目前的路径是自行翻译 RadLex 或借助放射报告语料(如 Real-MedNLP 的西语扩展)构建补充词表。

9.5 MedLexSp vs Orphanet/ORDO(rid 812)

关系:来源 OrphaData,无独立词法层。

ORDO 是罕见病本体(概念 + 关系),MedLexSp 用 OrphaData 的西语罕见病名补充词表。两者互补:ORDO 给罕见病的概念结构与流行病学,MedLexSp 给这些病名的西语词形与词性。罕见病名在西语中常有多重别名与地名冠名,正是词法层的用武之地。

9.6 MedLexSp vs PharmaCoNER(rid 504)

关系:互为词表与评测域。

PharmaCoNER 是西班牙语药物/化合物命名实体识别语料(标注数据集),MedLexSp 的构建中使用了它作为术语来源与评测域之一。两者搭配是库内最直接可用的"西语药物 NER 组合":MedLexSp 提供词表与词形,PharmaCoNER 提供标注实例与评测集。

判断口径:要训练/评测模型 → PharmaCoNER;要提升分词与词形还原 → MedLexSp;要完整的西语药物 NLP 基线 → 两者一起用。

9.7 MedLexSp vs 其他"多语词表/术语映射"类条目

库内与"多语/词表"沾边的条目还有 SNOMED CT→ICD-10 映射(rid 1131)、Real-MedNLP(rid 1122)等。边界如下:

条目 它是什么 与 MedLexSp 的边界
snomed-icd10-map(1131) 术语到编码的映射规则 它是"条目→条目"的映射;MedLexSp 是"文本→词目→概念"的词法链
real-mednlp(1122) 英日平行病例文本语料 它是语料(有句子、有标注),MedLexSp 是词典(无句子)
jnlpba(442) 英文生物实体 NER 语料 语言不同、域不同(分子生物学 vs 临床术语)
chebi(314) 化学实体本体 概念层资源,无西语词法信息

一条判据:如果该条目的核心资产是"句子/文档/标注实例",它是语料;如果是"概念/关系/编码",它是本体或映射;如果核心资产是"词形/词性/屈折表",它是词法资源——MedLexSp 属于第三类,库内目前独此一份(西语)。

9.8 建议的互链结构

本条目建议与以下条目建立互链(rid 以入库时实测为准,正文不硬编码未入库的 rid):

  • 上游:UMLS(558)、SNOMED CT(557)、MedDRA(579)、OMIM(159)、Orphanet/ORDO(812)
  • 平行:PharmaCoNER(504)、Real-MedNLP(1122)、DDI Corpus(1129)
  • 下游/方法:SNOMED CT→ICD-10 映射(1131)、i2b2/n2c2(14)

§10 避坑清单:八个已踩过的坑

坑 1:MedLexSp 不是"通用医学词典"的意思。Medical Lexicon for Spanish 是专名,指 DIGITAL.CSIC 上 DOI 为 10.20350/digitalCSIC/14656 的这一份资源。用 Spanish medical dictionary 检索会命中大量在线词典、Merriam-Webster 西英词典、以及各类 App,与本资源无关。正确检索词是 MedLexSp 或作者名 Campillos-Llanos。

坑 2:期刊卷期双口径。PubMed/NLM 记录为 J Biomed Semantics. 2023 Feb 2;14(1):2;作者 GitHub README 的 BibTeX 写作 volume = {14(2)}。同一论文、两套卷期写法。本条目按 NLM 口径(14(1):2)引用。

坑 3:"564,725 词形"不是本资源规模。这个数字是 spaCy 模块说明书里的运行时词表大小(基础 spaCy 西语词表 + MedLexSp 新增 106,396 条合并去重后)。MedLexSp 本体是 302,543 个屈折形。三者不能混用:本体 302,543|spaCy 新增 106,396|合并运行时 564,725。写"MedLexSp 含 56 万词形"是错的。

坑 4:语义类型没有"共 127 种"这回事。UMLS 语义网络有 127 种语义类型,但 MedLexSp 论文只报告了分布最高的两类(Disease_or_Syndrome > 25,000、Pharmacologic_Substance > 8,000),未给出本资源覆盖的语义类型总数。写成"MedLexSp 覆盖 127 种语义类型"属于把 UMLS 全集当成本资源属性。

坑 5:只有一个数据版本,不要凭空写 v2。DIGITAL.CSIC 的 creation 与 modification 日期同为 2022-05-25,论文版沿用同一 DOI,GitHub 的 2026 年提交只是代码。检索页若出现 “MedLexSp 2.0” 之类说法,需核实是否为第三方镜像的自行命名。

坑 6:不是所有多字术语都有复数。in situ、a priori 这类拉丁借词整体不变格;部分固定搭配(如某些疾病名)在西语中习惯以单数形式出现。若工程代码按"末词加 -s"机械生成复数,会产生不存在的词形。应以资源内的屈折形表为准,不要自行规则外推。

坑 7:许可不是 CC,别在元数据里写 CC BY。本资源为自定义研究/教育许可且需签署,与 CC 系列不兼容。第二类陷阱是把 GitHub 代码的获取便利误当成数据本体的获取便利——代码无需申请,数据要签协议,两者不可混谈。

坑 8:公开版不含 MedDRA/SNOMED CT/OMIM 子集。若用公开版复现论文的语义类型分布或 GENE 组分析,结果会对不上。论文描述了完整构建材料,但分发版是"去第三方受限内容"的版本。引用分布数字时必须注明来源是论文而非公开版实测。

(衔接 §11)

§11 总结

11.1 三句话总结

  1. MedLexSp 用 100,887 个词目与 302,543 个屈折形,把"西班牙语医学词怎么变形、算什么词性"这件事做成了机器可读的确定事实,并以 42,958 个 UMLS CUI 把它接回概念体系。
  2. 它的实测收益不是空话:挂到 spaCy 上 POS F1 +3.6、词形还原 +2.0;挂到 Stanza 上 POS F1 +1.8、词形还原 +0.9,且方差收窄,说明增益稳定而非偶然。
  3. 它的软肋同样明确:自定义许可需签署、公开版缺第三方受限来源、GENE 覆盖不足、地域变体偏西班牙——这三件事决定了它适合研究原型与流水线增强,不适合作为商用产品的唯一词表来源。

11.2 适合谁

  • 西语临床 NLP 团队:需要一个能立刻挂进 spaCy/Stanza 的领域词表,降低分词与词形还原错误。
  • 医学信息学的资源构建者:想把"术语库 → 词法资源"的流水线复制到其他语言(中文、葡语、法语),§3 的四段式工艺可直接参照。
  • 术语学家与词典编纂者:需要研究 DTM 如何在 NLP 语境下被结构化,或需要比对"权威词典"与"实际使用"的差异。
  • 跨语种实体链接研究者:需要西语表层 → UMLS CUI 的映射资源,作为多语对齐的一端。
  • 做西班牙语医学问答/检索的工程团队:需要同义扩展与缩写展开(IAM ↔ infarto agudo de miocardio)。

11.3 不适合谁

  • 需要基因组学/分子生物学词法的项目:GENE 组代表不足,论文自己就排除了这个用途。
  • 需要拉美西语变体的项目:词表以西班牙卡斯蒂利亚语为主,美洲用法覆盖未验证。
  • 需要即插即用商用许可的团队:自定义许可需签署,商用条款未明示,法务成本高于 CC 类资源。
  • 需要语义推理/本体关系的项目:MedLexSp 不含概念间关系,不能替代 UMLS 或 SNOMED CT。
  • 需要大规模标注语料训练模型的团队:它是词典不是语料,训练数据仍需另找(CT-EBM-SP、PharmaCoNER)。

11.4 30 秒决策卡

你的情况 行动
想马上试效果 GitHub lcampillos/MedLexSp → spacy_lemmatizer/,按 README 装扩展模块,跑一段西语病例文本看 lemma 差异
要做正式研究 DIGITAL.CSIC 签许可 → 下载 DSV + LMF XML,先做数据字典核对(字段、编码、空值)
要在论文里引用 双引:论文 doi 10.1186/s13326-022-00281-5 + 数据集 doi 10.20350/digitalCSIC/14656;卷期按 NLM 14(1):2
要提升现有西语流水线 先测基线(spaCy/Stanza 默认),再挂词表重测,重点看 NOUN/ADJ 类别与 OOV 率
要建中文同类资源 照 §3 四段式:权威医学词典做主原料 + 通用概念体系挂 CUI + 频次筛选 + 分布方法补新词
要做商用产品 先向作者确认商用与再分发条款,再评估是否需要自建替代词表

11.5 一个判断

MedLexSp 是本库中罕见的"小而关键"型资源:规模远不及影像数据集,也没有 leaderboard,但它解决的是西语临床 NLP 流水线里一个必须解决、且长期没人认真解决的问题——词形。它的贡献不在数字大小,而在数字的层次:把概念、词目、屈折形三层分清楚,并让每一层都可以被单独使用。这个设计思路比它自身的 30 万个词形更有迁移价值。

FAQ(高频问答 30 问)

A. 基础认知

Q1:MedLexSp 是数据集还是工具?
两者都是。数据层面它是一份 DSV/XML 词表;工具层面它附带 spaCy 与 Stanza 的词形还原扩展模块。论文把它称作 “unified medical lexicon”,中文可译为"统一医学词法词典"。

Q2:名字怎么读、怎么拆?
Med + Lex + Sp = Medical Lexicon for Spanish。Sp 是 Spanish 的缩写,不是 “speech” 或 “specialist”。不要与 SPECIALIST Lexicon(UMLS 自带的英文词法工具)混淆——两者是不同资源,前者西语、后者英语,且 MedLexSp 借鉴了后者的词缀处理思路。

Q3:谁做的、什么机构?
Leonardo Campillos-Llanos,西班牙国家研究委员会(CSIC)语言文学与人类学研究所(ILLA)研究员。单作者,无合作团队。ORCID 0000-0003-3040-1756。

Q4:论文发在哪、什么时候?
Journal of Biomedical Semantics,2023 年 2 月 2 日,14(1):2。DOI 10.1186/s13326-022-00281-5,PMID 36732862,PMC 开放获取(PMC9892682)。

Q5:资助来源?
两个欧盟/西班牙国家级项目:Horizon 2020 Marie Skłodowska-Curie 资助协议 No. 713366(NLPMedTerm,InterTalentum UAM 项目);PID2020-116001RA-C33(CLARA-MeD,MCIN/AEI/10.13039/501100011033)。

B. 数据细节

Q6:100,887 个词目里单词和词组各多少?
单词 33,988,多字词 66,899。多字词占 66.3%,这是这份资源最容易被忽视的结构特征。

Q7:302,543 个屈折形怎么算出来的?
单词形 130,915 + 多字形 171,628。按西语形态规则展开(名词阴阳性单复数、形容词四形、动词变位),不规则形式查表。平均每个词目 3.0 个形。

Q8:42,958 个 CUI 是 UMLS 的西语 CUI 吗?
CUI 本身与语言无关——它是 UMLS 概念的唯一标识,同一概念在英文、西文词条下共享同一个 CUI。MedLexSp 挂的是这些与语言无关的概念 ID,所以它可以作为西语与英语/其他语言之间的对齐锚点。

Q9:一个概念平均有几个西语说法?
2.35 个词目(SD 2.16),7.04 个词形(SD 15.43)。标准差很大,说明同义与形态分布都是长尾的。

Q10:最多能有多少个词形?
单个 CUI 最多 475 个词形。这意味着以 CUI 建倒排索引时需要做长度截断或分片。

Q11:词性标签有几个?
9 个:N、ADJ、NPR、ADJ/N、AFF、V、N/NPR、ADV、ADJ/ADV。其中三个(ADJ/N、N/NPR、ADJ/ADV)是兼类复合标签。

Q12:为什么有词缀(AFF)这个类别?
913 条词缀/词根(如 reno- 肾、-itis 炎),主要用途是未登录词的构词推理:遇到词典里没有的词,可以按词缀拆解猜测语义类别。这一设计借鉴了 UMLS SPECIALIST Lexicon。

Q13:语义类型分布是什么样?
极度偏斜:Disease_or_Syndrome 超过 25,000 条,Pharmacologic_Substance 超过 8,000 条,其余数千条分散。论文未给出语义类型总数。

Q14:为什么说它不适合基因组学?
GENE 语义组代表不足。原因有二:词表来源以临床词典与疾病术语为主,基因名覆盖天然偏少;纳入 CANTEMIST 肿瘤语料后,Neoplastic Process 类占比反而偏高,进一步稀释了 GENE 组。

C. 构建方法

Q15:DTM 是什么、贡献多大?
DTM = Diccionario de Términos Médicos,西班牙皇家医学院(RANME)编纂的权威医学词典。原书 40,076 条,MedLexSp 纳入 30,733 条(76.7%),是这一版最核心的新增来源。

Q16:为什么要签 RANME 协议?
DTM 是有版权的出版物,转为结构化数据需要权利人授权。未经授权直接抓取使用会侵权。这也是 MedLexSp 无法采用 CC 许可的原因之一。

Q17:MeSH 和 SNOMED CT 是怎么用的?
作为候选术语池,用 400 万词医学语料统计频次后筛选:SNOMED CT 复核 48,188 条、MeSH 复核 20,649 条,只保留在实际临床文本中出现频率够高的条目。

Q18:COVID-19 词条怎么补的?
20 个种子词 → 600 万词疫情语料训练 100 维 SkipGram fastText 嵌入 → 每个种子取 50 个最近邻 → 筛 OOV → 人工核查 UMLS 登记。最终 222 个词条 / 491 个词形 / 158 个 CUI。

Q19:为什么 10 个最近邻不够、50 个更好?
论文报告 10 个近邻时覆盖不足,检索结果多是拼写错误与分词错误。50 个近邻能覆盖到更多真实新词,代价是需要更多人工核查。

Q19b:名动派生与形名派生是什么?
LR_n_v.dsv 记录 535 对名动派生(diálisis → dializar),LR_adj_n.dsv 记录 2,366 对形名派生(hígado → hepático)。这类派生关系在西班牙语医学词汇中极常见(器官—形容词、操作—动词),是扩大概念覆盖的重要手段。

Q20:这 302,543 个屈折形是人工核对的吗?
不是。规则生成 + 不规则表查证,未逐条人工审核。论文未报告屈折形层面的准确率——这是资源的一个质量盲区,使用时应对高风险类别(不规则动词、复合术语复数)抽样验证。

D. 评测与使用

Q21:F1 提升了多少?值得用吗?
spaCy POS 88.7 → 92.3,词形还原 93.1 → 95.1;Stanza POS 92.2 → 94.0,词形还原 95.1 → 96.0。对西语临床文本,这是明确的、跨工具一致的提升。值得用。

Q22:为什么 spaCy 提升比 Stanza 大?
spaCy 基线的领域知识更弱(PROPN 类几乎无解),词表带来的边际收益更大;Stanza 基线本身依赖形态学规则,已经覆盖了部分屈折,词表主要补漏。

Q23:最差的是哪个词性?
专有名词(PROPN):spaCy+MLS 仅 19.49,Stanza+MLS 47.92。原因是商品名、机构名、人名冠名疾病依赖上下文而非词典。

Q24:它能让 NER 提升多少?
论文没有直接报告 NER 增益,而是报告了"预标注 + 人工复核 + 模型训练"的完整链路:复核后 46,699 个实体,训练序列标注模型测试 F 值 80.28%–86.74%。词典的作用体现在预标注的召回率与人工删除率(17.12%)上。

Q25:能在 HuggingFace 上直接 load 吗?
不能。MedLexSp 不在 HuggingFace 分发,需从 DIGITAL.CSIC 下载。GitHub 提供的是代码与词形还原模块,不是数据集本身。

Q26:和西语医学 BERT(如 RoBERTa-BNE)能一起用吗?
能,且互补:BERT 类模型擅长上下文理解但不擅长精确的词形归一,MedLexSp 擅长词形与词性。常见做法是用 MedLexSp 做预处理(分词、词形归一、缩写展开),再送入 BERT 类模型。论文未做此对比,属于工程推断而非论文结论。

Q27:中文项目能直接借鉴什么?
三件事:① 三层结构(概念—词目—屈折形);② 四段式流水线(聚合—展开—对齐—补新词);③ 预标注 + 删除率的评价框架。中文的形态变化比西语少(无动词变位、无阴阳性),"屈折形"这一层会薄很多,但多字术语(慢性阻塞性肺疾病)与简称(慢阻肺)的对应会成为主要战场。

E. 许可与引用

Q28:可以商用吗?
许可写明"研究/教育免费",商用条款未公开明示。企业使用前必须向作者确认。不要把"免费下载"理解为"可商用"。

Q29:怎么引用?

@article{campillos2022,
  title   = {MedLexSp – A Medical Lexicon for Spanish Medical Natural Language Processing},
  author  = {Campillos-Llanos, Leonardo},
  journal = {Journal of Biomedical Semantics},
  volume  = {14},
  number  = {1},
  pages   = {2},
  year    = {2023},
  doi     = {10.1186/s13326-022-00281-5}
}

数据集另引:Campillos-Llanos, Leonardo; 2022; Medical Lexicon for Spanish (MedLexSp) [Dataset]; DIGITAL.CSIC; https://doi.org/10.20350/digitalCSIC/14656

Q30:公开版和论文版差多少?
论文未给出"公开版去掉受限来源后"的精确条数差异。已知不含 MedDRA、SNOMED CT、OMIM 子集。用公开版复现论文分布数字时会有偏差,引用时应注明数字来源为论文。

事实清单(硬事实 36 条)

  1. 官方名:Medical Lexicon for Spanish (MedLexSp)。
  2. 构建者:Leonardo Campillos-Llanos,CSIC-ILLA(马德里)。
  3. 论文:J Biomed Semantics 2023;14(1):2;doi 10.1186/s13326-022-00281-5。
  4. PMID 36732862;PMCID PMC9892682。
  5. 数据集 DOI:10.20350/digitalCSIC/14656。
  6. DIGITAL.CSIC handle:10261/270429。
  7. 词目总数 100,887。
  8. 单词目 33,988。
  9. 多字词目 66,899。
  10. 屈折形总数 302,543。
  11. 单字屈折形 130,915。
  12. 多字屈折形 171,628。
  13. UMLS CUI 数 42,958。
  14. 每 CUI 平均词目 2.35(SD 2.16)。
  15. 每 CUI 平均词形 7.04(SD 15.43)。
  16. 单 CUI 最大词形数 475。
  17. POS 标签 9 种(含 3 种兼类)。
  18. N 词目 90,188(89.40%)。
  19. ADJ 词目 4,933(4.89%)。
  20. NPR 词目 2,786(2.76%)。
  21. ADJ/N 词目 1,033(1.02%)。
  22. AFF 词目 913(0.90%)。
  23. V 词目 867(0.86%)。
  24. N/NPR 107(0.11%);ADV 40(0.04%);ADJ/ADV 20(0.02%)。
  25. DTM 原书 40,076 条,纳入 30,733 条(76.7%)。
  26. 前序词表 38,354 条,47.61% 可精确映射 CUI。
  27. SNOMED CT 复核 48,188 条;MeSH 复核 20,649 条。
  28. COVID-19 补充:222 词条 / 491 词形 / 158 CUI。
  29. COVID-19 嵌入:SkipGram、100 维、min count 3、窗口 5、600 万词语料。
  30. COVID-19 OOV 可映射 CUI 比例 11.30%。
  31. spaCy 模块新增词形 106,396,运行时合计 564,725。
  32. Stanza 模块新增词形 104,551。
  33. LR_n_v 535 条;LR_adj_n 2,366 条。
  34. CT-EBM-SP:1,200 篇 / 292,173 词;预标注 56,343 → 复核 46,699(删 17.12%)。
  35. IAA:严格 F1 85.65%(±4.79),宽松 93.94%(±3.31)。
  36. POS/Lemma F1:spaCy 88.7/93.1 → 92.3/95.1;Stanza 92.2/95.1 → 94.0/96.0。

术语表(28 条)

术语 释义
lemma(词目) 词典中代表一组屈折形的原形,如 sangrar
inflected form(屈折形) 文本中实际出现的变形,如 sangra、sangrando
POS tagging(词性标注) 为每个词分配词性标签的任务
lemmatization(词形还原) 把屈折形归到词目的任务
tokenization(分词) 把连续文本切分为词单元
CUI UMLS Concept Unique Identifier,概念唯一标识
semantic type(语义类型) UMLS 语义网络中的细粒度类别,如 Disease_or_Syndrome
semantic group(语义组) 语义类型的粗粒度聚合,如 DISO
MRCONSO UMLS 概念—词条对照文件格式
MRSTY UMLS 概念—语义类型对照文件格式
DSV Delimiter-Separated Values,分隔符分隔值
LMF Lexical Markup Framework,ISO 24613 词法标记框架
OOV Out-of-Vocabulary,未登录词
IAA Inter-Annotator Agreement,标注者间一致性
DTM Diccionario de Términos Médicos,西班牙皇家医学院医学词典
RANME Real Academia Nacional de Medicina de España
ILLA CSIC 语言文学与人类学研究所
MeSH Medical Subject Headings,美国国家医学图书馆主题词表
SNOMED CT 系统化临床医学术语集
MedDRA 监管活动医学词典(药物警戒)
ATC 解剖治疗化学分类
ICD-10 国际疾病分类第十版
OrphaData Orphanet 罕见病数据(西语名)
Nomenclátor 西班牙药品品牌名数据库
SPC Summary of Product Characteristics,药品特性摘要
fastText Facebook 开源的词向量工具,支持子词
PROPN 专有名词词性标签
AFF 词缀词性标签

附录

附录 A:记录字段示意(基于论文 DSV 描述重构,非官方原文)

字段 示例 说明
CUI C0019158 UMLS 概念 ID,无则空
lemma hígado 词目
variant higadillo 变体/同义形式
POS N 词性标签
semantic_type Body_Part_Organ_Or_Organ_Component UMLS 语义类型
semantic_group ANAT UMLS 语义组

使用前请以 DIGITAL.CSIC 下载包内 README 的字段定义为准;上表仅用于理解结构,不保证列序与分隔符与官方一致。

附录 B:spaCy 挂载的最小流程(示意)

# 1) 从 GitHub 获取扩展模块源码
#    https://github.com/lcampillos/MedLexSp -> spacy_lemmatizer/
# 2) 按目录内 README 安装到本地 spaCy 西语模型
# 3) 对比挂载前后的 lemma 输出

真实命令与路径以仓库 README 为准。注意:GitHub 上的代码不等同于数据本体,数据本体需另行签署许可获取。

附录 C:不同使用场景的字段取舍

场景 需要的字段 可忽略的字段
分词与词形还原 lemma、variant、POS semantic_type、semantic_group
实体预标注 lemma、variant、POS、semantic_group 形态学细节
实体链接 CUI、lemma、variant POS
术语审计 全部 + 来源标签(若下载包提供) —
缩写消歧 LR_abr.dsv + lemma semantic_type

附录 D:2020-2021 疫情词条的种子词分布

  • 药物类:arbidol、remdesivir、favipiravir、hidroxicloroquina、colchicina、camrelizumab、lerolimab、danoprevir、opaganib、umifenovir
  • 公共卫生类:confinamiento、cuarentena、COVID-19、coronavirus、SARS-CoV-2、Wuhan
  • 防护类:EPI、EPP、FFP2、N95

20 个种子词覆盖三类语义域,每类取 50 个最近邻后统一人工核查,避免某一类主导候选集。

附录 E:与英文 SPECIALIST Lexicon 的结构对照

维度 SPECIALIST Lexicon(英文) MedLexSp(西语)
词目规模 数十万级 100,887
屈折形 由规则引擎动态生成 302,543(静态表)
概念绑定 无直接 CUI(需 MetaMap) 42,958 CUI(内置)
词缀处理 独立词缀文件 AFF 类别 913 条
许可 UMLS 许可 自定义研究许可
分发 UMLS 发行包 DIGITAL.CSIC DSV/XML

两者最大的结构差异在"概念绑定"一栏:SPECIALIST 是纯词法工具,靠 MetaMap 另行做概念映射;MedLexSp 把词法与 UMLS 概念捆在同一张表里,代价是词条必须对得上 UMLS 才能获得语义标注。

附录 F:西语形态展开的三个易错点

  1. 重音符号迁移:joven → jóvenes(单数无重音、复数加重音),examen → exámenes。机械加 -es 会漏掉重音。
  2. 阴性形式的词义漂移:médico(男医生)→ médica(女医生),但 cólera(霍乱)的阴阳性对应的是不同词义。
  3. 希腊/拉丁词根的不规则复数:bacterium 类借词在西语中多用 -os 规则化(bacterias),但部分学术用语保留原形复数。应以资源内表为准。

附录 G:数据字典核对清单(拿到下载包后先做这七件事)

  1. 核对表头字段数与 README 是否一致;
  2. 统计 CUI 为空的条目占比,判断概念覆盖;
  3. 抽样 100 条多字词,检查分词切分是否符合预期;
  4. 抽样 50 条动词,检查变位表完整性;
  5. 检查 LR_*.dsv 四个文件的编码与分隔符是否与主表一致;
  6. 比对公开版的语义组分布与论文图 6 的差异,量化"受限来源缺失"影响;
  7. 记录下载日期与 DOI,写入项目元数据,便于日后复现。

附录 H:常见下游任务的资源组合建议

下游任务 推荐组合
西语临床命名实体识别 MedLexSp(词表)+ PharmaCoNER(标注)+ BERT 类模型
西语术语规范化 MedLexSp(词形归一)+ UMLS(概念关系)
西语临床文本去标识 通用西语 NER + MedLexSp(排除医学术语误判为人名)
西语医学检索 MedLexSp(同义扩展)+ 向量检索
跨语种实体链接 MedLexSp(西语侧)+ UMLS 多语词条(英/其他语侧)
词典编纂辅助 MedLexSp(DTM 结构化版)+ 语料频次统计

尾注

来源列表

  1. Campillos-Llanos L. MedLexSp - a medical lexicon for Spanish medical natural language processing. J Biomed Semantics. 2023;14(1):2. doi:10.1186/s13326-022-00281-5. PMID 36732862. PMCID PMC9892682.
  2. DIGITAL.CSIC 数据集页:Medical Lexicon for Spanish (MedLexSp). https://datos.cchs.csic.es/en/dataset/medical-lexicon-for-spanish-medlexsp ;DOI 10.20350/digitalCSIC/14656;hdl 10261/270429.
  3. GitHub 仓库 lcampillos/MedLexSp(代码、spaCy/Stanza 模块、COVID-19 词表与嵌入脚本),最后提交 2026-02-03.
  4. Europe PMC 记录 PMC9892682(全文镜像)。

双口径存照

项 口径 A 口径 B 本条目处理
期刊卷期 14(1):2(PubMed/NLM) 14(2)(GitHub BibTeX) 按 A 引用,B 记于坑 2
词形规模 302,543(本体) 564,725(spaCy 运行时) 按 A 表述,B 记于坑 3
语义类型数 论文未给总数 UMLS 全集 127 种 不写 127,记于坑 4
数据版本 单一 DOI 版本 GitHub 2026 年代码更新 记于坑 5

遗留疑点

  1. 许可 PDF(MedLexSp_License_2022.pdf)未逐条核对,商用与再分发边界待确认。
  2. 论文评测集的规模与来源未在表格中披露,复现需自备同域数据。
  3. DCAT 元数据 Languages 字段同时列出 Spanish 与 English,是否为双语词条待核(论文表述为单语西语资源)。
  4. 公开版相对论文版的具体条目缺失量未量化。

编写说明

本条目由 agent-c-medlexsp 依据论文全文(PMC9892682)、DIGITAL.CSIC 数据集元数据、GitHub 仓库 README 三源互证编写;所有规模数字均引自论文表 3/表 4/表 6/表 7 与数据集页,未做二次推算。互链条目 rid 以库内 status=1 且 del_sign=0 的在架记录为准(建议互链明细见 §9.8,实链由主会话入库后回填)。

§12 扩展阅读:把 MedLexSp 放进西语临床 NLP 的技术栈

12.1 典型流水线中的位置

一条完整的西语临床文本处理流水线通常有六段:文本采集 → 去标识 → 分词 → 词形还原与词性标注 → 实体识别 → 实体链接与编码。MedLexSp 直接作用于第三、四段,并显著影响第五、六段的上限。

  • 分词:多字术语占 66.3%,分词错误会连锁导致后续所有步骤失败。MedLexSp 的词目表可以作为"最大匹配分词"的词典(论文提供的 token_lemma_medlexsp_spacy.py 即处理此问题)。
  • 词形还原与词性标注:这是官方评测覆盖的环节,增益有数字支撑(§5.2)。
  • 实体识别:词典本身不识别实体,但可用于词典驱动的预标注(§5.4),再用人工复核。
  • 实体链接:42,958 个 CUI 提供了词目到概念的直连通道,绕过"先用 MetaMap 再映射"的传统路径。

值得注意的是一个级联风险:如果分词把 insuficiencia cardíaca 切成两个词,MedLexSp 的多字词条目不会命中;但它仍然会把 cardíaca 正确还原为 cardíaco 并标为 ADJ。也就是说,词法层的贡献具有"部分容错"特性——分词错了,词形还原仍可能对。这一特性使得在流水线早期引入 MedLexSp 的收益,通常大于在晚期引入。

12.2 与预训练语言模型的协作方式

西语医学预训练模型(如基于 RoBERTa-BNE 或 MarIA 的领域微调版本)在上下文理解上远强于规则与词表方法,但在精确的词形规范上并不占优:子词切分会把一个屈折形拆成多个碎片,模型学到的是碎片分布,而非词法事实。两者的合理分工是:

  1. 用 MedLexSp 做输入规范化(词形归一、缩写展开、同义归并),降低输入空间的多样性;
  2. 用预训练模型做上下文判断(兼类词消歧、命名实体边界);
  3. 用 MedLexSp 的 CUI 做输出侧的约束(只允许输出词表内存在的概念 ID)。

这种"词表在前、模型在中、词表在后"的三明治结构,在低资源语言与专业领域的实体抽取中已被反复验证有效。MedLexSp 的论文没有做这组实验,但它提供的三个组件(词表、词形表、CUI 表)恰好满足这一结构对"前置规范化"与"后置约束"的需求。

12.3 与通用西语 NLP 工具链的兼容性

spaCy 与 Stanza 是西语 NLP 的两个主流入口,MedLexSp 对两者都提供官方扩展模块,这在语言资源中并不常见(多数资源只提供原始表格)。兼容性细节:

  • spaCy:扩展以词表形式注入 Lemmatizer 组件,模型本体不变(es_core_news_sm/md/lg 均可挂载)。好处是升级模型不影响词表,坏处是词表与模型的版本组合需要自行记录。
  • Stanza:扩展同样是词表注入,但 Stanza 的分词器(基于 neural tokenizer)与 spaCy 的规则分词器不同,多字术语的切分结果可能不一致——同一句话在两个工具里可能得到不同的词形还原结果。

这一差异意味着:使用 MedLexSp 做评测对比时,必须固定分词器,否则 POS 与 Lemma 的分数差异会混入分词差异。论文表 6 的比较是在各工具自身分词器下进行的,跨工具比较时需要注意这一混杂因素。

12.4 数据治理视角下的资源定位

从数据治理的角度,MedLexSp 在千方库里的定位可以概括为**“低体量、高确定性”**:文件体积远小于影像数据集(词表规模在百 MB 级),但每条记录的含义高度确定(词目、词性、屈折关系都可验证)。这类资源的价值不体现在"能不能训练大模型",而体现在:

  1. 评测的稳定性:词表是确定性的,用它做的预处理可复现;
  2. 错误的可解释性:词形还原出错时,可以直接查到是哪条记录缺失或错误,而不是面对一个黑箱;
  3. 跨项目复用:同一份词表可以服务 NER、检索、编码映射、问答等多个项目,边际成本接近零。

这三条也正是"AI-Ready"评估中容易被忽略的维度——一个数据集是否"AI 就绪",不仅取决于规模与标注质量,也取决于它能否被稳定地、可解释地嵌入流水线。

§13 常见误解澄清

13.1 误解一:它是 UMLS 的西语翻译

不是。UMLS 自带多语词表(包括西班牙语),MedLexSp 并未翻译 UMLS,而是用 UMLS 的 CUI 标注自己的词目。差别在于:UMLS 的西语词条是"概念的标准译名",MedLexSp 的词目是"临床上实际使用的词",后者包含大量非标准表达、缩写、地区用法与派生词。用通俗的类比:UMLS 西语词条是"规范术语表",MedLexSp 是"医生实际怎么说话"。

13.2 误解二:它是一种分词器

不是。MedLexSp 不含分词算法,只提供词表与词形数据。它可以帮助分词器判断"哪个串是一个合法词",但切分策略(最大匹配、统计、神经)由使用者自行决定。把词表当分词器用,会得到"所有词都切对、但边界混乱"的结果。

13.3 误解三:42,958 个概念就够用了

42,958 个 CUI 覆盖的是常见临床概念,远不及 UMLS 全集。对于专科文本(如罕见病、肿瘤分子分型、放射学专名),覆盖率会明显下降。正确的心态是:把它当作"高频临床词法底座",专科词表需要另行补充。

13.4 误解四:词表挂上去,指标必然提升

不一定。论文的增益是在西语临床文本上测得的。如果目标文本是西语新闻、社交媒体健康讨论、或拉美变体的口语化病历,增益可能显著缩小甚至为负(词表引入的假阳性同义归并会污染输入)。上线前必须在目标域上做小规模 A/B 验证。

13.5 误解五:许可宽松,随便用

许可为自定义协议,且公开版缺第三方受限来源。用于学术论文的"方法与指标复现"通常没问题,但用于产品、SaaS、模型再分发,必须先确认条款。「免费」与「可自由使用」在许可语境下是两件不同的事。

§14 一页速查卡

你需要知道 答案
一句话定义 西班牙语医学词法词典,100,887 词目 / 302,543 屈折形 / 42,958 UMLS CUI
谁做的 CSIC-ILLA,Leonardo Campillos-Llanos(单作者)
论文 J Biomed Semantics 2023;14(1):2,doi 10.1186/s13326-022-00281-5
数据在哪 DIGITAL.CSIC,doi 10.20350/digitalCSIC/14656(需签许可)
代码在哪 GitHub lcampillos/MedLexSp(公开,含 spaCy/Stanza 模块)
核心增益 POS F1 +3.6(spaCy)/ +1.8(Stanza);Lemma F1 +2.0 / +0.9
最强项 名词(F1 96.75)、副词(95.55)、词形还原(96.0)
最弱项 专有名词(spaCy 19.49 / Stanza 47.92)、基因类语义组
格式 DSV + LMF XML + spaCy/Stanza 模块 + 4 类 LR 文件
许可 自定义研究/教育许可,需签署;非 CC,商用待确认
与 UMLS 的关系 借用 CUI 与语义类型,非 UMLS 西语翻译
与 SNOMED CT 的关系 来源之一(受许可限制,公开版不含专有子集)
别做什么 不要当语料训练模型;不要当分词器;不要用于基因组学;不要默认商用
库内互链 UMLS 558、SNOMED CT 557、MedDRA 579、OMIM 159、ORDO 812、PharmaCoNER 504

§15 按角色的阅读路径

15.1 如果你是算法工程师(想马上用)

从 §5.2 的评测表看收益是否匹配你的场景 → §6.1 确认获取路径 → GitHub 的 spacy_lemmatizer/ 目录按 README 挂载 → 在自己的测试集上跑前后对比 → 若增益不足,读 §13.4 判断是否域不匹配。

15.2 如果你是数据/资源构建者(想做一个中文版)

从 §3 的四段式流水线入手 → §2.2 词性标签设计 → §8.1 词法优先原则 → §4 的三层计数口径 → 附录 G 的数据字典核对清单。特别注意中文与西语的形态差异:中文无动词变位与阴阳性,"屈折形"层会显著变薄,重心转向多字术语与简称的对应。

15.3 如果你是临床信息学研究者(要做术语映射)

从 §9 的消歧说明开始,先分清 UMLS / SNOMED CT / MedLexSp 三层 → §5.4 的预标注与删除率方法论 → §12.2 的三明治结构 → §6.4 的许可对照,确认你的机构是否已具备各上游资源的授权。

15.4 如果你只是想知道"这是什么"

读 INFOBOX → §1 十问十答 → §14 速查卡。三处加起来不超过十分钟,足够判断是否与你的工作相关。

§16 与其他词典资源的方法论对照

16.1 三种构建路线

医学词法资源的构建大致有三条路线:

路线 代表 优点 缺点
专家编纂 传统医学词典(如 DTM 原书) 质量高、释义权威 周期长、成本高、无机器可读结构
标准翻译 UMLS 多语词表、SNOMED CT 各语种版 概念体系完整 覆盖"标准说法"而非"实际说法"
术语库+NLP 反推 MedLexSp 覆盖实际用法、成本可控、带词法 质量受原料限制、需授权、覆盖偏斜

MedLexSp 属于第三条路线,并且是第三条路线中比较少见的"单语言、单作者、完整交付(数据+代码+论文)"样本。它的方法论价值在于证明了第三条路线的可行性:不需要逐条人工释义,也能产出可用的词法资源。

16.2 与"翻译式"资源的差距在哪

翻译式资源(如把英文 SNOMED CT 描述机翻成西语)的主要问题是实际用法不匹配:机翻得到的 insuficiencia cardíaca 也许规范,但临床文本里医生更常写 IC、fallo cardíaco、insuficiencia del corazón。MedLexSp 通过 400 万词语料频次筛选与缩写记录(LR_abr.dsv)缓解了这一问题,但并没有彻底解决——它的词表来源仍以标准术语为主,只是用频次做了过滤。

这意味着一个务实的判断:MedLexSp 是"标准术语 + 使用频次"的中间产物,不是临床口语的完整记录。若下游文本口语化程度高(如患者自述、社交媒体),仍需补充语料驱动的词表。

16.3 未来可能的演进方向

论文未提出路线图,但从资源结构可以推断三个自然演进方向:① 用新语料持续扩充词目(尤其 COVID 后时代的新药名、新缩写);② 补充拉美变体(墨西哥、阿根廷用法);③ 增加概念间关系(目前完全依赖 UMLS)。任何一项都需要新的授权与新的语料,成本不低——这也是单作者项目容易停滞的原因(GitHub 仅 1 star,社区参与度极低)。

§17 结语:小资源的大用处

在千方病案医数集的条目谱系里,MedLexSp 属于少数"体量小、颗粒细、不可替代"的资源。它没有百万级影像,没有排行榜,也没有大规模标注,但它把一件别人不愿意做的苦活做完了:逐词确认西班牙语医学词怎么变形、属于什么词性、对应哪个概念。这份苦活的成果是 30 万个屈折形和 4.3 万个概念 ID,看起来不起眼,却是任何西语临床 NLP 流水线都绕不过去的地基。

对读者最实用的一条建议是:先在自己的数据上量一下 OOV 率。如果西语临床文本的未登录词比例超过 10%,MedLexSp 的边际收益会非常明显;如果低于 3%,说明你的分词与词形还原已经足够好,这份资源的优先级可以往后放。这个简单的量化判断,比任何"值得推荐"的定性描述都更有用。

§18 数据质量维度逐项审查

18.1 准确性(Accuracy)

词法层的准确性可以拆成三个子项,论文的报告方式各不相同:

子项 是否有量化 说明
词目拼写 无正式评测 来源为权威词典,拼写错误概率低,但派生词与缩写的拼写未报告错误率
屈折形生成 无正式评测 规则生成 + 不规则表,未报告准确率;高风险类别为不规则动词、复合术语复数
词性标注 有间接评测 通过 POS 标注任务的下游 F1 反映(94.0 为最好配置),未直接报告词表本身标注的准确率
CUI 映射 有部分量化 前序词表 47.61% 精确匹配;COVID 候选 11.30% 可映射

这个报告结构反映了一个现实:语言资源的质量评估还没有公认的标准化流程。词表的"正确性"不像分类任务有金标准标签,只能通过下游任务间接体现,或者通过抽样人工审计。使用者的应对策略应是:在关键类别上自行抽样审计(附录 G 的第 3、4 项)。

18.2 完整性(Completeness)

完整性的主要缺口已在多处提到,汇总如下:

  1. 无 CUI 的术语:部分商品名(如 Progevera)、空间形容词(如 abdominogenital)不在 UMLS 中,因而没有概念标注。论文明确指出这一点。
  2. 基因与分子类:GENE 语义组代表不足,分子层面的术语覆盖稀薄。
  3. 地域变体:以西班牙卡斯蒂利亚语为准,美洲西语变体未系统收录。
  4. 口语与患者表达:词表以专业术语与标准表述为主,患者自述中的通俗说法(如 azúcar alta 指高血糖)覆盖有限。
  5. 新兴术语:COVID 词条填补了 2020-2021 的缺口,但此后无系统更新机制。

这五个缺口共同决定了一个使用原则:MedLexSp 适合"专业文本 + 标准表述"场景,不适合"患者叙述 + 口语表达"场景。后者需要额外的语料驱动词表或嵌入方法补充。

18.3 一致性(Consistency)

内部一致性方面,论文的构建流程保证了术语来源之间的一致性(统一词性标签集、统一语义类型映射、统一屈折规则)。但存在两个值得注意的不一致点:

  • 兼类词的标注策略:aspirina 标为 N/NPR、diabético 标为 ADJ/N,但并非所有兼类词都采用了复合标签——判断标准是"两种用法都常见",这个"常见"阈值论文未明示。
  • 多字词的屈折策略:末词变格是主流规则,但固定搭配与拉丁借词不变格,边界判定依赖具体条目,不是纯规则可推导。

对工程使用者,这意味着不能假设"同一词性标签的词行为一致",必须按条目读取其屈折形。

18.4 时效性(Timeliness)

数据集创建与更新日期同为 2022-05-25,论文发表于 2023-02,代码最后更新 2026-02。数据本体三年无更新,在术语资源中属于"可接受但不理想"的状态:医学术语每年都有新增(新药、新诊断标准、新缩写),三年不更新意味着 2022 年后的新词基本缺失。

COVID-19 词条的补充方法(词嵌入 + 人工核查)是一个可复用的更新模板,但需要作者主动执行。数据使用者若需要最新术语,应自行按该方法补充,或等待作者更新。

18.5 可解释性(Interpretability)

这是 MedLexSp 相对预训练模型的显著优势。任何一条词形还原结果,都可以追溯到具体记录(词目、词性、屈折规则类型);任何一次实体链接,都可以追溯到具体 CUI 与语义类型。在临床场景中,"为什么系统把这个词判成疾病"的追问,用词表方法可以给出确定答案,用神经网络方法则往往只能给出注意力可视化。

这一优势的代价是覆盖率的上限:词表方法只能处理"见过的词",对完全新造的表述无能为力。实践中常见的折衷是"词表优先、模型兜底":先查词表,命中则用确定性结果,未命中则交给模型。

§19 三类典型工作流详解

19.1 工作流 A:西语病历的术语规范化

场景:医院要把西语自由文本病历中的诊断表述映射到 ICD-10 编码。

步骤:

  1. 分词:用 MedLexSp 词目做最大匹配,优先匹配多字术语(利用 66.3% 的多字词目)。
  2. 词形还原:把 hipertensas、hipertensos 归到 hipertenso,把缩写 HTA 展开为 hipertensión arterial(用 LR_abr.dsv)。
  3. 概念映射:查 DSV 得到 CUI,再查 UMLS 得到该 CUI 对应的 SNOMED CT 概念。
  4. 编码映射:通过 SNOMED CT → ICD-10 映射(库内 rid 1131 类资源)得到编码。
  5. 人工复核:对未映射条目与多候选条目人工判定。

关键风险:步骤 3 依赖 MedLexSp 是否收录该表述;未收录时需回退到 UMLS 西语词条的模糊匹配。

19.2 工作流 B:西语临床文本的实体预标注

场景:要构建一个西语药物不良反应抽取语料,预算只够人工复核、不够全人工标注。

步骤:

  1. 用 MedLexSp 的 CHEM 与 DISO 语义组条目做词典匹配,得到候选实体(论文 CT-EBM-SP 的做法)。
  2. 按"最长匹配优先"解决嵌套(避免 dolor 与 dolor de cabeza 同时命中)。
  3. 人工复核,记录删除率与删除原因分类(多义、嵌套、交叉)。
  4. 用复核后的标注训练模型,测试集评估。

预期参照:论文的删除率为 17.12%(摘要类文本 20.71%,公告类文本 14.19%)。若你的语料删除率显著高于 20%,说明词表与文本域不匹配,需要先补充领域词。

19.3 工作流 C:西语医学检索的同义扩展

场景:患者用通俗说法检索,系统需要召回专业表述的文档。

步骤:

  1. 对查询做词形还原(患者输入常有大写、重音缺失、口语变形)。
  2. 查 MedLexSp 得到 CUI。
  3. 用同一 CUI 下的所有词目做查询扩展(平均 2.35 个说法,最多可能更多)。
  4. 用扩展后的查询做检索(BM25 或向量检索)。

关键风险:CUI 下的同义扩展可能引入语义漂移(同一 CUI 的不同词目在特定语境下含义不同),需要按语义类型过滤,或对扩展词做权重衰减。

§20 与"AI-Ready"五维度的对照评估

千方库对条目做 AI-Ready 评估时使用 DAIMS 框架(数据集 AI 就绪度多维评估)。以下按常见维度逐项说明 MedLexSp 的表现与依据。

20.1 可获取性(Accessibility)

中等偏低。 数据本体需签署许可、经 DIGITAL.CSIC 下载,非"点开即下";但代码、模块、README 全部公开,降低了试用门槛。对比库内 CC 类资源(一次点击即可下载),这是明显的短板。加分项:有稳定 DOI、有机构仓库托管、有完整的 README 与许可 PDF。

20.2 可理解性(Understandability)

较高。 记录结构简单(六字段宽表),字段含义与 UMLS 的 MRCONSO/MRSTY 有明确对应,任何熟悉 UMLS 的工程师都能快速上手。LMF XML 版本对词典学背景的读者更友好。减分项:字段的精确列序与分隔符需以下载包 README 为准,公开网页上无完整数据字典。

20.3 互操作性(Interoperability)

较高。 三个维度都具备:① 概念层用 UMLS CUI,与整个 UMLS 生态互通;② 格式层用 DSV 与 LMF XML(ISO 24613),与词典工具链互通;③ 工具层提供 spaCy/Stanza 模块,与主流 NLP 框架互通。这在语言资源中属于设计较好的案例。

20.4 可复现性(Reproducibility)

中等。 论文报告了完整的评测表(表 6、表 7),方法描述详细,可复现"挂载词表后的指标";但评测集本身未公开披露规模与来源,复现需要在自备数据上重跑,绝对数值无法直接对齐。COVID 词条的嵌入方法与代码公开,这一部分完全可复现。

20.5 合规性(Compliance)

需注意。 许可为自定义协议,非标准开源许可,自动化合规扫描工具(如 Licensee、FOSSA)无法识别,容易被误判为"未知许可"而拒绝入库。使用方应在内部合规清单中单独登记,并保存签署的许可副本。

20.6 DAIMS 评分表(本条目自评,非官方分数)

维度 评级 主要依据 主要扣分项
数据规模 ★★★☆☆ 10 万词目 / 30 万屈折形,语言资源中属中上 相对影像数据集体量小;无句子级语料
标注质量 ★★★★☆ 来源权威(DTM 等),有下游评测支撑 屈折形与词性无逐条人工审计报告
可获取性 ★★☆☆☆ 有 DOI、有仓库、格式规范 需签署许可,非直链下载
文档完备度 ★★★★☆ 论文详尽、README 完整、GitHub 有示例代码 数据字典未完全公开
许可清晰度 ★★☆☆☆ 有专门许可 PDF 非标准许可,商用与再分发条款未明示
互操作性 ★★★★☆ CUI + LMF + spaCy/Stanza 三重互通 字段形态与 UMLS 官方文件不完全对齐
可复现性 ★★★☆☆ 方法与指标透明 评测集未公开
领域覆盖 ★★★☆☆ 疾病与药物强,基因与分子弱 GENE 组不足、地域变体单一
可维护性 ★★☆☆☆ 单作者、社区参与度低 数据本体三年未更新

综合判断:这是一份方法扎实、交付规范、但获取与维护受限的资源。它的"AI-Ready"短板不在技术,而在许可与社区生态。

§21 使用前的十项检查

在把 MedLexSp 接入生产流程前,建议逐项确认:

  1. 许可已签署:确认机构已获授权,保存许可副本与签署日期。
  2. 公开版覆盖已评估:对比论文数字与下载包实测,量化受限来源缺失的影响。
  3. 字段定义已核对:以下载包 README 为准,不要依赖第三方转述的字段顺序。
  4. 编码已确认:西语重音字符的编码(UTF-8)与规范化形式(NFC/NFD)必须统一,否则字符串匹配会失败。
  5. 分词策略已定:多字术语占比高,需明确采用最大匹配还是神经分词。
  6. OOV 率已测量:在目标语料上统计未登录词比例,判断边际收益。
  7. 专名处理已规划:PROPN 是词表方法的弱项,需配合规则或模型。
  8. 地区变体已确认:若目标人群为拉美,需评估词表覆盖。
  9. 更新机制已明确:数据三年未更新,新术语需自行补充或定期检查作者更新。
  10. 回退路径已设计:词表未命中时的降级方案(模型、模糊匹配、人工)必须预先定义。

§22 结语补充:为什么值得在库内保留这样一条

千方库以医学影像与临床数据为主体,语言资源条目数量不多。MedLexSp 之所以值得单独成条,原因有三:

第一,它是"数据"与"工具"的混合体。多数数据集只提供数据,使用方式由使用者自行摸索;MedLexSp 提供了官方模块,使"从下载到跑通"的路径被压缩到几步。这种形态在库内少见,代表了一种更贴近工程实践的资源交付理念。

第二,它是小语种医学 NLP 的稀缺样本。全球医学 NLP 资源以英文为绝对主导,西班牙语作为使用人口超过 5 亿的语言,其医学词法资源长期缺位。MedLexSp 是这一空缺中少数完整、可引用、有论文背书的成果。

第三,它的方法论可迁移。四段式流水线(聚合—展开—对齐—补新词)、三层计数(概念—词目—屈折形)、预标注删除率评价框架,这三件事对任何语言的医学词法资源建设都有参考价值。

因此本条目在事实陈述之外,用较大篇幅讨论了方法论与工程实践——对一个规模不大的词典而言,这可能比罗列数字更有用。

§23 案例解剖:一个西语句子在三种配置下的处理差异

为了让"词表到底帮了什么"变得具体,这里用一个合成的西语临床句子做走查。句子(非真实病历,仅作演示):

«Paciente con HTA y diabetes mellitus tipo 2 que presenta úlceras en el pie derecho e insuficiencia renal crónica; se pautó tratamiento con antihipertensivos y antidiabéticos orales.»

这句话包含的典型难点:缩写(HTA)、多字术语(diabetes mellitus tipo 2、insuficiencia renal crónica)、复数屈折(úlceras、antihipertensivos、antidiabéticos)、形名兼类(antihipertensivos 是"降压药"而非"降压的")、介词结构(en el pie derecho)。

23.1 配置一:纯 spaCy 西语通用模型

  • HTA 大概率被标为 PROPN 或 X,词形还原保留原样——下游无法知道它是 hipertensión arterial。
  • úlceras 可被正确还原为 úlcera(规则词尾)。
  • antihipertensivos 可能被还原为 antihipertensivo(形容词),但词性判定倾向 ADJ,而句中是名词用法。
  • diabetes mellitus tipo 2 的切分完全依赖分词器,tipo 2 很可能被切散。
  • 整体:能处理"规则词形",处理不了"缩写展开"与"兼顾词性"。

23.2 配置二:Stanza 西语通用模型

  • 形态学规则更完整,úlceras、antidiabéticos 的还原通常正确。
  • 但遇到未登录词时倾向于按构词规则生成词形,可能产出不存在的词(论文举例 *sendrar、*corticoid 类错误)。
  • HTA 同样无法展开。
  • 整体:词形层面略优于 spaCy,缩写与多字术语同样无解。

23.3 配置三:spaCy + MedLexSp / Stanza + MedLexSp

  • HTA:若在 LR_abr.dsv 中有记录,可展开为 hipertensión arterial,并获得对应 CUI 与语义类型。
  • antihipertensivos:词表条目标注为 N(或 N/ADJ),词性判定更贴近句中实际用法。
  • insuficiencia renal crónica:若分词器保留完整串,可直接命中多字词目,得到单一 CUI 而非三个独立词。
  • diabetes mellitus tipo 2:多字词目命中,避免 tipo 与数字被误判。
  • 整体:缩写、多字术语、兼类词三个难点同时得到缓解,退化到"分词边界"这一唯一依赖。

这个走查说明一件事:MedLexSp 的增益不是均匀分布的,而是集中在通用模型的结构性盲区上(缩写、多字术语、兼类词)。它也说明其增益的上限由分词器决定——如果分词把多字术语切碎,词表再全也无从命中。

23.4 走查的局限

上述分析是基于资源结构与论文误差分析推导的预期行为,不是论文报告的实际输出。要得到确定结论,需要在真实数据上跑三种配置做对照。这一点在此明确标注,避免读者把推导当实测。

§24 资源再利用:从 MedLexSp 可以派生出什么

MedLexSp 的价值不止于"直接使用",它的结构支持若干派生用途:

24.1 西语医学术语拼写检查器

词目表(100,887 条)加屈折形表(302,543 条)合计 40 万条合法词形,可直接用于西语医学文本的拼写检查:不在表内且不符合构词规则的形式,大概率是拼写错误。注意需排除人名、机构名、新药名三类误报。

24.2 西语医学缩写展开器

LR_abr.dsv 提供缩写—全称对照,配合词表可做上下文无关的缩写展开。局限是缩写多义(IC 可能是 insuficiencia cardíaca 也可能是 intervalo de confianza),需要上下文消歧。

24.3 西语词形生成器

反向使用屈折规则:给一个词目与目标形态属性(阴性复数、虚拟式第一人称),生成正确词形。适用于病历模板生成、患者教育材料的数一致性检查。

24.4 跨语言概念对齐的锚点

42,958 个 CUI 是语言无关的。若同时拥有某英文词表(含相同 CUI),可构建"西语词目 ↔ 英文词目"的桥接表,用于跨语言检索与多语实体链接。MedLexSp 在这一用途上的价值,取决于它覆盖的 CUI 与目标语言资源的交集大小。

24.5 术语审计基线

把本机构的术语表与 MedLexSp 比对,可快速发现:本机构使用但 MedLexSp 未收录的表述(可能是本地惯用语或新词)、MedLexSp 收录但本机构未使用的表述(可能是可引入的标准说法的)、以及词性标注不一致的条目。

24.6 词法教学素材

913 条词缀记录与 2,901 条派生对(535 名动 + 2,366 形名)构成了一份结构化的西班牙语医学术语构词素材,可用于医学西班牙语教学(如解释 hepato- 与 hígado 的同源关系)。

§25 西语与中文的形态差异:给中文读者的补充说明

本库读者以中文为主,理解西班牙语的形态体系有认知门槛。以下用对照方式说明西语为何需要"屈折形"这一层,而中文为何几乎不需要。

25.1 动词变位

西语一个规则动词有数十种变位形式(时态 × 人称 × 语气)。以 sangrar(出血)为例:sangro(我出血)、sangras(你出血)、sangra(他出血)、sangramos(我们出血)、sangré(我出了血)、sangraría(我会出血)……中文的"出血"在任何主语与时态下形式不变,只需加"了"“会”"正在"等助词。这就是为什么 MedLexSp 的屈折形数量是词目的三倍,而中文医学词表几乎没有屈折形层。

25.2 性数一致

西语名词有阴阳性、形容词须与名词保持性数一致:úlcera gástrica(阴性单数)、úlceras gástricas(阴性复数)。中文的"胃溃疡"没有任何形态变化。这决定了西语词表必须为每个形容词提供 4 种形式,而中文词表只需存储一个字符串。

25.3 中文的对应难点

中文虽无屈折形,但有其他形态难题:

  • 多字术语边界:慢性阻塞性肺疾病 与 慢阻肺 是同一概念的不同表述,需要同义表而非屈折表。
  • 简称与全称:心梗 ↔ 心肌梗死、甲亢 ↔ 甲状腺功能亢进,形式差异比西语的屈折变化大得多。
  • 量词与数量表达:一片药、一剂疫苗,影响实体边界判定。
  • 繁简与异体:肿瘤/腫瘤、综合征/综合症,需要归一化处理。

因此中文版"MedLexSp 式"资源的重心应放在同义归并与简称展开,而非屈折生成。这是把本资源方法论迁移到中文时最重要的调整。

§26 常见问题补充(续)

Q31:MedLexSp 有词条释义吗?
没有。它是词法与概念资源,不含自然语言释义(definition)。这与传统词典(如 DTM 原书)有本质区别——DTM 有释义,MedLexSp 只取了词条与词性。需要释义时应回到 DTM 原书或 MedlinePlus 西语版。

Q32:它收录了多少个缩写?
论文未单独给出 LR_abr.dsv 的条数(只给出 LR_n_v 535 条、LR_adj_n 2,366 条)。这是公开信息中的一处空白,需以下载包实测。

Q33:为什么实体抽取只用了四个语义组?
论文的 CT-EBM-SP 用例选择了 ANAT(解剖)、CHEM(化学物质)、DISO(疾病)、PROC(过程)四组,因为临床试验文本的核心实体集中在这四类。其余语义组(如 PHYS、GENE、CONC)在该语料中频次低,纳入会增加噪声。

Q34:它和 MetaMap 是什么关系?
MetaMap 是美国国家医学图书馆(NLM)开发的英文文本到 UMLS 概念的映射工具,依赖 SPECIALIST Lexicon。MedLexSp 可以理解为"西班牙语版词法层",但西语没有对应的 MetaMap 官方工具;若要做西语 MetaMap 式映射,MedLexSp 的 CUI 表是最接近的可用组件。

Q35:能不能用来做西语拼写纠错?
可以(见 §24.1),但需注意它收录的是专业术语,对日常词汇的覆盖有限,且不支持错别字到正确词的编辑距离检索——需自行构建索引。

Q36:有更新的版本或后继项目吗?
截至本条目编写时(2026-10),数据本体无更新,代码在 2026-02 有一次维护性提交。作者的其他工作(CT-EBM-SP 语料、CLARA-MeD 项目)与本资源相关,但未见替代性新资源。

Q37:库内是否已有类似的西语资源?
没有。库内的英语临床 NLP 资源(i2b2/n2c2、JNLPBA、DDI Corpus)与西语药物 NER 语料(PharmaCoNER)都不是词法资源。MedLexSp 是库内唯一的西语词法层条目。

Q38:学习这份资源最好的入口是什么?
读论文 §Construction and content 部分(对应本条目 §3),再打开下载包的 DSV 文件看前 20 行,最后跑一次 spaCy 模块的前后对比。三步加起来约一小时,足以建立完整直觉。

§27 版本与归档说明

27.1 本条目的事实来源层级

层级 来源 用途
一级 论文全文(PMC9892682) 所有规模数字、评测数字、方法描述
一级 DIGITAL.CSIC 数据集页 DOI、日期、机构、许可名称、推荐引用格式
二级 GitHub README 代码结构、模块安装方式、引用格式(与一级来源卷期不一致处已存照)
三级 库内 DB 查询 互链条目 rid 与在架状态

凡二级来源与一级来源冲突处,本条目一律以一级来源为准并在坑点或尾注中存照。

27.2 数字的可复现性声明

本条目中所有 “100,887 / 302,543 / 42,958 / 90,188 / 4,933 / 2,786 / 1,033 / 913 / 867 / 107 / 40 / 20 / 30,733 / 47.61% / 222 / 491 / 158 / 106,396 / 104,551 / 564,725 / 535 / 2,366 / 56,343 / 46,699 / 17.12% / 85.65 / 93.94 / 88.7 / 92.3 / 93.1 / 95.1 / 92.2 / 94.0 / 96.0 / 19.49 / 47.92 / 95.59 / 96.75 / 91.06 / 92.28 / 94.05 / 95.55 / 88.64 / 89.29” 均可回溯到论文表 3、表 4、表 6、表 7 或正文对应段落。

唯一需要读者注意的口径问题是"词形总数"的三重表述(302,543 / 106,396 / 564,725),已在坑 3 与 §4.2 说明。

27.3 本条目未覆盖的内容

为避免误导,明确列出本条目没有做的事:

  1. 没有下载并实测公开版数据(未签署许可),因此公开版与论文版的差异只有文献描述,无实测数字;
  2. 没有在真实西语临床语料上复现表 6 的评测(缺乏同域标注数据);
  3. 没有核验许可 PDF 的逐条条款;
  4. 没有测试 spaCy/Stanza 模块的实际安装流程(版本兼容性依赖本地环境)。

上述四点在遗留疑点中均有对应条目,后续如有需要可补充。

(全文完)

§28 术语来源逐项盘点

MedLexSp 的构建材料清单是理解它"凭什么覆盖这些词"的关键。论文列出了十余个来源,但各来源的贡献方式并不相同:有的是全量词目来源,有的只做频次过滤,有的仅提供专名或缩写。下面逐项说明。

28.1 DTM(西班牙皇家医学院医学词典)

地位:主来源。 原书 40,076 条,纳入 30,733 条(76.7%)。这是本资源区别于所有"翻译式词表"的核心——DTM 记录的是西班牙临床医生实际使用的医学词汇,包含大量本土表达、历史沿用的疾病名与临床习语。纳入率 76.7% 说明作者做了有意识的筛选,被剔除的约四分之一可能是不适合 NLP 使用的条目(过长的描述性词条、带释义的复合条目等)。

使用注意:DTM 的词条带释义,但 MedLexSp 只取了词条与词性,释义未随数据分发。需要释义时回到 DTM 原书。

28.2 MeSH(医学主题词表,西语版)

地位:术语池 + 频次过滤。 通过 BIREME(拉丁美洲与加勒比地区卫生科学信息中心)的授权取得西语版本,复核 20,649 条,用 400 万词语料做频次筛选后保留高频条目。MeSH 的价值在于它的主题词体系与国际通用性:经 MeSH 词条进入 MedLexSp 的概念,通常能较容易地对回 UMLS。

28.3 SNOMED CT

地位:术语池 + 频次过滤(受许可限制)。 复核 48,188 条,是候选池中体量最大的一类。但 SNOMED CT 的许可限制使得这部分数据无法完整进入公开分发版。这一限制的后果是:公开版的词目构成可能与论文描述存在系统性偏差——偏向 DTM 与 MeSH 的词汇,而 SNOMED CT 特有的临床细节表达(如特定的后组合描述)覆盖不足。

28.4 MedDRA

地位:术语来源(受订阅限制)。 用于药物不良反应相关的表达。MedDRA 的西语版是监管场景的法定用语,MedLexSp 从中取词可以让 NLP 系统识别监管报告里的表述,但同样受订阅限制,公开版不含。

28.5 ICD-10 与 ICD-O-3

地位:疾病与肿瘤分类名称来源。 ICD-10 提供疾病分类的官方名称,ICD-O-3 提供肿瘤形态学编码对应的术语。这两类来源的词条规范化程度高,但实际临床文本中的写法常与之不一致(缩写、俗称),因此它们的贡献更多体现在"给出标准名",而非"覆盖实际写法"。

28.6 ATC 与 Nomenclátor

地位:药物名称来源。 ATC(解剖治疗化学分类)提供药物按作用机制与解剖系统的分类名称,Nomenclátor 是西班牙的药品品牌名数据库。两者结合使 MedLexSp 的药物覆盖(Pharmacologic_Substance 超过 8,000 条)既包含通用名也包含相当数量的商品名。这也是为什么"部分商品名无 CUI"成为资源的一个已知缺口——商品名在 UMLS 中的登记不完整。

28.7 NCI 词典与 OMIM

地位:专科术语来源。 NCI 词典(NCI Thesaurus 的词典形态)提供癌症研究术语,OMIM 提供遗传病与基因条目。OMIM 的纳入是 GENE 语义组的主要来源,但论文承认这部分覆盖不足——原因可能是 OMIM 的西语条目本身有限,且基因符号在西语文本中通常保留英文原形。

28.8 OrphaData

地位:罕见病名称来源。 Orphanet 的罕见病数据提供西语病名,是罕见病词汇的主要补充。罕见病名的特点是同义形式极多(人名冠名、缩写、描述性名称并存),正是词法层能够发挥价值的地方。

28.9 领域语料:SPC 与 MedlinePlus

地位:频次统计与用法验证。 306 份药品特性摘要(Summary of Product Characteristics, SPC,来自 EasyDLP 语料)与 MedlinePlus 西语版网页文本,主要用于判断哪些候选词在真实医学文本中确实出现。这类语料不直接贡献词目,但决定了筛选的准确性——没有它们,词表会混入大量"标准里存在但临床不写"的条目。

28.10 标注语料:五个来源

PharmaCoNER(药物/化合物 NER)、CODIESP(西语临床文本标注)、CANTEMIST(肿瘤病例命名实体)、CWLC(智利等待列表语料)、CT-EBM-SP(临床试验循证医学语料)。这五个语料的作用是双重的:既作为词目来源(从中抽取实际出现的术语),又作为评测域(检验词表在真实文本上的效果)。CANTEMIST 的纳入同时带来了语义类型分布的偏斜(Neoplastic Process 占比偏高),这是一个典型的"来源选择影响资源特性"的案例。

28.11 缩写与词缀的特殊来源

缩写来源包括医生词典、Wikipedia 缩写列表、BioASQ 生物医学缩写识别与消歧挑战赛资源;词缀来源包括 UMLS SPECIALIST Lexicon 的词缀表(翻译为西语)、前序工作词表、WHO 推荐的新药命名后缀(如 -cilina 类青霉素后缀)。这两类来源体量小但作用特殊:缩写决定文本的可读性(临床文本缩写密度极高),词缀决定未登录词的推理能力。

28.12 来源贡献的结构性总结

把上述来源按贡献方式归类:

贡献方式 来源 特征
全量词目主来源 DTM 决定资源的基本面貌
术语池 + 频次筛选 MeSH、SNOMED CT、ICD-10/ICD-O-3、MedDRA、NCI、OMIM、OrphaData、ATC 扩大覆盖面,需过滤
专名与商品名 Nomenclátor、SDEdb、WHO-ART 补药物与不良反应表达
缩写与词缀 医生词典、Wikipedia、BioASQ、SPECIALIST Lexicon 补词法结构
语料验证 SPC、MedlinePlus、五个标注语料 提供频次与用法证据
分布方法补充 600 万词 COVID 语料 + fastText 补新兴术语

这个结构说明:MedLexSp 不是一个"标准汇总",而是一个"以 DTM 为骨架、以标准为补充、以语料为裁判"的工程产物。理解这一点,就能理解它的强项(临床实际词汇)与弱项(前沿分子术语)分别来自哪里。

§29 引用规范与常见引用错误

29.1 推荐引用格式

数据集:

Campillos-Llanos, Leonardo; 2022; Medical Lexicon for Spanish (MedLexSp) [Dataset]; DIGITAL.CSIC; https://doi.org/10.20350/digitalCSIC/14656

论文:

Campillos-Llanos L. MedLexSp - a medical lexicon for Spanish medical natural language processing. J Biomed Semantics. 2023;14(1):2. doi:10.1186/s13326-022-00281-5

29.2 三类常见引用错误

错误一:只引论文不引数据集。 论文描述的是构建材料与方法,实际使用的数据版本以数据集 DOI 为准。仅引论文会使读者无法定位数据。

错误二:把数据集的年份写成 2023。 数据集创建于 2022-05-25,论文发表于 2023。数据集引用应写 2022。

错误三:卷期写成 14(2)。 见坑 2。正确写法是 14(1):2。

29.3 在方法部分如何描述本资源

推荐表述(可直接改写入论文方法段):

我们使用 MedLexSp(Campillos-Llanos, 2022, 2023)作为西班牙语临床文本的领域词表。该资源包含 100,887 个词目、302,543 个屈折形与 42,958 个 UMLS CUI,并通过官方扩展模块挂载至 spaCy/Stanza 的词形还原组件。数据经 DIGITAL.CSIC 提供,按 MedLexSp License 2022 用于非商业研究用途。

这段表述覆盖了规模、用途、获取与许可四个要素,避免了"引用一个数据集却不说怎么用的"常见问题。

§30 与相近资源的横向比较

库内虽无其他西语词法资源,但可以把 MedLexSp 放在更广的坐标系里比较,帮助读者判断它的相对位置。

30.1 与英文 SPECIALIST Lexicon 比较

SPECIALIST Lexicon 是 UMLS 的组成部分,包含约 50 万条英文词目,覆盖通用英语与生物医学术语,提供词性、屈折规则、派生关系与补语框架(complementation)。MedLexSp 的词目数(10 万)明显更少,但集中在医学领域;SPECIALIST 的屈折形由规则引擎动态生成,MedLexSp 是静态表。

关键差异:SPECIALIST 有补语框架(记录动词的论元结构,如 treat 需要宾语),MedLexSp 没有。这意味着 MedLexSp 无法支持句法层面的分析,只能做词法层面。

30.2 与 UMLS 西语词表比较

UMLS 自身包含西语词条(在 MRCONSO 中以语言标记区分),但其来源是各标准体系(SNOMED CT 西语版、MeSH 西语版、ICPC 等)的汇合,不含屈折形,也不含词性标注。MedLexSp 在 UMLS 的基础上补了两样东西:屈折形与词性。这两样正是从"概念"到"文本"之间缺失的桥。

30.3 与临床文本领域词表(如 ICD-10 西语索引)比较

ICD-10 的西语索引(Alphabetic Index)是一个"表述 → 编码"的查找表,体量在数万条量级,覆盖面与 MedLexSp 有重叠。但 ICD-10 索引只服务于编码,不含词性、不含屈折、不含 UMLS CUI。两者的用途几乎不重叠:编码用索引,NLP 用 MedLexSp。

30.4 与多语医学词表(如 UMLS 多语版、MedlinePlus 多语版)比较

MedlinePlus 西语版是面向患者的健康信息文本(有句子、有释义),不是词表,但可作为"患者表达"的补充语料。UMLS 多语版是概念层的多语对齐,不含词法。MedLexSp 的独特性在于它同时具备"词法"与"概念"两个维度,这在多语医学资源中并不常见。

30.5 相对位置的判断

资源 词法层 概念层 语料层 语言
MedLexSp ✅ 屈折形 + 词性 ✅ UMLS CUI ❌ 西语
SPECIALIST Lexicon ✅(含补语框架) 部分(需 MetaMap) ❌ 英语
UMLS 西语词条 ❌ ✅ ❌ 多语
SNOMED CT 西语版 ❌ ✅ ❌ 多语
MedlinePlus 西语版 ❌ 部分 ✅ 西语

MedLexSp 在"词法 + 概念"这一格中几乎是唯一选项。这就是它在西语临床 NLP 中的不可替代性所在。

(全文完)


相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • synthetic-mention-corpora — 共享标签:医疗NLP / 知识图谱 / 命名实体识别 / 临床文本 / 生物医学文献
  • medmentions — 共享标签:医疗NLP / 知识图谱 / 命名实体识别 / 生物医学文献
  • distemist — 共享标签:医疗NLP / 知识图谱 / 命名实体识别 / 临床文本
  • umls — 共享标签:医疗NLP / 知识图谱 / 命名实体识别 / 临床文本
  • biored — 共享标签:医疗NLP / 知识图谱 / 命名实体识别 / 生物医学文献
  • maccrobat — 共享标签:医疗NLP / 命名实体识别 / 临床文本 / 生物医学文献
  • craft — 共享标签:医疗NLP / 知识图谱 / 命名实体识别 / 生物医学文献
  • disease-ontology — 共享标签:医疗NLP / 知识图谱 / 命名实体识别 / 生物医学文献
  • semmeddb — 共享标签:医疗NLP / 知识图谱 / 命名实体识别 / 生物医学文献
  • europepmc — 共享标签:医疗NLP / 知识图谱 / 命名实体识别 / 生物医学文献

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集