MIMIC-IV-Ext-MedicalBench：评估大语言模型改进医学概念抽取

数据集获取（PhysioNet）

• 源站标题：MIMIC-IV-Ext-MedicalBench: Evaluating Large Language Models Towards Improved Medical Concept Extraction
• 版本：1.0.0
• DOI：10.13026/j98m-g356
• 源站页面：https://physionet.org/content/mimic-iv-ext-medicalbench/1.0.0

PhysioNet 数据需注册账号（机构邮箱）并签署数据使用协议后下载：

1. 在 https://physionet.org/content/mimic-iv-ext-medicalbench/1.0.0 页面登录并接受许可条款；
2. 命令行整目录下载：

wget -r -N -c -np --user=<账号> --ask-password https://physionet.org/files/mimic-iv-ext-medicalbench/1.0.0/

3. 或用官方工具（推荐，支持断点续传与校验）：

pip install physionet-download
physionet-download mimic-iv-ext-medicalbench

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。

数据说明

从电子健康记录中提取医学概念是许多下游应用的基础，但仍具有挑战性，因为具有医学意义的概念（如诊断）在医学叙述中常常是隐含的而非明确陈述的。现有带有人工标注证据片段的基准强调了将提取概念锚定于医学文本的重要性。然而，这些基准主要关注明确陈述的概念，对需要推断医学相关概念的情形覆盖有限。我们提出MedicalBench，一个用于医学概念提取并带有证据锚定的新基准，用于评估隐含医学推理。MedicalBench将概念提取形式化为对医疗记录–概念对的验证任务，并结合句子级证据识别。该数据集基于MIMIC-IV出院小结和经人工核验的ICD-10编码构建，通过多阶段大语言模型（LLM）分诊流程，随后进行双重医学标注和专家审核来整理。它有意纳入隐含阳性、语义易混淆的阴性样本，以及LLM判断与人类评估不一致的案例。

标注者为每个句子提供证据片段和简洁的医学理由。该数据集共包含405个高质量示例，覆盖了ICD-10的广泛章节。通过提供真实证据和易混淆的备选选项，MedicalBench不仅能够进行严格的评估，还能

许可

PhysioNet Credentialed Health Data License 1.5.0

引用

学术使用请引用：PhysioNet. MIMIC-IV-Ext-MedicalBench: Evaluating Large Language Models Towards Improved Medical Concept Extraction. DOI 10.13026/j98m-g356。