HLA-Bench
HLA-Bench是用于评估大语言模型在HLA分型任务中表现的基准数据集，包含命名规则和匹配任务。
基本信息
资源简介
HLA-Bench
【数据集背景】
本数据集源站标题为《jason-brelsford/hla-bench》。源站首次发布：2026-09-07。
【数据内容】
源站原始描述：# HLA-Bench — contamination-resistant evaluation of LLMs on clinical immunogenetics **Every model family tested — Claude, Qwen, Mistral, Llama, Phi, Gemma — scores 0% on two-field ambiguity expansion**, the core clinical trap in HLA typing (a 2-field name like `A*02:01` denotes 2–389 full-resolution alleles): 0 of 30 tasks for every model. Models fabricate allele names at 0.06–0.20 per task across the nine models run on the full 550-task suite. The `claude-sonnet-4-6` rate of 0.09 is a lower bou…
文件 family_a_dev/hla_nomenclature.T1.expand_ambiguity.0004.agent.json 为 JSON 结构（顶层键：family、input、instructions、reference、slices、subtype、task_id、tier）。
文件 family_a_dev/hla_nomenclature.T1.expand_ambiguity.0007.agent.json 为 JSON 结构（顶层键：family、input、instructions、reference、slices、subtype、task_id、tier）。
文件 family_a_dev/hla_nomenclature.T1.expand_ambiguity.0008.agent.json 为 JSON 结构（顶层键：family、input、instructions、reference、slices、subtype、task_id、tier）。
【数据结构与技术规格】
文件数 157 个，合计 229.85 KB。
【主题与分类】
主题标签：task_categories:question-answering、license:apache-2.0、region:us、biology、medical、hla、immunogenetics、benchmark、evaluation、clinical-genomics。
【适用方向】
文本类数据可用于医学自然语言处理，如命名实体识别、信息抽取与文本分类。
【获取与许可】
源站页面：https://huggingface.co/datasets/jason-brelsford/hla-bench
使用许可：apache-2.0。
【使用注意】
· 源站最后修改于 2026-09-17，引用时请注意版本时效。
下载信息
注册下载
需要注册 Kaggle 账号并登录后下载，适合需要跟踪下载记录和使用 API 的用户。
暂未开放公开下载
无需注册即可直接获取公开样本或文档，适合快速预览和评估数据集质量。
免登录有偿下载
公开数据集受托下载与技术交付服务。
提供高速下载与技术交付服务（收技术服务费，非数据销售）
暂未开放当前数据集主要来源为 Kaggle 公开托管，完整影像包建议通过原始链接或 Kaggle API 获取。
使用方式
数据集获取与加载（Hugging Face datasets）
# 前置依赖: pip install datasets
from datasets import load_dataset
ds = load_dataset("jason-brelsford/hla-bench")
print(ds) # 查看 splits 与字段结构
# 国内网络可先设镜像: import os; os.environ["HF_ENDPOINT"]="https://hf-mirror.com"
git lfs install && git clone https://hf-mirror.com/datasets/jason-brelsford/hla-bench
数据缺失？
依托陕西、四川两大基地，我们与超过十家三甲医院建立直接合作关系，覆盖合规授权、采集治理、专业标注、数据交付的全流程，为AI医疗团队提供即拿即用的高质量临床数据。
⚡️ 需要数据支持或标注服务？立即联系我们获取专业方案。
