临床英文SmPC AWQ激活感知量化校准语料库

数据集获取

源站：https://doi.org/10.5281/zenodo.20565901

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据集大小约 629.8 KB。

数据说明

摘要。Clinical-EN SmPC AWQ校准语料库是一个英语临床领域文本语料库，旨在作为激活感知权重量化（AWQ / AutoAWQ / GPTQ，W4A16）的校准集，用于面向临床用途的英语和多语言大语言模型。它包含412个文本块（约512个token预算；观测窗口为80–255个词，中位数为161个词），内容为来自呼吸病学和胸部肿瘤治疗领域的密集、领域特异性临床英语文本。该语料库以单个换行分隔的JSON文件（corpus.jsonl）分发，其中每条记录都带有完整的逐块来源出处信息。它是Clinical-PL SmPC AWQ校准语料库（mozarcik/clinical-pl-smpc-awq-calibration）的英语跨语言对应版本：同样涵盖61种EMA药品，但文本为英文附件I产品特性摘要，而非波兰文产品特性概要，并且提取自相同的EMA EPAR文件。将两者配对，可为跨语言校准实验提供英语一侧的数据，并与mozarcik/Llama-PLLuM-70B-*-awq系列配合使用。它是什么。一个用于英语和多语言临床LLM训练后量化（AWQ / AutoAWQ / GPTQ）的校准语料库。激活感知量化需要具有代表性的、密集的域内文本样本，以便在类似部署分布的数据上估计逐通道激活尺度；对于临床用例，该目标分布就是密集临床英语（呼吸病学和胸部肿瘤学）。它是如何构建的。对于与波兰语语料库共享的61种集中授权的欧洲药品管理局（EMA）药品，英语产品信息PDF（附件I SmPC）已于2026-06-06从EMA按记录的英语PI URL模式（…/product-information/ -epar-product-information_en.pdf）检索；品牌 → EPAR-slug映射（manifest.json）直接派生自已验证的波兰语语料库源URL，因此没有任何URL是猜测的。

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。