MEDIA 医学语料库
MEDIA 医学语料库（media-100m-foundation-v1）是面向 MEDIA 基础模型预训练而聚合、规范化的开放医学文本数据集，当前版本仅含英文，阿拉伯语计划作为后续层加入
基本信息
资源简介
MEDIA 医学语料库
DOCTOSHI/media-medical-corpus（即 MEDIA 医学语料库，版本标识 media-100m-foundation-v1）是一个面向 MEDIA 基础模型预训练而聚合、规范化的开放医学文本数据集。该数据集当前版本仅包含英文内容，阿拉伯语被规划为未来加入的语料层。其内容覆盖解剖学、生理学、生物化学、病理学、药理学、微生物学以及血液学等医学领域，数据行采用包含文本与来源两项信息的最小结构，其中来源指向原始 Hugging Face 数据集标识。数据集在站内被归类于血液及造血器官疾病／其他类别，来源站为 huggingface.co，文件数量为 1，样例文件为 train.jsonl.gz，发布时间为 2026-09-27，许可标注为 other。
【数据集背景】
该数据集定位为医学领域的基础模型预训练语料，目标是为 MEDIA 基础模型提供经过聚合与规范化处理的开放医学文本。其版本命名 media-100m-foundation-v1 表明这是面向基础模型训练的一个版本化语料集合。当前版本明确限定为英文，阿拉伯语被列为未来计划加入的语料层，说明该语料库在设计上具有多语言扩展的意图，但现阶段尚未实现。数据集在站内分类上归属于血液及造血器官疾病／其他，这一分类与其内容覆盖血液学等主题相呼应。
【数据内容】
数据集的内容范围涵盖解剖学、生理学、生物化学、病理学、药理学、微生物学和血液学等医学学科。数据以行为单位组织，每行包含文本内容与来源标识两部分，来源标识用于指明该行文本来自哪个原始 Hugging Face 数据集。数据集的文件数量为 1，样例文件名为 train.jsonl.gz，采用 GZIP 压缩格式，下载体积合计 115.98 MB。主题标签显示其任务类别为文本生成，语言为英文，模态为文本，格式为 json，规模区间为 100K 到 1M 之间，并涉及 datasets、pandas、polars、mlcroissant 等库，区域标注为 us。
【采集与来源】
该数据集是对多个开放医学文本来源进行聚合与规范化后的产物。根据源站描述，其来源包括若干原始数据集：MedQA 美国执业医师资格考试四选项题目，对应数据集标识 GBaker/MedQA-USMLE-4-options，许可为 cc-by-4.0，署名信息为 MedQA（Jin 等，2021），保留行数为 11451；PubMedQA 标注集，对应数据集标识 qiaojin/PubMedQA 的 pqa_labeled 配置，许可为 mit，署名信息为 PubMedQA 标注集（Jin 等，2019），保留行数为 1000；PubMedQA 人工集，对应同一数据集的 pqa_artificial 配置，许可为 mit，署名信息为 PubMedQA 人工集（Jin 等，2019），保留行数为 199957。源站描述中另有一段以“Omitted so”开头的内容，其后续信息未完整给出。
【适用场景】
该数据集面向医学领域基础模型的预训练，适合作为英文医学文本的预训练语料来源。其覆盖的学科范围包括解剖学、生理学、生物化学、病理学、药理学、微生物学与血液学，可用于构建或补充医学领域的语言模型训练数据。由于数据行包含文本与来源标识，使用方在训练或分析时可以追溯每条文本的原始出处。任务类别标注为文本生成，说明其适用于生成式任务的训练场景。当前版本仅支持英文，因此不适用于阿拉伯语或其他非英文语料的直接使用。
【使用方法】
使用时可下载数据文件 train.jsonl.gz，该文件为 GZIP 压缩包，合计 115.98 MB。读取时按 GZIP 压缩格式处理，解压后得到 jsonl 格式的文本行数据。建议先在小样本上核对字段结构与编码，确认无误后再批量接入。数据集支持通过 datasets、pandas、polars、mlcroissant 等库进行加载与处理。由于每行包含文本与来源两项信息，接入时可据此进行来源筛选、分组统计或溯源分析。
【质量与限制】
该数据集当前版本仅包含英文，阿拉伯语尚未加入，属于未来计划内容。源站描述中提及存在被省略的部分，但具体省略内容未完整给出。数据来源为多个开放数据集，各来源的许可不尽相同，包括 cc-by-4.0 与 mit 等。数据集整体许可标注为 other，具体许可条款需结合各来源的许可与署名要求进行确认。数据规模区间为 100K 到 1M 行之间，具体行数未在可用信息中给出汇总值。此外，源站未提供关于数据清洗细节、去重策略、标注质量评估等方面的进一步说明。
【引用与许可】
使用该数据集时需遵循其许可标注 other，并注意各来源数据集的许可与署名要求。MedQA 来源的许可为 cc-by-4.0，署名要求为 MedQA（Jin 等，2021），内容为美国执业医师资格考试四选项题目。PubMedQA 标注集与人工集的许可均为 mit，署名要求分别为 PubMedQA 标注集（Jin 等，2019）与 PubMedQA 人工集（Jin 等，2019）。数据集本身的英文名称为 DOCTOSHI/media-medical-corpus，版本标识为 media-100m-foundation-v1，来源站为 huggingface.co。关于数据集整体的引用格式与更详细的许可条款，源站未提供。
下载信息
注册下载
需要注册 Kaggle 账号并登录后下载，适合需要跟踪下载记录和使用 API 的用户。
暂未开放公开下载
无需注册即可直接获取公开样本或文档，适合快速预览和评估数据集质量。
免登录有偿下载
公开数据集受托下载与技术交付服务。
提供高速下载与技术交付服务（收技术服务费，非数据销售）
暂未开放当前数据集主要来源为 Kaggle 公开托管，完整影像包建议通过原始链接或 Kaggle API 获取。
使用方式
数据集获取与加载（Hugging Face datasets）
# 前置依赖: pip install datasets
from datasets import load_dataset
ds = load_dataset("DOCTOSHI/media-medical-corpus")
print(ds) # 查看 splits 与字段结构
# 国内网络可先设镜像: import os; os.environ["HF_ENDPOINT"]="https://hf-mirror.com"
git lfs install && git clone https://hf-mirror.com/datasets/DOCTOSHI/media-medical-corpus
数据集大小约 301.1 MB。
仓库文件结构
.gitattributesREADME.mdtrain.jsonl.gz
数据说明
MEDIA医学语料库 media-100m-foundation-v1——为MEDIA基础模型预训练而聚合、规范化的开放医学文本。本版本仅含英文；阿拉伯语计划作为未来层加入。范围涵盖解剖学、生理学、生物化学、病理学、药理学、微生物学和血液学。数据行遵循最小模式{“text”, “source”}，其中source为原始Hugging Face数据集ID。来源键 数据集配置 许可证 归属……完整描述见数据集页面：https://huggingface.co/datasets/DOCTOSHI/media-medical-corpus。
数据加载示例（图像类）
from PIL import Image
import glob, os
files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
+ glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
+ glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)
# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path) # 要求 子目录=类别
目录组织与标注格式以源站说明和下载后实际文件为准。
数据缺失？
依托陕西、四川两大基地，我们与超过十家三甲医院建立直接合作关系，覆盖合规授权、采集治理、专业标注、数据交付的全流程，为AI医疗团队提供即拿即用的高质量临床数据。
⚡️ 需要数据支持或标注服务？立即联系我们获取专业方案。
