TheBlueScrubs-v1
包含超过25亿医学Token的综合性互联网文本数据集，用于临床大语言模型开发。
基本信息
资源简介
TheBlueScrubs-v1
【数据集背景】
本数据集源站标题为《TheBlueScrubs/TheBlueScrubs-v1》。源站首次发布：2025-02-18。
【数据结构与技术规格】
文件数 995 个，合计 95.16 GB。
【主题与分类】
主题标签：task_categories:text-classification、task_categories:text-generation、language:en、license:apache-2.0、size_categories:10B<n<100B、arxiv:2501.12948、arxiv:2311.16079、arxiv:2402.03300、arxiv:2411.12372、arxiv:2407.21783。
【适用方向】
文本类数据可用于医学自然语言处理，如命名实体识别、信息抽取与文本分类。
【获取与许可】
源站页面：https://huggingface.co/datasets/TheBlueScrubs/TheBlueScrubs-v1
使用许可：apache-2.0。
【使用注意】
· 源站最后修改于 2025-02-24，引用时请注意版本时效。
下载信息
注册下载
需要注册 Kaggle 账号并登录后下载，适合需要跟踪下载记录和使用 API 的用户。
暂未开放公开下载
无需注册即可直接获取公开样本或文档，适合快速预览和评估数据集质量。
免登录有偿下载
公开数据集受托下载与技术交付服务。
提供高速下载与技术交付服务（收技术服务费，非数据销售）
暂未开放当前数据集主要来源为 Kaggle 公开托管，完整影像包建议通过原始链接或 Kaggle API 获取。
使用方式
数据集获取与加载（Hugging Face datasets）
# 前置依赖: pip install datasets
from datasets import load_dataset
ds = load_dataset("TheBlueScrubs/TheBlueScrubs-v1")
print(ds) # 查看 splits 与字段结构
# 国内网络可先设镜像: import os; os.environ["HF_ENDPOINT"]="https://hf-mirror.com"
git lfs install && git clone https://hf-mirror.com/datasets/TheBlueScrubs/TheBlueScrubs-v1
数据说明
由莫菲特癌症中心等机构从互联网广泛收集的医学文本数据集，包含超过25亿医学Token（约11.5百万份文档），每份文档均经医疗相关性和质量评估，标注有医学概率分数、三个LLM质量分数及癌症相关标签。旨在支持医学大语言模型训练、合成数据生成、错误信息检测和安全测试等任务。
数据加载示例（表格/文本类）
import pandas as pd, glob, os
files = (glob.glob(os.path.join(path, "**", "*.csv"), recursive=True)
+ glob.glob(os.path.join(path, "**", "*.tsv"), recursive=True)
+ glob.glob(os.path.join(path, "**", "*.xlsx"), recursive=True))
print("数据文件:", files)
df = pd.read_csv(files[0])
print(df.shape); print(df.columns.tolist()); print(df.head(3))
完整数据卡：huggingface.co/datasets/TheBlueScrubs/TheBlueScrubs-v1
数据缺失？
依托陕西、四川两大基地，我们与超过十家三甲医院建立直接合作关系，覆盖合规授权、采集治理、专业标注、数据交付的全流程，为AI医疗团队提供即拿即用的高质量临床数据。
⚡️ 需要数据支持或标注服务？立即联系我们获取专业方案。
