TheBlueScrubs-v1
包含超过25亿医学Token的综合性互联网文本数据集，用于临床大语言模型开发。
基本信息
模态
文本
创建/更新时间
2025-04-02
资源简介
由莫菲特癌症中心等机构从互联网广泛收集的医学文本数据集，包含超过25亿医学Token（约11.5百万份文档），每份文档均经医疗相关性和质量评估，标注有医学概率分数、三个LLM质量分数及癌症相关标签。旨在支持医学大语言模型训练、合成数据生成、错误信息检测和安全测试等任务。
下载信息
注册下载
Tips: 该数据集需要在对应的数据源网站注册通过后，才能进行数据下载，注册有对应要求，或者需要收费。
暂未开放公开下载
Tips: 该数据集属于公开下载，应该可以免费公开下载。
免登录有偿下载
Tips: 该数据集 Qianfanghub 可以协助提供有偿下载服务，注意，服务不针对数据相关产权，只是技术服务费。
提供高速下载与技术交付服务（收技术服务费，非数据销售）
暂未开放千方医数集，医疗数据集部分，是为社区服务的公开医疗数据集搜索引擎，并不存储或者下载原始的任何数据。 如果您有其他医疗数据需求，可以和客服联系，或者下工单。我们有强大的三甲医疗机构帮助您提供个性化的医疗数据定制、采集、标注服务。
使用方式
数据集获取与加载（Hugging Face datasets）
# 前置依赖: pip install datasets
from datasets import load_dataset
ds = load_dataset("TheBlueScrubs/TheBlueScrubs-v1")
print(ds) # 查看 splits 与字段结构
# 国内网络可先设镜像: import os; os.environ["HF_ENDPOINT"]="https://hf-mirror.com"
git lfs install && git clone https://hf-mirror.com/datasets/TheBlueScrubs/TheBlueScrubs-v1
数据说明
由莫菲特癌症中心等机构从互联网广泛收集的医学文本数据集，包含超过25亿医学Token（约11.5百万份文档），每份文档均经医疗相关性和质量评估，标注有医学概率分数、三个LLM质量分数及癌症相关标签。旨在支持医学大语言模型训练、合成数据生成、错误信息检测和安全测试等任务。
数据加载示例（表格/文本类）
import pandas as pd, glob, os
files = (glob.glob(os.path.join(path, "**", "*.csv"), recursive=True)
+ glob.glob(os.path.join(path, "**", "*.tsv"), recursive=True)
+ glob.glob(os.path.join(path, "**", "*.xlsx"), recursive=True))
print("数据文件:", files)
df = pd.read_csv(files[0])
print(df.shape); print(df.columns.tolist()); print(df.head(3))
完整数据卡：huggingface.co/datasets/TheBlueScrubs/TheBlueScrubs-v1
精度瓶颈？数据缺失？
当前公开数据无法满足您的算法精度？千方提供针对 癌症（总论） 的高质量、多模态真实临床数据定制解决方案。
