三合一癌症数据集

数据集获取与加载（Hugging Face datasets）

# 前置依赖: pip install datasets
from datasets import load_dataset

ds = load_dataset("rubentium/merged_3way_cancer_dataset")
print(ds)  # 查看 splits 与字段结构
# 国内网络可先设镜像: import os; os.environ["HF_ENDPOINT"]="https://hf-mirror.com"

git lfs install && git clone https://hf-mirror.com/datasets/rubentium/merged_3way_cancer_dataset

数据说明

该数据集由三个来源合并而成：约170万份来自allenai/peS2o学术文章数据集的样本（经特定查询筛选）、约4.7万份来自allenai/tulu-3-sft-mixture的指令微调数据，以及约5万份来自HuggingFaceFW/fineweb-edu的精选子集样本。数据内容为文本形式，涉及癌症相关主题，可用于训练或微调机器学习模型。

数据加载示例（表格/文本类）

import pandas as pd, glob, os

files = (glob.glob(os.path.join(path, "**", "*.csv"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tsv"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.xlsx"), recursive=True))
print("数据文件:", files)
df = pd.read_csv(files[0])
print(df.shape); print(df.columns.tolist()); print(df.head(3))

完整数据卡：huggingface.co/datasets/rubentium/merged_3way_cancer_dataset