PathEnhanceDS
PathEnhanceDS是北京大学工程学院创建的病理学多模态数据集，包含约45,000例病理图像及文本，支持分级、分类、描述生成等任务，用于智能辅助诊断。
基本信息
资源简介
PathEnhanceDS
【一句话概览】
病理诊断仍是识别肿瘤的金标准。多模态大模型虽简化了图像与文本整合，但训练部署成本高、高质量数据集稀缺，导致技术与临床间存在差距。为此，研究者精心构建了约45000例、覆盖6种以上任务的数据集，包括器官组织分类、病理报告描述生成及病理问答，并对LLaVA、Qwen-VL、InternLM等多模态大模型进行微调以提升指令性能。对基座与微调模型在图像描述和分类任务上的定性评估显示，微调模型能胜任典型病理问题。研究者希望公开模型与数据集，以惠及医学与研究界（来源 arXiv）。
【数据集背景】
本数据集源站标题为《arXiv Query: search_query=&id_list=2408.07037v1&start=0&max_results=1》。源站首次发布：2024-08-13。
【数据内容】
源站原始描述：Pathological diagnosis remains the definitive standard for identifying tumors. The rise of multimodal large models has simplified the process of integrating image analysis with textual descriptions. Despite this advancement, the substantial costs associated with training and deploying these complex multimodal models, together with a scarcity of high-quality training datasets, create a significant divide between cutting-edge technology and its application in the clinical setting. We had meticulou…
中文译文（机器翻译，仅供快速理解，请以原文为准）：病理诊断始终是识别肿瘤的金标准。多模态大型模型的兴起简化了图像分析与文本描述整合的流程。尽管取得了这一进展，但训练和部署这些复杂多模态模型的高昂成本，加之高质量训练数据集的稀缺，造成了尖端技术与临床应用之间的显著鸿沟。我们精心汇编了一个包含约45,000例病例的数据集，涵盖了超过6项不同的任务，包括器官组织分类、生成病理报告描述以及解答病理相关的问题与答案。我们利用此数据集对多模态大型模型，特别是LLaVA、Qwen-VL、InternLM进行了微调，以增强其基于指令的性能。我们定性地评估了基础模型与微调模型在特定数据集上执行图像 captioning 和分类任务的能力。评估结果显示，微调后的模型在处理典型病理问题时表现出熟练度。我们希望通过公开我们的模型和数据集，它们能对医学和研究界有所裨益。
【主题与分类】
主题标签：cs.AI、cs.CV。
【适用方向】
多模态数据适合跨模态对齐、融合建模与联合表征学习方向的研究。
【获取与许可】
源站页面：https://arxiv.org/abs/2408.07037v1
下载信息
注册下载
需要注册 Kaggle 账号并登录后下载，适合需要跟踪下载记录和使用 API 的用户。
暂未开放公开下载
无需注册即可直接获取公开样本或文档，适合快速预览和评估数据集质量。
免登录有偿下载
公开数据集受托下载与技术交付服务。
提供高速下载与技术交付服务（收技术服务费，非数据销售）
暂未开放当前数据集主要来源为 Kaggle 公开托管，完整影像包建议通过原始链接或 Kaggle API 获取。
使用方式
数据集说明
PathEnhanceDS 对应论文数据集（arXiv 预印本）。
数据获取指引
- 打开论文页面获取作者与项目信息：https://arxiv.org/abs/2408.07037v1
- 论文 Data Availability / Code Availability 章节标注了数据实际托管位置；
- 获取到实际数据链接后，按对应平台标准方式下载。
论文摘要：Abstract:Pathological diagnosis remains the definitive standard for identifying tumors. The rise of multimodal large models has simplified the process of integrating image analysis with textual descriptions. Despite this advancement, the substantial costs associated with training and deploying these complex multimodal models, together with a scarcity of high-quality training datasets, create a significant divide between cutting-edge technology and its application in the clinical setting. We had meticulously compiled a dataset of approximately 45,000 cases, covering over 6 different tasks, including the classification of organ tissues, generating pathology report descriptions, and addressing pathology-related questions and answers. We have fine-tuned multimodal large models, specifically LLaVA, Qwen-VL, InternLM, with this dataset to enhance instruction-based performance. We conducted a qualitative assessment of the capabilities of the base model and the fine-tuned model in performing image captioning and classification tasks on the specific dataset. The evaluation results demonstrate that the fine-tuned model exhibits proficiency in addressing typical pathological questions. We hope that by making both our models and datasets publicly available, they can be valuable to the medical and research communities.
数据缺失？
依托陕西、四川两大基地，我们与超过十家三甲医院建立直接合作关系，覆盖合规授权、采集治理、专业标注、数据交付的全流程，为AI医疗团队提供即拿即用的高质量临床数据。
⚡️ 需要数据支持或标注服务？立即联系我们获取专业方案。
