GMAI-MMBench
GMAI-MMBench是一个面向通用医学AI的多模态评测基准，包含284个数据集、38种影像模态和18项临床任务，用于评估大语言视觉模型在医学影像理解中的能力。
基本信息
资源简介
GMAI-MMBench是一个面向通用医学人工智能的全方位多模态评测基准，由284个数据集构建而成，涵盖38种医学影像模态、18项临床相关任务、18个临床科室和4种感知粒度，采用视觉问答（VQA）格式，用于评估大型视觉语言模型（LVLM）在医学影像理解中的表现。
下载信息
注册下载
Tips: 该数据集需要在对应的数据源网站注册通过后，才能进行数据下载，注册有对应要求，或者需要收费。
暂未开放公开下载
Tips: 该数据集属于公开下载，应该可以免费公开下载。
免登录有偿下载
Tips: 该数据集 Qianfanghub 可以协助提供有偿下载服务，注意，服务不针对数据相关产权，只是技术服务费。
提供高速下载与技术交付服务（收技术服务费，非数据销售）
暂未开放千方医数集，医疗数据集部分，是为社区服务的公开医疗数据集搜索引擎，并不存储或者下载原始的任何数据。 如果您有其他医疗数据需求，可以和客服联系，或者下工单。我们有强大的三甲医疗机构帮助您提供个性化的医疗数据定制、采集、标注服务。
使用方式
数据集获取（ModelScope）
方式一：MsDataset（Python）
# 前置依赖: pip install modelscope
from modelscope.msdatasets import MsDataset
ds = MsDataset.load("OpenGVLab/GMAI-MMBench", subset_name="default", split="train")
print(ds)
方式二：CLI（命令行）
pip install modelscope
modelscope download dataset OpenGVLab/GMAI-MMBench
数据集卡片摘录（源站）
<div align=“center”><b> GMAI-MMBench </b></div>
🍎 Homepage | 🤗 Dataset | 🤗 Paper | 📖 arXiv | 🐙 GitHub | 🌐 OpenDataLab
This repository is the official implementation of the paper GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI.
🌈 Update
- 🚀[2024-09-26]: Accepted by NeurIPS 2024 Datasets and Benchmarks Track!🌟
🚗 Tutorial
This project is built upon VLMEvalKit. To get started:
- Visit the VLMEvalKit Quickstart Guide for installation instructions. You can following command for installation:
git clone https://github.com/open-compass/VLMEvalKit.git
cd VLMEvalKit
pip install -e .
- VAL data evaluation: You can run the evaluation using either
pythonortorchrun. Here are some examples:
# When running with `python`, only one VLM instance is instantiated, and it might use multiple GPUs (depending on its default behavior).
# That is recommended for evaluating very large VLMs (like IDEFICS-80B-Instruct).
# IDEFICS-80B-Instruct on GMAI-MMBench_VAL, Inference and Evalution
python run.py data GMAI-MMBench_VAL model idefics_80b_instruct verbose
# IDEFICS-80B-Instruct on GMAI-MMBench_VAL, Inference only
python run.py data GMAI-MMBench_VAL model idefics_80b_instruct verbose mode infer
# When running with `torchrun`, one VLM instance is instantiated on each GPU. It can speed up the inference.
# However, that is only suitable for VLMs that consume small amounts of GPU memory.
# IDEFICS-9B-Instruct, Qwen-VL-Chat, mPLUG-Owl2 on GMAI-MMBench_VAL. On a node with 8 GPU. Inference and Evaluation.
torchrun nproc-per-node=8 run.py data GMAI-MMBench_VAL model idefics_80b_instruct qwen_chat mPLUG-Owl2 verbose
# Qwen-VL-Chat on GMAI-MMBench_VAL. On a node with 2 GPU. Inference and Evaluation.
torchrun nproc-per-node=2 run.py data GMAI-MMBench_VAL model qwen_chat verbose
The evaluation results will be printed as logs, besides. Result Files will also be generated in the directory
许可
Apache License 2.0
精度瓶颈？数据缺失？
当前公开数据无法满足您的算法精度？千方提供针对 其他 的高质量、多模态真实临床数据定制解决方案。
