VizWiz图像描述数据

盲人和低视力用户图像及人工描述,用于无障碍图像字幕,由VizWiz Team提供,来自VizWiz数据库,数据格式为多模态,包含39000条数据,适用于分类任务。

VizWiz TeamVizWiz Team
VizWiz
2023-01-01 更新
浏览 30
多模态分类Image CaptioningVizWiz-Captionsblindaccessibilityassistive technologiesimagescaptions
VizWiz Image Captioning

基本信息

模态
多模态
数据量
39000
任务类型
分类
创建/更新时间
2023-01-01

资源简介

VizWiz图像描述数据

【一句话概览】

盲人近十年来一直依赖人工图像描述服务了解自己拍摄的图像,为此研究者推出了首个反映这一真实使用场景的图像描述数据集 VizWiz-Captions。该数据集包含 39,181 张来自盲人拍摄的图像,每张图像配有 5 条描述。相关挑战任务是根据给定图像预测合适的描述。研究者希望这项工作能让更多人了解盲人的技术需求,同时为研究人员开发辅助技术、消除盲人无障碍障碍提供新机会(来源 vizwiz.org)。

【数据集背景】

本数据集源站标题为《Image Captioning – VizWiz》。

【数据内容】

源站原始描述:Observing that people who are blind have relied on (human-based) image captioning services to learn about images they take for nearly a decade, we introduce the first image captioning dataset to represent this real use case. This new dataset, which we call VizWiz-Captions, consists of 39,181 images originating from people who are blind that are each paired with 5 captions. Our proposed challenge addresses the task of predicting a suitable caption given an image. Ultimately, we hope this work wil…

中文译文(机器翻译,仅供快速理解,请以原文为准):观察到盲人近十年来一直依赖(基于人工的)图像描述服务来了解他们所拍摄的图像,我们推出了首个代表这一实际应用场景的图像描述数据集。这个新数据集,我们称之为VizWiz-Captions,包含来自盲人的39,181张图像,每张图像配有5条描述。我们提出的挑战针对的是给定图像预测合适描述的任务。最终,我们希望这项工作能让更多人了解盲人的技术需求,同时为研究人员提供一个激动人心的新机遇,开发辅助技术,消除盲人面临的无障碍障碍。

【主题与分类】

主题标签:Image Captioning、VizWiz-Captions、blind、accessibility、assistive technologies、images、captions。

【适用方向】

多模态数据适合跨模态对齐、融合建模与联合表征学习方向的研究。

【获取与许可】

源站页面:https://vizwiz.org/tasks-and-datasets/image-captioning/

官方服务

专家保障全链路合规授权与标注交付

陕川双基地 × 超十家三甲医院直连

从合规授权、采集治理、专业标注到数据集交付,我们提供全链路闭环服务,让高质量临床数据即拿即用。

⚡️ 需要原始数据或标注支持?联系我们获取定制方案。

帮我联系

下载信息

注册下载

需要注册 Kaggle 账号并登录后下载,适合需要跟踪下载记录和使用 API 的用户。

暂未开放

公开下载

无需注册即可直接获取公开样本或文档,适合快速预览和评估数据集质量。

暂未开放

有偿下载

公开数据集受托下载与技术交付服务。

提供高速下载与技术交付服务(收技术服务费,非数据销售)

暂未开放

当前数据集主要来源为 Kaggle 公开托管,完整影像包建议通过原始链接或 Kaggle API 获取。

使用方式

数据集获取

源站:https://vizwiz.org/tasks-and-datasets/image-captioning/

标准获取流程:

  1. 访问源站链接,注册/登录账号;
  2. 进入数据集详情页,按页面指引申请权限或直接下载;
  3. 部分平台提供 SDK,例如:
    • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
    • ModelScope: pip install modelscope 后 modelscope download
    • 天池: 登录后页面提供直链下载
      以源站「数据下载/使用文档」页面为准。

数据说明

盲人和低视力用户图像及人工描述,用于无障碍图像字幕。

数据加载示例(图像类)

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。

数据缺失?

依托陕西、四川两大基地,我们与超过十家三甲医院建立直接合作关系,覆盖合规授权、采集治理、专业标注、数据交付的全流程,为AI医疗团队提供即拿即用的高质量临床数据。

⚡️ 需要数据支持或标注服务?立即联系我们获取专业方案。

获取专属数据定制方案