VibraVoice喉部振动与声学多模态构音障碍语音数据集及模型权重
VibraVoice 是一个用于构音障碍语音解码的多模态数据集，包含同步的喉部振动与声学录音。支持研究结论的补充数据可在合理请求下向通讯作者获取，但须经西湖大学伦理审查委员会批准并签署适当的数据使用协议
基本信息
资源简介
VibraVoice喉部振动与声学多模态构音障碍语音数据集及模型权重
VibraVoice 是一个面向构音障碍语音解码研究的多模态数据集，其英文全称为 VibraVoice dataset and model weights of "Multimodal fusion of laryngeal vibrations and acoustics enables robust speech decoding in dysarthria"。该数据集同步采集喉部振动信号与声学信号，旨在为构音障碍人群的语音解码研究提供多模态数据基础。数据集由 Yihao Wang、Hailiang Han、Chengkun Zhang、Kaicheng Jin、Junyin Li、Yipeng Chen、Qi Wang、Jianwei Qiu、Keqin Liu、Hanqing Jiang 等作者共同完成，发布于 Zenodo，发布时间为 2026 年，采用 Attribution-NonCommercial-ShareAlike 4.0 International 许可协议。在分类上，该数据集归属于神经系统疾病与言语障碍方向，可通过 doi.org 获取。
【数据集背景】
构音障碍是神经系统疾病常见的言语障碍表现之一，患者的发音清晰度和稳定性往往受到显著影响，给自动语音识别与语音解码带来挑战。VibraVoice 的构建正是围绕这一研究需求展开，通过引入喉部振动这一与发声直接相关的生理信号，与声学录音形成互补，探索多模态融合在构音障碍语音解码中的可行性。数据集名称中“Multimodal fusion of laryngeal vibrations and acoustics enables robust speech decoding in dysarthria”点明了其研究主题，即利用喉部振动与声学的多模态融合实现稳健的构音障碍语音解码。
【数据内容】
VibraVoice 的核心内容为同步的喉部振动记录与声学录音，二者在时间上保持同步，构成多模态配对数据。数据集同时包含与上述研究对应的模型权重。除数据集主体外，支持研究结论的补充数据并未随数据集一并公开，需在合理请求下向通讯作者获取。
【采集与来源】
数据集来源于 doi.org，发布机构为 Zenodo。数据采集涉及构音障碍相关的语音与喉部振动信号，具体采集设备、受试者规模、录制环境等信息源站未提供。补充数据的获取须经西湖大学伦理审查委员会批准，并签署适当的数据使用协议，这在一定程度上反映了数据采集与共享过程中涉及的伦理审查环节。
【适用场景】
该数据集主要适用于构音障碍语音解码相关研究，尤其是需要融合喉部振动与声学信息的多模态建模工作。研究者可基于同步的振动与声学数据开展多模态融合方法探索，也可结合随数据集发布的模型权重进行复现、对比或进一步微调。此外，该数据集亦可服务于神经系统疾病背景下言语障碍的语音识别与辅助沟通相关研究。
【使用方法】
使用者可通过 doi.org 定位并获取该数据集及模型权重，使用时应遵循 Attribution-NonCommercial-ShareAlike 4.0 International 许可协议的要求。对于支持研究结论的补充数据，需向通讯作者提出合理请求，并在获得西湖大学伦理审查委员会批准及签署适当数据使用协议后方可获取。具体的数据加载方式、文件组织结构与模型权重调用方法源站未提供。
【质量与限制】
数据集提供同步的喉部振动与声学记录，并附带模型权重，便于多模态研究复现。其限制在于补充数据不随数据集直接开放，获取需经过伦理审批与数据使用协议，可能影响研究的即时可及性；受试者数量、录制条件、信号质量指标等信息源站未提供，使用者在评估数据适用性时需自行核实。
【引用与许可】
使用该数据集时应引用其对应研究成果，并注明数据集名称 VibraVoice。许可协议为 Attribution-NonCommercial-ShareAlike 4.0 International，即要求署名、不得用于商业目的，且衍生作品需以相同许可方式共享。补充数据的使用另需遵循西湖大学伦理审查委员会的审批要求及相应的数据使用协议。
下载信息
注册下载
需要注册 Kaggle 账号并登录后下载，适合需要跟踪下载记录和使用 API 的用户。
暂未开放公开下载
无需注册即可直接获取公开样本或文档，适合快速预览和评估数据集质量。
免登录有偿下载
公开数据集受托下载与技术交付服务。
提供高速下载与技术交付服务（收技术服务费，非数据销售）
暂未开放当前数据集主要来源为 Kaggle 公开托管，完整影像包建议通过原始链接或 Kaggle API 获取。
使用方式
数据集获取
源站：https://doi.org/10.5281/zenodo.23442477
标准获取流程：
- 访问源站链接，注册/登录账号；
- 进入数据集详情页，按页面指引申请权限或直接下载；
- 部分平台提供 SDK，例如：
- OpenDataLab:
pip install openxlab后openxlab.dataset.get(...) - ModelScope:
pip install modelscope后modelscope download - 天池: 登录后页面提供直链下载
以源站「数据下载/使用文档」页面为准。
- OpenDataLab:
数据说明
VibraVoice 是一个用于构音障碍语音解码的多模态数据集，包含同步的喉部振动和声学记录。支持研究结果的其他数据可在合理请求下向通讯作者获取，但须经西湖大学伦理审查委员会批准并签署适当的数据使用协议。
数据加载示例（图像类）
from PIL import Image
import glob, os
files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
+ glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
+ glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)
# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path) # 要求 子目录=类别
目录组织与标注格式以源站说明和下载后实际文件为准。
数据缺失？
依托陕西、四川两大基地，我们与超过十家三甲医院建立直接合作关系，覆盖合规授权、采集治理、专业标注、数据交付的全流程，为AI医疗团队提供即拿即用的高质量临床数据。
⚡️ 需要数据支持或标注服务？立即联系我们获取专业方案。
