多模态痴呆监测与诊断纵向数据集

资源简介

多模态痴呆监测与诊断纵向数据集

【一句话概览】

痴呆症影响成人的记忆、语言和行为等认知功能。MRI等标准诊断生物标志物成本高昂，而神经心理测试在检测痴呆症发病方面存在敏感性不足的问题。言语和语言分析已成为诊断和监测痴呆症的一种有前景的非侵入性技术。目前该方向多数工作忽视了人类交流的多模态性质与日常对话互动的特点，也因缺乏一致的纵向数据而忽视了认知状态随时间的变化。为此，研究者构建了一个新的细粒度纵向多模态语料库，在自然环境中采集健康对照组与痴呆症患者的数据，分两个阶段，每阶段28次会话。语料库包含口语对话（部分转写）、键入和手写的想法，以及笔迹和击键等额外语言信息。研究介绍了数据采集过程，详细描述了语料库，并为两个队列建立了捕捉不同模态语言纵向变化的基线，展望了未来研究方向（来源。

【数据集背景】

本数据集源站标题为《arXiv Query: search_query=&id_list=2109.01537v2&start=0&max_results=1》。源站首次发布：2021-09-03。

【数据内容】

源站原始描述：Dementia affects cognitive functions of adults, including memory, language, and behaviour. Standard diagnostic biomarkers such as MRI are costly, whilst neuropsychological tests suffer from sensitivity issues in detecting dementia onset. The analysis of speech and language has emerged as a promising and non-intrusive technology to diagnose and monitor dementia. Currently, most work in this direction ignores the multi-modal nature of human communication and interactive aspects of everyday convers…

中文译文（机器翻译，仅供快速理解，请以原文为准）：痴呆症会影响成年人的认知功能，包括记忆、语言和行为。标准的诊断生物标志物如MRI费用高昂，而神经心理学测试在检测痴呆症发病方面存在敏感性问题。语音和语言分析已成为一种有前景且非侵入性的技术，用于诊断和监测痴呆症。目前，该方向的大多数工作忽视了人类交流的多模态特性以及日常会话互动的交互方面。此外，大多数研究忽视了认知状态随时间的变化，原因在于缺乏一致的纵向数据。在此，我们介绍一个新颖的细粒度纵向多模态语料库，该语料库在自然环境中从健康对照组和痴呆症患者中收集，分为两个阶段，每个阶段涵盖28次会话。该语料库包含口语对话，其中一部分经过转写，还包括打字和手写的想法以及相关的超语言信息，如笔迹和击键。我们介绍了数据收集过程并详细描述了该语料库。此外，我们为两个队列——健康对照组和痴呆症患者——建立了跨不同模态捕捉语言纵向变化的基线，并概述了该语料库所支持的未来研究方向。

【主题与分类】

主题标签：cs.AI、cs.CL、cs.DB、cs.MM。

【适用方向】

多模态数据适合跨模态对齐、融合建模与联合表征学习方向的研究。

【获取与许可】

源站页面：https://arxiv.org/abs/2109.01537v2