以对话机器人为对照条件的互惠社会互动中的脑活动
我们提出了一种新的社会神经科学范式，在功能磁共振成像（fMRI）期间，将人类社会互动（人际互动，HHI）与和对话机器人的互动（人机互动，HRI）进行对比
基本信息
资源简介
以对话机器人为对照条件的互惠社会互动中的脑活动
该数据集围绕社会神经科学中的互动范式展开，旨在通过功能磁共振成像（fMRI）比较人类社会互动与人机互动的神经活动差异。研究设计让扫描仪内的参与者分别与另一名人类（同盟者）或扫描仪外的对话机器人进行实时双向讨论，每次讨论以1分钟为一个区块。实验采用封面故事向参与者提供讨论话题，同时隐藏实验的真实目的。数据采集涵盖多模态信息，包括fMRI数据、行为数据（参与者与人类或机器人代理的语音、人类和机器人代理的视频捕捉、被扫描参与者的眼动）以及生理数据（BOLD信号、呼吸和外周血流脉搏），从而形成一个综合语料库。该数据集来源于neurovault.org，分类归属于神经系统疾病/其他。
【数据集背景】
社会神经科学致力于理解人类在社会互动中的大脑活动机制。传统研究常面临生态效度与实验控制之间的权衡。该数据集提出一种新颖范式，将人类社会互动（human-human interaction, HHI）与和对话机器人的互动（human-robot interaction, HRI）进行对比，以对话机器人作为控制条件，在fMRI环境下考察真实、双向的社会交流。这种设计试图在保持互动自然性的同时，引入可标准化的非人类互动对象，从而分离社会互动中与人类特异性相关的神经过程。实验通过封面故事隐藏真实研究目标，以减少参与者预期对神经活动的影响。
【数据内容】
数据集包含多模态数据，具体分为三类：第一，fMRI数据，记录参与者执行互动任务时的大脑BOLD信号；第二，行为数据，包括参与者与人类或机器人代理的语音、对人类和机器人代理的视频捕捉，以及被扫描参与者的眼动数据；第三，生理数据，包括BOLD信号（与fMRI重叠）、呼吸和外周血流脉搏。实验采用1分钟区块设计，参与者与另一名人类（同盟者）或机器人代理进行实时双向讨论。讨论话题由封面故事提供，参与者并不知晓实验的真实目的。所有数据共同构成一个语料库，用于分析社会互动过程中大脑活动与行为、生理反应的关联。
【采集与来源】
数据采集在功能磁共振成像（fMRI）环境下进行。参与者位于扫描仪内，与扫描仪外的人类同盟者或机器人代理进行实时双向讨论。实验记录1分钟区块的互动过程。行为数据中的语音来自参与者和人类或机器人代理，视频捕捉覆盖人类和机器人代理，眼动数据来自被扫描参与者。生理数据包括BOLD信号、呼吸和外周血流脉搏。数据来源站为neurovault.org，数据集英文名称为“Brain activity during reciprocal social interaction investigated using conversational robots as control condition”。本站分类为神经系统疾病/其他。
【适用场景】
该数据集适用于社会神经科学、认知神经科学、人机交互以及神经影像方法学等研究方向。具体应用包括：比较人类-人类互动与人类-机器人互动条件下的大脑活动模式；研究实时双向社会交流中的神经关联；分析多模态数据（fMRI、行为、生理）在自然互动范式中的整合；探索对话机器人作为控制条件在fMRI实验中的可行性；以及利用眼动、语音和生理信号辅助解释BOLD信号变化。此外，该数据集也可用于方法学参考，例如设计隐藏真实实验目标的封面故事、构建多模态语料库等。
【使用方法】
源站未提供具体的数据使用步骤、预处理流程、分析工具或代码。用户需参考neurovault.org上该数据集的原始页面获取下载方式、文件格式及使用条款。通常，fMRI数据可能需要标准神经影像分析流程，行为与生理数据需与fMRI时间序列对齐。由于源站未提供详细说明，建议使用者直接访问来源站以获取完整的使用指南。
【质量与限制】
源站未提供关于数据质量、样本量、扫描参数、信噪比、缺失数据或验证结果的具体信息。已知限制可能包括：实验采用1分钟区块设计，互动时长较短；封面故事可能无法完全消除参与者预期；机器人代理作为控制条件与人类同盟者在行为自然性上可能存在差异。但上述限制仅为基于实验设计的通用讨论，源站未明确说明具体质量指标或限制条件。使用者应自行评估数据适用性。
【引用与许可】
源站未提供引用格式、许可协议或使用限制的具体信息。用户需访问neurovault.org上该数据集的页面，查看是否有推荐的引用文献、数据许可条款或使用要求。在未获得明确许可信息前，不应假设数据可自由使用或再分发。
下载信息
注册下载
需要注册 Kaggle 账号并登录后下载，适合需要跟踪下载记录和使用 API 的用户。
暂未开放公开下载
无需注册即可直接获取公开样本或文档，适合快速预览和评估数据集质量。
免登录当前数据集主要来源为 Kaggle 公开托管，完整影像包建议通过原始链接或 Kaggle API 获取。
使用方式
数据集获取
源站：https://neurovault.org/collections/4762
标准获取流程：
- 访问源站链接，注册/登录账号；
- 进入数据集详情页，按页面指引申请权限或直接下载；
- 部分平台提供 SDK，例如：
- OpenDataLab:
pip install openxlab后openxlab.dataset.get(...) - ModelScope:
pip install modelscope后modelscope download - 天池: 登录后页面提供直链下载
以源站「数据下载/使用文档」页面为准。
- OpenDataLab:
数据说明
我们提出了一种新颖的社会神经科学范式，在功能磁共振成像(fMRI)过程中，对比人际社交互动(人与人互动，HHI)与与对话机器人互动(人机互动，HRI)的情况。我们记录了扫描仪内的参与者与扫描仪外的另一个人(同伙)或机器人代理之间每分钟的实时双向讨论区块。通过一个掩饰故事提供讨论的主题，同时向参与者隐藏实验的真实目的。为此，我们收集了多模态数据，包括fMRI数据、行为数据(参与者的语音及人或机器人代理的语音、人和机器人代理的视频捕捉，以及被扫描参与者的眼动追踪)和生理数据(血氧水平依赖信号、呼吸和外周血流脉冲)，形成一个语料库。实验范式MRI记录包括四节，每节包含六个1分钟的对话区块，第一节和第三节展示拟人化的水果和蔬菜作为“超级英雄”的图像，第二节和第四节展示拟人化的“腐烂水果”图像。
顺序在所有参与者的每次会话中保持不变，每次会话交替呈现三张图片和两个互动主体，并从人类主体开始（即图像1/人类，图像2/机器人，图像3/人类，图像1/机器人，图像2/人类，图像3/机器人）。因此，每张图片在每次会话中展示两次，每个互动主体各一次。每个区块开始时先呈现一张图片8.3秒，随后是3.3秒的黑屏，之后与互动主体进行一分钟的实时双向对话，接着是4.6秒的区块间黑屏间隔。在扫描仪内无实时视频信号的情况下，一盏灯向配合者示意对话已开始。由参与者发起对话，并被指示与其他主体自由谈论该图片，并且
数据加载示例（图像类）
from PIL import Image
import glob, os
files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
+ glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
+ glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)
# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path) # 要求 子目录=类别
目录组织与标注格式以源站说明和下载后实际文件为准。
需要用于商业化训练或医疗器械注册（NMPA/FDA）？
公开数据往往缺乏完整的病理回证与专家标注。千方医数集依托陕川双基地与超十家三甲医院直连，提供完全合规、去标识化、支持注册级质控的专病数据集交易服务。
