NeuroKinect4K-MOI-SIM：基于关键点的癫痫发作符号学动作、手势与情绪识别模拟基准数据集

数据集获取

源站：https://doi.org/10.25747/hwwd-4h25

标准获取流程：

1. 访问源站链接，注册/登录账号；
2. 进入数据集详情页，按页面指引申请权限或直接下载；
3. 部分平台提供 SDK，例如：
   • OpenDataLab: pip install openxlab 后 openxlab.dataset.get(...)
   • ModelScope: pip install modelscope 后 modelscope download
   • 天池: 登录后页面提供直链下载
     以源站「数据下载/使用文档」页面为准。

数据说明

该数据集包含在慕尼黑大学（LMU）收集的一系列模拟癫痫发作症状学中的感兴趣动作（MOIs）。数据集来自8名受试者，他们执行了相同的预定义动作序列。这些动作序列由熟悉这些MOIs的癫痫学家设计和执行，确保了所有受试者动作的一致性复现。视频使用Kinect Azure系统捕获，具备4K RGB-D-IR数据流，帧率为每秒30帧，生成了每段2分钟的连续MKV文件。数据集共包含33个MOIs，分为三大类：轻微面部/眼部动作（11个MOIs）、手部动作（11个MOIs）和大动作（11个MOIs）。部分动作是单侧执行（左或右），其他则是双侧执行。所有视频均使用计算机视觉注释工具（CVAT）进行标注，共有34个标签——33个对应动作，另有1个“结束”标签表示每个动作的完成。此标注结果为每个视频生成了一个JSON文件。

一个动作的起始帧以其特定名称标注，而结束帧则标记为“end”标签。因此，每个动作由这两个标注帧之间的帧序列定义。每个MOI中用于标注的起始点和结束点均由一位癫痫学家讨论并批准。为了将该数据集扩展用于动作识别和检测用途，从所有MKV文件中提取了RGB视频，并使用Sapiens提取了受试者的2D骨架。在RGB视频上采用了Sapiens中的两个预训练2D姿态估计模型，二者规模不同——一个具有133个关键点（遵循COCO-WholeBody框架）和20亿参数，另一个具有308个关键点和10亿参数。这两次推理生成的JSON文件（每个视频的每一帧对应一个）以及视频

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。