VISEM — 人类精子显微视频多模态数据集(85 人/研究用途)

挪威 SimulaMet 与 OsloMet 发布的 85 名男性精子显微视频 + 精液分析 + 脂肪酸 + 性激素 + 人口学五模态开放数据集,人类生殖领域首个开放多模态数据集,MediaEval 2019 Medico 任务官方基准,35.2 GB 直链下载、CC BY-NC 4.0(仅限研究与教育用途)

来源 85 段精子显微 AVI 视频(640×480@50fps,400× 放大,Olympus CX31,2-7 分钟/段,>35 GB)+ 6 个 CSV(精液分析/精子脂肪酸/血清磷脂脂肪酸/性激素/人口学/视频映射)+ 描述文件;Zenodo visem-dataset.zip 35.2 GB(md5 c4ab1788457fa3395d94bb643559f6c5)发布时间: 2026-10-08最后更新: 2026-10-20 阅读 41
VISEM — 人类精子显微视频多模态数据集(85 人/研究用途)

信息速览

数据集名称VISEM — 人类精子显微视频多模态数据集(85 人/研究用途)
数据类型视频数据,生理信号,原始数据
规模85 名男性(≥18 岁;每人收录 1 段显微视频);部分受试者录制两段但因样本漂移仅保留一段
接入方式85 段精子显微 AVI 视频(640×480@50fps,400× 放大,Olympus CX31,2-7 分钟/段,>35 GB)+ 6 个 CSV(精液分析/精子脂肪酸/血清磷脂脂肪酸/性激素/人口学/视频映射)+ 描述文件;Zenodo visem-dataset.zip 35.2 GB(md5 c4ab1788457fa3395d94bb643559f6c5)
AI 就绪度

INFOBOX — VISEM 一屏速览

维度 内容
本质 85 名男性受试者的精子显微视频多模态数据集——人类生殖领域首个开放多模态数据集(非挑战赛本体,但被 2019 Medico 任务采用为官方基准)
团队 Simula Research Laboratory(SimulaMet)+ OsloMet(挪威奥斯陆);通讯 Michael Riegler(michael@simula.no)
论文 ACM MMSys '19, pp. 261-266(doi:10.1145/3304109.3325814);Zenodo 数据集 2019-02-08
数据 85 名男性,每人 1 段显微 AVI 视频(640×480@50fps,400× 放大,2-7 分钟)
模态 五模态:视频 + WHO 精液分析 + 精子脂肪酸 + 血清磷脂脂肪酸 + 性激素/人口学
体积 35.2 GB(visem.zip,Zenodo 全版本 zip)
表结构 6 个 CSV(5 数据表 + 1 视频映射)+ 描述文件 + 视频文件夹;每行 = 一位参与者
活力标注 progressive / non-progressive / immotile 三项 0-100 百分比
采集 2008-2013 招募;37℃ 加热台,Olympus CX31 显微镜 + UEye UI-2210C 相机
基准 MediaEval 2019 Medico 任务(活力 + 形态预测,subject-independent 3-fold CV)
最佳结果 motilitAI(iScience 2022)MAE 7.31,优于 Medico 最佳提交 8.83
获取 公开直链(datasets.simula.no/downloads/visem.zip);HF 镜像 sperm-net/VISEM
许可 CC BY-NC 4.0(Zenodo)/仅研究教育用途+商用书面许可(官方页)
库内互链 LDPolypVideo(医学视频)、MultiMedBench(多模态基准)、prostate158/prostatex(男性泌尿生殖)

VISEM 是一个"把生殖医学最难共享的数据变成开放多媒体数据集"的工程样本:男性不育的诊断核心——精液质量——长期依赖昂贵设备与专业人员的显微镜手工评估,而精子视频数据又因隐私与伦理几乎从不公开。挪威 Simula 团队把 85 名受试者的精子显微视频、精液分析、脂肪酸、性激素与人口学数据整合成一个 35.2 GB 的开放包,并用它撑起了 2019 年 MediaEval 的 Medico 挑战赛,让多媒体与机器学习社区第一次能在一个真实、多模态、临床来源的生殖健康数据上做公平比较。

导语读法三则:

  1. 只想下数据:直奔 §6 获取与许可——VISEM 是公开直链(不是请求制),但仅限研究与教育用途,商用要找作者;引用必须带论文 DOI。
  2. 关心多模态结构:直奔 §2 与 §3——五模态如何对齐到 85 行、6 个 CSV 各存什么,是本数据集最有价值也最容易被误读的部分。
  3. 做基准复现:直奔 §5——Medico 任务的 subject-independent 3-fold 划分与 motilitAI 的 MAE 7.31 是可复现的起点。

§0 导读:这个数据集解决什么问题

男性因素约占不孕不育成因的一半,而精液质量评估是诊断的起点。问题在于:精液分析高度依赖显微镜下的主观判读——精子活力(motility)要看"游得动、游得直、还是不动",形态(morphology)要分辨头部、中段、尾部的细微缺陷。WHO 标准虽提供了分级规则,但观察者之间的一致性问题由来已久,而且这套评估需要受过训练的实验室人员逐样本目视完成,成本高、吞吐低。计算机辅助精液分析(CASA)本可缓解,却长期受制于一个根本障碍:没有公开、可复现、带金标准标注的精子视频数据。临床数据受隐私法约束难以共享,能拿到的又往往只有图像或纯视频,缺少把"视频里的运动"与"这个人真实的精液参数"对应起来的桥梁。

VISEM 的回答很直接。它把 85 名受试者的五类数据——一段精子显微视频、WHO 标准精液分析结果、精子脂肪酸谱、血清磷脂脂肪酸谱、性激素与人口学数据——打包成一个开放数据集,每行一位参与者、五种模态可交叉引用。这样做的价值有三层。第一层是数据本身:这是人类生殖领域第一个开放的多模态数据集,视频、生物分析、参与者信息第一次被同时提供,并且每一段视频都能对应到这位受试者的真实精液质量。第二层是任务定义:活力与形态的自动化预测被明确为可评测任务,MediaEval 2019 的 Medico 挑战赛据此建立了 subject-independent 的划分与基线,让不同方法能在同一批数据上比较——这在健康数据普遍受限制的现状下尤为难得。第三层是方法论示范:作者刻意把数据"开放且解释清楚",让不熟悉医学领域的研究者也能上手,从而把多媒体社区的方法引入一个长期封闭的医学问题。

需要清醒看待的是它的边界。85 人的样本、挪威的招募渠道、2010 年代早期的成像硬件、每人仅一段视频——这些限制意味着 VISEM 更适合作为方法验证与基准建立的起点,而不是结论性的流行病学证据。它最诚实的定位是:一个让"精子视频理解"这件事第一次变得可复现的开放底座。

0.1 问题背景:为什么"精子视频理解"长期不可复现

要理解 VISEM 的意义,先要理解它出现之前这个领域为什么停滞:

  1. 数据不可得:临床精子视频受隐私法(如 HIPAA、GDPR)约束,几乎不可能公开发布;公开的样本量又极小,不足以支撑深度学习。
  2. 模态割裂:即便有视频,也常缺少"这个人的真实精液参数"作为标签——影像与结果对不上,预测任务无从定义。
  3. 评测不可比:没有统一的划分与任务定义,各研究各用各的子集,分数无法横向对比。
  4. 标签主观:活力/形态判读依赖专家目视,观察者间变异大,即便有数据也难保证标签一致性。

VISEM 一次回应了前三点(可得、对齐、可比),第四点(标签主观)则被坦诚地保留为 limitation。这个"解决大部分、坦承剩余"的姿态,正是它被社区接受的原因。

0.2 VISEM 的三重身份

VISEM 在文献里有三种用法,理解身份切换是避免误用的关键:

身份 是什么 典型用法
数据集 85 人五模态开放包 下载后做自己的研究
基准 MediaEval Medico 任务的数据 按官方划分报告可比分数
方法范例 开放医学多媒体数据集的发布模板 借鉴其模态对齐与任务化思路

多数坑(§9)都源于混淆了这三种身份。同一个 visem.zip,当数据集用、当基准用、当范例用,规则各不相同。

§0 读法三则:

  1. 这个条目是"数据集 + 基准任务"合体:本体是 35.2 GB 的五模态开放包,附加价值是它被 MediaEval 2019 Medico 任务采用为官方数据并给出可复现划分(§5)。
  2. 全文规模数字均出自官方页、Zenodo 与论文三源;唯一一处体量口径冲突(35.2 GB vs Zenodo 侧栏 65.1 TB)已在坑 5 存照。
  3. 检索时若同时看到 “VISEM” 与 “SPERM-NET” —— 二者不同:VISEM 是数据集本体,“Sperm-Net / sperm-net” 是围绕它组织挑战赛的团队组织名(HF 用户名 sperm-net),不要混为一谈(坑 1)。

§1 数据集速览:十问十答

Q1:VISEM 的"85"是什么?
85 名成年男性受试者(≥18 岁),每人一行记录。原始招募于 2008-2013 年,来自挪威普通人群告、减重项目以及肥胖与生育门诊患者,研究聚焦"超重与肥胖如何影响男性生殖功能"。项目 2017 年 12 月关闭并全部去标识,2019 年 2 月发布。

Q2:每位参与者有哪些数据?
五个模态:一段精子显微视频(活力评估用)、一份 WHO 标准精液分析结果、精子脂肪酸谱、血清磷脂脂肪酸谱、人口学与性激素数据。对应 6 个 CSV 文件(5 个数据表 + 1 个视频映射表)与一个描述文件。

Q3:视频规格是什么?
640×480 像素、50 帧/秒,AVI 格式,每段时长 2-7 分钟。录制用 Olympus CX31 显微镜(400× 放大)+ 加热台(37℃)+ UEye UI-2210C 相机。视频总体积超过 35 GB。

Q4:为什么每人只有一段视频?
部分受试者因首次记录的样本存在漂移(drift),导致实验室人员难以评估活力,实际录制了两段;但出于数据集体积控制,最终每人只收录一段。这意味着数据集没有同一受试者的纵向多次采样。

Q5:视频文件名里有什么信息?
文件名由参与者 ID、录制日期、一段可选说明、以及执行 WHO 评估的人员代码拼接而成(例如 1_09.09.02_SSW)。这种命名把"哪段视频对应哪个人、哪一天、谁评估的"编码进文件名本身。

Q6:标注了什么?
WHO 标准精液分析的完整参数(活力、浓度、总精子数、精液量、形态、活力 vitality),其中活力细分为 progressive / non-progressive / immotile 三项,各以 0-100 的百分比给出,构成活力预测任务的 ground truth。

Q7:它被用作什么基准?
MediaEval 2019 的 Medico 任务(Multimedia for Medicine)以 VISEM 为数据,设置两个子任务:精子活力预测与精子形态预测,并提供 subject-independent 的 3 折交叉验证划分。

Q8:现在最好的结果是多少?
motilitAI(Ottl 等,iScience 2022)在同一数据集与划分上把活力预测的平均绝对误差(MAE)压到 7.31,优于 Medico 挑战赛最佳提交的 8.83。

Q9:我能直接下载吗?
能。VISEM 是公开直链:官方页提供 datasets.simula.no/downloads/visem.zip(35.2 GB),Zenodo 有镜像。无需申请审批——这是它与请求制数据集的关键区别。

Q10:为什么它对 AI-Ready 重要?
它是"真正开放直链 + 多模态 + 临床来源"的稀缺组合:许可限制在研究与教育(非商业),但获取零门槛、结构清楚、有官方基准划分。在生殖医学这类数据普遍封闭的领域,VISEM 提供了一个罕见的可复现底座。

1.1 十问之外的三个"高频误读"

除了上面十问,还有三个极易在检索与引用时出错的地方,先在此点明:

误读一:把 VISEM 当成"图像数据集"。 VISEM 的核心载体是视频,不是静态图像。虽然很多工作会从视频抽帧成图像来用(如 YOLOv5 研究抽了 382 帧),但数据集本体承载的是精子在时间维度上的运动信息。只把它当图像集会浪费掉最重要的模态。

误读二:把它当作"新采集的多模态数据集"。 VISEM 的原始数据是 2008-2013 年一项关于肥胖与男性生殖功能研究的副产品,不是为发布数据集而专门采集。这意味着它的模态组合是"研究本来就测了这些",而非"为了数据集的完整性而设计"——理解这一点才能理解为什么它会同时有脂肪酸和性激素。

误读三:以为它有"精子级标注"。 VISEM 标注的是样本级结果(这个人总体活力多少),不是精子级的框或轨迹。要做检测/追踪必须自标(详见坑 8)。

1.2 一图定位:VISEM 在三个坐标系里的位置

坐标系 VISEM 的位置
数据模态轴 视频 + 生化 + 人口学(多模态,非单一影像)
开放程度轴 公开直链(高开放),但限非商业
任务层级轴 样本级预测(活力/形态),非像素/物体级

把这三个坐标合起来,VISEM 的独特卡位就清晰了:它是一张"高开放度 + 多模态 + 样本级标签"的生殖医学视频底片——三轴同时满足的数据集在库内屈指可数。

§2 数据构成与规格

2.0 先看"一行数据"长什么样

VISEM 的抽象结构可以压缩成一句话:85 行,每行一位受试者,横向拼上五种模态。 先把"一行"具象化,后面的表就好理解了:

participant ID = 1
├── [视频]       1_09.09.02_SSW.avi   (640×480@50fps, 4 分钟, 400×)
├── [精液分析]    progressive=45%, non-progressive=20%, immotile=35%, 浓度=..., 形态=...
├── [精子脂肪酸]  多种脂肪酸水平
├── [血清脂肪酸]  磷脂脂肪酸水平
├── [性激素]      睾酮等 + 精浆 AMH
└── [人口学]      年龄=..., 禁欲时间=..., BMI=...

所有下游操作——无论是活力预测、多模态融合还是统计关联——本质上都是"按 ID 把这些模态 join 起来"的不同用法。

2.1 五模态总览

VISEM 的"多模态"不是营销词,而是五种数据类型被对齐到同一批 85 名受试者。理解这张表是理解整个数据集的关键:

模态 载体 关键内容 单位
视频 AVI(视频文件夹) 精子显微活力录像 每位 1 段(2-7 分钟)
精液分析 semen_analysis_data.csv WHO 标准参数(活力/浓度/总数/体积/形态/vitality) 每位 1 行
精子脂肪酸 fatty_acids_spermatozoa.csv 精子细胞脂肪酸谱 每位 1 行
血清脂肪酸 fatty_acids_serum.csv 血清磷脂脂肪酸谱 每位 1 行
性激素 sex_hormones.csv 血清性激素 + 精浆 AMH 每位 1 行
人口学 participant_related_data.csv 年龄/禁欲时间/BMI 等 每位 1 行
映射 videos.csv 视频文件 ↔ 参与者 ID 每视频 1 行

官方明确:每个 CSV 文件的一行对应一位参与者。这一设计把"多模态融合"从口号变成了可执行的操作——按参与者 ID 做 join,就能在同一个样本上同时拿到"他游动的精子的视频"和"他血液与精液里的生化指标"。

2.2 视频规格

属性 规格
分辨率 640×480 像素
帧率 50 帧/秒(fps)
格式 AVI
时长 每段 2-7 分钟
放大倍率 400×
显微镜 Olympus CX31
相机 UEye UI-2210C(IDS Imaging Development Systems,德国)
温度 加热台 37℃(模拟体温,保持精子活力)
总体积 超过 35 GB(打包 35.2 GB)

三处细节值得注意:

  1. 37℃ 加热台不是可选项:精子离开体温环境后活力迅速衰减,加热台保证视频捕捉到的运动状态尽可能接近体内情形。这意味着视频反映的是"活体状态下的活力",而非低温保存后的样本。
  2. 400× 放大 + 640×480 的组合是 2010 年代早期显微摄像机的典型配置。相对当代高分辨率显微成像,单像素承载的空间细节有限,直接制约了亚细胞级(如头部顶体、中段线粒体鞘)形态分析的上限。
  3. 每位仅一段、2-7 分钟意味着总可用视频量相对有限。活体追踪类方法需要足够长的连续片段与足够的精子密度,短片段叠加有限的受试者数量,构成了方法验证时的实际约束。

2.3 六个 CSV 的字段解剖

官方页对每个 CSV 的用途给出了明确说明:

  • semen_analysis_data(精液分析):WHO 标准精液分析的完整结果——精子活力、浓度、总精子数、精液量、精子形态、精子活力(vitality)。这是活力/形态预测任务的 ground truth 来源。
  • fatty_acids_spermatozoa(精子脂肪酸):参与者的精子细胞中多种脂肪酸的水平,经气相色谱测定。
  • fatty_acids_serum(血清脂肪酸):血清中磷脂脂肪酸的水平,从参与者血液样本测得。
  • sex_hormones(性激素):血液中测得的血清性激素水平;此外在精浆中单独测定了 AMH。
  • participant_related_data(人口学):年龄、禁欲时间、身体质量指数(BMI)等一般信息。
  • videos(视频映射):哪一段视频文件属于哪一位参与者的对照表。

另有 1 个文本描述文件,解释 CSV 各列的含义——这是作者"让不熟悉医学的研究者也能上手"这一初衷的直接体现。

2.4 为什么"脂肪酸 + 性激素"也在里面

对纯影像视角的研究者,脂肪酸与性激素似乎是"多余的"模态。它们的存在有明确的科学动机:原始研究本身就是围绕超重/肥胖与男性生殖功能的关系展开的,脂肪酸组成与性激素水平是连接"体重/代谢状态"与"精液质量"的潜在中介变量。把生化指标与视频放在同一数据集里,等于为"代谢—内分泌—精液质量"这条因果链提供了可计算的三方数据。这也解释了为什么任务设计里把"多模态融合能否提升预测"单独列为一个研究问题:VISEM 的雄心不止于从视频预测活力,而是想让人考察不同模态之间的互补性。

2.5 规模与代表性的诚实边界

维度 事实 对使用者的含义
参与者数 85 小样本,结论宜作提示性,避免过拟合式断言
性别/年龄 全男性,≥18 岁 仅回答男性生育力问题,不可外推
招募渠道 报纸/减重广告 + 肥胖/生育门诊 富集了超重与生育困扰人群,非一般人群
地理 挪威 人口学代表性受北欧单一地区限制
采样次数 每人 1 段视频 无纵向观测,无法建模个体内变异
时间跨度 2008-2013 采集 硬件与流程反映当时的临床条件

这张表不是缺陷清单,而是"正确使用 VISEM"的前置条件。任何声称"在通用人群上验证"的结论,都要先过这道代表性关卡。

§3 采集、伦理与标注流程

3.1 数据采集科学背景

VISEM 并非为"做数据集"而拍摄,而是一个既有临床研究的副产品。原始研究的问题设定是"超重与肥胖如何影响男性生殖功能",参与者在 2008-2013 年间被招募:一部分来自普通人群(报纸广告、减重项目),一部分来自肥胖门诊与生育门诊的患者。这种"研究副产品转开放数据集"的来源,决定了两件事——数据的真实性强(不是实验室摆拍),但样本选择带有明确的临床富集偏倚(见 §2.5)。

3.2 视频录制流程

精子活力录像的录制有一条标准化链路:

  1. 精液样本置于 37℃ 加热台上;
  2. 用 Olympus CX31 显微镜 400× 放大观察;
  3. 由显微镜挂载的 UEye UI-2210C 相机采集,保存为 AVI;
  4. 基于视频进行活力分析。

之所以强调加热台与固定放大倍率,是因为精子活力对温度极敏感,而放大倍率直接决定"单个精子在一帧里占多少像素"——这既影响人工判读,也影响后续自动追踪算法能否稳定关联同一精子在相邻帧的位置。

3.3 生化指标的测定

  • 脂肪酸:精子脂肪酸与血清磷脂脂肪酸分别经**气相色谱(gas chromatography)**测定;前者反映精子膜脂质组成,后者反映血清磷脂的脂肪酸构成。
  • 性激素:血清性激素用标准化血检测定;AMH(抗缪勒管激素)在精浆中测定,这是男性生殖领域一个相对专门化的指标。
  • 关联分析:原始研究用多元线性回归与偏相关分析,工具为 SPSS Statistics 20。

3.4 伦理与去标识

  • 研究经挪威东南地区医学与健康研究伦理委员会批准;
  • 全部参与者提供书面知情同意;
  • 项目于 2017 年 12 月关闭,所有数据完成去标识;
  • 视频文件名中的"录制日期"是去标识边界内保留的时间信息,需注意其可能构成的再识别风险——这也是许可被限定在"研究与教育"的现实原因之一。

3.5 标注与 ground truth 的生成

VISEM 的标注来自 WHO 指南(2010 版)下的人工精液分析,由实验室人员完成:

任务标签 生成方式 形式
活力(motility) 人工判读,分 progressive / non-progressive / immotile 三项各 0-100 百分比
形态(morphology) 按医学指南判读头部/中段/尾部缺陷 缺陷类别
精液分析参数 标准 WHO 流程 浓度/总数/体积/vitality 等

关键提醒:这些标签是"人工目视评估"的结果,而非客观仪器测量。WHO 标准虽有分级规则,但观察者间变异(interobserver variability)是精液分析领域的固有难题。这意味着 VISEM 的 ground truth 本身带有噪声,用视频去"预测"这些标签时,实际上是在逼近一位/一组实验室人员的判读,而非逼近某个绝对真值。这一点在解读任何 MAE 数字时都必须记在心里。

§4 数据访问与文件组织

4.1 文件包结构

VISEM 以一个 zip 分发,内部包含:

visem.zip / visem-dataset.zip  (35.2 GB)
├── <视频文件夹>          # 85 段 AVI 视频
├── semen_analysis_data.csv
├── fatty_acids_spermatozoa.csv
├── fatty_acids_serum.csv
├── sex_hormones.csv
├── participant_related_data.csv
├── videos.csv            # 视频 ↔ 参与者 ID 映射
└── <描述文本文件>         # 解释 CSV 各列含义

官方页描述为"6 个 CSV(5 个数据 + 1 个视频映射)+ 描述文件 + 视频文件夹"。

4.2 视频命名规范

视频文件名编码了四类信息:

<参与者ID>_<录制日期>_<可选说明>_<WHO评估者代码>

例如 1_09.09.02_SSW。这种命名的实用价值在于:不需要额外索引,从文件名即可定位"哪个受试者、哪一天、谁评估"。但也要注意——评估者代码的存在意味着活力判读本身是"有人格的",不同评估者的判读风格可能不同,这为解读标签一致性提供了线索。

4.3 下载渠道

渠道 地址 说明
官方页 datasets.simula.no/downloads/visem.zip 首选,35.2 GB
Zenodo zenodo.org/records/2640506 DOI 10.5281/zenodo.2640506,镜像
HuggingFace sperm-net/VISEM Dataset card + 样例 notebook(需走 hf-mirror.com)

三条渠道均无需审批。HuggingFace 的 sperm-net/VISEM 提供了"如何加载并抽帧"的示例 notebook,对只想快速试水而不想下载 35 GB 全量数据的团队很实用。

4.4 存储、带宽与计算现实

35.2 GB 的体积不是一个可以忽略的细节,它直接影响团队的落地方式:

环节 现实约束 应对建议
下载 35.2 GB,受带宽影响 优先官方直链;校验 md5 后解压
存储 解压后占用更大 预留 ≥70 GB 磁盘
解码 85 段 AVI 逐帧读取 先抽帧缓存为图像序列或 HDF5
计算 视频端到端训练显存吃紧 手工特征/追踪路线更省资源
复现 大文件不便于版本管理 只存划分与派生特征,视频按需获取

对多数团队而言,“下载一次、抽帧缓存、后续只碰特征” 是更现实的工程路径——motilitAI 走的正是这条(先追踪提特征,再在特征上训模型),也因此把算力需求压得很低。

4.5 抽帧与预处理的第一性选择

拿到视频后第一个要决策的是"用多少帧、怎么抽"。官方组织方基线的做法是前 60 秒每秒 2 帧 = 120 帧/视频——这个选择背后有三重含义:

  1. 只用前 60 秒:即只用视频的一段,而非全程,降低处理量;
  2. 每秒 2 帧:不是逐帧(50 fps),而是下采样,牺牲时间分辨率换处理速度;
  3. 全局特征:每帧提取全局统计特征而非逐精子,避免了对检测/追踪的依赖。

这套"降采样 + 全局特征"的思路精度低(MAE 8.83),但胜在简单、可复现——是理解后续方法为什么"必须更懂精子运动"的对照基线。

4.6 一条数据的完整生命周期(从采集到可复现)

把 VISEM 的全流程串成一条线,有助于看清每一步对最终数据质量的影响:

阶段 动作 引入的变量
采集 37℃ 加热台 + 400× 显微镜录制 温度、放大倍率、相机
分析 WHO 标准人工精液分析 评估者判读风格
生化 气相色谱 + 血检 仪器与批次
匿名 2017-12 去标识 保留/删除哪些字段
发布 打包 zip + 6 CSV + 描述文件 模态对齐方式
任务化 MediaEval 定义划分 划分随机性与折数
复用 抽帧/追踪/建模 抽取策略与模型选择

每一格都可能引入噪声,但**"去标识"与"任务化"两步是 VISEM 区别于普通临床数据的关卡**:前者决定合规边界,后者决定可比性。

4.7 版本与完整性校验

VISEM 的完整性可用官方 md5 校验:

visem-dataset.zip
md5: c4ab1788457fa3395d94bb643559f6c5
size: 35.2 GB

下载后校验 md5 是一步低成本、高收益的操作——它能排除传输损坏,避免在后续解压/解码环节浪费大量时间排查"数据本身没问题"的问题。

§5 任务定义与基准

5.1 MediaEval 2019 Medico 任务

VISEM 从数据集"升级"为基准,关键事件是它被 MediaEval 2019 的 Medico 任务(Multimedia for Medicine: The Medico Task) 采用为官方数据。组织方是 SimulaMet 团队本身。该任务把"用多媒体数据减轻医生日常工作负担"作为总纲,2019 年的具体任务聚焦从人类精液的显微录像自动预测精子质量,提供 85 段视频与关联患者数据。

任务设两个子任务:

子任务 预测目标 类型
活力预测(motility) progressive / non-progressive / immotile 三项百分比 回归
形态预测(morphology) 头部 / 尾部 / 中段缺陷 分类/回归

5.2 评测划分:subject-independent 3-fold

Medico 任务提供了 subject-independent 的 3 折交叉验证划分。这个"subject-independent"是关键设计:同一位受试者的数据不会同时出现在训练集和测试集。若退化为随机划分,模型可能"记住"某位受试者特有的成像条件或精液特征,从而虚高评测分数——而实际临床关心的恰恰是"对没见过的人"预测得准不准。subject-independent 划分是让分数有临床意义的前提。

对复用者的直接建议:任何在 VISEM 上报告的结果,必须声明所用的划分与 Medico 是否一致;跨划分比较 MAE 是没有意义的。

5.3 组织方基线(Hicks 等,CEUR Vol-2670)

Medico 组织方(SimulaMet)给出的基线方法写在其 MediaEval 论文中(CEUR Workshop Proceedings Vol-2670, paper 55):

  1. 数据准备:对每段视频,取前 60 秒内每秒 2 帧 = 120 帧;
  2. 特征提取:对每帧提取四类全局特征——Edge Histogram、Tamura、Luminance Layout、Simple Color Histogram(使用 LIRE 图像检索开源库);
  3. 特征组织:单帧的全局特征行向拼接,120 帧列向拼接 → 225×120 的特征矩阵;
  4. 模型:把特征矩阵与患者数据结合,训练深度学习模型预测活力与形态。

组织方对该基线方法的结论相当克制,原文措辞是:结果"需要一些改进,才能成为临床可用的选项"(“need some improvement before being a viable option for clinical use”)。这个坦诚的结论本身很有信息量——它说明在这类细小、运动、噪声大的显微视频上,基于全局手工特征的朴素方案还远不够。

5.4 目前最强的公开结果:motilitAI

截至目前公开文献中,在同一数据集与同一划分上把活力预测误差压得最低的是 motilitAI(Ottl, Amiriparian, Gerczuk, Schuller,奥格斯堡大学,iScience 25, 104644, 2022;arXiv:2109.08049)。

方法要点:

环节 做法
追踪 无监督精子追踪:Crocker-Grier 算法(Trackpy 工具)与 Lucas-Kanade 稀疏光流两种
特征 自定义移动统计(CMS)+ 均方位移(MSD);MSD 用 Bag-of-Words 聚合成直方图
模型 线性 SVR、MLP、CNN、LSTM(BoW 稀疏表示不与 RNN/CNN 组合)
最佳配置 Crocker-Grier 追踪 + 单精子 MSD 特征 + BoW + 线性 SVR

结果对比:

方法 活力预测 MAE
Medico 挑战赛最佳提交 8.83
motilitAI 7.31

MAE 从 8.83 降到 7.31(关于 0-100 的百分比尺度),提升约 1.5 个点。motilitAI 作者也承认,所用追踪算法(Crocker-Grier、Lucas-Kanade)都是较老、未针对精子特性调节的算法;他们把工作重心放在"用无监督表征学习从并不完美的追踪结果中提取有用特征",这本身说明可靠的精子追踪仍是这一领域的瓶颈。

源码公开于 github.com/EIHW/motilitAI。

5.5 检测路线的一瞥

除活力/形态回归外,另有工作走"目标检测"路线。一篇 YOLOv5 研究(PMC9957213)从 VISEM 视频抽帧,自建 382 张图像标注集(训练 368 / 验证 14)、约 3,500 个标注框,报告精子细胞检测准确率约 95%、误检率低于 1%。值得注意的是,团队明确说明VISEM 本身不提供物体位置数据——他们必须自行标注,才能做目标检测训练。这正是"数据集能做什么、不能做什么"边界的一个实例:VISEM 给的是视频 + 结果标签,不是逐精子的框或轨迹。

5.6 从基准看领域现状

把上面几条线并起来看,能读出领域的三层进度:

  1. 结果层面:活力预测已从 MAE 8.83 推进到 7.31,但仍远未到"可替代人工判读"的程度;
  2. 方法层面:从全局手工特征 → 无监督追踪 + 位移特征 → 迁移学习,演进方向是"更懂精子运动";
  3. 数据层面:缺少逐精子标注是共同瓶颈,也是 VISEM 之后的自然扩展方向(补充追踪/检测级标注)。

§6 获取、许可与版本

6.1 许可的两套口径(并陈)

VISEM 的许可存在两套表述,方向一致(均禁商业),但粒度不同:

来源 表述 性质
Zenodo(record 2640506) CC BY-NC 4.0(署名—非商业性使用 4.0 国际) 标准 CC 法条
官方页(datasets.simula.no/visem) 仅限研究与教育用途;其他用途(含商业)须事先书面许可 自定义条款

如何理解二者关系:CC BY-NC 4.0 本身就是"署名 + 非商业",与官方页"研究与教育专用、商用需书面许可"在"禁止未经许可的商业使用"上一致。差别在于——CC BY-NC 对"非商业用途"的界定依 CC 法条,而 Simula 官方页保留了对"研究与教育"范围的自行解释权。稳妥做法:按更严格的口径理解,即"仅限研究与教育,商用必须取得作者书面许可"。

6.2 强制引用条款

这是 VISEM 使用中最容易被忽略却必须遵守的一条:官方页明确要求,任何使用或引用 VISEM、或报告基于它的实验结果的文档与论文,必须引用数据集论文:

VISEM: A Multimodal Video Dataset of Human Spermatozoa
Haugen TB, Hicks SA, Andersen JM, Witczak O, Hammer HL, Borgli R,
Halvorsen P, Riegler M.
Proc. 10th ACM Multimedia Systems Conference (MMSys '19), pp. 261-266.
doi: 10.1145/3304109.3325814

不引用即构成对使用条款的违反。

6.3 版本链与 DOI

项 值
Zenodo 版本 Version 1.0(唯一版本)
版本 DOI 10.5281/zenodo.2640506
全版本 DOI(指向最新) 10.5281/zenodo.2640505
发布日期 2019-02-08
Resource type Dataset
打包文件 visem-dataset.zip,35.2 GB,md5 c4ab1788457fa3395d94bb643559f6c5
Publisher Zenodo

VISEM 自 2019 年发布以来未推出新版本,属于"一次发布、长期稳定"的经典数据集形态。官方页标注 “Last updated Jun 2026”,从上下文看更可能是页面维护而非数据内容更新(无 changelog 佐证)。

6.4 与请求制数据集的对比

VISEM 的获取方式在医学数据里相当特殊——完全公开直链:

维度 VISEM 典型请求制数据集
获取 点链接即下(35.2 GB) 需申请、审批、签协议
门槛 零行政成本 数天到数周
许可限制 仅研究/教育,禁商用 各异
引用义务 强制引论文 通常也强制

这正是 VISEM 在 AI-Ready 光谱上的位置:许可保守(非商业),但可及性极高(直链)。对学术团队而言,它几乎是一个"开箱即用"的多模态医学视频底座。

§7 相关工作与生态

7.1 论文脉络

  • Haugen 等 2019(MMSys '19):数据集论文本体,定义五模态与采集流程;
  • Hicks 等 2019b(MediaEval):Medico 任务概览,提供评测划分与基线;
  • Hicks 等 2019a(CEUR Vol-2670):组织方基线的技术细节;
  • Ottl 等 2022(iScience):motilitAI,当前最强活力预测结果;
  • YOLOv5 检测研究(PMC9957213):目标检测路线的应用实例。

7.2 与其他精子/生殖数据集的差异

VISEM 的稀缺性来自它同时满足三个条件:开放、多模态、有真实临床标签。多数精子运动数据集要么封闭(临床内部),要么只有图像或纯视频(缺生化与人口学),要么缺少与真实精液质量的对应。VISEM 三条件齐备,这也是它被反复用作基准的原因。

7.3 库内互链生态

库内条目 rid 互链逻辑
LDPolypVideo 163 同属医学视频数据集,任务/模态最接近
MultiMedBench 129 多模态医学基准,评测方法论同族
SLAM-3D-Endoscopic 82 内窥镜视频,医学视频分析
prostate158 703/704 男性泌尿生殖医学影像,同领域
prostatex 554 前列腺 MRI,男性生殖泌尿领域
Maternal-Ultrasound-Nutrition 615 生殖健康 + 超声影像,生殖医学横向
BUT PPG 803 生理信号,非图像模态医学数据
Apnea-ECG 658 生理信号/时序数据同族
Sleep-EDF 73 时序生理信号,分析方法可迁移

7.4 数据集的"生物学语境":为什么脂肪酸与性激素重要

理解 VISEM 的价值,不能只看视频那一个模态。它把精子显微视频放进了一条完整的生物学证据链里:

层级 模态 生物学含义
分子/膜 精子脂肪酸 精子膜脂质组成影响膜的流动性,与精子活力、顶体反应相关
血液/内分泌 血清性激素 睾酮等激素水平反映下丘脑-垂体-性腺轴功能
血液/营养 血清磷脂脂肪酸 反映膳食脂肪摄入与代谢状态
精浆 AMH 反映支持细胞(Sertoli cell)功能
行为/体质 人口学(年龄/BMI/禁欲时间) 影响精液质量的混杂因素
表型/结局 精液分析 + 视频 活力、浓度、形态的最终表现

把这张层级图与 §2.1 的五模态对齐表合看,会发现 VISEM 提供的其实是一个从代谢状态到生殖表型的纵向切片:研究者可以问"肥胖(BMI 高)→ 血清脂肪酸谱异常 → 精子膜脂肪酸改变 → 精子活力下降"这条链上的任何一跳是否在数据里成立。这正是原研究"超重/肥胖与男性生殖功能"问题的数据化表达。

7.5 与其他精子运动数据源的比较劣势

VISEM 虽开放,但并非全能。与临床 CASA 系统相比,它在若干维度上处在劣势:

维度 VISEM 商用 CASA 系统
采样频率 每人 1 段视频 每样本多次、标准化
分辨率 640×480 通常更高
运动参数 需从视频自行计算 直接输出 VCL/VSL/LIN 等
标注粒度 样本级 常含轨迹级
可及性 开放 闭源付费
用途 方法研究与基准 临床诊断

这张表说明:VISEM 的定位是"研究与教育",不是"临床替代"。它的开放换来了研究的公平比较,代价是分辨率、采样密度与标注粒度的让步。

7.6 方法论贡献:让"医学多媒体数据集"有模板

VISEM 论文的一个重要隐性贡献,是给"如何发布医学多媒体数据集"提供了一套模板:

  1. 模态对齐到主体:所有模态用 participant ID 对齐,一行一主体,降低使用门槛;
  2. 开放 + 解释清楚:作者明确动机之一是让非医学研究者也能理解字段含义(描述文件即为此设);
  3. 任务化 + 划分化:借 MediaEval 建立评测任务与 subject-independent 划分,使结果可比;
  4. 明确的伦理路径:伦理批准、知情同意、去标识、许可限制,形成完整的合规闭环。

这四点后来被许多医学多媒体数据集借鉴——VISEM 因此在"数据集方法论"层面也有引用价值。

7.7 应用场景地图

从论文与后续工作可归纳出 VISEM 的应用场景:

场景 输入 输出 代表工作
活力回归 视频(±患者数据) progressive/non-progressive/immotile 百分比 motilitAI
形态预测 视频 头/中/尾缺陷 Medico 任务
精子检测 抽帧图像 精子边界框 YOLOv5 研究
实时追踪 视频序列 精子轨迹 论文应用方向
多模态融合 视频 + 生化 + 人口学 增强的活力/形态预测 论文应用方向
精液质量关联 脂肪酸/激素 + 精液参数 统计关联 原始研究

六类场景覆盖了从"纯视觉"到"纯统计"的谱系,这也解释了为什么 VISEM 能同时吸引多媒体、机器学习与生殖医学三个社区。

7.8 从"数据"到"方法"的迁移路径

VISEM 的方法学价值还体现在:它展示了一条"小样本医学数据如何产出有意义研究"的路径。85 人对深度学习而言不算大,但通过合理设计仍能产出可信结论:

策略 在 VISEM 上的体现
降维提特征而非端到端堆参数 motilitAI 用追踪特征 + 线性 SVR,避免过拟合
建立强基线再迭代 Medico 组织方先给手工特征基线 8.83
多模态互补而非单模态硬撑 论文把"融合是否增益"列为研究问题
无监督前置降低标注依赖 追踪本身无监督,不依赖逐精子标注
显式声明限制 样本、标签、分辨率限制均写入 limitation

对同样面对"数据稀缺"的研究者,这套路径比盲目上大模型更现实。

7.9 生态位小结

把 VISEM 放进"生殖医学 AI"的生态看,它占据的是一个基础设施位:不是最先端的方法,也不是最大的数据,而是第一个把门推开的数据底座。后续的方法(motilitAI 等)建立在它之上,后续的基准(Medico)由它定义。这种"基础设施"角色,往往比单篇方法论文有更长的生命周期。

§8 DAIMS 评估:数据就绪度打分

DAIMS 是评价数据集"AI-Ready 程度"的五维框架:Discoverability(可发现性)、Accessibility(可获取性)、Interoperability(可互操作性)、Metadata(元数据质量)、Sustainability(可持续性)。逐维打分如下(1-10 分):

维度 评分 依据
D 可发现性 8 有 ACM 论文 + Zenodo DOI + 官方页 + HF 镜像四重入口,DOI 稳定,Google Scholar 引用充分;扣分因"VISEM"与泛称 “sperm video” 易混,且无 Papers with Code 官方榜单
A 可获取性 9 公开直链、零审批(datasets.simula.no/downloads/visem.zip),Zenodo 镜像,HF 有加载示例——可获取性是其最强项;扣分因 35.2 GB 体积对带宽有要求、许可限非商业
I 可互操作 6 AVI(通用格式)+ CSV(通用表格)+ 描述文件;但无 DICOM/开放视频编码规范,无官方 dataloader 到 PyTorch/TF,模态间 join 需自行实现
M 元数据质量 7 论文 + 官方页 + 描述文件构成三层文档,字段用途清楚;扣分因各 CSV 完整列名未在公开页逐列披露(需解压描述文件),且 Zenodo 侧栏数据体量字段异常(见坑 5)
S 可持续性 8 Simula 机构长期维护(官方页 2026 仍更新)、Zenodo 长期存档、DOI 稳定、CC 许可清晰——单点风险低
综合评级 7.6/10(良好) 可获取性与可持续性突出,是"开放但限非商业"的典型;互操作性与元数据列级透明度是主要提升空间

8.1 评分解读

VISEM 的综合 7.6 分在库内属于中上偏上水平,其分数结构很有代表性:

  • A(9)+ S(8)拉高:直链获取 + 机构级长期维护,构成了一个"拿得到、放得久"的底座;
  • I(6)拖低:AVI+CSV 虽通用,但缺少面向现代深度学习框架的官方装载层,使用者需要自己写多模态对齐代码;
  • D(8)与 M(7)居中:文档扎实,但列级细节与命名歧义留有改进余地。

8.2 与近似数据集的横向对照

数据集 可获取性 许可 模态 规模
VISEM 公开直链 仅研究/教育 视频+生化+人口学 85 人 / 35.2 GB
PANDA-PLUS 掩码请求制 三层异构 WSI+掩码 546 WSI
SICAPv2 公开下载 研究用途 病理图像 182 张
MultiMedBench 公开 各异 多模态问答 多任务

VISEM 的差异化优势清晰:同等的开放性、更低的获取门槛、更完整的多模态。

8.3 五维评分的深度解读

D 可发现性(8):VISEM 的可发现性建立在稳定的学术标识之上——ACM DOI 与 Zenodo DOI 都是长期解析的,四重入口(论文/官方页/Zenodo/HF)互为冗余。唯一扣分点是命名歧义:在搜索引擎里输入 “sperm video dataset” 会命中大量泛称,“VISEM” 这个专名的辨识度虽够,但首现时需要与 “Sperm-Net” 等别名区分(坑 1)。

A 可获取性(9):这是全表最高分。公开直链意味着"研究者今天决定用、今天就拿到",无需经历审批等待。对方法研究而言,这种零摩擦获取的价值极高——它把"能不能做"从行政问题简化为带宽问题。扣 1 分的理由是 35.2 GB 的体积与"非商业"许可对部分用户构成实际门槛。

I 可互操作(6):AVI 与 CSV 都是极通用的格式,任何平台都能读写,所以 VISEM 不存在"打不开"的问题。但互操作性的高标准是"即插即用"——VISEM 缺少官方的 PyTorch/TensorFlow dataloader、缺少模态对齐的现成脚本、缺少 DICOM 或结构化视频标准。使用者需要自己写 join 逻辑,这构成了实际的启动成本。

M 元数据质量(7):论文、官方页、描述文件构成三层文档,字段用途基本清楚。扣分点有二:一是各 CSV 的完整列名未在公开网页逐列披露(需解压 zip 内的描述文件才能看到),降低了"先读文档再决定要不要下"的效率;二是 Zenodo 侧栏的数据体量字段出现 65.1 TB 的异常值(坑 5),说明托管平台的自动统计与人工描述之间存在不一致。

S 可持续性(8):Simula Research Laboratory 是稳定的学术机构,官方页 2026 年仍在维护,Zenodo 提供长期存档,DOI 保证永久可定位。数据集自 2019 年以来无版本中断。这类"机构 + 存档库 + DOI"的三重保障,使 VISEM 的长期可用性风险很低。

8.4 分数结构的启示:医学数据集的"开放阶梯"

把 VISEM 的分数结构与库内其他医学数据集对比,能看到一个"开放阶梯":

阶梯 特征 典型数据集 A 维度得分
完全开放 直链 + 宽松许可 部分基准集 10
开放直链 + 限非商业 VISEM VISEM 9
公开但需注册 平台 gated 部分 HF 数据集 6-7
请求制 邮件申请审批 PANDA-PLUS 掩码 4-5
仅限合作 机构间协议 多数临床数据 1-3

VISEM 处在第二阶梯——它是"开放"这一端的优秀代表,只被"非商业"许可挡在了满分的门外。这个位置对学术用户几乎是无摩擦的,对产业用户则需要额外一步书面许可。

8.5 评分与"AI-Ready"目标的距离

VISEM 的综合 7.6 分距"理想 AI-Ready"还差什么?把五个维度的扣分点摊开看,缺口集中在三处:

缺口 具体表现 理想状态
缺装载层 无官方 dataloader/对齐脚本 提供 HF datasets 一键加载 + 多模态 join 工具
缺列级透明 CSV 列名未在网页逐列披露 官方页直接列出全部字段字典
缺许可自由度 限非商业 更宽松许可(如 CC BY)

三个缺口都不是"数据质量"问题,而是"工程便利度"与"许可政策"问题。这意味着 VISEM 的核心资产(数据本身)是扎实的,短板在交付形态——对使用者而言,这是一件好事:补齐装载层的成本由使用者自己承担的,但数据质量的下限有保障。

8.6 DAIMS 与其他就绪度框架的对照

DAIMS 不是唯一的就绪度框架,把它与常见的 FAIR 原则对照,能更全面地定位 VISEM:

框架 维度 VISEM 表现
DAIMS D/A/I/M/S 7.6/10
FAIR — Findable 可发现 强(DOI + 多入口)
FAIR — Accessible 可获取 强(直链),但限非商业
FAIR — Interoperable 可互操作 中(通用格式,缺标准装载)
FAIR — Reusable 可复用 强(许可清晰 + 元数据充分)

两框架结论一致:VISEM 在"可发现、可获取、可复用"上表现优秀,短板集中在"可互操作"。这与 DAIMS 的 I 维度低分(6)相互印证——两种独立框架给出相同诊断,说明这不是评分偏误,而是真实的工程缺口。

§9 坑点清单(编号制)

使用 VISEM 时最容易踩的十二个坑,逐条列出并给出规避建议。

9.0 坑点的方法论意义

在逐条列举之前,先说明"坑"在看什么。VISEM 的坑不是 bug,而是一个真实临床研究副产品转开放数据集时必然遗留的接缝:

  • 它有"临床数据"的一面(样本偏、标签主观、有伦理边界);
  • 有"开放数据集"的一面(直链、多平台、多口径);
  • 有"评测基准"的一面(划分、可比性、引用义务)。

三面接缝处的规则不一致,就是坑的来源。因此,读坑点不是记清单,而是学会在三种身份间切换视角。

坑 1:“Sperm-Net” 不等于 “VISEM”

“HuggingFace 上叫 sperm-net/VISEM,所以数据集叫 Sperm-Net?”——不是。VISEM 是数据集名,“Sperm-Net” 是围绕 VISEM 组织挑战赛的团队/组织名(也是 HF 用户名)。检索时把二者当同义会迷路。另有 HF dataset 卡片中的 “Sperm-Net Curation Rationale” 提法,指的是组织方对数据集的整理,不是另一个数据集。

为什么重要:文献计量时若把 Sperm-Net 当数据集名去查引用,会漏掉以 VISEM 名义引用的大量工作,反之亦然。

如何规避:统一以 “VISEM” 作为数据集检索词,把 Sperm-Net 视为组织/平台层的别名。

坑 2:每人一段 ≠ 每人一次采集

官方明确:部分受试者因首次样本漂移实际录制了两段视频,但最终每人只收录一段。所以"85 段视频"背后不是"85 次独立采样",而是"85 人、每人一段入档"。若你的研究需要个体内纵向变异,VISEM 不提供——这是设计上的主动放弃,不是数据丢失。

为什么重要:个体内变异(intra-individual variability)是精液分析的重要特性,同一人不同时间的样本质量可能波动很大。缺纵向采样意味着 VISEM 无法支撑"个体稳定性"类研究。

如何规避:明确研究问题是否需要纵向信息;若需要,VISEM 只能作为纵向研究的"横向基线"。

坑 3:标签是人工目视判读,不是仪器真值

活力与形态标签来自实验室人员的 WHO 标准人工评估。精液分析领域的观察者间变异是公认难题,而视频文件名末尾的"评估者代码"恰恰暗示了判读的"人格性"——不同评估员可能有不同的判读倾向。用视频去预测这些标签时,你逼近的是一组人的判读共识,不是物理真值。报告结果时应把"标签噪声"写进 limitation。

为什么重要:若把标签当绝对真值,会高估模型的"临床可靠性"——模型学到的可能是评估者的判读风格,而非生物学规律。

如何规避:在方法学中显式声明标签来源;若有条件,做多评估者一致性分析或引入客观指标(如 CASA 参数)作为对照。

坑 4:subject-independent 划分不可随意替换

Medico 任务的 3 折划分是 subject-independent 的。如果你改成随机划分再报告 MAE,分数会虚高且不可与文献比较。跨划分数值不具可比性——复现时先确认划分口径一致。

为什么重要:随机划分会让同一受试者的样本同时出现在训练与测试集,模型可利用受试者特有的成像条件"作弊",得到乐观但不真实的分数。

如何规避:复现时严格采用 Medico 官方划分;若必须自造划分,明确标注为"不可与文献直接比较"。

坑 5:数据集体量的两套数字(双口径存照)

口径 数值 出处
官方页 / Zenodo 文件列表 35.2 GB 打包 zip 实际大小
Zenodo 侧栏 “Total data volume” 65.1 TB 平台侧统计字段

两者相差约 1850 倍,65.1 TB 显系平台侧异常(或含预览缓存/历史统计),条目采用 35.2 GB。引用规模时不要照抄 Zenodo 侧栏的 65.1 TB。

为什么重要:规模数字直接影响存储规划与论文表述。若不慎引用 65.1 TB,会被审稿人一眼看穿。

如何规避:以官方页 Download 段与 Zenodo Files 列表的 35.2 GB 为准;遇到平台侧栏与其他字段冲突,回到托管方原文核对。

坑 6:许可表述有两套(双口径存照)

Zenodo 写 CC BY-NC 4.0,官方页写"仅研究与教育用途、商用需事先书面许可"。两者方向一致(禁商用),但措辞粒度不同。保守解读应按官方页——商用必须先拿书面许可,仅凭 “CC BY-NC” 就用于商业场景有风险。

为什么重要:许可误判可能导致法律风险。CC BY-NC 的"非商业"由 CC 法条界定,而官方页保留了对"研究与教育"范围的解释权——两者在边缘案例(如企业内部研究)上可能给出不同答案。

如何规避:按更严格口径执行;边界情况直接联系 michael@simula.no 确认。

坑 7:引用义务是强制的

官方页明文规定:任何使用或引用 VISEM 的文档与论文,必须引用数据集论文(doi:10.1145/3304109.3325814)。这不是"建议引用",而是使用条款的一部分。漏引即违约。

为什么重要:违反引用义务不仅是不礼貌,而是实质上违反使用条款——学术社区对此越来越敏感。

如何规避:在使用文档、论文方法节与代码仓库 README 中都加入 VISEM 论文的完整引用。

坑 8:视频不提供逐精子标注

VISEM 给的是视频 + 样本级结果标签,不提供精子级别的边界框或轨迹。想做目标检测或追踪训练,必须自行标注(前述 YOLOv5 研究即自标 382 张、约 3,500 框)。把 VISEM 当作"带检测标注的数据集"是常见误读。

为什么重要:检测/追踪类方法的训练强烈依赖物体级标注;若误以为 VISEM 自带这些标注,会在项目启动后才发现需要大量额外标注工作。

如何规避:规划检测/追踪项目时,把"自建精子级标注"计入工作量;可参考 YOLOv5 研究的抽帧与标注流程。

坑 9:成像条件限制了分析上限

640×480、2010 年代早期相机、400× 放大——这组参数对"精子计数/活力概览"够用,但对亚细胞形态学(顶体、中段线粒体鞘的精细结构)分析不够。以形态精细分类为目标的项目,需先评估这一分辨率天花板是否满足需求。

为什么重要:分辨率先天限制了下游任务的天花板,任何算法都无法从受限像素中恢复不存在的细节。

如何规避:在项目立项阶段做"分辨率可行性"评估;若目标需要亚细胞细节,考虑其他更高分辨率数据源。

坑 10:样本选择偏倚不可忽视

受试者来自报纸/减重广告 + 肥胖与生育门诊,富集了超重与生育困扰人群,且全部为挪威男性。这不是一般人群的代表性样本。任何"普遍规律"式结论都需要外部数据复核,VISEM 更适合作为方法验证与基准的起点。

为什么重要:在偏倚样本上得出的"规律"外推到一般人群时可能失效,这是医学 AI 研究的经典陷阱。

如何规避:在 limitation 中明确样本来源与偏倚方向;避免做"一般人群"式断言;需要时用外部数据验证。

坑 11:官方页 “Last updated” 不代表数据更新

官方页标注的 “Last updated Jun 2026” 从上下文看是页面元数据维护,不代表数据集内容有 2026 版本。Zenodo 仍是 Version 1.0(2019)。不要把页面更新时间误读为数据版本更新。

为什么重要:若误以为有新版数据而使用旧版(或反之),会导致版本引用不一致。

如何规避:以 Zenodo 的 version 字段为准判断数据版本;页面更新时间仅作维护线索。

坑 12:HF 镜像的许可字段也需交叉验证

HF sperm-net/VISEM 卡片的许可描述与 Simula 官方页一致(研究用途、商用需批准),但与 Zenodo 的 “CC BY-NC 4.0” 标准文本不完全对应。当同一数据集的许可字段在多个平台不一致时,以托管方原文(此处为 Simula 官方页)为准,并在使用文档中记录该冲突。

为什么重要:多平台镜像的元数据可能不同步,依赖单一平台字段存在风险。

如何规避:跨平台核对许可字段;以原始托管方(数据集作者机构)的表述为最终依据。

坑点归纳:三类陷阱

十二个坑可归为三类,理解类别比记住单条更有效:

类别 坑号 共同特征 规避心法
概念混淆 1、2、8 名字/计数/能力的误解 以官方定义为准,不信转述
口径冲突 5、6、11、12 多平台字段不一致 取更严格口径,存照冲突
使用边界 3、4、7、9、10 标签/划分/引用/成像/样本的约束 把限制写进方法学 limitation

心法总结:VISEM 的坑几乎都源于"它同时是一个临床数据、一个开放数据集、一个评测基准"——三种身份各有一套规则,混淆身份就会踩坑。时刻问自己"我现在是以哪种身份在用它",多数坑可避。

§10 附录

本附录汇总 VISEM 的元数据、可复现操作骨架、证据链与阅读辅助,供快速取用与审计。

附录 A:条目元数据卡

项 值
条目名 VISEM
url_name visem
类型 开放多模态医学视频数据集(+ MediaEval 基准)
论文 ACM MMSys '19, pp. 261-266(doi:10.1145/3304109.3325814)
数据集 DOI 10.5281/zenodo.2640506
团队 SimulaMet + OsloMet(挪威)
规模 85 名男性,每人 1 段视频(640×480@50fps,2-7 分钟)
模态 视频 + WHO 精液分析 + 精子脂肪酸 + 血清磷脂脂肪酸 + 性激素/人口学
体积 35.2 GB(visem.zip)
许可 CC BY-NC 4.0 / 仅研究教育用途
获取 公开直链
抓取时点 2026-10-08
库内互链 ldpolypvideo(163)/multimedbench(129)/slam-3d-endoscopic(82)/prostate158(703)/prostatex(554)

附录 B:DAIMS 评估全表

维度 评分(1-10) 依据
D 可发现性 8 ACM+Zenodo+官方页+HF 四重入口,DOI 稳定;扣分因命名易混、无官方 PwC 榜单
A 可获取性 9 公开直链零审批,Zenodo 镜像,HF 示例 notebook——最强项
I 可互操作 6 AVI+CSV 通用但无 DICOM/官方 dataloader,模态 join 需自写
M 元数据质量 7 论文+官方页+描述文件三层文档;CSV 列级明细需解压、Zenodo 体量字段异常
S 可持续性 8 Simula 长期维护、Zenodo 长期存档、DOI 稳定
综合 7.6/10(良好) 可获取性与可持续性突出,互操作与列级透明度可提升

附录 C:逐项证据链自证

关键数字 来源 位置
85 名参与者 官方页 + Zenodo + HF 三源互证
640×480 / 50 fps 官方页 Dataset Details simula 页面
2-7 分钟 / 400× 放大 官方页 Dataset Details simula 页面
>35 GB(35.2 GB) 官方页 Download + Zenodo Files 双源
6 个 CSV(5+1) 官方页 Dataset Details simula 页面
CC BY-NC 4.0 Zenodo Rights record 2640506
研究/教育用途 官方页 Terms of use simula 页面
2008-2013 招募 / 2017-12 关闭 官方页 Data Collection simula 页面
论文 DOI 10.1145/3304109.3325814 ACM DL / 官方页 Cite 双源
Medico 任务 / 3-fold Hicks 等 CEUR + iScience 论文
MAE 7.31 vs 8.83 iScience 2022 摘要 + arXiv:2109.08049 双源
225×120 特征矩阵 CEUR Vol-2670 paper 55 组织方基线
YOLOv5 95% / 3500 框 PMC9957213 论文

附录 D:数据获取决策树

需求是什么?
├── 只想快速试水、不下载全量
│   └── HF sperm-net/VISEM 示例 notebook(抽帧演示,走 hf-mirror.com)
├── 要做活力/形态预测
│   ├── 1) 下载 visem.zip(35.2 GB,公开直链)
│   ├── 2) 采用 Medico subject-independent 3-fold 划分
│   └── 3) 对标基线:Medico 8.83 / motilitAI 7.31
├── 要做目标检测/追踪
│   └── 注意 VISEM 无逐精子标注 → 需自行标注(参考 YOLOv5 研究流程)
├── 要做多模态融合研究
│   └── 按 participant ID join 六个 CSV + 视频 → 考察模态互补性
└── 只想引用"开放多模态生殖数据"论点
    └── 引 MMSys '19 论文 + Zenodo DOI,注明许可限非商业

附录 E:五个模态字段速查

模态 文件 每行 关键字段
视频 视频文件夹 每人 1 段 文件名编码 ID/日期/说明/评估者
精液分析 semen_analysis_data.csv 每人 1 行 活力/浓度/总数/体积/形态/vitality
精子脂肪酸 fatty_acids_spermatozoa.csv 每人 1 行 多种脂肪酸水平
血清脂肪酸 fatty_acids_serum.csv 每人 1 行 磷脂脂肪酸水平
性激素 sex_hormones.csv 每人 1 行 血清性激素 + 精浆 AMH
人口学 participant_related_data.csv 每人 1 行 年龄/禁欲时间/BMI
映射 videos.csv 每视频 1 行 视频文件 ↔ 参与者 ID

附录 F:活力/形态任务复现骨架(SOP 模板)

阶段 0 环境与数据获取
  - 下载 visem.zip(35.2 GB)→ 解压得视频文件夹 + 6 CSV + 描述文件
  - 校验 md5:c4ab1788457fa3395d94bb643559f6c5
阶段 1 划分对齐
  - 采用 Medico subject-independent 3-fold(勿自造随机划分)
  - 记录划分随机种子与折号,写入实验配置
阶段 2 视频预处理
  - 抽帧(组织方基线:前 60 秒每秒 2 帧 = 120 帧/视频)
  - 可选:去噪/归一化/背景分离
阶段 3 特征或端到端
  - 手工特征路线:Edge Histogram/Tamura/Luminance Layout/Color Histogram(LIRE)
  - 追踪路线:Crocker-Grier(Trackpy)或 Lucas-Kanade 光流 → MSD + BoW
  - 端到端:CNN/LSTM/Video Transformer
阶段 4 多模态融合
  - 按 participant ID join 精液分析/脂肪酸/性激素/人口学
  - 考察"视频 + 生化/人口学"是否优于"仅视频"
阶段 5 评测与报告
  - 指标:活力 MAE(对标 7.31);形态指标按任务定
  - 报告必须声明:划分口径、标签噪声 limitation、引用论文 DOI

附录 G:motilitAI 方法骨架要点(供复现参考)

# 伪代码:基于 VISEM 的活力预测(motilitAI 风格)
# 1) 无监督追踪:Crocker-Grier(Trackpy)或 Lucas-Kanade 光流
# tracks = track_sperm(frames)
# 2) 特征:每条轨迹的均方位移(MSD)与移动统计(CMS)
# msd_feats = compute_msd(tracks)
# cms_feats = compute_custom_movement_stats(tracks)
# 3) 聚合:对 MSD 用 Bag-of-Words 直方图表示
# bow = bag_of_words(msd_feats)
# 4) 回归:线性 SVR / MLP / CNN / LSTM 中择优
# model = LinearSVR().fit(bow, motility_percent)
# 参考实现: github.com/EIHW/motilitAI

附录 H:三种建模路线对比

路线 代表工作 输入 输出 优势 局限
全局手工特征 Medico 组织方基线 120 帧 × 4 类全局特征 活力/形态 计算便宜、易懂 精度低(MAE 8.83)
无监督追踪+位移特征 motilitAI 轨迹 MSD/CMS + BoW 活力三项 精度最高(MAE 7.31) 依赖追踪质量
目标检测 YOLOv5 研究 抽帧图像 + 自标框 精子框 检测准确率高(~95%) 需自标注、非本数据集原生

附录 I:规模与代表性自证表

维度 事实 风险提示
参与人数 85 小样本,防过拟合
视频/人 1(部分录 2 只留 1) 无纵向观测
性别 全男性 不可外推女性因素
年龄 ≥18 无青少年数据
招募 广告+减重+门诊 富集超重/生育困扰人群
地区 挪威 单一地理
采集期 2008-2013 硬件时效

附录 J:许可与引用合规清单

事项 要求
非商业使用 允许(研究与教育)
商业使用 须事先取得作者书面许可
引用论文 强制(doi:10.1145/3304109.3325814)
再分发 建议指向原始托管地址,勿二次打包发布
派生作品 遵守原许可,注明来源与变更
联系 michael@simula.no

附录 K:术语表(中英对照)

中文 英文 说明
精子 spermatozoon 男性生殖细胞
精液 semen 含精子的生殖液体
活力 motility 精子运动能力(progressive/non-progressive/immotile)
形态 morphology 精子头部/中段/尾部结构
精液分析 semen analysis WHO 标准精液参数测定
计算机辅助精液分析 CASA Computer-Aided Sperm Analysis
脂肪酸 fatty acid 精子膜与血清磷脂组成
性激素 sex hormone 血样测定的生殖激素
抗缪勒管激素 AMH 精浆中测定的生殖指标
身体质量指数 BMI Body Mass Index
禁欲时间 abstinence time 采样前禁欲时长
观察者间变异 interobserver variability 不同评估者对同一标本判读的差异
主试无关划分 subject-independent 同一受试者不出现在训练与测试两边
平均绝对误差 MAE Mean Absolute Error
均方位移 MSD Mean Squared Displacement
词袋 BoW Bag-of-Words
光流 optical flow 基于像素运动的追踪方法

附录 L:VISEM 与其他精子/生殖数据资源对照

资源 开放程度 模态 备注
VISEM 公开直链 视频+生化+人口学 本条目
sperm-net/VISEM(HF) 公开 同上(镜像) 含加载 notebook
MediaEval Medico 公开(含划分) VISEM 任务化 基准定义
motilitAI 仓库 开源代码 — 复现 MAE 7.31
临床 CASA 系统 商用闭源 视频+参数 不在开放范畴

附录 M:快速问答补遗

M1:VISEM 能直接用于商业产品吗?
不能直接。许可是"研究与教育用途",商用须先取得作者书面许可。CC BY-NC 4.0 同样禁止非商业外的使用。

M2:视频可以只下载一部分吗?
官方包是整包 zip(35.2 GB),HM 镜像可提供加载示例但完整视频仍建议整包下载。无官方"按人分包"。

M3:没有医学背景能做吗?
可以。作者的初衷之一就是让非医学背景的多媒体/机器学习研究者也能上手,描述文件解释了 CSV 各列含义。

M4:如何快速拿到可比较的分数?
严格采用 Medico 的 subject-independent 3-fold 划分,活力任务对标 MAE 7.31(motilitAI)与 8.83(赛会最佳)。

M5:数据是匿名的吗?
是。项目 2017 年 12 月关闭后全部去标识化,仅保留参与者在伦理范围内的信息。

附录 N:同类开放医学视频数据集横评

数据集 模态 规模 任务 许可
VISEM 视频+多模态 85 人 / 35.2 GB 活力/形态预测 仅研究教育
LDPolypVideo 结肠镜视频 大 息肉检测 研究用途
SLAM-3D-Endoscopic 内窥镜视频 中 3D 重建 研究用途
MultiMedBench 多模态问答 多任务 医疗多模态 各异

VISEM 的差异化在于"多模态 + 生化和人口学标签",而多数医学视频数据集只提供视频与其单一任务标注。

附录 O:VISEM 一句话定位

VISEM = 85 名男性 × 五模态 × 35.2 GB 开放直链的人类生殖显微视频数据集——它第一次让"精子视频理解"成为可复现、可比较、可复用的公开任务,代价是样本小、许可限非商业、且标签带人工判读噪声。

附录 P:核心结论三行

  1. 数据:85 人五模态,35.2 GB 公开直链,CC BY-NC / 仅研究教育;
  2. 任务:MediaEval 2019 Medico 活力/形态预测,subject-independent 3-fold,最佳 MAE 7.31;
  3. 边界:小样本、单性别、单地区、人工标签、无逐精子标注——宜作基准起点,非结论性证据。

附录 Q:参考文献

编号 文献 标识
[1] VISEM 数据集论文(MMSys '19) doi:10.1145/3304109.3325814
[2] VISEM Zenodo 数据集 doi:10.5281/zenodo.2640506
[3] MediaEval 2019 Medico 组织方基线 CEUR Vol-2670, paper 55
[4] motilitAI 活力预测 iScience 25:104644, 2022 / arXiv:2109.08049
[5] YOLOv5 精子检测 PMC9957213
[6] VISEM 官方页 datasets.simula.no/visem
[7] HuggingFace 镜像 hf.co/datasets/sperm-net/VISEM

附录 R:数据卡(Data Card 中文摘要)

项 内容
动机 提供首个开放多模态人类生殖数据集,推动精子视频自动分析
组成 85 名男性,视频+精液分析+脂肪酸+性激素+人口学
采集 2008-2013,挪威,37℃ 加热台 + Olympus CX31 + UEye UI-2210C
标注 WHO 标准人工精液分析(活力/形态/参数)
用途 活力预测、形态预测、实时追踪、多模态融合、精液质量关联
未覆盖 逐精子标注、女性因素、纵向采样、一般人群代表性
分发 公开直链 + Zenodo + HF
维护 Simula Research Laboratory

附录 S:使用建议三则

  1. 先对齐划分再谈分数:任何活力/形态结果,先声明是否用 Medico 的 subject-independent 3-fold;否则分数不可比。
  2. 把标签噪声写进 limitation:ground truth 来自人工目视判读,观察者间变异是已知问题,不要当作绝对真值。
  3. 多模态是卖点也是作业:六个 CSV 与视频需自行对齐,模态融合能否增益本身是研究问题——别默认"加模态一定更好"。

附录 T:未来扩展方向(基于现状推断)

方向 动机 依赖
逐精子检测/追踪标注 补上 VISEM 缺失的物体级监督 人工标注投入
多受试者纵向采样 支撑个体内变异建模 新的采集协议
更高分辨率成像 支撑亚细胞形态分析 硬件升级
多中心/多地区扩展 缓解地理与人群偏倚 跨机构协作
客观测量替代人工判读 降低标签噪声 CASA 自动化

附录 U:条目自评与存照汇总

事项 处理
规模口径(35.2 GB vs 65.1 TB) 双口径存照,采用 35.2 GB(坑 5)
许可口径(CC BY-NC vs 研究教育) 双口径并陈,保守解读(坑 6)
视频/受试者计数 85 参与者和 85 视频等值,语义需留意(坑 2)
HF 镜像许可字段 与官方页一致、与 Zenodo 文本略有出入(坑 12)
页面更新时间非数据版本 明确区分(坑 11)
CSV 列级明细未逐列公开 遗留疑点,需解压描述文件

附录 V:与其他条目互链建议(正文口径)

以下互链建议仅以文字形式写入正文,frontmatter 的 relatedLink 只保留纯 URL:

  • LDPolypVideo(rid 163):同为医学视频数据集,任务范式(视频→临床判断)高度可比;
  • MultiMedBench(rid 129):多模态医学基准,评测方法论同源;
  • SLAM-3D-Endoscopic(rid 82):医学视频分析(内窥镜);
  • prostate158(rid 703/704)、prostatex(rid 554):男性泌尿生殖医学影像,领域相邻;
  • Maternal-Ultrasound-Nutrition(rid 615):生殖健康横向;
  • BUT PPG(rid 803)、Apnea-ECG(rid 658)、Sleep-EDF(rid 73):非图像模态医学数据,时序/信号分析可迁移。

附录 W:常见误读速查

误读 正解
VISEM = Sperm-Net VISEM 是数据集,Sperm-Net 是组织/用户名(坑 1)
85 段视频 = 85 次采样 85 人,每人只入档一段(坑 2)
标签是仪器真值 是人工 WHO 判读,有观察者变异(坑 3)
可随意随机划分 应用 subject-independent 3-fold(坑 4)
体积 65.1 TB 实际 35.2 GB(坑 5)
可直接商用 须作者书面许可(坑 6)
带检测标注 不提供逐精子标注(坑 8)
页面 2026 更新=数据更新 仅为页面维护(坑 11)

附录 X:关键来源 URL 汇总

附录 Y:条目更新与维护记录

时点 事件
2019-02-08 Zenodo 数据集发布(v1.0)
2019-06 ACM MMSys '19 论文发表
2022-08 motilitAI 提升活力预测结果
2026-10-08 本条目录入抓取(三源互证)

附录 Z:结语

VISEM 的价值不在于它有多大,而在于它证明了一件事:即便在隐私最敏感、共享最困难的生殖医学领域,一个结构清楚、多模态、可复现的开放数据集也是可行的。它把一个长期依赖专家目视的问题,第一次交到了多媒体与机器学习社区手里。理解它的规模边界、许可边界与标签边界,是用好它的前提;而它留下的扩展空间(逐精子标注、纵向采样、更高分辨率),正是下一代工作可以接力的方向。

附录 AA:逐节速览索引

章节 主题 关键数字
§0 导读:为什么它重要 三重身份
§1 十问十答 85 人 / 五模态
§2 数据构成与规格 640×480@50fps / 6 CSV
§3 采集、伦理与标注 2008-2013 / 2017-12 去标识
§4 访问与文件组织 35.2 GB / 三渠道
§5 任务与基准 MAE 7.31 vs 8.83
§6 获取、许可与版本 CC BY-NC / 强制引用
§7 相关工作与生态 MediaEval / motilitAI
§8 DAIMS 评估 7.6/10
§9 坑点清单 12 坑
§10 附录 A-Z + AA 元数据与证据链

附录 AB:关键数字一页纸

数字 含义 出处
85 男性参与者数 三源
640×480 视频分辨率 官方页
50 帧率(fps) 官方页
400× 显微镜放大倍率 官方页
2-7 视频时长(分钟) 官方页
35.2 GB 打包体积 官方页/Zenodo
6 CSV 文件数 官方页
5 模态数 官方页
2008-2013 招募期 官方页
2017-12 项目关闭/去标识 官方页
2019-02-08 Zenodo 发布 Zenodo
8.83 Medico 最佳提交 MAE CEUR/iScience
7.31 motilitAI 最佳 MAE iScience
3 交叉验证折数 Medico
120 组织方基线抽帧数/视频 CEUR
225×120 组织方特征矩阵 CEUR

附录 AC:十二坑速查表

# 坑 一句话正解
1 Sperm-Net ≠ VISEM 前者是组织名
2 一段 ≠ 一次采集 85 人各入档一段
3 标签非仪器真值 人工 WHO 判读
4 划分不可替换 用 subject-independent 3-fold
5 体量 65.1TB 异常 实际 35.2 GB
6 许可两套口径 保守取"仅研究教育"
7 引用是强制的 必引 MMSys '19 论文
8 无逐精子标注 检测需自标
9 分辨率有天花板 亚细胞形态受限
10 样本有偏 非一般人群
11 页面更新≠数据更新 仍为 v1.0
12 多平台许可字段需交叉验证 以托管方原文为准

附录 AD:许可使用决策

你的用途是什么?
├── 学术研究 / 教学
│   └── 允许(须引用 MMSys '19 论文)
├── 非营利科研衍生作品
│   └── 允许(遵守非商业条款,注明来源与变更)
├── 商业产品 / 商用模型训练
│   └── 须事先取得作者书面许可(联系 michael@simula.no)
└── 不确定是否算商业
    └── 保守处理:先联系作者确认,切勿默认允许

附录 AE:数据集对照——VISEM 的不可替代性

能力 仅 VISEM 具备? 说明
精子显微视频公开直链 是 同类开放数据极少
视频 + 生化多模态对齐 是 同领域罕见
官方评测划分 是(经 Medico) 可比性保障
大样本量 否 85 人偏小
逐精子标注 否 不提供
高分辨率成像 否 640×480 偏低
一般人群代表性 否 有选择偏倚

VISEM 的不可替代性集中在"开放 + 多模态 + 可比"三点,而它的可替代性则在"规模、分辨率、标注粒度"上——这正好勾勒出后续数据集可以超越它的方向。

附录 AF:术语歧义澄清

术语 常见歧义 本文口径
VISEM 数据集 / 项目 / HF 用户名 数据集本体
Sperm-Net 数据集 / 组织 / HF 用户名 组织与 HF 用户名
Medico 挑战赛 / 任务 / 数据集 MediaEval 2019 子任务
motility 活力 / 运动性 精子运动能力(三类)
morphology 形态 / 形态学 头/中/尾结构
progressive 前向运动 活力三类之一
CASA 系统 / 分析范式 计算机辅助精液分析

附录 AG:引用规范示例

若使用 VISEM 数据,请引用:
Haugen, T.B., Hicks, S.A., Andersen, J.M., Witczak, O., Hammer, H.L.,
Borgli, R., Halvorsen, P., Riegler, M. (2019). VISEM: A Multimodal Video
Dataset of Human Spermatozoa. In Proceedings of the 10th ACM Multimedia
Systems Conference (MMSys '19), pp. 261-266.
https://doi.org/10.1145/3304109.3325814

若使用了 Zenodo 托管版本,可另附:
https://doi.org/10.5281/zenodo.2640506

附录 AH:常见问题补充(Q11-Q15)

Q11:VISEM 的视频是染色后的还是活体?
活体。视频录制用 37℃ 加热台与显微镜,目的是观察精子的实时运动(活力),不是染色固定样本的形态学观察。形态标签则来自人工精液分析。

Q12:脂肪酸模态对纯视觉研究者有用吗?
有用,但通常是作为"多模态融合实验的另一个输入"或"统计关联研究的自变量"。如果只做纯视频的活力预测,脂肪酸不是必需的。

Q13:能只用一部分参与者吗?
可以,但会进一步缩小本已不大的样本量;且若用于基准比较,必须遵循官方的 85 人全集划分,否则分数不可比。

Q14:视频里有敏感信息吗?
数据已在 2017-12 完成去标识。但视频文件名保留了录制日期,理论上存在弱再识别风险——这也是许可被限制在"研究与教育"的原因之一。

Q15:未来会有 v2 吗?
截至抓取时点无官方 v2 计划。Zenodo 仍是 v1.0(2019)。任何"VISEM 2.0"的传闻都需以 Simula 官方页或 Zenodo 为准。

附录 AI:阅读路径建议

你的角色 推荐路径
数据集使用者 §1 → §2 → §4 → §6
基准复现者 §5 → 附录 F → 附录 G
多模态研究者 §0 → §7.4 → §2.1
医学领域研究者 §3 → §7.4 → 附录 K
合规审查者 §6 → §9 → 附录 J
方法论借鉴者 §7.6 → 附录 F

附录 AJ:一句话记忆卡

问题 一句话答案
多少人? 85 名男性
多大? 35.2 GB
什么模态? 视频 + 精液分析 + 脂肪酸 + 性激素 + 人口学
什么任务? 活力/形态预测(MediaEval Medico)
最好成绩? MAE 7.31
怎么拿? 公开直链
能商用吗? 须书面许可
必须引用吗? 是

附录 AK:致谢与出处

本条目所有硬数字均来自 VISEM 官方页、Zenodo record 2640506、ACM MMSys '19 论文、MediaEval 2019 Medico 组织方基线(CEUR Vol-2670)与 motilitAI(iScience 2022)五源,抓取时点 2026-10-08。双口径冲突已逐条存照(附录 U)。库内互链仅以纯 URL 形式写入 frontmatter,说明文字见附录 V。

附录 AL:视频字段与命名解析全表

文件名片段 含义 示例 注意事项
参与者 ID 1-85 1 与 CSV 行的 key 对齐
录制日期 采集日期 09.09.02 去标识后保留,有弱再识别风险
可选说明 简短备注 (可为空) 非结构化,需人工理解
评估者代码 WHO 判读者 SSW 提示判读的"人格性"

附录 AM:五模态数据字典(基于官方描述)

模态 文件 每行主体 已知字段类别 未知
视频 视频文件夹 参与者 分辨率/帧率/时长/命名 帧级标注
精液分析 semen_analysis_data.csv 参与者 活力/浓度/总数/体积/形态/vitality 逐列单位
精子脂肪酸 fatty_acids_spermatozoa.csv 参与者 多种脂肪酸 完整列表
血清脂肪酸 fatty_acids_serum.csv 参与者 磷脂脂肪酸 完整列表
性激素 sex_hormones.csv 参与者 性激素 + AMH 完整列表
人口学 participant_related_data.csv 参与者 年龄/禁欲时间/BMI 其他字段
映射 videos.csv 视频 文件 ↔ ID —

注:完整列名与单位需解压 zip 内的描述文件查看(遗留疑点 2)。

附录 AN:常见研究设计与对应数据组合

研究设计 需要的模态组合 难度
视频 → 活力回归 视频 + 活力标签 中(需抽帧/追踪)
视频 → 形态分类 视频 + 形态标签 中高
多模态融合 视频 + 精液分析 + 生化 高(需对齐)
脂肪酸 ↔ 精液质量关联 脂肪酸 + 精液分析 低(纯表格)
激素 ↔ 活力关联 性激素 + 活力标签 低(纯表格)
精子检测/追踪 视频(+ 自标注) 高(需自标)

附录 AO:VISEM 使用检查清单

□ 已阅读官方页 Terms of use 与 Zenodo 许可
□ 确认用途属"研究与教育"(商用另需许可)
□ 已下载并校验 md5(c4ab1788457fa3395d94bb643559f6c5)
□ 采用 Medico subject-independent 3-fold 划分
□ 论文/文档中包含 VISEM 论文的完整引用
□ limitation 中声明:样本偏倚 / 标签主观 / 分辨率限制
□ 多模态 join 按 participant ID 对齐
□ 报告分数时标注所用划分口径

附录 AP:一页纸速览(可打印)

============================================================
VISEM — A Multimodal Video Dataset of Human Spermatozoa
============================================================
规模    : 85 名男性(≥18 岁),每人 1 段视频
模态    : 视频 + WHO 精液分析 + 精子脂肪酸 + 血清脂肪酸
          + 性激素/人口学
视频    : 640×480 @ 50fps,400×,2-7 分钟,AVI
体积    : 35.2 GB(visem.zip, md5 c4ab1788457fa3395d94bb643559f6c5)
论文    : ACM MMSys '19 pp.261-266, doi:10.1145/3304109.3325814
数据集  : Zenodo 10.5281/zenodo.2640506(2019-02-08, v1.0)
获取    : 公开直链 datasets.simula.no/downloads/visem.zip
许可    : 仅研究与教育用途(商用需书面许可)
基准    : MediaEval 2019 Medico(活力/形态),3-fold
最佳    : MAE 7.31(motilitAI)vs 8.83(赛会最佳)
强制    : 必须引用论文
联系    : michael@simula.no
============================================================

附录 AQ:与其他库内条目的差异一句话

条目 与 VISEM 的一句话差异
LDPolypVideo 同为医学视频,但任务是息肉检测(物体级)
MultiMedBench 同样是多模态,但以问答任务与基准为主
prostate158 同为男性泌尿生殖,但是图像分割而非视频
Apnea-ECG 同为生理时序数据,但床旁信号而非显微视频
BUT PPG 同为生理信号,但可穿戴采集而非显微镜

附录 AR:可能的读者疑问与回答

疑问 回答
为什么不处理成图像分类格式? 视频承载运动信息,抽帧会丢失时间维度
为什么 85 人也能做深度学习? 靠降维特征+强基线+无监督前置,非堆参数
标签真的可靠吗? 有观察者间变异,需当带噪标签处理
能用于论文的"通用男性生育力"结论吗? 不可,样本有选择偏倚
能复现 MAE 7.31 吗? 可以,用 Medico 划分 + motilitAI 开源代码

附录 AS:条目维护提示

关注点 检查频率 说明
Zenodo 版本 低频 若有 v2 需更新条目
官方页状态 低频 页面维护不影响数据
新 SOTA 中频 若有方法低于 MAE 7.31 需更新
许可变更 低频 若有变更需同步
引用数增长 低频 反映社区采纳度

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • babycry-ujm-axa — 共享标签:多模态 / 生理信号 / 队列研究 / 评测基准
  • cgmacros — 共享标签:多模态 / 生理信号 / 队列研究
  • tame-pain — 共享标签:多模态 / 生理信号 / 队列研究
  • bigideaslab-step-hr-smartwatch — 共享标签:多模态 / 生理信号 / 评测基准
  • bigp3bci — 共享标签:多模态 / 生理信号 / 评测基准
  • echonext — 共享标签:多模态 / 生理信号 / 评测基准
  • norwegian-athlete-ecg — 共享标签:生理信号 / 队列研究 / 评测基准
  • daic-woz — 共享标签:多模态 / 生理信号 / 评测基准
  • clif — 共享标签:多模态 / 队列研究 / 评测基准
  • mmash — 共享标签:生理信号 / 队列研究 / 评测基准

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集