信息速览
INFOBOX — DeFungi 一屏速览
维度 内容 本质 浅表真菌感染直接镜检显微镜图像的五分类数据集(非挑战赛、非新采集) 团队 Victoria University(澳大利亚),通讯 Farshid Hajati;图像由哥伦比亚真菌学实验室捐赠 论文 arXiv:2109.07322(2021-09-15 提交);期刊版 Medical Mycology 2021(UCI 标注) 入藏 UCI Machine Learning Repository,id=773,Donated on 2023-01-28 数据 9,114 张,500×500 RGB,由 3,025 张原始镜检图自动切块过滤而来 类别 5 类:TSH / BASH / GMA / SHC / BBH(真菌形态学) 分布 TSH 4,404 / BASH 2,334 / GMA 819 / SHC 818 / BBH 739(约 6:1 失衡) 标注 图像级人工标注 + 主题专家策展;无像素级/检测框 场景 真菌诊断最早期的直接镜检环节(论文称此前无参考工作) 基线 从头训练最佳 Inception V3 73.2%;迁移学习最佳 VGG16 85.04% 获取 UCI 直链 defungi.zip(149.1 MB)+ucimlrepoAPI;原始发布在 Kaggle/GitHub许可 CC BY 4.0(含商用,须署名) 库内互链 HAM10000(皮肤镜)、ISIC 系列、NIH Malaria(显微判读范式)、unitopatho(病理图像)
DeFungi 是一个"把显微镜下肉眼要认的真菌形态,变成机器可以学的五分类题"的数据集。它的出发点非常朴素:真菌感染的传统诊断高度依赖真菌学家(mycologist)的面对面检查或镜检,而深度学习在真菌诊断的晚期环节(培养、鉴定)已有不少工作,最早期的"直接镜检"(direct examination) 环节却几乎没有参考基准。于是研究团队把哥伦比亚一家真菌学实验室捐赠的 3,025 张原始镜检照片,用自动程序切成一块块 500×500 的小图并剔除没有真菌的区域,最终得到 9,114 张图像、按真菌的五种形态分成 TSH、BASH、GMA、SHC、BBH 五类。它的价值不在于数据量,而在于补上了真菌诊断链最前端的那一块参考基准,并用两个经典的迁移学习/从头训练范式给出了第一组可对比的数字。
导语读法三则:
- 只想下数据:直奔 §6 获取与许可——UCI id=773 直链现成,CC BY 4.0 可商用,注意没有官方划分要自己切。
- 关心类别定义:直奔 §2 数据构成——五种真菌形态学缩写的全称、计数与失衡结构是本数据集理解的钥匙。
- 做基准评测:直奔 §5 评估与基准——论文两个范式的最佳成绩(73.2% / 85.04%)是官方起点,第三方改进结果另行标注。
§0 导读:这个数据集解决什么问题
真菌感染(fungal infection)在临床上是一类极常见、却极容易在早期被误判或拖延的疾病。皮肤、指甲、黏膜的浅表真菌感染(superficial fungal infection)覆盖了从足癣、体癣到各类酵母与霉菌感染的一大片病谱,全球患病者以亿计。传统诊断路径的两端差距很大:晚期阶段——真菌培养、分子鉴定——已有大量计算机辅助诊断(computer-aided diagnosis, CAD)工作;而最早期阶段——医生或检验人员把标本放上显微镜、直接目视判断"这是不是真菌、是哪一类形态"——却几乎没有公开的参考工作。DeFungi 论文正是抓住这个空档:它不解决"分离培养后是哪一物种",而解决"显微镜下这一团东西的形态属于哪一类真菌结构"。
这个问题的临床意义是时机。论文摘要特别提到 COVID-19 疫情期间毛霉病(mucormycosis)的扩散——这类侵袭性真菌感染若能在最早的直接镜检阶段被快速提示,患者就有机会在诊断链最前端得到初步处置建议。因此 DeFungi 的目标读者,一半是机器学习的分类研究者,一半是真菌诊断流程的设计者。
三类读者、三条入口:
- 做图像分类的数据科学家:DeFungi 是一个干净、类别失衡、标注粗粒度(仅图像级)的入门级医学图像分类任务。它的价值是"起点低、天花板清晰"——论文给出的最佳成绩只有 85.04%,仍有大量改进空间;同时类别失衡(约 6:1)与近重复风险是真实的工程挑战。入口:§2 数据构成 + §5 基准。
- 做皮肤影像的数据集建设者:DeFungi 与 HAM10000、ISIC 系列站在同一片"皮肤相关影像"的域里,但视角完全不同——后两者拍的是皮损外观(皮肤镜),DeFungi 拍的是镜下形态(镜检)。它展示了一条"用自动切块+专家策展把少量原始镜检图放大成可用数据集"的轻量路线。入口:§3 策展与流水线 + §9 库内关系。
- 做临床辅助诊断的落地者:需要理解这个数据集能做什么、不能做什么——它给的是形态学分类,不是物种诊断,不是治疗建议,也没有患者级信息。直接照搬模型到临床会踩坑。入口:§4 类别体系 + §10 避坑清单。
一句话定位:DeFungi 是"真菌诊断最早一公里"上的一块参照石,而非终点。
一句话读懂五类:把显微镜下的一团真菌结构想象成"丝 + 珠 + 团 + 壁 + 色"五种线索——TSH 是"弯曲的丝"、BASH 是"断成珠链的丝"、GMA 是"堆成团的珠"、SHC 是"丝上挂着厚壁小球"、BBH 是"又粗又带棕色的丝"。抓住这五个视觉线索,就抓住了 DeFungi 全部标签的判别逻辑。
本条目组织方式:§0-§1 给你全局印象,§2-§4 讲数据与标签,§5-§7 讲基准、获取与生态,§8-§11 讲方法与深水区,§12 收尾,末附 FAQ、事实清单、术语表与 DAIMS 评估表。若时间有限,建议只读 §1(速览)+ §10(避坑)+ §12(总结)三处即可获得可用认知。
§1 数据集速览:十三问十三答
Q1:DeFungi 到底是什么?
一个图像分类数据集:9,114 张 500×500 的彩色显微镜图像,每张被人工标注为五类真菌形态之一(TSH/BASH/GMA/SHC/BBH)。它不是检测数据集,不是分割数据集,不是多标签数据集,是一图一标签的单标签多分类任务。
Q2:谁做的?
Victoria University(澳大利亚维多利亚大学)三位研究者:Camilo Javier Pineda Sopo、Farshid Hajati(通讯)、Soheila Gheisari。图像的原始来源是哥伦比亚一家真菌学实验室的捐赠,该实验室未在论文中具名。
Q3:图像从哪里来?
3,025 张由 Sony DSC W830 紧凑数码相机拍摄的原始直接镜检照片,经自动化程序处理:切成 500×500 的 patch、过滤掉不含真菌的无关区域、去除噪声与伪影,最终保留 9,114 张"相关图像"。
Q4:五类分别是什么?
TSH(弯曲有隔透明菌丝)、BASH(串珠状关节分生孢子有隔透明菌丝)、GMA(成组或镶嵌状关节分生孢子)、SHC(具厚垣孢子的有隔透明菌丝)、BBH(粗棕色菌丝)。这五类都是显微镜下的形态学描述,描述的是菌丝/孢子的外观结构,而不是真菌的物种名或临床病名。
Q5:数据量大吗?
图像数 9,114(中等偏小)、体积 149.1 MB(轻量)、类别 5(少)、分辨率 500×500(中低)。整体是一个轻量级数据集,可以在单张消费级 GPU 甚至笔记本上完整训练。这正是它适合做教学与入门基准的原因。
Q6:类别均衡吗?
不均衡。最大类 TSH 有 4,404 张,最小类 BBH 只有 739 张,比值约 5.96:1。这意味着直接训练时模型会明显偏向 TSH 与 BASH 两类的组合(两者合计占 74%),对 GMA/SHC/BBH 的识别会吃亏。工程上必须用 class weight、重采样或 focal loss 等手段处理。
Q7:和 HAM10000 有什么区别?
很容易混淆,因为都属于"皮肤相关影像"。但 HAM10000 是皮肤镜图像(dermoscopy),拍的是皮肤表面的色素性皮损,任务是皮肤肿瘤(黑色素瘤等)七分类;DeFungi 是显微镜图像,拍的是标本里的真菌结构,任务是真菌形态五分类。一个在临床体检层,一个在实验室镜检层。二者不互补替代,而是同一条诊断链的不同环节。
Q8:有官方划分吗?
没有。 UCI 明确写着"No recommended data splits"。论文用 k-fold cross-validation,第三方复现常用 75/15/10 或 70/30。因为没有官方划分,不同论文报告的准确率不能直接横向比较——这是引用时必须警惕的点。
Q9:许可是什么?能商用吗?
CC BY 4.0。可以共享、可以改编、可以用于任何目的(包括商业目的),唯一硬性要求是署名(attribution)。这是相对宽松的许可,比很多医学数据集的"仅限研究"要友好得多。
Q10:最该警惕的坑是什么?
近重复泄漏。9,114 张是从 3,025 张原始视野切块来的,平均每张原图产出约 3 张 patch;同一原始视野切出的多张 patch 高度相似。如果按图像随机划分 train/test,同一个视野的图像很可能同时出现在两边,导致测试成绩虚高。做严肃评测时必须按原始视野分组划分——但这里有个死结:数据集没有提供原图到 patch 的映射(见 §10 坑点)。
Q11:这个数据集"新"吗?
不算新。论文提交于 2021-09-15,2023-01-28 入藏 UCI。但它在"真菌镜检分类"这一细分方向上仍是主要公共参照之一,因为后来者寥寥——它的价值更多在"开拓生态位",而非"规模或时效"。
Q12:它的论文被引多吗?
作为一个小数据集,它的引用主要来自"把它当对比数据集"的后续工作(特征选择、跨域分类、图像增强等)。UCI 页面显示其有引用记录。具体被引数会随时间变化,引用时应查最新数据。
Q13:有没有更现代的替代品?
在"浅表真菌感染的镜检图像分类"这个非常具体的任务上,DeFungi 目前缺少规模相当的公开替代。若扩展到"真菌图像"更广义(培养菌落、皮肤镜),则数据更多,但任务语义不同。建议:把 DeFungi 视为该细分任务的基础设施,而非可随意替换的样本。
§1.5 三十秒上手路线
如果你现在就要动手,最短路径如下:
- 取数(约 1 分钟):
pip install ucimlrepo,然后fetch_ucirepo(id=773)拿 X/y;或直接下载defungi.zip(149.1 MB)解压。 - 摸清分布(约 5 分钟):统计五类计数,确认 TSH 4,404 / BASH 2,334 / GMA 819 / SHC 818 / BBH 739,画一张类分布柱状图——你会立刻看到"两超三小"的失衡结构。
- 切划分(约 30 分钟,这是最需要动脑的一步):不要用朴素随机划分。先对全部图像做一次感知哈希或嵌入相似度聚类,把疑似同一视野的 patch 分成组,再按组划分 train/val/test,以降低近重复泄漏。
- 跑基线(约 1-2 小时):用 ImageNet 预训练的 ResNet50 或 EfficientNetV2-B0 微调,交叉熵 + class weight。参考论文的迁移学习路线,预期 accuracy 落在 80%+ 区间。
- 评测(不可省):报 Macro-F1 + balanced accuracy + 五类混淆矩阵,重点看 BASH↔GMA、TSH↔SHC 两对易混。对照论文基线(迁移 85.04%)与第三方基线(Macro-F1 0.86),但不要把不同划分的数字直接比较。
最容易翻车的地方:第 3 步偷懒用 train_test_split 随机切。这会让成绩虚高十几个百分点,而且你自己往往察觉不到——因为泄漏的图像"看起来"只是不同的图。严肃做法是至少做一次相似度去重审计,看看有多少测试图像能在训练集里找到几乎一样的"双胞胎"。
最容易误解的地方:第 5 步把模型输出的形态类别(如"BASH")当成诊断结论。它是镜下形态,不是病菌种、不是病名,请守住这条语义边界。
最值得先做的事:先花十分钟读完 §4.4(类间相似性),理解为什么 BASH/GMA 容易混、TSH/SHC 容易混——这会直接决定你该关注哪类错误,而不是盲目调参。
§2 数据构成与规格
2.1 规模、来源与整体结构
DeFungi 的硬数字非常干净,三个来源(UCI 页面、arXiv 论文、第三方复现仓库)互相印证:
| 项目 | 数值 | 口径说明 |
|---|---|---|
| 最终图像数 | 9,114 | UCI #Instances;arXiv;二次文献一致 |
| 原始镜检图数 | 3,025 | 论文处理流水线起点(DeFungi-CNN 仓库引述) |
| 类别数 | 5 | 三源一致 |
| 图像规格 | 500 × 500 px,RGB | 论文 patching 输出 |
| 数据体积 | 149.1 MB | UCI 下载包 |
| 拍摄设备 | Sony DSC W830 | 论文/仓库引述 |
| 缺失值 | 无 | UCI 明确 |
| 敏感数据 | 无 | UCI 明确 |
一个值得记住的比例关系:3,025 → 9,114,放大倍数约 3.01×。也就是说,平均每张原始镜检图被切出约 3 张保留下来(含真菌的)patch。这个比例是理解 §10 近重复风险的关键。
三个数字的自洽校验:
- 逐类计数之和:4,404 + 2,334 + 819 + 818 + 739 = 9,114 ✓ 与总数完全吻合。
- 放大倍数:9,114 ÷ 3,025 = 3.013(约 3 倍)。
- 体积校验:9,114 张 JPEG 平均约 16.4 KB/张(149.1 MB ÷ 9,114),与 UCI 文件列表显示的示例文件(45-49 KB)量级一致(列表示例偏大,可能为抽样展示)。
这些数字之间的相互闭合,是判断数据集元数据可靠性的一个实用信号:当总数、分类计数、体积、文件大小能互相校验时,元数据的可信度较高。DeFungi 在这方面表现良好——唯一未能闭合的是"原始 3,025 张图如何处理成 9,114 张"的确切算法参数(步长、重叠率),这是文档缺口而非数据矛盾。
数据的组织方式是扁平的图像文件夹,文件名形如 H6/H6_31a_3.jpg、H5/H5_43a_1.jpg(UCI 文件列表示例)。从命名可以推测:字母+数字的父目录标识可能对应某次原始采集/样本批次,文件名后缀(_1、_3)可能标识从同一视野切出的不同 patch——但UCI 与论文均未给出文件名编码规则说明,这是下游使用者常常困惑的点(见 §10)。
2.1.1 与其他真菌/微生物数据集的规模对照
把 DeFungi 放进微生物图像数据集的规模谱里看:
| 数据集 | 图像数 | 类别 | 形态 | 与 DeFungi 对比 |
|---|---|---|---|---|
| DeFungi | 9,114 | 5 | 500×500 | 本文主体 |
| DIBaS(细菌) | ~640 | 32 种 | 变尺寸 | 类别更多但样本更少 |
| DeepBacs(细菌) | ~190 | 3 种 | 高分辨率 | 荧光/明场混合 |
| NIH Malaria | ~27,558 | 2 | 变尺寸 | 更大但二分类 |
| 多数真菌数据 | 数百级 | 少 | 不定 | DeFungi 是少数上千量级者 |
DeFungi 在"真菌"这一细分领域属于少有的上千量级公开数据集——这正是它虽小却被频繁引用的原因:它填的是一个几乎没有竞争者的生态位。
2.2 图像规格与预处理链
单张图像 500×500 像素、RGB 三通道。这个尺寸在医学图像里属于中小型,训练时通常无需大幅下采样即可直接送入主流 CNN(VGG16 的标准输入 224×224 只需下采样约 2.2 倍,信息保留充分)。
预处理链(论文口径)分三步:
- Patching(切块):用 Python 编写的自动程序,把原始镜检图切成 500×500 的 patch。
- Filtering(过滤):剔除"不含任何真菌"的无关区域 patch——这一半是质量控制,一半是负样本剔除(数据集不设"无真菌"类,只保留含真菌的 patch)。
- Noise/artifact removal(去噪去伪影):去除镜头污点、划痕、压缩伪影等。
UCI 页面用更简短的表述概括:“pre-processed,所有图像已裁剪到感兴趣区(ROI)”。两者一致。
需要强调:没有标准化色彩/亮度归一化步骤被明确记录。原文只提切块、过滤、去噪。这对一个显微镜图像集是重要局限——不同视野、不同光照条件下拍出的图像色彩差异可能较大,而数据集本身未做统一的显色归一化(如 Macenko/H&E 类方法),下游需要自己考虑颜色增强(DeFungi-CNN 仓库里的增强策略即包含颜色扰动)。
2.3 五类真菌形态的完整定义
DeFungi 的五类标签有意思之处在于:它们不是物种(species)、不是属(genus)、也不是病名,而是显微镜下可见的形态结构(morphological pattern)。理解这一点是正确使用数据集的先决条件。
| 简称 | 英文全称 | 中文释义 | 形态要点 |
|---|---|---|---|
| TSH | Tortuous Septate Hyaline hyphae | 弯曲有隔透明菌丝 | 细长、有分隔(隔膜)、透明、走行弯曲的菌丝 |
| BASH | Beaded Arthroconidial Septate Hyaline hyphae | 串珠状关节分生孢子有隔透明菌丝 | 菌丝断裂成串珠状关节孢子(arthroconidia) |
| GMA | Groups or Mosaics of Arthroconidia | 成组或镶嵌状关节分生孢子 | 关节孢子成团聚集或呈镶嵌排列 |
| SHC | Septate Hyaline hyphae with Chlamydoconidium | 具厚垣孢子的有隔透明菌丝 | 菌丝上带有厚壁的厚垣孢子(chlamydoconidium) |
| BBH | Broad Brown Hyphae | 粗棕色菌丝 | 明显更粗、带有棕色调的菌丝 |
为什么是这五类? 论文没有系统解释类别体系的设计动机,但从形态学命名可以推断:这套分类对应了真菌镜检中的几种典型可辨识结构——普通透明菌丝(TSH)、产关节孢子的菌丝(BASH/GMA,分"链状"与"成团"两种排列)、产厚垣孢子的菌丝(SHC)、以及色素化的粗菌丝(BBH)。这是真菌学形态描述语言,而非临床分类。
术语首现标英文(后续全文沿用):菌丝(hyphae)、关节分生孢子/关节孢子(arthroconidia)、厚垣孢子(chlamydoconidium)、透明(hyaline)、有隔(septate)。
2.4 类别分布:一个明显失衡的样本结构
逐类计数(TSH 4,404 / BASH 2,334 / GMA 819 / SHC 818 / BBH 739,合计 9,114)揭示了一个两端失衡、中间断层的分布:
- 两大主类:TSH(48.3%)+ BASH(25.6%)= 73.9%,接近四分之三。
- 三类小类:GMA(9.0%)、SHC(9.0%)、BBH(8.1%),三者几乎均等且都不足 10%。
- 失衡比:4,404 : 739 ≈ 5.96 : 1,接近 6 倍。
这个分布对建模的直接含义:
- 一个"永远预测 TSH"的朴素模型能拿到 48.3% 的 accuracy——这是准确率这个指标的虚高基线。因此评测 DeFungi 应当优先看 Macro-F1(对每类等权),而不是 accuracy。第三方复现(DeFungi-CNN)也正是选择 Macro-F1 作为主指标,得到 0.86。
- 三大主类与小类之间存在清晰断层(25.6% 跳到 9.0%),说明这不是连续长尾,而是"两超三小"。简单地对小类做过采样可能比复杂的长尾方法更有效。
- GMA 与 SHC 计数(819 vs 818)几乎相同,可能反映了原始采集时二者出现频次的自然分布,而非刻意平衡——因为论文未提任何平衡采样步骤。
存照:UCI 页面未逐类列出五类名称与计数,只有总数 9,114。逐类计数来自 DeFungi-CNN 仓库 README(其声明引述论文),五类名称来自 arXiv 论文与多篇二次文献(IEEE、INFORMATICA 期刊)。本条目以论文/复现仓库口径为准,并在 FACTS.md §9 存照。
2.5 与皮肤影像数据集的边界
DeFungi 常被误放进"皮肤影像数据集合集"里,这一点必须厘清。它和 HAM10000、ISIC 系列的关系可概括为"同域不同层":
| 维度 | DeFungi | HAM10000 / ISIC 系列 |
|---|---|---|
| 成像方式 | 显微镜(镜检) | 皮肤镜(dermoscopy) |
| 拍摄对象 | 标本中的真菌结构 | 皮肤表面的皮损外观 |
| 任务 | 真菌形态五分类 | 皮肤肿瘤(黑色素瘤等)分类/分割 |
| 诊断环节 | 实验室镜检(最早期) | 临床体检(皮损筛查) |
| 标签体系 | 形态学结构 | 病理诊断(黑素瘤/痣/角化病…) |
| 放大尺度 | 高倍(细胞/菌丝级) | 低倍(皮损整体级) |
| 色彩语义 | 染色/镜检透射光 | 自然皮肤反射光 |
因此,把 DeFungi 与 HAM10000 直接拼成一个"皮肤数据集"训练多任务模型,在方法论上是可疑的——它们的输入分布(镜下 vs 表面)与任务语义(形态 vs 病理)完全不同层。正确的用法是把它当作皮肤相关影像链条上游的一个独立环节来对待。
2.6 数据质量与偏置的逐项体检
一份诚实的体检清单,逐项列出 DeFungi 在数据质量维度上的强项与短板:
采集一致性:全部原图由同一台 Sony DSC W830 拍摄。好处是设备偏置统一(不是多设备混杂);坏处是模型可能过拟合该设备的色彩、分辨率、噪点特性,跨设备迁移时性能不确定。
色彩归一化:未见明确的显色归一化步骤记录。显微镜图像受照明、白平衡、染色影响极大,缺少归一化意味着颜色通道携带较多"采集条件"而非"生物信号"的噪声。这是使用前应考虑自建颜色增强的理由。
图像分辨率:500×500 属于中低分辨率。对于需要分辨"厚垣孢子""关节孢子排列"这类细节的任务,分辨率本身构成信息上限——差异可能在像素层面就已被模糊掉。
标签噪声:无第三方评估、无一致性统计。标签可靠性处于"专业协助策展但无量化证据"的状态。
近重复:3,025→9,114 的切块关系造成结构性近重复风险(详见 §10 坑点 3)。
患者信息:完全缺失,无法评估人群代表性与亚组表现。
时间信息:无采集时间戳,无法做时间漂移分析。
综合看,DeFungi 的质量画像与其定位相符:够用、干净、但不够严谨。它适合作为方法与原型的试验场,不适合作为需要强证据链的临床研究数据源。
§3 策展与流水线:小体量如何变成可用数据集
3.1 从 3,025 到 9,114 的四步工艺
DeFungi 的构建没有任何大规模采集,全部工作集中在加工上。论文与 UCI 记录共同描述的流程是:
- 原始采集(捐赠方):哥伦比亚某真菌学实验室用 Sony DSC W830 拍摄 3,025 张直接镜检照片。这些是未标注的原始图。
- 自动切块(patching):用 Python 程序把每张原始图切成 500×500 的 patch。
- 过滤 + 去噪:剔除不含真菌的 patch,去除噪声与伪影,得到 9,114 张。
- 人工标注 + 专家策展:人工把保留图像标为五类之一,并由主题专家(subject matter expert)协助策展/复核。
这套流程的"人机分工"很清晰:机器负责裁切与清洗,人负责判断类别。相比全文逐张手工标注的大规模数据集,这是一个"以加工换人工"的轻量路线。
3.2 标注机制的透明度问题
DeFungi 在标注透明度上留下了几个明确的空白,这些是使用它时不可忽视的:
- 标注者人数与身份未披露:论文只说"manually labelled",未说明几人标注。
- 标注一致性(inter-annotator agreement)未报告:没有任何 κ 或一致率数字,无法量化标签可靠性。
- 主题专家身份未公开:只称"a subject matter expert",无姓名、无机构、无资历。
- 复核机制不明:说"curated with a subject matter expert assistance",但"策展"具体是抽检还是全审、纠错了多少,均未说明。
这些空白不一定是缺陷(论文本身定位是"提供初始参考点"),但意味着使用者应把 DeFungi 的标签视为"经过专业协助的可用标签",而非"金标准级别的专家共识标签"。在做对标签噪声敏感的研究时(例如标签质量分析),需意识到这一点。
3.3 与其他医学数据集生产模式的对照
把 DeFungi 放进数据集生产的谱系里,能看清它的位置:
- vs 大规模众包:DeFungi 不依赖众包平台,规模小但省去了众包质量控制成本。
- vs 单人专家全标:DeFungi 用"专家协助策展"而非"专家逐张全标",效率高但一致性证据缺位。
- vs 全自动生成标签:DeFungi 的标签是人工的,不是弱监督/规则生成的,语义可信度更高。
- vs 挑战赛数据:DeFungi 没有竞赛组织、没有官方 leaderboard、没有冻结测试集——它更像"静物写生"式的静态资源,而非"竞技场"。
这个定位决定了它的合理使用方式:适合做方法验证、教学、快速原型、类别失衡实验,不适合作为需要强标签保证的临床验证的唯一依据。
3.4 复刻这套流水线需要什么
如果一个团队想用同样的方法处理自己的镜检图像,DeFungi 的流水线给出了可复刻的骨架:
- 原始素材:成批的、同一设备/同一条件下的直接镜检照片。数量不必大(DeFungi 起点仅 3,025 张)。
- 切块脚本:把原图切成固定尺寸(DeFungi 用 500×500)的 patch。步长、是否重叠需按内容密度调整。
- 过滤逻辑:需要一个"含/不含目标结构"的判据来剔除无关 patch。DeFungi 如何处理这一判据(人工抽检?阈值规则?)未详细说明——这是复刻时最需要自己摸索的一环。
- 去噪去伪影:处理镜头污点、划痕、压缩块效应。
- 标注环节:图像级人工标注 + 专业协助策展。
- 验收标准:建议补上 DeFungi 缺失的一致性统计,作为改进。
这套流程的成本主要在过滤判据的设计与人工标注上,切块与去噪是纯工程、可重复执行。对整个流程而言,DeFungi 最大的可借鉴之处是"先用机器把素材量放大、再用人集中判断语义"的分工哲学。
3.5 一个被低估的细节:patches 的重叠与裁切策略
DeFungi 用 500×500 切块,但论文未说明 patch 之间是否重叠、步长是多少。这个细节直接影响两个后果:
- 若重叠:同一结构会出现在多张 patch 里,进一步加重近重复问题;但也可能提高小结构(如单个厚垣孢子)不被切边界截断的概率。
- 若相邻拼接(tiling):patch 覆盖率取决于步长与图幅;步长大则覆盖稀疏,小结构可能整体落在 patch 之间被漏掉。
由于数据集只提供切块结果、不提供原图与生成参数,使用者无法反推这一策略。这构成一个无法验证的工艺黑箱——它不致命,但在做"数据增强有效性"或"重复样本去除"实验时,会让因果分析变得困难。建议:若在论文中使用 DeFungi,可在局限性一节明确写出"patch 生成参数未公开,近重复风险无法完全量化"。
3.6 从原始图到成品的"信息损耗"账
任何"加工型"数据集都要面对一个诚实的问题:加工过程丢掉了什么?对 DeFungi 逐项盘账:
| 加工步骤 | 保留了什么 | 丢掉了什么 |
|---|---|---|
| 切块(500×500) | 局部形态细节 | 跨视野的上下文、标本整体结构 |
| 过滤(去掉无真菌区) | 高密度目标样本 | 真实场景中的"背景类"比例 |
| 去噪去伪影 | 更干净的信号 | 部分采集条件的真实分布 |
| 人工标注(图像级) | 每图一个类别 | 一图多形态、类别的空间位置 |
| 无色彩归一化 | 原始色彩 | (反而保留了色彩多样性,但也留了偏置) |
关键洞察:过滤步骤使数据集不再是真实世界的无偏采样——真实镜检视野中大量区域不含真菌,而 DeFungi 把这类区域全删了。这意味着模型在一个"处处是真菌"的世界里训练,部署到真实场景(大部分视野可能没有目标)时,会产生误报:它没有机会学会"这里什么都没有"。要覆盖这一点,需要另行补充负样本(见 §4.5 改进方向)。
这一点比"类别失衡"更隐蔽,却对落地影响更大:失衡影响的是类别间召回,过滤影响的是"有没有"的判断。临床辅助诊断中,"无真菌"的判断与"是哪类形态"同等重要。
§4 类别体系与场景定位
4.1 形态学标签 vs 临床诊断标签
DeFungi 最需要被正确理解的一点:它标注的是形态结构,不是诊断结论。TSH/BASH/GMA/SHC/BBH 描述的是"显微镜下看到什么形状",而临床上关心的是"这是什么病原体、该用什么药"。
从形态到诊断之间,隔着至少两步:
- 形态 → 菌属/种:某类形态往往对应若干种可能的真菌,不是一一映射(例如"透明有隔菌丝"可见于多种皮肤癣菌与霉菌)。
- 菌种 → 临床决策:还需结合培养、分子鉴定、感染部位与宿主状态才能决定治疗。
因此 DeFungi 的分类输出是诊断链上游的辅助信号,可帮助快速筛出"这里确实有真菌、形态偏哪一类",但不能直接作为诊断书上的结论。论文自身也将它定位为诊断"最早期阶段"的直接镜检支持。
4.2 五类标签的临床-形态学含义对照
| 类别 | 形态学含义 | 可能的诊断关联(提示性,非确定) |
|---|---|---|
| TSH | 普通透明有隔菌丝 | 多数皮肤癣菌/霉菌感染的基础形态 |
| BASH | 菌丝断成串珠状关节孢子 | 部分产关节孢子真菌 |
| GMA | 关节孢子成团/镶嵌 | 与 BASH 相关的排列变体 |
| SHC | 菌丝带厚垣孢子 | 厚垣孢子为某些真菌的存活结构 |
| BBH | 粗而带棕色的菌丝 | 色素化真菌的提示 |
重要提醒:上表"诊断关联"列是基于形态学常识的提示,论文并未建立形态类别与具体病种的映射。把它当作诊断参照会产生误导。使用时应严格限定在形态分类层。
4.2.1 五类的两两辨析:谁最容易混
把五类两两摆开,能直观看出难点所在(★ 越多越易混):
| 类别对 | 易混度 | 混淆原因 |
|---|---|---|
| TSH ↔ SHC | ★★★ | 都是"透明有隔菌丝",区别仅在有无厚垣孢子,局部细节 |
| BASH ↔ GMA | ★★★ | 同为关节孢子,区别在"链状排列"vs"成团/镶嵌排列" |
| TSH ↔ BASH | ★★ | 都含"有隔透明菌丝"描述,关节孢子识别的边界模糊 |
| SHC ↔ GMA | ★ | 厚垣孢子与关节孢子偶有形态重叠 |
| BBH ↔ 其余 | ★ | 粗棕色菌丝凭粗细与颜色较易分辨,但若图像偏色则退化 |
建模含义:混淆矩阵的诊断重点应放在 TSH↔SHC 与 BASH↔GMA 两对上。若这两对的互错率高,说明模型欠缺的是局部细节判别能力(厚垣孢子的存在、孢子排列方式),而非整体分类框架——对应的改进方向是更高分辨率输入、局部注意力或多尺度特征。
4.2.2 标签语义的三层拆解
要真正理解 DeFungi 的标签,需把它拆成三层:
- 形态层(数据集的直接标签):菌丝/孢子的外观结构——TSH/BASH/GMA/SHC/BBH 就停在这一层。
- 分类层(形态对应的真菌类群):多数形态可见于多个菌属,二者非一一映射。
- 临床层(诊断与治疗):需要培养、分子、临床背景综合判断。
DeFungi 只覆盖第 1 层。任何把它当作第 3 层来用的尝试,都会跨越两层未定义的信息鸿沟。这是本条目最希望读者记住的一句话。
4.3 场景定位:真菌诊断的"最早一公里"
论文摘要用了一个很有画面感的场景:真菌诊断通常依赖 mycologist(真菌学家)的面对面检查或镜检;深度学习的计算机辅助诊断工作主要覆盖晚期(培养/鉴定)阶段;而早期的直接镜检阶段"there are no reference literature works made for the early stages"。DeFungi 就是来填这个空白的。
"最早一公里"的隐喻很贴切:真菌感染从患者到确诊要走一段路,镜检是这段路的第一步;DeFungi 提供的是第一步上的机器可学参照——它不保证后续路程(物种鉴定、用药)也走通,但至少让"第一步能不能自动判读"有了可量化的试验场。
4.4 五类之间的相似性:一个常被低估的难点
类别定义里藏着建模的真正难度:BASH 与 GMA 是同一形态现象的两种排列(关节孢子呈链状 vs 成团),两者在视觉上可能高度相似;TSH 与 SHC 都是"透明有隔菌丝",区别只在有无厚垣孢子;BBH 只凭"更粗、带棕色"与其他四类区分。这意味着类间相似度很高(high inter-class similarity)——一次搜索返回的文献也明确把"high inter-class similarity, subjectivity"列为传统镜检判读的核心限制。
对建模的启示:DeFungi 的困难不在于类别多,而在于类间界限细微。单纯的全局平均池化分类可能不够,需要关注细粒度(fine-grained)视觉特征的方法。这也解释了为什么第三方改进工作能通过图像增强 + 多层级特征融合把准确率推到 97% 以上——它们针对的正是"细节对比度不足"这一痛点。
4.5 类别体系的潜在可改进方向
若要在此基础上做"更临床可用"的扩展,类别体系有几个自然的演进方向:
- 加物种/属级标签:在形态类之下增加培养/分子确认的菌属信息,形成"形态 × 物种"的层级标签。
- 加"无真菌"负类:当前数据集剔除了背景 patch,但临床实际会遇到大量"标本里没真菌"的情况,负类是真实需求。
- 加部位/样本类型元数据:皮肤、甲、毛发等不同部位的镜检形态可能有差异,部位信息对解释力很重要。
- 补标注一致性:至少让两名标注者对子集双标,报告 κ 值。
- 补原图映射:保留"patch → 原视野"的 ID,使下游能做防泄漏划分。
这些方向不改变 DeFungi 本身的价值,但指出了它作为"参照点"之上可以生长的空间。
§5 评估与基准
5.1 论文官方基准:两个范式、三个模型、一组数字
arXiv:2109.07322 给出的是 DeFungi 的第一组可对比基线。实验设计很克制:只用两个经典范式、三个经典 CNN,重点不是刷分,而是"建立一个起点"。
实验设置:
- 范式一(from scratch,从头训练):不使用预训练权重,直接在 DeFungi 上训练。
- 范式二(transfer learning,迁移学习):使用 ImageNet 预训练权重,微调。
- 三个骨干网络:VGG16、Inception V3、ResNet50。
- 验证方法:k-fold cross-validation(在完整的 5 类数据集上做交叉验证)。
核心结果:
| 范式 | 最佳模型 | accuracy |
|---|---|---|
| 从头训练 | Inception V3 | 73.2% |
| 迁移学习 | VGG16 | 85.04% |
两个数字讲了一个清晰的故事:迁移学习比从头训练高出约 11.8 个百分点。原因也很直白——DeFungi 只有 9,114 张图,对于从零训练一个大 CNN 而言数据量不足;ImageNet 预训练提供的通用视觉特征(边缘、纹理、颜色)恰好对"识别显微图像中的丝状/颗粒状结构"有可用迁移性。这也解释了为什么后续几乎所有复现都默认走迁移学习路线。
论文对这两个数字的自我定位是"initial point of reference"(初始参考点),并明确"鼓励后续研究改进分类性能"。也就是说,85.04% 不是终点,而是发令枪。
5.2 第三方基准:改进结果的边界
论文之后,DeFungi 被多篇工作用作对比数据集,形成了一组非官方的成绩谱:
| 工作类型 | 方法要点 | 报告成绩 |
|---|---|---|
| DeFungi-CNN(GitHub 复现) | EfficientNetV2-B0 + 迁移学习;自定义 75/15/10 划分 | Macro-F1 = 0.86(test) |
| 图像增强 + 特征融合(Dimensions 收录) | CLAHE + 中值滤波增强;VGG-16/ResNet-18/ResNet-50 多层级特征融合 | ResNet-50 中层融合 mean class accuracy 97.23% |
| Deep-ANFN 特征选择(IEEE) | 混合深度特征 + ANFN 通道选择;70/30 划分 | 报告在 DeFungi 上验证特征通道选择有效性 |
如何正确解读这些数字:
- 它们不是官方基准。UCI 明确"No recommended data splits"——每个人用自己切的划分,测试集不同,数字不可直接横向比较。
- 准确率语义不同。Macro-F1(0.86)与 mean class accuracy(97.23%)是不同指标;后者对每类准确率取平均,前者是每类 F1 取平均。在失衡数据上二者不可互换解读。
- 改进方向的一致性值得注意。第三方提升集中在"增强对比度 + 特征融合",这恰好印证了 §4.4 判断的难点——类间相似、细节对比度不足。这比绝对数字本身更有信息量。
5.3 指标选择的建议
在 DeFungi 这类失衡数据上,指标选择直接决定结论的可信度:
- 不要只看 accuracy:常预测 TSH 就有 48.3% 的虚高基线,accuracy 会掩盖小类崩塌。
- 优先 Macro-F1 或 balanced accuracy:对五类等权,能暴露 GMA/SHC/BBH 的识别困难。
- 报告混淆矩阵:尤其关注 BASH ↔ GMA(同现象不同排列)、TSH ↔ SHC(有无厚垣孢子)这两对易混。
- 按原始视野分组评估(如果可能):避免近重复泄漏造成的虚高(见 §10)。
5.4 复现的可行性与成本
DeFungi 的复现门槛极低,这也是它的教学价值所在:
- 数据体积 149.1 MB:一次下载即可到手,不需要 TB 级存储。
- 单卡可训:500×500 图像 + EfficientNetV2-B0(约 6M 参数)在 Apple M1 Pro(Metal 加速)上约 1h30m 完成训练(DeFungi-CNN 报告值)。
- 依赖简单:ucimlrepo(一行取数)+ 主流深度学习框架即可。
这意味着 DeFungi 非常适合做课程作业、方法快速验证、类别失衡技巧实验——从下载到出第一个 baseline,通常是"半天级"的工作量。
5.5 一个可复现的最小实验方案
给想快速上手的读者一份可直接照做的方案:
目标:复现论文的迁移学习基线数量级(80%+ accuracy)。
步骤:
- 数据准备:UCI 取数后,把五类图像按标签分文件夹;统计计数确认 4404/2334/819/818/739。
- 划分:k 折(k=5)或固定 75/15/10。强烈建议先做一次相似度去重审计,把近重复图像分组,按组划分。
- 模型:ImageNet 预训练 ResNet50 或 VGG16(论文迁移学习最佳是 VGG16)。替换最后分类层为 5 类输出。
- 训练:交叉熵损失 + class weight(按 1/N_c 反比加权,缓解失衡);Adam 或 SGD with momentum;早停监控验证 Macro-F1。
- 增强:颜色扰动(因色彩未归一化)、随机翻转、轻度旋转。避免过强的几何增强(可能破坏形态语义)。
- 评测:报告 Macro-F1、balanced accuracy、五类混淆矩阵、每类 precision/recall。
- 对照:与论文数字(迁移 85.04%)比较时,注明你的划分与指标与论文不同,仅作数量级参考。
预期:VGG16/ResNet50 迁移微调通常能落在 80-88% accuracy 区间(取决于划分);若明显高于 90%,高度怀疑近重复泄漏,请回头检查划分。
探针实验(有信息量):
- 关掉 class weight,观察小三类(GMA/SHC/BBH)的 per-class recall 崩塌程度。
- 只做随机划分 vs 做好去重划分,比较成绩落差——落差本身就是泄漏的量化证据。
5.6 论文实验设计的三点评价
正面看,DeFungi 论文用"两个范式 × 三个模型"的简洁设计给出了稳定、可复现的起点;它没有追逐 SOTA,而是刻意保持克制,这符合"建立参照点"的定位。
需要保留的态度:
- 单一划分来源:论文用 k-fold,但未公布折划分的具体种子/文件,第三方无法完全对齐。
- 指标偏 accuracy:论文主要报 accuracy,未系统报 Macro-F1/混淆矩阵,掩盖了类别失衡下的类间差异。
- 未讨论泄漏:论文未提及切块带来的近重复风险,也未说明 k-fold 是否按原视野分组。
这三点不削弱论文作为"起点"的价值,但提醒使用者:引用其数字时要理解其边界。
5.7 论文数据与结果的完整台账
把论文(arXiv:2109.07322)中所有可核验的硬信息集中成台账,方便引用时定位:
| 类别 | 项 | 值 |
|---|---|---|
| 论文 | 标题 | DeFungi: Direct Mycological Examination of Microscopic Fungi Images |
| 论文 | 作者 | Camilo Javier Pineda Sopo, Farshid Hajati, Soheila Gheisari |
| 论文 | 提交日期 | 2021-09-15 |
| 论文 | arXiv 编号 | 2109.07322 |
| 论文 | DOI | 10.48550/arXiv.2109.07322 |
| 论文 | 分类 | eess.IV; cs.CV; cs.LG |
| 数据 | 图像总数 | 9,114 |
| 数据 | 类别数 | 5 |
| 数据 | 原始图数 | 3,025 |
| 方法 | 骨干网络 | VGG16, Inception V3, ResNet50 |
| 方法 | 范式 | from scratch + transfer learning(ImageNet) |
| 方法 | 验证 | k-fold cross-validation |
| 结果 | 从头最佳 | Inception V3, 73.2% |
| 结果 | 迁移最佳 | VGG16, 85.04% |
| 发布 | 渠道 | Kaggle + GitHub(论文时点) |
| 发布 | 入藏 | UCI id=773, 2023-01-28 |
这张表把"论文说什么"与"数据集是什么"分开列,避免把论文声明的成绩误当成数据集的内在属性——成绩是模型+数据+划分的联合结果,不是数据的固有指标。
5.8 常见误读纠正
最后,集中纠正三种在引用 DeFungi 时反复出现的误读:
误读一:“DeFungi 的识别准确率是 85%。”
错。85.04% 是"VGG16 + ImageNet 迁移 + 论文的 k-fold 划分"这一特定配置下的成绩,不是数据集属性,也不是任何模型都能达到的基线。正确说法是"论文报告该配置下达到 85.04%"。
误读二:“DeFungi 有 9,114 个独立样本。”
不精确。9,114 张图像来自 3,025 个原始视野,独立样本的"有效量"可能远小于 9,114。谈数据规模时最好同时给出 3,025 这个起点。
误读三:“DeFungi 能诊断真菌感染。”
错。它做的是镜下形态五分类,是诊断链最上游的辅助信号,不是诊断。数据无患者信息、无临床标签,无法支撑诊断级结论。
把这三条纠正记牢,基本可以避免对 DeFungi 最常见的误用。
§6 获取与许可
6.1 三种获取方式(版本链)
DeFungi 的获取路径随时间演进,形成一条清晰的版本链:
| 阶段 | 时间 | 渠道 | 说明 |
|---|---|---|---|
| 原始发布 | 2021(论文时点) | Kaggle + GitHub | 论文原文称数据集发布于二者以促进后续研究 |
| 正式入藏 | 2023-01-28 | UCI ML Repository,id=773 | 官方元数据、直链下载、编程接口 |
| 二次托管 | 未核 | HuggingFace 等 | 本轮未核实是否有官方/镜像托管(见 §10) |
当前推荐入口(UCI):
- 直链下载:
https://datalab-12.ics.uci.edu/static/public/773/defungi.zip(149.1 MB) - 编程接口:
pip install ucimlrepo
from ucimlrepo import fetch_ucirepo
defungi = fetch_ucirepo(id=773)
X = defungi.data.features
y = defungi.data.targets
- 数据集页:UCI id=773 页面(含文件列表、元数据、引用格式)
6.2 许可:CC BY 4.0 的宽与窄
DeFungi 采用 CC BY 4.0(Creative Commons Attribution 4.0 International)。UCI 页面明确标注,并附许可全文链接。这套许可的含义:
- ✅ 可以:共享(复制、分发)、改编(修改、二次创作)、任何目的(含商业用途)。
- ⚠️ 必须:署名——保留作者归属,注明许可,并说明是否做了修改。
- ❌ 不需要:不需要额外申请、不需要签署协议、不限制研究/商用分野。
这比"仅限学术研究(research only)"类的医学数据集宽松得多,意味着 DeFungi 生成的模型理论上可用于商业产品——但仍需遵守署名的衍生义务,并在临床场景中接受医疗法规的独立约束(数据集许可不等于医疗器械合规)。
引用格式(UCI 官方):
Hajati, F., Javier Pineda Sopo, C., Hajati, F., & Gheisari, S. (2021). DeFungi [Dataset]. UCI Machine Learning Repository. https://doi.org/10.48550/arXiv.2109.07322.
注意 UCI 的引用里 Hajati 被列了两次(第一与第三作者位),这是 UCI 元数据录入的重复,本条目按原始记录照抄并在此说明。
6.3 论文与数据集的许可区分
一个常见混淆:论文的许可与数据集的许可是两件事。
- 数据集本体:CC BY 4.0(UCI 明示)。
- 论文(arXiv:2109.07322):由 arXiv 承载,DOI 10.48550/arXiv.2109.07322;arXiv 预印本与 Medical Mycology 正刊的论文本身另有其版权约定,不等于数据集的 CC BY 4.0。
引用数据集时用 CC BY 4.0;引用论文内容时遵循论文的引用规范。二者不要混为一谈。
6.4 AI-Ready 维度评估
从"AI-Ready"(即数据能否直接、低摩擦地喂给模型)的角度看 DeFungi:
| 维度 | 评价 | 说明 |
|---|---|---|
| 可获取性 | ★★★★☆ | UCI 直链+API 一行取数,CC BY 4.0 |
| 格式友好度 | ★★★★★ | JPEG 图像文件夹,无需复杂解析 |
| 标签完备度 | ★★★☆☆ | 仅图像级单标签,无患者/病灶元数据 |
| 划分完备度 | ★★☆☆☆ | 无官方划分,需自切且有泄漏风险 |
| 规模充分度 | ★★☆☆☆ | 9,114 张,偏小,易过拟合 |
| 文档完备度 | ★★★☆☆ | UCI 元数据规范,但类别明细、编码规则、标注机制不全 |
总体:它是一个"拿来即用"的入门资源,但不是"开箱即评"的成熟基准。最大摩擦点是没有官方划分 + 近重复风险;最大优点是获取与格式的零门槛。
6.5 获取与入库实操备忘
- 下载校验:下载
defungi.zip后建议核对文件数与解压总大小(约 9,114 张 JPEG,压缩包 149.1 MB)。 - 目录结构:解压后为按批次命名的子目录(如 H5/、H6/ 等),文件名形如
H6_31a_3.jpg。UCI 未提供标签表格文件——标签信息可能编码在目录/文件名中,或以类目录形式给出,使用前需自行核对映射(这是使用初期常见的困惑点,见 §10)。 - 编程取数:
fetch_ucirepo(id=773)返回 X(features)/y(targets),适合直接接入 pandas/深度学习管线;若只需图像文件,走 zip 直链更直接。 - 存储建议:数据集很小(约 150 MB 级),无需特殊存储规划。
- 版本快照:UCI 未提供版本号/时间戳化的快照;引用时以抓取日期 + UCI id 定位。
6.6 合规边界:许可 ≠ 医疗器械合规
必须区分两层:
- 数据使用层:CC BY 4.0 允许广泛使用(含商用),只需署名。
- 产品合规层:若用该数据训练面向患者的诊断软件,需另行满足医疗器械法规(如 CE/FDA/NMPA 等)对数据质量、临床验证、可追溯性的要求——这些要求远高于"CC BY 4.0 允许使用"。
DeFungi 本身规模小、标签为形态级、无患者信息,不构成产品级临床验证数据。把它用于合规产品的训练/验证证据链,需要额外的、更严格的数据来源补充。
6.7 许可与获取的常见误解澄清
围绕 DeFungi 的许可与获取,有三种常见误解:
误解一:“CC BY 4.0 意味着可以不用署名。”
不。CC BY 的核心义务就是署名(BY = attribution)。可以商用、可以改,但必须保留作者归属、注明许可、说明是否修改。
误解二:“论文是开源的,所以数据也是随便用。”
不。论文由 arXiv/Medical Mycology 承载,其版权与数据集的 CC BY 4.0 是两回事。引用数据集按 CC BY 4.0,引用论文内容按论文规范。
误解三:“UCI 上的数据集都是研究专用。”
不。UCI 各数据集的许可逐个不同,DeFungi 恰是其中许可宽松的一类(CC BY 4.0)。判断某个 UCI 数据集能否商用,必须看它各自页面的许可声明,不能一概而论。
澄清这三点,可以避免在署名、引用与商用判断上出错。
§7 生态与影响
7.1 学术谱系与引用生态
DeFungi 的影响力主要体现为被广泛用作对比数据集,而非被大规模扩展。检索可见它在多条技术路线的论文中作为基准出现:
- 特征选择/降维:IEEE 的 Hybrid Deep-ANFN 工作把 DeFungi 与 CIFAR-10、自然图像并列,验证"按类选择特征通道"的方法(70/30 划分)。
- 跨域分类:INFORMATICA 期刊的 OD-Abs 工作把 DeFungi 作为"真菌"参照类,与细菌数据集(DIBaS、DeepBacs)联合,研究脓肿样本的细菌 vs 真菌判别。
- 增强+融合:图像增强与多层级特征融合工作用 DeFungi 验证 CLAHE + ResNet 融合的有效性(97.23%)。
这种"被当参照物"的地位,恰恰说明它填补了一个真实空白——在它之前,真菌镜检分类几乎没有可引用的公共基准。
7.2 应用方向的自然延伸
DeFungi 的形态学标签体系,天然向几个方向延伸:
- 农业病害:搜索文献明确指出,真菌的及时准确识别对临床诊断与农业病害管理都重要——同样的显微形态分类技术可迁移到作物病原真菌识别。
- 床旁/低资源现场诊断:直接镜检是资源受限场景下最可行的真菌诊断手段,自动化镜检判读有基层落地价值。
- 多域真菌图像统一:把镜检图像与培养菌落图像、皮肤镜图像纳入统一的真菌识别框架,是可见的下一步。
7.3 在库内生态中的位置
在千方病案医数集的库内,DeFungi 处于三个家族的交叉点:
- 皮肤影像家族:与 HAM10000、ISIC 系列、PH2、derm7pt 同属"皮肤相关",但成像层级不同(镜下 vs 表面)。它是这个家族里少有的显微视角。
- 显微判读家族:与 NIH Malaria(血涂片疟疾)、clinical-bacteria-zn(细菌显微)共享"显微镜图像 + 病原判读"的方法论骨架。
- 病理/细胞学家族:与 unitopatho、digestpath、breastpathq、lightmycells2 同属"高倍率显微图像分类"范式。
DeFungi 因此在库内扮演一个跨家族连接件的角色——它是把"皮肤域"与"显微判读域"接起来的少数条目之一。
7.4 真实世界影响的边界
需要克制地评估 DeFungi 的实际影响。它不是:
- 一个驱动临床产品落地的数据集(规模小、标签为形态级、无患者信息);
- 一个竞争激烈的排行榜数据集(无官方划分、无 leaderboard);
- 一个持续更新演进的活数据集(UCI 入藏后基本静止)。
它是:
- 真菌镜检 AI 的第一个公共参照点(其历史意义主要在此);
- 一个优秀的教学与快速原型资源(体积小、门槛低、问题清晰);
- 一个观察类别失衡 + 细粒度相似 + 近重复泄漏三类工程问题的现实样本。
把它当作"起点石"而非"里程碑",是对它最准确的定位。
7.5 与同类"形态学分类数据集"的横向对照
DeFungi 不是唯一一个"显微镜形态分类"数据集。把它与库内外的同类放在一起,能看清它的独特性:
| 数据集 | 影像对象 | 类别 | 层级 | 与 DeFungi 的异同 |
|---|---|---|---|---|
| DeFungi | 真菌结构(镜检) | 5 类形态 | 微生物镜检 | 本文主体 |
| NIH Malaria | 疟原虫(血涂片) | 感染/未感染 | 细胞镜检 | 同为显微判读,任务为二分类 |
| clinical-bacteria-zn | 细菌(染色镜检) | 菌种/形态 | 微生物镜检 | 细菌侧对照,可做「细菌 vs 真菌」 |
| unitopatho | 组织切片 | 多种组织类型 | 组织病理 | 同为高倍显微分类,分辨率更高 |
| HAM10000 | 皮肤皮损 | 7 类皮肤病 | 皮肤镜 | 同域(皮肤)不同层(表面 vs 镜下) |
独特之处:DeFungi 是少数把「病原体形态」作为标签主体的公开数据集之一。多数医学显微数据集标的是「组织类型」或「疾病」,而 DeFungi 标的是「菌体本身长什么样」——这使它成为研究「病原形态自动识别」这一专门方向的稀缺资源。
对科研选型的建议:如果你的研究问题涉及「病原体形态的细粒度识别」,DeFungi 几乎是必选项;如果你的问题是「真菌感染的临床分类」,则 DeFungi 只是工具链上的一环,需要与培养/分子/临床数据结合才完整。
7.6 引用 DeFungi 时应当说明的六件事
一份"引用检查清单",帮助你在论文/报告中准确描述这个数据集:
- 规模口径:写"9,114 张图像(源自 3,025 张原始镜检图)",不要只写 9,114 造成"独立样本"的误解。
- 标签语义:说明标签是"真菌形态学类别(TSH/BASH/GMA/SHC/BBH)",而非物种或病名。
- 划分:说明你自建的划分方式与是否做了去重(因为无官方划分)。
- 指标:说明用了 Macro-F1 还是 accuracy,为何选它(失衡)。
- 来源与许可:注明 UCI id=773、CC BY 4.0,并给出正确引用。
- 局限:至少提及"无患者元数据/单一设备/无标注一致性证据"中的一项。
把这六件事写全,你的工作就与大量"随手一引"的工作拉开了差距——对数据集的精确描述,本身就是研究严谨性的一部分。
§8 方法学启示:八条可迁移的经验
8.1 "自动切块 + 专家策展"是低成本数据集生产的可行公式
DeFungi 展示了如何用极小的人力把 3,025 张原始图变成 9,114 张可用样本:机器负责切块、过滤、去噪,人只负责判断类别。这条"加工换人工"的路线,对缺乏标注预算的小实验室尤其有参考价值。经验:当原始素材是连续视野图像时,自动化 patch 提取 + 单次人工标注,可以在可控成本下把有效样本量放大约 3 倍。
8.2 形态学标签与诊断标签必须分开设计
DeFungi 刻意使用形态结构(hyphae/conidia 形态)而非病种作为标签。这是一条被低估的设计智慧:形态标签更稳定、更可复现(不同观察者对"这是不是关节孢子"的分歧,小于对"这是什么病"的分歧),也更容易被非临床背景的标注者掌握。经验:设计医学数据集标签时,若目标任务是辅助判读而非下诊断,优先选择可在图像中客观指认的形态/结构标签。
8.3 类别失衡要"先诊断结构,再选方法"
DeFungi 的失衡不是长尾,而是"两超三小"(48%+26% vs 9%+9%+8%)。识别出这一结构后,简单的 class weight 或对小三类适度过采样可能就够了,不必上复杂的重加权/元学习。经验:先画类别分布图判断失衡类型(长尾 / 两超多小 / 双峰),再决定采样与损失策略;Macro-F1 是这类数据的首选指标。
8.4 无官方划分的数据集,必须自建"防泄漏"划分协议
DeFungi 没有官方划分,而它的图像又来自切块(近重复风险)。这构成一个必须自建协议的现实约束。经验:使用切块而来、无原图映射的数据集时,应在论文中明确声明划分策略与局限性;更严谨的做法是通过感知哈希/图像相似度做去重分组后再划分,即使数据集本身没提供映射。
8.5 把"获取门槛"当作数据集价值的一部分来评估
DeFungi 的学术影响,很大程度上来自它的低门槛:一个 149 MB 的压缩包、一行 API、CC BY 4.0 许可,让任何研究者都能在半天内跑出 baseline。相比之下,许多更大更权威的医学数据集因申请流程、许可限制、存储需求而降低了实际使用率。经验:评估一个数据集的真实影响力时,不能只看规模和权威性,也要看"从知道它到用上它"的摩擦成本——DeFungi 是"低摩擦带来高引用"的典型案例。
8.6 单一采集设备是可迁移性的隐性天花板
DeFungi 全部图像来自同一台消费级相机。这意味着任何在 DeFungi 上训练出的模型,其泛化能力都未经跨设备检验。经验:当数据集明确来自单一设备/单一中心时,任何"模型已学会识别真菌形态"的结论都应加上"在本采集条件下"的前缀;跨中心验证是这类数据集走向实用前不可省略的一步。
8.7 负样本缺失会让"有没有"的判断无从训练
DeFungi 在预处理阶段剔除了所有不含真菌的 patch,这使模型只见过"处处是真菌"的世界。经验:若下游任务需要判断"样本里有没有目标",必须自行补充负样本,否则模型会养成"无论如何都答一个类别"的倾向。这是一个在数据集构建阶段就该被记录、在使用阶段最容易被忽略的设计取舍。
8.8 冷门生态位的小数据集也有不可替代的价值
DeFungi 规模不大、不算新、文档也有缺口,却在"真菌镜检分类"这一几乎没有竞争者的生态位上占据了公共参照的位置。经验:评价一个数据集的价值,不能只看绝对指标(规模、被引、时效),还要看它是否填补了一个别人没填的空白。填补空白的"小而正"数据集,其长期价值常常超过规模更大却重复的产品。
§9 与库内条目的关系
9.1 家族图谱
DeFungi 在库内横跨三个家族,是无缝连接"皮肤域"与"显微判读域"的关键条目:
┌────────────────────────────────────────────┐
│ 皮肤相关影像(同域) │
│ HAM10000 · ISIC-2018/2019/2020 · PH2 · │
│ derm7pt · fitzpatrick-17k · pad-ufes-20 · │
│ skincap · skincon · derm1m · derm12345 │
└───────────────────┬────────────────────────┘
│ 成像层级不同(表面 vs 镜下)
┌───────────────────▼────────────────────────┐
│ ★ DeFungi ★ │
│ 浅表真菌感染直接镜检 · 500×500 · 5 类形态 │
└───────┬───────────────────────────┬────────┘
│ │
┌─────────────────▼──────────┐ ┌────────────▼───────────────┐
│ 显微病原判读(方法论) │ │ 高倍率显微图像分类(范式) │
│ NIH Malaria · │ │ unitopatho · digestpath · │
│ clinical-bacteria-zn · │ │ breastpathq · │
│ geisinger-mycode · │ │ lightmycells2 │
│ montgomery-tb/shenzhen-tb │ │ │
└────────────────────────────┘ └────────────────────────────┘
9.2 库内可互链条目(含 rid)
| 家族 | 条目 | rid | 互链理由 |
|---|---|---|---|
| 皮肤影像 | HAM10000 | 60 | 同为皮肤相关分类数据集,成像层级互补(皮肤镜 vs 镜检) |
| 皮肤影像 | ISIC-2018 | 710 | 皮肤图像分类基准,可比对任务范式 |
| 皮肤影像 | ISIC-2019 | 707 | 同上 |
| 皮肤影像 | ISIC-2020 | 715 | 同上 |
| 皮肤影像 | isic-archive | 56 | 皮肤影像历史归档 |
| 皮肤影像 | derm7pt | 110 | 皮肤镜七分类,类别失衡结构可对照 |
| 皮肤影像 | fitzpatrick-17k | 55 | 肤色分布数据集,提示"镜下图像是否也需肤色/采集偏置分析" |
| 皮肤影像 | pad-ufes-20 | 151 | 皮肤病变图像,扩展皮肤域互链 |
| 皮肤影像 | PH2 | 121 | 皮肤镜小样本基准 |
| 皮肤影像 | skincap | 782 | 皮肤影像标注资源 |
| 皮肤影像 | skincon | 784 | 皮肤概念标注数据集 |
| 皮肤影像 | derm1m | 783 | 大规模皮肤影像-文本资源 |
| 皮肤影像 | derm12345 | 742 | 皮肤影像资源 |
| 显微判读 | nih-malaria | 502 | 血涂片疟疾显微分类,方法论骨架高度相似 |
| 显微判读 | clinical-bacteria-zn | 872 | 细菌显微图像数据集,可直接对照"细菌 vs 真菌"判读 |
| 显微判读 | geisinger-mycode | 520 | 显微/病理相关资源 |
| 感染筛查 | montgomery-tb | 157 | 结核显微判读,同属"显微镜+传染病筛查" |
| 感染筛查 | shenzhen-tb | 167 | 同上 |
| 感染筛查 | tbx11k | 177 | 结核胸片数据集,感染域互链 |
| 感染筛查 | ai-tb-zn | 875 | 结核 AI 数据集 |
| 病理图像 | unitopatho | 701 | 高倍率病理图像分类 |
| 病理图像 | digestpath | 338 | 病理图像分割/分类 |
| 病理图像 | breastpathq | 268 | 病理图像质量评估 |
| 病理图像 | lightmycells2 | 631 | 细胞显微图像资源 |
| 医学问答 | pathvqa | 260 | 病理图像问答,可延伸为真菌图像的 VQA |
| 报告生成 | radgraph2-radiology-reports | 622 | 报告生成范式对照(远期扩展方向) |
9.3 检索路径建议
- 查皮肤影像全景:从 HAM10000 与 ISIC 系列出发,DeFungi 是其中唯一的显微镜层级条目,注意区分。
- 查显微图像判读:从 NIH Malaria 与 clinical-bacteria-zn 出发,DeFungi 与它们共同构成"病原显微图像分类"的小群落。
- 查类别失衡方法:DeFungi(两超三小)与 derm7pt(长尾)可作两种失衡结构的对照样本。
9.4 建议互链点(frontmatter 只放纯 URL,说明写正文)
本条目的正文建议与以下库内条目建立互链(URL 形如 https://www.qianfanghub.com/ai-ready-dataset/<slug>/0,slug 与 rid 对照如下):
| 优先级 | slug | rid | 互链理由 |
|---|---|---|---|
| P0 | ham10000 | 60 | 皮肤相关影像,成像层级互补,最直接的对照 |
| P0 | nih-malaria | 502 | 显微病原判读范式最贴近的同类 |
| P1 | clinical-bacteria-zn | 872 | 细菌显微对照,可类比「细菌 vs 真菌」判读 |
| P1 | isic-2020 | 715 | 皮肤影像分类基准 |
| P1 | unitopatho | 701 | 高倍显微图像分类范式 |
| P2 | derm7pt | 110 | 类别失衡结构对照 |
| P2 | digestpath | 338 | 病理图像分类/分割 |
说明:如出现 slug/rid 变更,以正文表格为准——frontmatter 中的
relatedLink只写纯 URL,不写任何中文说明(见 R012 教训)。
9.5 库内联合研究设想
把 DeFungi 与库内其他条目组合,可以支撑几种跨数据集研究:
- 皮肤影像全域综述:DeFungi(镜下)+ HAM10000/ISIC(皮损)+ PH2/derm7pt(皮肤镜)构成"从显微镜到皮肤表面"的完整皮肤影像谱,可做"皮肤相关 AI 任务的层级差异"分析。
- 显微判读方法迁移:DeFungi + NIH Malaria + clinical-bacteria-zn 构成"病原显微图像"小群落,可研究跨病原(真菌/寄生虫/细菌)的形态识别迁移。
- 类别失衡方法横评:DeFungi(两超三小)+ derm7pt(长尾)+ 其他失衡数据集,构建失衡方法的多结构基准。
- 病理图像范式对照:DeFungi + unitopatho + digestpath 对比"微生物镜检"与"组织病理"两类高倍图像分类的难点差异。
这些组合的价值在于:库内已经把"同域不同层"的条目收齐了,研究者可以低成本地做跨条目的方法论对照,而不必自己去搜集和清洗数据。
§10 避坑清单:十个已踩过的坑
以下编号为「坑点 N:」制,覆盖数据理解、使用、评测、引用四个环节的实证风险。
坑点 1:把形态学标签当成物种/临床诊断标签。
TSH/BASH/GMA/SHC/BBH 是显微镜下的形态结构描述,不是真菌种属,也不是临床病名。把模型输出的"BASH"直接解读为某种疾病或某株真菌,是最常见的根本性误用。正确理解:模型输出的是"镜检下看到哪一类形态",仅作诊断链上游的辅助信号。
坑点 2:忽略类别失衡,只用 accuracy 报成绩。
一个恒预测 TSH 的朴素模型就能拿到 48.3% 的 accuracy。若论文只报 accuracy,会把小类(GMA/SHC/BBH)的崩塌完全掩盖。必须用 Macro-F1 或 balanced accuracy,并报告混淆矩阵,尤其在 BASH↔GMA、TSH↔SHC 这两对易混类上。
坑点 3:按图像随机划分 train/test,导致近重复泄漏。
9,114 张是从 3,025 张原始视野切块而来的(平均约 3 张/视野),同一视野的多张 patch 高度相似。随机划分会让几乎相同的图像同时进入训练与测试,测试成绩虚高。而数据集未提供原图→patch 的映射,这是最棘手的一坑——缓解手段只能靠感知哈希/相似度去重后分组,且应在论文中声明局限。
坑点 4:误把 DeFungi 当皮肤镜数据集,与 HAM10000 混用。
DeFungi 是显微镜图像,HAM10000 是皮肤镜图像,输入分布与任务语义完全不同层。把二者拼成一个"皮肤数据集"做多任务训练,是方法论错误。它们是诊断链的不同环节,不是同一环节的不同来源。
坑点 5:跨论文直接横向比较准确率。
UCI 明确"No recommended data splits",每个人自切划分(k-fold、75/15/10、70/30 各不相同),测试集不同、指标口径不同(accuracy vs mean class accuracy vs Macro-F1)。把 85.04%、0.86、97.23% 放在一起排名是无意义的。引用时必须连同划分协议与指标定义一起报。
坑点 6:期待患者级信息或亚组分析。
数据集没有任何患者级元数据(无年龄、性别、部位、采集时间)。任何"按患者划分""按性别分层"的分析都无法进行。这限制了临床验证价值,也让"数据是否代表目标人群"无从判断。
坑点 7:忽视单一采集设备与未归一化色彩带来的偏置。
全部原图由同一台 Sony DSC W830拍摄,且数据集未做统一的显色归一化。模型学到的可能是该设备的色彩/纹理特征,而非真菌的生物学特征。跨设备、跨显微镜迁移时性能可能显著下降——做迁移评测是必要的。
坑点 8:把第三方复现结果当官方基准。
论文官方最佳是"从头训练 73.2%(Inception V3)/ 迁移学习 85.04%(VGG16)“。DeFungi-CNN 的 0.86 Macro-F1、增强融合工作的 97.23% 都是第三方结果,各有自定义划分与增强策略。引用时须明确区分"论文基线"与"第三方改进”。
坑点 9:混淆论文许可与数据集许可。
数据集是 CC BY 4.0(UCI 明示,含商用);论文本身(arXiv/Medical Mycology)另有版权口径。用数据集按 CC BY 4.0 署名,引论文按论文引用规范——两者不要混。另注意 UCI 引用格式中 Hajati 被重复列了两次,为 UCI 录入重复,非真实作者结构。
坑点 10:误以为有官方 leaderboard 或冻结测试集。
DeFungi 没有竞赛、没有排行榜、没有冻结测试集。它是静态资源,不是竞技场。想要可比成绩,只能在自己的划分协议下自建基线,并公开协议细节。
10.1 坑点应对速查表
把十个坑点对应的"正确做法"浓缩成一张表,便于执行时对照:
| 坑点 | 错误做法 | 正确做法 |
|---|---|---|
| 1 语义越界 | 把形态标签当诊断 | 只用形态语义,注明非诊断 |
| 2 失衡掩盖 | 只报 accuracy | 报 Macro-F1 + 混淆矩阵 |
| 3 近重复泄漏 | 随机划分 train/test | 相似度去重后按组划分 |
| 4 域混淆 | 与皮肤镜数据混训 | 区分镜下 vs 表面两层 |
| 5 跨论文比数 | 直接排名不同论文成绩 | 连同划分与指标一起报 |
| 6 缺元数据 | 期待患者级分析 | 承认无患者信息,限定结论 |
| 7 设备偏置 | 假设已泛化 | 声明"本采集条件下",做跨设备测试 |
| 8 基线混淆 | 把第三方当官方 | 明确区分官方基线与第三方改进 |
| 9 许可混淆 | 论文许可当数据集许可 | 数据集按 CC BY 4.0,论文另循 |
| 10 无 leaderboard | 期待可刷分基准 | 自建划分协议并公开 |
一张图记住取舍:DeFungi 好用(易获取、易训练、许可宽),但要小心(无划分、有泄漏、无元数据、标签粗)。"用它"和"信它"是两件事——可以放心用它练手与验证方法,不能不加限定地信它的成绩与结论。
§11 深度专题:六个值得展开的技术话题
11.1 专题一:显微镜图像分类为什么和自然图像分类不同
把 DeFungi 当作"又一个 ImageNet 式的图像分类任务"是常见误解。显微镜图像与自然照片存在几处本质差异,直接影响建模选择:
差异一:纹理主导而非物体主导。 自然照片里,分类靠的是物体轮廓(猫有耳朵、车有轮子)。显微镜图像里,判别靠的是纹理与拓扑结构——菌丝的粗细、分隔的疏密、孢子的排列方式。这解释了为什么增强局部对比度(CLAHE)能显著提升性能:它强化的是纹理细节。
差异二:尺度不固定。 同一类真菌在不同放大倍数、不同视野下占据的像素量不同。DeFungi 通过统一切 500×500 缓解了这一点,但也可能切断了跨视野的上下文信息。
差异三:色彩是辅助而非主轴。 显微镜图像的"颜色"往往携带采集条件(照明、染色、白平衡)的信息,而非生物学信息。这使颜色增强既是数据增广手段,也可能是引入噪声的来源——需要谨慎。
差异四:类间连续性。 自然图像类别边界清晰(猫 vs 狗),而真菌形态是连续谱系——BASH 和 GMA 之间可能只是排列疏密的渐变。这种"类间连续"是医学形态分类的固有难点。
实践含义:在 DeFungi 上,不要照搬自然图像的经验(如强几何增强)。应偏向对比度/纹理增强 + 轻度几何变换,并优先选用擅长细粒度纹理的骨干(如 EfficientNet 系列、带注意力机制的模型)。
11.2 专题二:类别失衡的五种处理策略与取舍
DeFungi 的"两超三小"失衡(4404:739 ≈ 6:1)是标准的中度失衡。可选策略与取舍:
| 策略 | 做法 | 优点 | 风险 |
|---|---|---|---|
| Class weight | 损失按 1/N_c 加权 | 实现简单,不动数据 | 权重过大可能压垮多数类 |
| 过采样小类 | 复制/增强小三类 | 提升小类召回 | 小类过拟合、放大近重复 |
| 欠采样大类 | 丢弃部分 TSH/BASH | 均衡快 | 丢失信息,总样本量下降 |
| Focal loss | 聚焦难分样本 | 缓解失衡 + 难例 | 需调参,可能不稳定 |
| 集成/重加权 | 多模型/多权重集成 | 稳健 | 计算成本高 |
针对 DeFungi 的建议:因失衡不是极端长尾,class weight + 轻度小类增强通常足够。重点监控小三类(GMA/SHC/BBH)的 per-class recall——若某类 recall 低于 0.5,说明策略不到位。不建议对 819 张的 GMA 做重度过采样,这会因近重复问题放大过拟合。
11.3 专题三:如何量化并缓解近重复泄漏
近重复泄漏是 DeFungi 最隐蔽也最危险的坑。一套可执行的诊断与缓解流程:
第 1 步:诊断。 用预训练模型(如 ImageNet CNN 或通用视觉模型)提取全部 9,114 张图的嵌入向量,计算两两余弦相似度;统计"每张图有多少张相似度 > 0.95 的邻居"。若大量图像有此邻居,泄漏风险确认存在。
第 2 步:聚类分组。 对相似图中高于阈值的边做连通分量聚类——每个连通分量视为"疑似同视野组"。
第 3 步:按组划分。 划分时保证同一组的全部图像落在同一侧(全训练或全测试),而非按图像随机切分。
第 4 步:量化落差。 分别用随机划分与分组划分训练同一模型,比较成绩。两者的差值即为泄漏虚高的量化估计——这个差值本身就是论文里很有价值的分析。
第 5 步:报告。 在论文中明确声明用了分组划分,并报告去重后的图像数(会小于 9,114)。
这套流程的代价是需要额外算力做嵌入提取,但换来的评测可信度提升是根本性的。任何在 DeFungi 上报高分的严肃工作,都应至少做过这套诊断。
11.4 专题四:形态标签的"可指认性"与标注成本
DeFungi 的标签设计藏着一个值得学习的洞察:好的标注标签应该在图像里"可被手指指出来"。
- “这是 BASH”——标注者可以用手指点出那条串珠状的菌丝,判断是局部的、可验证的。
- “这是某种皮肤癣菌”——标注者需要物种知识,判断是全图综合的、难验证的。
这解释了为什么 DeFungi 能以较低成本完成 9,114 张的标注:形态标签降低了标注者的准入门槛(不需要是病理专家),也降低了个体间分歧(指认比综合判断更客观)。
对数据集设计的启示:与其让标注者做"高级综合判断"(贵、易分歧),不如拆解成"可指认的局部判断"(便宜、一致)。若必须做高级判断,则要素化——把"诊断结论"拆成一组可指认的形态/结构特征标注。
11.5 专题五:从 DeFungi 出发的三条研究延长线
DeFungi 虽小,却可以是几条研究线的起点:
延长线 A:跨域泛化。 在 DeFungi 训练、在别的真菌显微数据(如细菌染色图像、其他中心的镜检图)测试,研究"病原形态识别"的域迁移难度。这是当前最缺的实证。
延长线 B:弱监督/自监督。 3,025 张原始图对应 9,114 张 patch,天然适合研究"如何用少量标注放大标签"。能否用原图级弱标签(一张原图里有什么形态)训 patch 级分类器?
延长线 C:多模态融合。 把镜检图像与临床元数据(部位、病程)、培养结果结合,研究多模态对诊断的价值——但前提是补足 DeFungi 缺失的元数据(可能需要新的数据来源)。
这三条线都指向同一个方向:从"形态分类"走向"诊断辅助",而 DeFungi 是这条路上已被验证的第一步。
11.6 专题六:如何设计一个"最小可信"的 DeFungi 实验
最后给出一份可直接照做的实验设计清单,目标是"结果可信、结论可辩护":
必须做的(可信底线):
- 去重分组划分(见 11.3),公开分组方法与去重后图像数。
- 报 Macro-F1 + balanced accuracy,附五类混淆矩阵。
- class weight 或平衡采样处理失衡。
- 明确声明"形态标签≠诊断标签"的语义边界。
应该做的(增强可信度):
5. 做一次消融:随机划分 vs 分组划分的成绩对比(量化泄漏)。
6. 做一次跨尺寸/跨骨干对比(224 vs 384;ResNet vs EfficientNet)。
7. 与论文基线(迁移 85.04%)对比时,说明划分与指标差异。
可以做的(加分项):
8. 单类召回分析,定位小三类(GMA/SHC/BBH)的失败模式。
9. 用 t-SNE/UMAP 可视化嵌入,观察类间可分性。
10. 做一次"无真菌"负样本的域外测试,评估误报倾向。
按这份清单走完,一篇关于 DeFungi 的工作基本达到"可发表、可复现、可辩护"的水准。它的核心不是把分数刷高,而是把"我知道自己在测什么"这件事说清楚——这正是从"跑通模型"到"做对研究"之间最常被跳过的一步。
§12 总结
12.1 三句话总结
- 是什么:DeFungi 是 Victoria University 团队把哥伦比亚某真菌学实验室捐赠的 3,025 张直接镜检原图,经自动切块过滤得到 9,114 张 500×500 彩色显微图像,按 TSH/BASH/GMA/SHC/BBH 五种真菌形态人工标注、专家策展的图像级五分类数据集,CC BY 4.0,2023-01-28 入藏 UCI(id=773)。
- 为什么重要:它填补了真菌诊断最早期直接镜检环节缺乏公共参考基准的空白,用两个经典范式给出第一组可比数字(从头 73.2% / 迁移 85.04%)。
- 怎么用:把它当"入门级、类别失衡、无官方划分"的显微图像分类基准——用 Macro-F1 评测、自建防泄漏划分、严守"形态标签≠诊断标签"的语义边界。
12.2 适合谁
- 医学图像分类入门者:数据小、门槛低、问题清晰,半天可出 baseline。
- 类别失衡/细粒度方法研究者:6:1 失衡 + 高类间相似,是天然的实验场。
- 皮肤影像数据集建设者:一条低成本"切块+策展"路线可借鉴。
- 真菌诊断流程设计者:了解 AI 在镜检最前端能做什么、不能做什么。
- 教学与课程项目:从下载到出结果的完整闭环,依赖简单。
12.3 不适合谁
- 需要临床级标签保证的研究:无标注一致性证据、无患者信息、标签仅形态级。
- 需要大规模数据预训练的人:9,114 张远不够训练大模型,只够微调/验证。
- 追求排行榜式刷分的人:无官方划分与 leaderboard,刷分无意义。
- 需要物种级/属级真菌识别的人:DeFungi 不做物种鉴定。
12.4 30 秒决策卡
| 你需要… | DeFungi 是否合适 |
|---|---|
| 一个能立刻下载、立刻训练的医学图像分类任务 | ✅ 非常合适(149 MB,UCI 直链) |
| 皮肤相关影像研究 | ✅ 合适,但注意它是显微层,非皮肤镜 |
| 真菌形态分类方法快速验证 | ✅ 合适 |
| 真菌物种鉴定 | ❌ 不合适(仅形态级标签) |
| 临床诊断产品的高质量训练集 | ❌ 不合适(规模小、无患者信息、标签粗) |
| 需要官方划分的可比基准 | ❌ 不合适(无官方划分) |
| 大规模预训练语料 | ❌ 不合适(数据量小) |
12.5 一页纸速记
把整篇条目压缩成一页纸,供快速回顾:
| 关键问题 | 一句话答案 |
|---|---|
| 它是什么 | 真菌镜检图像五分类数据集(形态学) |
| 多大 | 9,114 张(源自 3,025 张原图),500×500 RGB,149.1 MB |
| 几类 | 5 类:TSH / BASH / GMA / SHC / BBH |
| 谁做的 | Victoria University;图像由哥伦比亚实验室捐赠 |
| 论文 | arXiv:2109.07322(2021);Medical Mycology 2021 |
| 在哪下 | UCI id=773,CC BY 4.0,直链 + ucimlrepo |
| 官方基线 | 从头 73.2%(Inception V3)/ 迁移 85.04%(VGG16) |
| 最大优点 | 门槛极低、可商用、问题清晰 |
| 最大风险 | 近重复泄漏 + 无官方划分 + 无患者信息 |
| 一句话忠告 | 形态不是诊断,结果要按去重划分来报 |
12.6 结语
DeFungi 是一个"小而正"的数据集:规模不大,却在真菌镜检这一冷门又真实的环节上,提供了第一块公开的参照石。它的全部价值与全部局限,都源于它把问题定位得很准——只解决"镜下看到哪类形态",不假装解决"这是什么病"。
对使用者而言,最重要的不是记住 73.2% 或 85.04% 这些数字,而是理解这个数据集能回答什么、不能回答什么。把它用在正确的位置上,它是一个可靠、好用的起点;把它当作用错的地方的答案,它会让你的结论悄悄失真。这正是本条目用十余节篇幅反复强调"语义边界、划分纪律、标签粒度"的原因——数据集的正确用法,比数据集本身更重要。
FAQ(高频问答 46 问)
A. 基础认知
Q1:DeFungi 是竞赛数据集吗?
不是。它是一个静态的公共分类数据集,没有挑战赛、没有 leaderboard、没有冻结测试集。不要把它和 ISIC 挑战赛类数据集混为一谈。
Q2:DeFungi 一共有多少张图像?
9,114 张。这是 UCI #Instances、arXiv 论文、二次文献三方一致的硬数字。
Q3:这些图像从哪里来?
哥伦比亚一家真菌学实验室捐赠的 3,025 张原始直接镜检照片,用 Sony DSC W830 紧凑相机拍摄,再经自动切块过滤得到。
Q4:图像多大?什么格式?
500×500 像素、RGB 三通道,JPEG 格式。整个 UCI 下载包 149.1 MB。
Q5:谁做的这个数据集?
Victoria University(澳大利亚)的三位研究者:Camilo Javier Pineda Sopo、Farshid Hajati(通讯)、Soheila Gheisari。原始图像由哥伦比亚某真菌学实验室捐赠。
Q6:论文发在哪里?
arXiv:2109.07322(2021-09-15 提交);期刊版为 Medical Mycology 2021(UCI 标注的 Introductory Paper P456)。
Q7:DeFungi 和 Defungi 是同一个吗?
是。官方写作 DeFungi(UCI 页面),部分论文写 Defungi(小写 f),指向同一数据集。
Q8:它叫什么"真菌"数据集,是研究人体感染的还是农业的?
数据本身来自人体的浅表真菌感染(皮肤、毛发、指甲等)的直接镜检。但技术可迁移到农业病原真菌识别(论文相关文献提及农业病害管理)。
B. 数据与获取
Q9:怎么下载?
推荐 UCI:直链 https://datalab-12.ics.uci.edu/static/public/773/defungi.zip,或用 ucimlrepo 包 fetch_ucirepo(id=773) 一行取数。原始发布渠道为 Kaggle + GitHub。
Q10:许可是什么?能商用吗?
CC BY 4.0。可以商用、可以改编、可以再分发,只需署名。
Q11:有官方数据划分吗?
没有。UCI 明确写"No recommended data splits"。论文用 k-fold,第三方常用 75/15/10 或 70/30,均非官方。
Q12:有患者信息吗?
完全没有。无患者 ID、年龄、性别、解剖部位、采集时间。只有图像级类别标签。
Q13:原始 3,025 张图公开吗?
论文只说原始图由实验室捐赠并加工;未明确说明原始图是否单独发布。UCI 提供的是加工后的 9,114 张。
Q14:HuggingFace 上有吗?
本轮未核实(沙箱封锁 HF 主站)。使用时应以 UCI 官方渠道为准,谨慎对待非官方镜像。
Q15:怎么引用?
UCI 官方格式:Hajati, F., Javier Pineda Sopo, C., Hajati, F., & Gheisari, S. (2021). DeFungi [Dataset]. UCI Machine Learning Repository. https://doi.org/10.48550/arXiv.2109.07322.(注意 UCI 记录中 Hajati 重复出现,为录入问题。)
C. 类别与标注
Q16:五类分别是什么?
TSH(弯曲有隔透明菌丝)、BASH(串珠状关节分生孢子有隔透明菌丝)、GMA(成组或镶嵌状关节分生孢子)、SHC(具厚垣孢子的有隔透明菌丝)、BBH(粗棕色菌丝)。
Q17:这些类别名是真菌物种名吗?
不是。它们是显微镜下可见的形态结构描述,不对应单个物种,也不对应临床病名。
Q18:类别分布如何?
TSH 4,404 / BASH 2,334 / GMA 819 / SHC 818 / BBH 739,合计 9,114。最大类与最小类之比约 5.96:1。
Q19:谁标注的?有几人?
论文只说"manually labelled",未披露标注者人数、身份,也未报告标注一致性(κ)。
Q20:所谓"主题专家"是谁?
未公开。论文与 UCI 均只称"a subject matter expert",无姓名、机构、资历。
Q21:是像素级标注还是图像级?
图像级。每张图一个类别标签,没有分割掩码、没有检测框、没有多标签。
Q22:有没有"无真菌/背景"类?
没有。不含真菌的 patch 在预处理阶段就被过滤掉了,数据集只保留含真菌的图像。
D. 基准与评测
Q23:论文的最好成绩是多少?
从头训练最佳 Inception V3 为 73.2% accuracy;迁移学习最佳 VGG16 为 85.04% accuracy。
Q24:用什么验证方法?
k-fold cross-validation(在 5 类完整数据集上)。
Q25:有没有更高的成绩?
有第三方结果,例如 DeFungi-CNN 的 EfficientNetV2-B0 Macro-F1 = 0.86,以及增强融合工作的 ResNet-50 mean class accuracy 97.23%。但这些是第三方、自定义划分,不可与论文数字直接比较。
Q26:应该用什么指标?
优先 Macro-F1 或 balanced accuracy,并报告混淆矩阵。不要只看 accuracy(恒预测 TSH 就有 48.3%)。
Q27:为什么类间容易混?
BASH 与 GMA 是同现象的不同排列(链状 vs 成团);TSH 与 SHC 都是透明有隔菌丝,只差有无厚垣孢子;BBH 仅凭"更粗、带棕色"区分。类间相似度高是核心难点。
E. 局限与风险
Q28:最大的坑是什么?
近重复泄漏。9,114 张来自 3,025 张原图(约 3 张/视野),同视野 patch 高度相似,随机划分会虚高成绩,而数据集未提供原图→patch 的映射。
Q29:有设备/色彩偏置吗?
有。全部原图由同一台 Sony DSC W830 拍摄,且未做统一显色归一化,模型可能学到设备/色彩特征而非生物特征。
Q30:能否做患者级或亚组分析?
不能。无任何患者级元数据。
Q31:能否用于临床诊断产品?
不建议直接用于。规模小、标签仅形态级、无患者信息、无标注一致性证据,远不足以支撑临床级产品;且医疗合规是独立于数据集许可的另一层约束。
Q32:DeFungi 和 HAM10000 能一起用吗?
不建议简单拼接。前者是显微镜图像(镜检层),后者是皮肤镜图像(临床体表层),输入分布与任务语义不同层。可类比,不宜混训。
F. 方法与工程
Q33:用哪个骨干网络比较合适?
论文官方用 VGG16、Inception V3、ResNet50 做基线。从经验看,DeFungi 类任务(细粒度纹理分类)通常 EfficientNet 系列、带注意力机制的模型表现更好,第三方复现用 EfficientNetV2-B0 取得了 Macro-F1 0.86。可以从 VGG16/ResNet50 起步复现基线,再用更强骨干尝试超越。
Q34:需要做数据增强吗?该做哪种?
需要。因图像色彩未归一化,颜色扰动是最有价值的增强;随机水平/垂直翻转、轻度旋转也可用。不建议强几何形变(大幅缩放、强透视变换)——它们可能破坏菌丝形态结构,与判别依据相冲突。
Q35:输入尺寸用 500×500 原尺寸还是缩到 224×224?
两者都可。缩到 224×224 可直接用 ImageNet 预训练模型的默认输入,计算更省;保持较大尺寸(如 320/384)可能保留更多菌丝细节。建议两者各试一次,在验证集上比较——这是一次低成本、有信息量的消融。
Q36:训练要多久?
参考 DeFungi-CNN 报告:EfficientNetV2-B0 在 Apple M1 Pro(Metal 加速)上约 1h30m 完成一次训练。在消费级 GPU 上通常更快。数据小、迭代快,适合快速实验。
Q37:怎么做防泄漏划分?
见 §11.3 专题:提取图像嵌入 → 相似度聚类 → 连通分量分组 → 按组划分 → 量化随机划分与分组划分的成绩落差。核心原则是"疑似同视野的图不能分居两侧"。
Q38:类别权重要怎么设?
常用反比权重(weight_c ∝ 1/N_c)。DeFungi 的 N_c 从 739 到 4404 不等,权重比约 6:1。也可用平衡采样替代。重点是通过 per-class recall 验证小三类是否被救回。
Q39:能不能做迁移到其他显微图像任务?
可以尝试,但需注意域差异。DeFungi 的纹理特征(菌丝/孢子)可能迁移到其他"丝状/颗粒状结构"识别任务(如其他微生物镜检),但迁移到差异大的域(如组织病理)通常需要重新微调。
G. 元数据与生态
Q40:有没有办法补上患者信息?
数据集本身没有。任何患者级分析都需要与外部数据(如能追溯原始样本的实验室记录)做关联——但这通常涉及隐私与伦理审批,且 DeFungi 未提供关联键,实际不可行。
Q41:文件命名有什么规律?
文件名形如 H6_31a_3.jpg(父目录 H6/)。字母数字前缀可能对应批次/样本,后缀 _1/_3 可能对应同视野序号——但官方未公布编码规则,上述为推测,不可作为分析依据(见 §10)。
Q42:标签信息在文件里还是单独表格里?
UCI 未提供独立的标签表格文件。标签通常以目录结构或文件名编码体现,使用前需自行核对映射。这是初次使用时常见的第一步困惑。
Q43:数据集会更新吗?
无更新机制。UCI 入藏(2023-01-28)后基本静止,无版本化快照。引用时以 UCI id + 抓取日期定位。
Q44:能和细菌镜检数据集一起训练"细菌 vs 真菌"分类吗?
可以,已有工作这样做(把 DeFungi 作为真菌类,DIBaS/DeepBacs 作为细菌类做二分类)。但要注意两类数据的采集条件、染色方式差异巨大,属于跨域问题,需谨慎处理批次效应。
Q45:这个数据集适合做教学吗?
非常适合。体积小、依赖简单、问题清晰(分类 + 失衡 + 划分),是医学图像课程项目、机器学习入门的理想素材。它能让学习者在半天内走完"取数→预处理→训练→评测→分析"的完整闭环。
Q46:如果我只想快速验证一个想法,最省事的做法是什么?
用 ucimlrepo 取数,缩到 224×224,用 ImageNet 预训练 ResNet50 微调,随机划分快速跑一版看数量级;若结果异常高(>92%),再回头做去重划分核实。省事流程适合探索,正式报告必须用严谨划分。
事实清单(硬事实 36 条)
- 数据集全称:DeFungi — Direct Mycological Examination of Microscopic Fungi Images。
- 别称写法:Defungi(部分论文小写 f),与 DeFungi 同一数据集。
- 图像总数:9,114 张。
- 原始镜检图数:3,025 张。
- 图像规格:500 × 500 像素,RGB。
- 数据体积:UCI 下载包 149.1 MB。
- 类别数:5 类。
- 类别简写:TSH、BASH、GMA、SHC、BBH。
- TSH 计数:4,404。
- BASH 计数:2,334。
- GMA 计数:819。
- SHC 计数:818。
- BBH 计数:739。
- 类别计数合计:9,114(自洽)。
- 最大/最小类比:4,404 : 739 ≈ 5.96 : 1。
- TSH 全称:Tortuous Septate Hyaline hyphae。
- BASH 全称:Beaded Arthroconidial Septate Hyaline hyphae。
- GMA 全称:Groups or Mosaics of Arthroconidia。
- SHC 全称:Septate Hyaline hyphae with Chlamydoconidium。
- BBH 全称:Broad Brown Hyphae。
- 拍摄设备:Sony DSC W830。
- 承接机构:Victoria University(澳大利亚)。
- 通讯作者:Farshid Hajati。
- 共同作者:Camilo Javier Pineda Sopo、Soheila Gheisari。
- 图像捐赠方:哥伦比亚某真菌学实验室(未具名)。
- 论文预印本:arXiv:2109.07322,2021-09-15 提交。
- 论文 DOI:10.48550/arXiv.2109.07322。
- 期刊版:Medical Mycology 2021(UCI Introductory Paper P456 口径)。
- 入藏平台:UCI Machine Learning Repository。
- UCI id:773。
- 入藏日期:2023-01-28(Donated on)。
- 许可:CC BY 4.0。
- 论文基线(从头训练):Inception V3,73.2% accuracy。
- 论文基线(迁移学习):VGG16,85.04% accuracy。
- 缺失值:无;敏感数据:无;资助方:无(UCI 口径)。
- 官方数据划分:无(UCI 明确 No recommended data splits)。
- 原始发布渠道:Kaggle + GitHub(论文原文)。
- 期刊版出处:Medical Mycology 2021(UCI 标注为 Introductory Paper P456)。
- arXiv 分类号:eess.IV(主)、cs.CV、cs.LG。
- arXiv 提交时间:2021-09-15 14:25:28 UTC(v1,1,526 KB)。
- 数据用途:开发检测与分类真菌图像的机器学习算法(UCI)。
- 是否推荐划分:否(UCI)。
- 是否做过预处理:是,已裁剪到感兴趣区(UCI)。
- 关联任务:Classification(分类)。
- 特征类型:Real(UCI)。
- 主题专家:具名信息未公开(论文/UCI 均匿名)。
- 最大类占比:TSH 4,404 / 9,114 ≈ 48.3%。
- 第三方最佳 Macro-F1:0.86(DeFungi-CNN,EfficientNetV2-B0,自定义划分)。
- 第三方最佳 accuracy:97.23%(增强+特征融合,ResNet-50,自定义划分)。
- UCI 下载包大小:149.1 MB。
术语表(40 条)
-
DeFungi:本文数据集名,Direct Mycological Examination of Microscopic Fungi Images 的缩写。
-
直接镜检(direct examination / direct mycological examination):把标本直接置于显微镜下观察真菌结构的诊断步骤,是诊断链最早期环节。
-
浅表真菌感染(superficial fungal infection):累及皮肤、毛发、甲等浅表部位的真菌感染。
-
皮肤真菌病(dermatomycosis):由真菌引起的皮肤病总称。
-
皮肤癣菌(dermatophyte):一类以角蛋白为营养、常引起皮肤/毛发/甲感染的真菌。
-
酵母(yeast):单细胞真菌。
-
霉菌(mould / mold):多细胞丝状真菌。
-
菌丝(hyphae):真菌的营养丝状结构。
-
有隔(septate):菌丝被隔膜分隔。
-
透明(hyaline):镜下无色/浅色、透光的状态。
-
弯曲菌丝(tortuous hyphae):走行弯曲的菌丝。
-
分生孢子(conidia):真菌的无性繁殖孢子。
-
关节孢子/关节分生孢子(arthroconidia):由菌丝断裂形成的孢子。
-
厚垣孢子(chlamydoconidium / chlamydospore):厚壁、用于抵抗不良环境的孢子。
-
TSH:弯曲有隔透明菌丝(一类)。
-
BASH:串珠状关节分生孢子有隔透明菌丝(一类)。
-
GMA:成组或镶嵌状关节分生孢子(一类)。
-
SHC:具厚垣孢子的有隔透明菌丝(一类)。
-
BBH:粗棕色菌丝(一类)。
-
Patch(切块):从大图切出的小图像块。
-
ROI(region of interest,感兴趣区):图像中真正有意义、被保留下来的区域。
-
类别失衡(class imbalance):不同类别样本数差异显著。
-
Macro-F1:对每类 F1 取算术平均,对类别等权。
-
balanced accuracy(平衡准确率):对每类召回取平均。
-
迁移学习(transfer learning):用大规模预训练(如 ImageNet)权重微调目标任务。
-
从头训练(training from scratch):不用预训练权重直接训练。
-
k-fold cross-validation(k 折交叉验证):把数据分 k 份轮流验证。
-
近重复泄漏(near-duplicate leakage):高度相似的图像同时进入训练与测试,导致成绩虚高。
-
CLAHE(Contrast Limited Adaptive Histogram Equalisation,限制对比度自适应直方图均衡):一种局部对比度增强方法。
-
特征融合(feature fusion):组合来自不同网络层/不同增强流的特征以提升判别力。
-
细粒度分类(fine-grained classification):类别间视觉差异细微的分类任务。
-
混淆矩阵(confusion matrix):按真/预测类别交叉统计的矩阵,用于定位易混类。
-
per-class recall(各类召回率):每一类被正确识别的比例,失衡数据上必看。
-
过采样/欠采样(oversampling/undersampling):通过复制少数类或削减多数类平衡分布。
-
focal loss:降低易分样本权重的损失函数,缓解失衡。
-
感知哈希(perceptual hash):基于图像视觉内容的短哈希,常用于近重复检测。
-
连通分量(connected component):图论概念,用于把相似图聚成组。
-
域偏移(domain shift):训练与部署数据的分布不一致(如跨设备、跨中心)。
-
direct examination(直接镜检):不经培养,直接把标本置镜下观察。
-
mycologist(真菌学家):专门从事真菌研究/鉴定的专业人员。
附录
附录 A:条目信息速查卡
| 项目 | 值 |
|---|---|
| 条目名 | DeFungi (defungi) |
| 官方全称 | DeFungi — Direct Mycological Examination of Microscopic Fungi Images |
| slug | defungi |
| 承接机构 | Victoria University(澳大利亚) |
| 论文 | arXiv:2109.07322(2021-09-15);Medical Mycology 2021 |
| 平台 | UCI ML Repository,id=773 |
| 入藏日期 | 2023-01-28 |
| 图像数 | 9,114(源自 3,025 原图) |
| 规格 | 500×500 RGB |
| 类别 | TSH/BASH/GMA/SHC/BBH(5 类) |
| 分布 | 4404/2334/819/818/739 |
| 许可 | CC BY 4.0 |
| 最佳基线 | 从头 73.2%(Inception V3)/ 迁移 85.04%(VGG16) |
| 下载 | datalab-12.ics.uci.edu/static/public/773/defungi.zip |
附录 B:DAIMS 评估全表
DAIMS(Data and Analytics Infrastructure Maturity Score / 数据与分析基础设施成熟度评估)对本条目在可获取性、文档、标签、划分、规模、可复现性等维度的分项评估如下:
| 维度 | 评分 | 评估说明 |
|---|---|---|
| 可获取性(Accessibility) | 优 | UCI 直链 + ucimlrepo 一行取数;CC BY 4.0 含商用 |
| 格式友好度(Format) | 优 | JPEG 图像文件夹,零解析成本 |
| 许可清晰度(Licensing) | 优 | UCI 明示 CC BY 4.0,附许可全文链接 |
| 元数据完备度(Metadata) | 中 | UCI 元数据规范,但类别明细、文件命名规则、标注机制缺项 |
| 标签粒度(Label granularity) | 中 | 仅图像级单标签,无病灶框/分割/多标签 |
| 标签可靠性证据(Label reliability) | 弱 | 无标注者人数、无一致性 κ、主题专家匿名 |
| 数据划分(Splits) | 弱 | 无官方划分,需自切 |
| 防泄漏支持(Leakage control) | 弱 | 无原图→patch 映射,近重复风险高 |
| 患者级信息(Patient-level) | 弱 | 完全缺失 |
| 规模充分度(Scale) | 中 | 9,114 张,偏小但足够验证与教学 |
| 采集一致性与偏置(Acquisition bias) | 中 | 单一设备(Sony DSC W830)、无显色归一化 |
| 可复现性(Reproducibility) | 优 | 体积小、依赖简单、单卡可训 |
| 文档一致性(Doc consistency) | 良 | arXiv/UCI/第三方三源数字互证,个别字段(引用作者重复)有录入瑕疵 |
综合定位:DeFungi 在"可获取性、格式、许可、可复现性"维度表现优秀,是典型的低门槛可上手资源;但在"标签可靠性证据、官方划分、防泄漏、患者级信息"维度明显偏弱,属于适合入门与验证、不适合作为强标签保证型临床基准的数据集。这一"强获取、弱规范"的画像,正是理解和正确使用 DeFungi 的关键。
附录 C:快速上手最小指令
以下为可复用的最小上手片段(示意,具体路径随环境调整):
# 1) 取数(编程方式)
pip install ucimlrepo
python3 -c "from ucimlrepo import fetch_ucirepo; d=fetch_ucirepo(id=773); print(d.data.features.shape); print(d.data.targets.shape)"
# 2) 取数(直链方式)
wget https://datalab-12.ics.uci.edu/static/public/773/defungi.zip
unzip defungi.zip -d defungi_raw
# 3) 统计类别分布(解压后按类目录/文件名核对)
# 预期:TSH 4404 / BASH 2334 / GMA 819 / SHC 818 / BBH 739
# 4) 划分前先做相似度去重审计(见 §11.3),再按组划分
要点提醒:第 4 步的去重审计是可信评测的前提,不要跳过。若仅做快速探索可省略,但正式报告必须包含。
附录 D:一手来源清单
本条目引用的核心来源(抓取时点 2026-10-08):
| 来源 | 类型 | 用途 |
|---|---|---|
| UCI ML Repository,dataset 773(DeFungi 页面) | 官方数据集页 | 实例数、许可、捐赠日期、作者、任务、预处理 |
| arXiv:2109.07322(DeFungi 论文摘要页) | 一手论文 | 论文标题/作者/日期、方法、基线成绩(73.2% / 85.04%) |
| Medical Mycology(UCI 标注 Introductory Paper P456) | 期刊版 | 论文正式发表出处(卷期页码未核,见 FACTS.md §9) |
| DeFungi-CNN GitHub 复现仓库 | 二次来源 | 逐类计数、原始图数 3,025、相机型号、Macro-F1 0.86、划分比例 |
| IEEE / INFORMATICA / Dimensions 等二次文献 | 二次来源 | 类别全称、方法对照、第三方改进成绩(97.23%) |
三源互证结论:图像总数 9,114、类别数 5、图像规格 500×500、许可 CC BY 4.0、UCI id=773 五项经至少两个独立来源交叉验证一致;逐类计数以复现仓库(引论文)为唯一逐项来源,已在正文与 FACTS.md 标注。
条目声明:本文为千方病案医数集 AI-Ready Wikipedia 条目。硬数字以 UCI id=773 页面(2026-10-08 抓取)与 arXiv:2109.07322 摘要为一手来源,类别逐项计数来自复现仓库 README(引述论文),三源互证;双口径与遗留疑点见 FACTS.md §9。许可信息以 UCI 明示 CC BY 4.0 为准。数据集的临床使用需另循医疗器械与数据合规法规,数据集许可不构成合规背书。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- acevedo-blood — 共享标签:医学影像 / 图像分类 / 病理图像 / 评测基准
- bbbc051 — 共享标签:医学影像 / 图像分类 / 病理图像 / 评测基准
- dermacon-in — 共享标签:医学影像 / 皮肤影像 / 图像分类 / 评测基准
- skincon — 共享标签:医学影像 / 皮肤影像 / 图像分类 / 评测基准
- ai-tb-zn — 共享标签:医学影像 / 图像分类 / 病理图像 / 评测基准
- passion — 共享标签:医学影像 / 皮肤影像 / 图像分类 / 评测基准
- camelyon17 — 共享标签:医学影像 / 图像分类 / 病理图像 / 评测基准
- unitopatho — 共享标签:医学影像 / 图像分类 / 病理图像 / 评测基准
- mendeley-lbc — 共享标签:医学影像 / 图像分类 / 病理图像 / 评测基准
- lisc — 共享标签:医学影像 / 图像分类 / 病理图像 / 评测基准
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

