点击下方卡片关注「3D视觉工坊」公众号选择星标干货第一时间送达来源3D视觉工坊「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎加入0.这篇文章干了啥这篇文章提出了PatchEAD一种用于工业异常检测的统一视觉提示框架旨在解决现有研究中缺乏统一视觉处理流程的问题实现免训练的补丁级异常检测。核心创新在于仅使用补丁特征通过设计视觉提示技术实现对不同基础模型的兼容性同时在少样本和批量零样本设置下均展示出优异性能。背景与动机工业异常检测中基础模型虽展现出跨领域泛化能力但现有方法多依赖文本提示调优缺乏统一视觉提示流程。该研究旨在构建基于视觉线索的统一管道以支持不同现代基础模型并解决现有方法在复杂工业环境中适应性差的问题。PatchEAD框架仅基于补丁特征比较排除多模态特征适用于少样本和批量零样本设置。该框架将图像分割为补丁通过预训练视觉编码器提取特征嵌入在少样本中使用正常提示图像建立锚点在批量零样本中以批次内其余图像作为参考生成异常预测。异常评分机制将查询图像和正常图像编码为特征嵌入通过计算查询补丁与正常图像补丁的余弦距离选择最大距离作为每个正常图像的距离得分聚合得分最高的前若干个图像的得分作为补丁级异常分数再对前若干个补丁分数求平均得到图像级分数。视觉提示增强PatchEAD集成对齐和掩码功能增强对象对齐减少背景干扰。对齐通过传统图像处理的特征匹配方法确保图像定位和方向一致掩码通过归一化最终层注意力分数生成前景掩码减少背景误分类。实验评估在七个工业异常检测数据集上进行评估与多种先进的少样本和零样本方法对比。结果显示PatchEAD在少样本和批量零样本设置下均表现出色PatchEAD (DINOv2)在多个数据集上达到了与需要训练或额外模态的最先进方法相当的性能。消融实验还分析了模型架构、图像大小、少样本数量、对齐和注意力掩码等因素对性能的影响。结论与展望该研究证明了基于纯视觉、以补丁为中心的框架在工业异常检测中的可行性和有效性但存在依赖视觉补丁信息可能遗漏非视觉异常及小异常区域检测精度低的问题。未来研究方向包括优化异常评分函数和集成多分辨率技术以提高在复杂工业环境中的检测能力和泛化性。1. 论文信息论文题目PatchEAD: Unifying Industrial Visual Prompting Frameworks for Patch-Exclusive Anomaly Detection作者Po-Han Huang、Jeng-Lin Li、Po-Hsuan Huang、Ming-Ching Chang、Wei-Chao Chen论文链接https://arxiv.org/pdf/2509.258562. 摘要工业异常检测越来越依赖基础模型旨在实现强大的分布外泛化能力并在实际部署中实现快速适应。值得注意的是过去的研究主要集中在文本提示调优上而固有的视觉对应部分则被分割成每个基础模型特有的处理步骤。我们旨在通过提出一个统一的、专注于图像块的框架——图像块专属异常检测Patch-Exclusive Anomaly DetectionPatchEAD来解决这一局限性该框架能够实现无需训练的异常检测并且与各种基础模型兼容。该框架构建了视觉提示技术包括对齐模块和前景掩码。我们的实验表明尽管没有文本特征但与以往的工作相比我们的方法在少样本和批量零样本性能方面表现更优。我们的研究进一步探讨了骨干网络结构和预训练特性如何影响图像块相似度的鲁棒性为在实际视觉检测中选择和配置基础模型提供了可行的指导。这些结果证实一个良好统一的仅基于图像块的框架可以实现快速、轻校准的部署而无需精心设计的文本提示。3. 效果展示图5. PatchEAD 与 PatchEAD 在七个工业数据集上生成的异常热图可视化显示缺陷轮廓更清晰、更精确同时正常区域附近的误报显著减少。4. 主要贡献文章提出了一种免训练的工业异常检测方法PatchEAD其主要贡献如下我们研究了异常检测中一个实际的基础模型问题缺乏统一的视觉提示管道。我们的实验解决了以往将视觉处理针对特定基础模型的工作存在的泛化局限性问题。我们提出了PatchEAD框架其特点是仅使用图像块、无需训练且与多种基础模型兼容。PatchEAD取得了最先进的异常检测结果凸显了即使不依赖文本特征统一的视觉管道也具有有效性。我们进一步集成了对齐和背景去除模块创建了增强版的 PatchEAD它提高了泛化能力和性能。这种方法展示了以视觉为中心的增强策略在强化基于图像块的框架方面的潜力。5. 基本原理是啥1. 补丁专属异常检测框架 (Patch-Exclusive Anomaly Detection Framework)特征提取受PatchCore启发补丁专属异常检测PatchEAD框架将每张完整图像分割为大小相等、互不重叠的补丁。这些补丁随后由一个冻结的、预训练的视觉编码器处理例如通过DINOv2等自监督师生目标训练的模型或CLIP等跨模态检索目标训练的模型。这将生成补丁级的令牌嵌入图其中包含补丁数量和嵌入维度捕捉每个补丁的细粒度空间细节。少样本和批量零样本设置在少样本设置中使用N张正常提示图像建立锚点。模型从正常提示图像和查询图像中提取补丁嵌入将其展平并计算补丁间的余弦相似度。最高的补丁异常分数被用作图像级分数。在批量零样本设置中被构建为无监督异常检测场景使用一批B张未标记的查询图像。批次中的每张图像都被视为查询图像而其余B-1张图像则作为临时的正常参考。图像级异常分数是通过留一法相似性比较的分数平均值计算得出的。2. 跨补丁异常评分 (Cross-Patch Anomaly Scoring)编码查询和正常图像将查询图像和多张正常图像分别编码为嵌入表示。正常图像集的定义根据任务而变化少样本中为固定数量批量零样本中为批次内其余图像。余弦距离计算对于一个查询补丁计算其与第i张正常图像的第k个补丁之间的余弦距离。通过选择该正常图像中距离最大的补丁获得针对该正常图像的距离得分。补丁级异常分数聚合第j个补丁的补丁级异常分数是得分最高的前几个图像的平均分数。在少样本设置中取最高的一个在批量零样本设置中根据正常图像数量取一定比例的最高分图像。图像级异常分数查询图像的图像级分数是通过对其得分最高的前几个补丁分数求平均得出的。3. PatchEAD视觉提示增强 (Visual Prompt Enhancement)对齐 (Alignment)物体未对齐会导致补丁偏移或旋转从而在补丁匹配过程中导致更高的异常分数特别是在物体边缘处。为了解决这个问题使用传统图像处理中的特征匹配方法通过旋转和平移来对齐图像。在少样本设置中计算每个提示图像与查询图像之间的位移和旋转并将校正后的图像及其180度旋转版本添加到提示列表中。在零样本设置中第一张图像用作查询图像对所有其他图像应用相同的过程。每个样本的三张图像原始及旋转校正后的分数被平均以确定最终的异常分数。掩码 (Masking)模型的最终层注意力分数被归一化到0到1的范围。应用预定义的阈值0.05对结果进行二值化生成前景掩码。分数高于阈值的补丁设为1低于阈值的设为0.5。这抑制了背景区域并减轻了由背景噪声引起的误分类风险。6. 实验结果文章围绕PatchEAD框架在工业异常检测中的应用开展了多组实验旨在验证其有效性和优越性以下是对实验结果的总结1. 综合性能评估Few-shot设置在MVTec数据集上PatchEAD (DINOv2)在4-shot时图像级AUC达96.0%像素级AUC为96.8%PatchEAD(DINOv2)表现更优图像级AUC达97.0%。在VisA数据集PatchEAD (DINOv2) 4-shot图像级AUC为88.9%PatchEAD(DINOv2)达92.9%。Batch zero-shot设置PatchEAD(DINOv2)在多个数据集上平均图像级AUC达91.5%AP为90.5%优于WinCLIP等方法。2. 不同骨干网络实验骨干网络对比使用MAE、BEiTv2、EVA-02、PE spatial和DINOv3作为骨干网络在MVTec和VisA数据集不同设置下当骨干网络达到适度容量时免训练的纯补丁相似性方案能产生稳定的强结果体现了框架的鲁棒泛化性。注意力掩码可视化不同骨干网络CLIP、DINOv2、DINOv3、PE spatial的注意力掩码可视化显示DINOv2和DINOv3捕捉前景区域能力强CLIP关注局部区域PE spatial注意力分布较平滑所有模型对缺陷区域注意力分数较高。3. 消融实验增加少样本正常图像数量在MVTec和VisA数据集上将少样本图像数量从1增加到16图像级AUC得分呈上升趋势1-8 shot提升显著超过16 shot收益递减。改变图像大小在MVTec和VisA数据集上增大输入图像大小可提高图像级和像素级AUC得分672×672尺寸效果最佳448×448尺寸与672×672效果相近且更高效。对齐和注意力掩码效果在PatchEAD使用DINOv2的消融实验中对齐和注意力掩码组件都能提升整体性能二者结合效果最佳但在某些对象类别上像素级性能可能因统一阈值设置而有所波动。4. 异常掩码可视化PatchEAD生成的异常热图能减少正常区域附近的误报缺陷轮廓更清晰准确提高了异常检测的准确性。5. 不同数据集分类别评估MVTec数据集胶囊、螺丝和晶体管类别检测难度大AUC较低。使用DINOv2能显著提升PatchEAD在这些类别的性能PatchEAD的对齐和掩码操作主要提升了螺丝类别的检测效果。VisA数据集胶囊、炸薯条、通心粉1和pcb2等类别DINOv2相比CLIP能提升少样本图像级AUCPatchEAD在这些类别上的图像级和像素级AUC提升明显。7. 总结 未来工作总结我们的工作证明了一种纯粹基于视觉、以补丁为中心的框架在工业异常检测中的可行性和有效性这与最近依赖文本提示的方法形成了对比。通过在少样本和批量零样本设置下进行的大量实验PatchEAD 始终超越现有的基线在无需额外训练或外部正常库的情况下实现了强大的性能。此外PatchEAD 突出了关键的设计选择例如有针对性的视觉增强这些增强稳定了补丁特征空间并显著提高了判别能力。重要的是我们的框架与骨干网络无关能够无缝集成任何预训练的视觉编码器使其能够立即部署并且在各种工业场景中具有高度可扩展性为稳健的现实世界异常检测提供了切实可行的解决方案。我们方法的一个局限性是它依赖于视觉补丁信息这可能会遗漏非视觉异常并且小的异常区域可能会产生难以区分的补丁特征从而降低检测准确性。未来展望未来的工作包括完善异常评分函数以更好地构建特征空间并能够更准确地提取补丁级和其他细微信息。集成多分辨率技术可能会进一步提高跨尺度异常的检测能力增强在复杂工业环境中的鲁棒性和泛化能力。本文仅做学术分享如有侵权请联系删文。3D视觉方向论文辅导来啦可辅导SCI期刊、CCF会议、本硕博毕设、核心期刊等。添加微信cv3d001备注姓名方向单位邀请入群。