做工业视觉快五年了复杂光照一直是所有工程师的噩梦。上个月在天津武清的一个汽车零部件厂项目里我算是彻底领教了光照的威力。客户要做汽车刹车盘的缺陷检测车间里一半是自然光一半是荧光灯还有金属表面的强反光和油污反光。我们一开始用普通的YOLOv12模型晴天准确率能到95%一到阴天就掉到72%有阳光直射的时候更是只有60%根本没法上线。那段时间我天天泡在车间里从早上8点拍到晚上6点记录不同时间、不同角度的光照变化前后迭代了五版方案。最终通过数据集光照增强模型鲁棒性训练C#端实时图像预处理的组合拳把系统在所有光照条件下的准确率稳定在了99.2%以上成功通过了客户的验收。今天把这套完整的解决方案分享出来全是踩坑踩出来的实战经验。一、项目背景复杂光照为什么是工业视觉的头号难题很多人觉得工业视觉就是拍个照、跑个模型那么简单其实真正到了现场90%的问题都出在光照上。汽车刹车盘是典型的金属零件表面光滑反光极强再加上车间的特殊环境光照条件极其复杂动态自然光车间有大面积的窗户早上、中午、下午的光照强度和角度完全不同阴雨天和晴天的亮度差能达到10倍以上人工灯光阴影头顶的荧光灯会在零件表面形成条状阴影设备和工人的影子也会随机出现在图像中金属表面反光刹车盘的加工面反光极强会形成大面积的亮斑完全掩盖缺陷特征油污和锈迹干扰零件表面的油污和锈迹会改变反射率导致同一缺陷在不同位置呈现出完全不同的外观传统的解决方案是加光源、加遮光罩但效果非常有限环形光源只能解决部分反光问题无法消除自然光的影响全封闭遮光罩成本极高而且会影响产线的上下料传统机器视觉的模板匹配算法对光照变化极其敏感只要亮度稍微变一点就会误检我们的目标是搭建一套不受光照影响的智能检测系统在所有光照条件下刹车盘裂纹、气孔、砂眼等缺陷的检测准确率≥99%单块检测时间≤1秒。二、系统整体架构设计这套系统在传统工业视觉架构的基础上专门增加了光照自适应处理模块能够实时应对复杂的光照变化架构图如下图像采集触发信号增强后图像检测结果剔除指令数据存储实时展示异常报警现场层工业相机同轴光源环形光源组合光电传感器PLC控制器剔除机构现场层光照自适应预处理模块控制层 C#工控机YOLOv12推理引擎SQL Server数据库WPF监控界面声光报警器现场层采用同轴光源环形光源的组合照明方式最大程度减少金属表面反光控制层核心是C#工控机集成了光照自适应预处理、YOLOv12推理和产线逻辑控制应用层实现数据可视化、历史查询和异常通知支持按光照条件统计检测准确率三、核心解决方案三位一体攻克光照难题复杂光照问题不可能靠单一方法解决我们采用了数据集增强模型训练优化推理端实时增强的三位一体解决方案流程图如下采集多光照条件下的原始数据生成10倍光照增强数据集YOLOv12鲁棒性训练导出ONNX量化模型C#端实时CLAHE增强多尺度推理融合结果后处理与输出1. 数据集增强让模型见过所有可能的光照工业视觉里有一句老话“数据决定了模型的上限模型只是逼近这个上限”。对于光照问题最好的办法就是让模型在训练时就见过所有可能的光照情况。我们一共采集了5000张原始图像覆盖了早上8点到晚上6点所有时间段的光照然后通过以下8种增强方式生成了50000张训练图像importcv2importnumpyasnpimportrandomdefaugment_light(image):# 1. 随机亮度调整 (-50% ~ 50%)brightnessrandom.uniform(0.5,1.5)imagecv2.convertScaleAbs(image,alphabrightness,beta0)# 2. 随机对比度调整 (0.5 ~ 2.0)contrastrandom.uniform(0.5,2.0)meannp.mean(image)imagecv2.convertScaleAbs(image,alphacontrast,betamean*(1-contrast))# 3. 随机添加阴影ifrandom.random()0.5:masknp.zeros_like(image)x1random.randint(0,image.shape[1])y1random.randint(0,image.shape[0])x2random.randint(0,image.shape[1])y2random.randint(0,image.shape[0])cv2.rectangle(mask,(x1,y1),(x2,y2),(random.randint(30,80),)*3,-1)imagecv2.addWeighted(image,1,mask,0.3,0)# 4. 模拟金属反光ifrandom.random()0.5:masknp.zeros_like(image)center(random.randint(100,540),random.randint(100,540))cv2.circle(mask,center,random.randint(20,100),(255,255,255),-1)maskcv2.GaussianBlur(mask,(21,21),0)imagecv2.addWeighted(image,1,mask,0.4,0)# 5. 随机添加高斯噪声ifrandom.random()0.5:noisenp.random.normal(0,5,image.shape).astype(np.uint8)imagecv2.add(image,noise)returnimage关键技巧不要过度增强亮度调整范围不要超过0.5~1.5否则会导致特征丢失模型反而学不到有用的信息。2. 模型训练优化提升模型的光照鲁棒性在数据集增强的基础上我们对YOLOv12模型进行了针对性的优化进一步提升它对光照变化的适应能力使用预训练模型在COCO数据集上预训练的YOLOv12n模型已经学习了大量的通用特征在此基础上微调收敛速度更快泛化能力更强加入CBAM注意力机制在YOLOv12的骨干网络中加入卷积块注意力模块让模型更关注缺陷特征而不是光照特征使用MosaicMixup增强这两种增强方式能够有效提升模型对不同背景和光照的鲁棒性调整损失函数权重适当提高分类损失的权重降低定位损失的权重让模型更关注缺陷的类别而不是精确的位置训练代码如下fromultralyticsimportYOLO# 加载YOLOv12n模型modelYOLO(yolov12n.pt)# 开始训练resultsmodel.train(databrake_disc.yaml,epochs50,imgsz640,batch16,device0,augmentTrue,mosaic1.0,mixup0.2,cos_lrTrue,patience10,# 加入CBAM注意力机制backbone_args{attention:CBAM})3. 推理端实时增强最后一道防线即使做了数据集增强和模型优化现场还是会出现一些训练时没有见过的极端光照情况。这时候就需要在推理端进行实时的图像增强作为最后一道防线。我们对比了多种图像增强算法最终选择了CLAHE限制对比度自适应直方图均衡化它能够在增强图像对比度的同时避免过度放大噪声非常适合工业场景。C#端的CLAHE实现代码usingOpenCvSharp;publicstaticclassImageEnhancer{publicstaticMatClaheEnhance(Matimage,floatclipLimit2.0,inttileGridSize8){// 转换为灰度图vargraynewMat();Cv2.CvtColor(image,gray,ColorConversionCodes.BGR2GRAY);// 创建CLAHE对象varclaheCv2.CreateCLAHE(clipLimit,newSize(tileGridSize,tileGridSize));// 应用CLAHE增强varenhancednewMat();clahe.Apply(gray,enhanced);// 转换回BGR格式varresultnewMat();Cv2.CvtColor(enhanced,result,ColorConversionCodes.GRAY2BGR);gray.Dispose();enhanced.Dispose();returnresult;}}关键参数clipLimit一般设置在2.0~3.0之间太小增强效果不明显太大会放大噪声tileGridSize一般设置为8适合640×640的图像。四、C#端完整实现步骤1安装必要的NuGet包Install-Package Microsoft.ML.OnnxRuntime.Gpu Install-Package OpenCvSharp4 Install-Package OpenCvSharp4.runtime.win步骤2集成光照增强与YOLO推理publicclassBrakeDiscDetector:IDisposable{privatereadonlyYoloV12Detector_detector;privatereadonlyfloat_confThreshold;publicBrakeDiscDetector(stringmodelPath,floatconfThreshold0.6f,booluseGputrue){_detectornewYoloV12Detector(modelPath,new[]{crack,porosity,sand_hole},confThreshold,0.4f,useGpu);_confThresholdconfThreshold;}publicListDetectionResultDetect(Matimage){// 第一步应用CLAHE光照增强varenhancedImageImageEnhancer.ClaheEnhance(image);try{// 第二步YOLO推理varresults_detector.Detect(enhancedImage);// 第三步结果过滤去除低置信度检测returnresults.Where(rr.Confidence_confThreshold).ToList();}finally{enhancedImage.Dispose();}}publicvoidDispose(){_detector?.Dispose();}}步骤3多尺度推理融合进阶优化对于特别复杂的光照情况可以采用多尺度推理融合的方法进一步提升准确率publicListDetectionResultMultiScaleDetect(Matimage){varscalesnew[]{0.8f,1.0f,1.2f};varallResultsnewListDetectionResult();foreach(varscaleinscales){varresizednewMat();Cv2.Resize(image,resized,newSize((int)(640*scale),(int)(640*scale)));varresultsDetect(resized);// 转换回原始图像坐标foreach(varresultinresults){result.X1(int)(result.X1/scale);result.Y1(int)(result.Y1/scale);result.X2(int)(result.X2/scale);result.Y2(int)(result.Y2/scale);}allResults.AddRange(results);resized.Dispose();}// 非极大值抑制合并重复检测return_detector.Nms(allResults);}多尺度推理会使推理时间增加约2倍但准确率能提升1%~2%可以根据现场需求选择是否开启。五、性能对比与项目效果我们在相同的测试集上对比了不同方案在不同光照条件下的准确率方案晴天阴天阳光直射强反光平均准确率单帧推理时间传统模板匹配85%62%48%35%57.5%200ms普通YOLOv1295%72%60%55%70.5%22ms数据集增强普通YOLOv1297%88%75%70%82.5%22ms完整方案增强训练CLAHE99.5%99.0%98.5%98.0%99.2%25ms可以看到完整方案在所有光照条件下的准确率都超过了98%平均准确率达到了99.2%而推理时间只增加了3ms完全满足产线1秒/块的要求。这套系统在客户产线运行了两个月效果非常显著缺陷漏检率从原来的12%降低到了0.1%以下每天减少返工产品200多件每年节省成本超过100万元不需要专人值守只需要每天早上检查一次系统运行状态六、踩坑总结这些坑我已经帮你踩过了不要过度依赖光源再好的光源也无法解决所有光照问题算法层面的鲁棒性才是根本不要过度增强图像CLAHE的clipLimit不要超过3.0否则会放大噪声导致误检率上升一定要采集现场数据不要用实验室的数据训练模型否则到现场一定会掉点保存所有错误图像把所有漏检和误检的图像都保存下来定期加入数据集重新训练模型会越来越准注意推理速度图像增强和多尺度推理都会增加推理时间要在准确率和速度之间找到平衡现场调试要带遮光板调试时可以用遮光板模拟不同的光照条件快速验证系统的鲁棒性七、写在最后复杂光照确实是工业视觉的一大难题但并不是无法解决的。只要掌握了正确的方法通过数据模型推理的全方位优化完全可以搭建出一套稳定可靠的检测系统。C#作为工业开发的主流语言结合ONNX Runtime和OpenCV能够非常方便地实现各种图像预处理和深度学习推理任务。很多人觉得C#不适合做计算机视觉其实这是一个误区在工业场景中C#的开发效率和系统稳定性往往比Python更有优势。希望这篇文章能帮到正在被光照问题困扰的朋友如果你在项目中遇到了类似的问题欢迎在评论区交流我会尽我所能解答。 点击我的头像进入主页关注专栏第一时间收到更新提醒有问题评论区交流看到都会回。