论文标题RT-Focuser: A Real-Time Lightweight Model for Edge-side Image Deblurring作者Zhuoyu Wu¹²³, Wenhui Ou⁴, Qiawei Zheng¹, Jiayan Yang¹, Quanjun Wang¹, Wenqi Fang¹², Zheng Wang¹², Yongkui Yang¹², Heshan Li⁵机构¹中国科学院深圳先进技术研究院²深圳联影数据有限公司³莫纳什大学马来西亚校区⁴香港科技大学⁵深圳英飞诺科技有限公司发表信息arXiv:2512.21975v1, Dec 26 2025开源代码https://github.com/ReaganWu/RT-Focuser一、关键科学问题与技术挑战1.1 核心问题如何为边缘端设备如自动驾驶汽车、无人机、医疗内窥镜等设计一个兼具实时推理能力与高质量恢复效果的轻量级图像去模糊网络本文从模型架构轻量化设计出发在保证去模糊精度的同时显著降低计算复杂度和推理延迟。1.2 技术挑战实时应用对低延迟的刚性需求在自动驾驶、无人机感知、医疗内窥镜等实时流处理场景中图像去模糊必须满足毫秒级的推理延迟通常要求 10ms/帧。现有基于CNN或Transformer的方法虽取得良好的去模糊效果但其模型规模大、计算复杂度高难以在边缘设备上实现实时部署。现有轻量化方法的效率-精度失衡近期工作多采用U型网络架构结合多输入多输出Multi-Input-Multi-Output, MIMO或多尺度策略但这些方法存在结构冗余和复杂度高的问题每帧推理延迟普遍超过100ms严重阻碍了实时流处理中的应用。边缘设备的资源约束边缘端设备如手机SoC、嵌入式GPU的计算能力和内存带宽有限。模型需要在极小参数量 10M和极低计算量 20 GMACs的约束下仍保持具有竞争力的去模糊质量PSNR 30 dB。单输入单输出SISO架构的设计难题如何在仅依赖单张模糊输入图像无需多尺度输入或多帧输入的前提下通过网络内部的多尺度特征融合与跨层信息交互达到甚至超越复杂多输入方法的去模糊效果。跨平台的部署适配挑战模型需要在GPU、移动端SoC如Apple A16、CPUx86等多种硬件平台上保持一致的高帧率表现对算子兼容性和推理引擎优化提出了要求。二、研究方法与算法原理2.1 整体技术路线RT-Focuser 提出了一种单输入-单输出Single-Input-Single-Output, SISO的轻量级U型网络采用编码器-解码器Encoder-Decoder结构通过三个核心模块实现效率与精度的平衡编码器端堆叠轻量级去模糊块Lightweight Deblurring Block, LD进行高效特征提取多级集成聚合模块Multi-Level Integrated Aggregation, MLIA融合多尺度编码器特征解码器端使用跨源融合块Cross-source Fusion Block, X-Fuse进行渐进式细节恢复。此外网络引入了SPPF模块源自YOLO系列以增强感受野。整体架构如图2所示。pipeline2.2 算法原理详解2.2.1 轻量级去模糊块LD Block设计目标在极低的计算预算下实现有效的边缘感知特征提取。核心结构深度可分离卷积Depthwise 3×3 Convolution按通道分组进行卷积大幅降低参数量和计算量后接GELU激活函数和批归一化BN倒残差结构Inverted Residual通过两个逐点卷积Pointwise 1×1 Convolution实现通道扩展与压缩扩展比为4dim → 4×dim → dim类似于MobileNetV2的设计理念锐度归一化Sharpness Normalization, SN模块可选的拉普拉斯分支用于增强边缘细节的保持能力残差连接Residual Connection保证梯度流动稳定训练2.2.2 跨源融合块X-Fuse设计目标在解码器的每个尺度上融合来自多个来源的信息实现细节的渐进式精细恢复。输入来源上一层的上采样特征Upsampled features from previous decoder layer编码器对应尺度的输出来自MLIA的多尺度融合输出原始模糊输入图像Original blurred input作为先验引导信息处理流程使用分组卷积Group Convolution和逐点卷积Pointwise Convolution在通道和空间维度上增强并融合各输入模糊图像通过通道级残差连接Channel-wise residual concatenation与融合特征拼接在输出前进一步融合2.2.3 多级集成聚合模块MLIA设计目标有效聚合编码器各阶段的层次化特征弥补SISO架构在感受野和多尺度信息上的不足。处理流程尺寸统一通过双线性插值Bilinear Interpolation将所有编码器阶段的特征图调整至统一的共享分辨率逐点归一化使用逐点卷积1×1对每个尺度的特征进行通道归一化通道拼接将归一化后的多尺度特征在通道维度上进行拼接降维投影通过最终1×1卷积降低通道维度减少计算量注意力精炼Attention Branch引入通道注意力分支使用全局平均池化Global Average Pooling和Sigmoid门控机制对特征进行重标定增强有用信息、抑制冗余2.2.4 SPPF模块设计目标进一步扩大网络感受野捕获更大范围的上下文信息。来源SPPFSpatial Pyramid Pooling - Fast模块源自YOLO系列目标检测模型通过不同尺寸的池化核并行处理特征图在保持计算效率的同时增强多尺度上下文感知能力。2.3 损失函数与训练策略配置项详情损失函数均方误差损失MSE Loss直接优化像素级重建精度优化器AdamW初始学习率1×10−41 \times 10^{-4}1×10−4学习率调度余弦退火Cosine Annealing帮助模型平稳收敛训练轮次3000轮Epochs训练硬件NVIDIA RTX 3090 GPUIntel Xeon 4214R CPU数据集GoPro [3]共3214对模糊/清晰图像按2103/1111分割数据增强随机裁剪至256×256256 \times 256256×2562.4 实验设计2.4.1 评估指标指标类别具体指标符号方向图像质量PSNR峰值信噪比、SSIM结构相似性指数↑ 越高越好模型复杂度参数量Params、乘加操作数GMACs↓ 越低越好推理效率每帧推理时间Time in seconds、帧率FPS↓ / ↑2.4.2 对比方法与多种主流图像/视频去模糊方法进行对比涵盖传统深度学习方法DeepDeblur [3]、SRN [7]、轻量级方法MIMO-UNet [1]、STFAN [8]、大模型方法EDVR [4]、ERDN [10]、BlurGAN-v2 [9]以及最新方法STSM [2]。2.4.3 边缘平台部署测试为了验证边缘部署的可行性在四种不同硬件平台上测试模型FPS平台推理后端代表场景iPhone 15A16 BionicCoreML移动端边缘推理RTX 3090 GPUPyTorch CUDA桌面端高性能推理Intel Xeon CPUONNX Runtime通用服务器/工控机Intel Xeon CPUOpenVINOIntel平台优化推理三、主要创新点与学术贡献3.1 创新点总结创新点一提出极轻量级SISO实时去模糊网络核心思想放弃常见的多输入多输出MIMO或多尺度输入策略采用单输入-单输出的U型结构从根本上降低冗余计算。创新价值参数量仅5.85M计算量仅15.76 GMACs为对比方法中最低推理速度在RTX 3090上达154.42 FPS6.5ms/帧在iPhone 15上达146.72 FPS相比大型模型如ERDN计算量降低超过100倍速度提升超过100倍创新点二三模块协同设计实现效率-精度平衡核心思想通过LD Block边缘感知特征提取、MLIA多尺度特征聚合和X-Fuse跨源解码细化三个模块的分工协作在极低计算预算下维持高质量恢复。创新价值在GoPro数据集上达到30.67 dB PSNR和0.9005 SSIM超越了SRN29.97 dB和DeepDeblur29.23 dB等早期方法模块化设计清晰每个模块针对特定瓶颈特征提取、多尺度融合、细节恢复进行优化创新点三面向边缘部署的全链路优化核心思想从模型设计之初就将边缘硬件约束纳入考量设计对移动端CoreML、OpenVINO等推理引擎友好的网络结构。创新价值在iPhone 15A16 Bionic上达到146.72 FPS证明模型在资源受限的移动SoC上可实现实时处理在Intel CPU上通过OpenVINO加速达到22.74 FPS覆盖通用计算场景模型的轻量化设计使其可部署于自动驾驶域控制器、无人机机载计算单元、医疗内窥镜等边缘设备3.2 主要学术贡献轻量级设计的范式创新在确保去模糊质量的前提下将模型参数量和计算量推向极值5.85M参数15.76 GMACs为后续边缘AI去模糊研究提供了新的基准。跨硬件平台的实时验证首次在包含移动SoC、GPU、CPUONNX/OpenVINO的多种硬件平台上对去模糊模型进行全面的部署效率评估填补了同类工作在上线部署验证方面的空白。性能-效率综合对比领先在GoPro数据集上的综合对比见表I显示RT-Focuser以最低的计算量和最快的推理速度取得了优于SRN0.7 dB PSNR和DeepDeblur1.44 dB PSNR的去模糊质量在轻量级模型中具有显著的帕累托优势。开源与可复现性代码、预训练模型及使用说明已在GitHub上完整开源https://github.com/ReaganWu/RT-Focuser便于社区复现和进一步优化。3.3 实验结果关键数据解读质量对比GoPro数据集模型PSNR (dB)SSIM参数量 (M)GMACs时间 (秒)ERDN [10]32.480.932945.682138.892.89STSM [2]33.410.951214.4092.510.16MIMO-UNet [1]31.730.950016.10154.410.014RT-Focuser30.670.90055.8515.760.006分析RT-Focuser的质量指标虽低于部分大模型如STSM、ERDN但在参数量仅为STSM的40%、计算量仅为17%的情况下实现了接近实用的去模糊质量同时推理速度是MIMO-UNet的2.3倍而MIMO-UNet被认为已是较快的轻量级方法。部署效率FPS平台FPS推理后端iPhone 15A16 Bionic146.72CoreMLRTX 3090 GPU154.42PyTorch CUDAIntel Xeon CPU14.95ONNX RuntimeIntel Xeon CPU22.74OpenVINO分析RT-Focuser在GPU和移动端均超过140 FPS满足25-30 FPS视频流的实时处理需求在CPU上也能达到近实时15-23 FPS的处理速度。四、技术路线总结┌─────────────────────────────────────────────────────────────────────────┐ │ RT-Focuser 技术架构总览 │ ├─────────────────────────────────────────────────────────────────────────┤ │ 输入单张模糊图像 I_B (任意尺寸全卷积结构) │ ├─────────────────────────────────────────────────────────────────────────┤ │ 编码器Encoder │ │ └─ 堆叠多个 LD Block轻量级去模糊块 │ │ ├─ Depthwise 3×3 Conv GELU BN │ │ ├─ Pointwise Conv (dim → 4×dim) GELU BN │ │ ├─ Pointwise Conv (4×dim → dim) BN │ │ ├─ 可选 Laplacian 分支SN模块增强边缘 │ │ └─ 残差连接 │ ├─────────────────────────────────────────────────────────────────────────┤ │ 多级集成聚合模块MLIA │ │ ├─ 双线性插值统一各阶段特征图尺寸 │ │ ├─ 逐点卷积1×1归一化各尺度 │ │ ├─ 通道拼接 1×1卷积降维 │ │ └─ 通道注意力分支GAP Sigmoid精炼特征 │ ├─────────────────────────────────────────────────────────────────────────┤ │ SPPF模块 │ │ └─ 多尺度池化源自YOLO系列→ 扩大感受野 │ ├─────────────────────────────────────────────────────────────────────────┤ │ 解码器Decoder │ │ └─ 渐进式上采样 X-Fuse Block跨源融合块 │ │ ├─ 输入1上层上采样特征 │ │ ├─ 输入2编码器MLIA输出 │ │ ├─ 输入3原始模糊图像通道级残差引导 │ │ └─ 分组卷积 逐点卷积 → 融合输出 │ ├─────────────────────────────────────────────────────────────────────────┤ │ 输出去模糊清晰图像 I_S │ ├─────────────────────────────────────────────────────────────────────────┤ │ 训练配置GoPro数据集2103/1111AdamWlr1e-4 CosineAnnealing │ │ 损失函数MSE Loss3000 Epochs │ ├─────────────────────────────────────────────────────────────────────────┤ │ 性能指标 │ │ ├─ 恢复质量PSNR 30.67 dB, SSIM 0.9005 │ │ ├─ 模型大小5.85 M参数, 15.76 GMACs │ │ └─ 推理速度154 FPS (RTX 3090) / 146 FPS (iPhone 15) │ └─────────────────────────────────────────────────────────────────────────┘五、局限性与未来方向5.1 局限性客观指标的微弱劣势虽然推理速度遥遥领先但PSNR30.67 dB和SSIM0.9005仍落后于MIMO-UNet31.73/0.95和STSM33.41/0.9512。对于对精度要求极高、对延迟不敏感的应用场景RT-Focuser可能不是首选。数据集覆盖度有限实验仅在GoPro合成数据集上进行评估对于真实世界中的复杂模糊场景如极端低光照、卷帘快门效应、复杂前景-背景运动的泛化能力有待进一步验证。SSIM相对较低SSIM仅为0.9005显著低于MIMO-UNet0.95和STSM0.9512表明其在结构保真度方面存在提升空间可能影响了在高分辨率细节上的恢复效果。缺乏针对视频去模糊的时序建模当前方法为单图像去模糊设计未能利用视频帧间的时间一致性信息。在视频流应用中逐帧独立处理可能引入帧间闪烁或不一致。5.2 未来方向精度进一步提升在保持轻量化的前提下通过更优的模块设计如引入高效注意力机制、神经架构搜索进一步提升PSNR和SSIM缩小与大模型的差距。扩展到视频去模糊引入时序建模模块如ConvLSTM、可变形卷积或后处理平滑策略将RT-Focuser扩展为视频去模糊模型同时保持实时性能。真实场景泛化在更多的真实模糊数据集如Lai、RealBlur上进行评估和微调提升模型在实际应用中的鲁棒性。更激进边缘部署进一步通过模型量化INT8、剪枝、知识蒸馏等技术将模型部署到更低功耗的微控制器MCU上拓展应用边界。多任务联合学习探索将去模糊与超分辨率、低光增强、去噪等任务联合学习实现边缘端的一体化图像恢复方案。总结RT-Focuser通过精巧的轻量化模块设计LD、MLIA、X-Fuse和单输入-单输出的高效U型架构在图像去模糊任务中实现了质量与效率的帕累托最优。模型以仅5.85M参数和15.76 GMACs的计算量在GPU和移动端均实现超过140 FPS的实时处理速度为边缘端图像去模糊的工程部署提供了切实可行的解决方案。