前言DSO 在纹理稀疏场景中表现优异但其核心局限也催生了大量后续工作无回环、无IMU、对光照敏感、单目尺度模糊。本文梳理 DSO 系列的所有重要改进方向展示直接法SLAM从 2016 到 2025 的完整演进。1. DSO 家族的演进全景DSO (Engel, 2016) │ 核心直接法 滑动窗口 边缘化 │ ├── Stereo DSO (Wang, 2017) │ 双目扩展绝对尺度 更快初始化 │ ├── LDSO (Gao, 2018) │ 加回环DBoW2 Sim(3) 位姿图优化 │ ├── D3VO (Yang, 2020) │ 深度学习深度估计 位姿联合自监督学习 │ ├── DM-VIO (Stumberg, 2022) │ IMU融合延迟边缘化 动态权重 │ ├── DSO with CNN depth prior (2021-2023) │ 单目深度估计网络提供先验 │ ├── Deep Direct Visual Odometry (2024) │ 端到端学习 直接法残差 │ └── Event-DSO (2025) 事件相机 DSO 框架2. 方向一添加回环检测 (LDSO)2.1 问题DSO 是纯里程计无回环检测长时间运行漂移无限累积。2.2 LDSO 的方案DSO 前端不变 │ ▼ 关键帧 特征点新提取 ORB 特征用于回环 │ ▼ DBoW2 词袋模型 → 回环候选 │ ▼ Sim(3) 变换计算 验证 │ ▼ 位姿图优化 (PGO) —— 校正所有关键帧 │ ▼ 全局 BA可选仅回环区域关键设计ORB 特征只在回环检测时使用不影响 DSO 的前端直接法跟踪。3. 方向二IMU 融合 (DM-VIO)3.1 DM-VIO 的核心创新DM-VIO (Delayed Marginalization Visual-Inertial Odometry) 是 DSO 作者的官方 VIO 扩展传统 VIO 融合的难点直接法特有 ├── IMU 初始化时尺度不确定 ├── 视觉-惯性联合优化的权重难以设定 └── 早期视觉尺度可能不准确 DM-VIO 的解决方案 └── 延迟边缘化 (Delayed Marginalization) ├── 为 IMU 信息单独维护一个延迟图 (Delayed Graph) ├── 视觉信息用滑动窗口 边缘化 ├── IMU 信息延迟加入等视觉尺度稳定后 └── 动态调整视觉-惯性的相对权重3.2 性能系统EuRoC MH01 ATE初始化时间实时性DSO~0.12m~5s30 fpsDM-VIO~0.04m~2s30 fpsORB-SLAM3 VI~0.05m~5s30 fps4. 方向三深度学习增强 (D3VO 等)4.1 D3VO —— 深度 位姿 不确定性的三重学习D3VO 在 DSO 框架基础上加入三个可学习的模块┌──────────────┐ │ 自监督单目深度 │ → 提供深度先验 (替代随机初始化) │ 估计网络 │ └──────┬───────┘ │ ┌──────┼───────┐ │ ▼ │ │ 联合位姿网络 │ → 预测相邻帧相对位姿辅助初始化 │ │ └──────┬───────┘ │ ┌──────┼───────┐ │ ▼ │ │ 不确定性估计 │ → 每个像素的光度误差权重 │ (Uncertainty)│ (强光照/阴影区域降低权重) └──────────────┘ │ ▼ DSO 后端优化 (与传统 DSO 兼容)4.2 其他深度学习结合方向方向方法效果深度先验MonoDepth / DPT 预测深度加速初始化提升精度语义掩码SegNet 剔除动态物体动态环境鲁棒光照不变特征学习型光度变换替代 gammavignette 标定端到端 VOTartanVO / DPVO不需要传统 BA5. 方向四多传感器融合扩展传感器代表工作Stereo DSO双目绝对尺度 快速初始化DM-VIO单目IMU延迟边缘化DSO GPS单目GPS全局约束消除漂移DSO 事件相机事件帧高动态范围、高速运动6. 方向五立体与多目扩展Stereo DSO 的创新Stereo DSO DSO 双目约束 新增残差项立体光度残差 r_stereo I_left[p] - I_right[p - d * baseline] (d 为逆深度) 优势 1. 绝对尺度不需要 IMU 2. 更快、更鲁棒的初始化 3. 固定基线提供稳定的尺度约束7. 方向六事件相机 DSO事件相机Event Camera具有微秒级时间分辨率和极高动态范围Event-DSO ├── 累积事件帧 → DSO 前端兼容 ├── 事件时间表面 → 亚像素精度匹配 └── 联合优化帧 事件的混合光度误差适用场景高速运动、极端光照从暗室到室外8. DSO 各改进版本对比系统年份传感器回环IMU深度学习ATE (EuRoC)DSO2016单目✗✗✗0.12mStereo DSO2017双目✗✗✗0.08mLDSO2018单目✓✗✗0.10mD3VO2020单目✗✗✓0.07mDM-VIO2022单目IMU✗✓✗0.04mEvent-DSO2025事件帧✗✗✗0.09m9. 总结DSO 的优化方向可以概括为三板斧加回环 (LDSO)解决长期漂移加惯性 (DM-VIO)解决尺度模糊 高动态鲁棒加学习 (D3VO)用深度学习提升深度估计和光照鲁棒性直接法最大的潜力在于与深度学习天然兼容——光度误差本身就是可微的可以直接嵌入神经网络进行端到端训练。