Residual channel attention based sample adaptation few-shot learning for hyperspectral image classification一、研究背景与核心问题高光谱图像HSI是什么高光谱图像是遥感图像的一种能获取地表物体的光谱信息包含丰富的光谱-空间信息每个像素点包含数百个连续窄波段的光谱信息如363nm-1018nm应用场景资源调查、环境监测、农业生产、城市规划等核心挑战标注样本稀缺HSI分类需要为每个像素标注语义标签如水体、“植被”、建筑等获取大量准确标注数据成本极高需要领域专家实地调查光谱维度高数百个波段人工标注困难传统深度学习方法2D-CNN、3D-CNN、RNN、GCN等依赖大量标注样本现有方法的不足方法类型代表工作局限性传统机器学习SVM、随机森林特征提取能力有限深度学习3D-CNN, HybridSN需要大量标注样本小样本学习FSLDFSL, DCFSL忽略跨域特征通道间的相关性特征表示能力不足跨域FSLDCFSL, CMFSL虽考虑域间分布差异但未充分挖掘通道间的依赖关系关键问题不同数据集源域→目标域由于采集条件不同传感器、时间、地点存在光谱差异domain shift导致直接迁移效果差。二、核心贡献RCASA-FSL 框架论文提出Residual Channel Attention Based Sample Adaptation Few-Shot Learning (RCASA-FSL)三大核心模块1. 深度残差特征通道注意力模块DRFCAM设计动机捕捉跨域通道依赖关系挖掘深层判别信息架构细节见图24个残差块Residual Blocks堆叠2个MaxPool层进行下采样1个3D卷积层作为全连接输出通道注意力机制输入特征图 X ∈ R^(H×W×C) ↓ 全局平均池化 → 压缩为特征向量 Z ∈ R^(1×1×C) ↓ 两层全连接W1: C→C, W2: C→C ReLU Sigmoid ↓ 通道权重 Y2 ∈ R^C ↓ 逐通道加权X_c X_c · Y2_c ↓ 残差连接Output X X关键公式X ′ X ⋅ sigmoid ( W 2 ⋅ ReLU ( W 1 ⋅ Pool ( X ) ) ) X X \cdot \text{sigmoid}(W_2 \cdot \text{ReLU}(W_1 \cdot \text{Pool}(X)))X′X⋅sigmoid(W2​⋅ReLU(W1​⋅Pool(X)))Output X ′ X \text{Output} X XOutputX′X残差连接的作用直接处理源域和目标域数据获取跨域依赖关系解决梯度消失提高梯度传播效率多层堆叠挖掘深层判别信息2. 随机特征重校准模块RFRM设计动机通过随机矩阵重新分配特征权重充分探索特征权重关系指导样本自适应操作流程见图3输入特征矩阵 A (m×p) ↓ 随机矩阵 B (p×n) ↓ 矩阵乘法C A × B ↓ 归一化第一个元素除以常数因子 X 1024/LL为返回列表长度 ↓ 第一个元素权重设为1其余元素乘以归一化结果 ↓ 输出张量用于分类数学表达C i j ( A B ) i j ∑ k 1 p a i k b k j C_{ij} (AB)_{ij} \sum_{k1}^{p} a_{ik}b_{kj}Cij​(AB)ij​k1∑p​aik​bkj​为什么用随机矩阵增加特征稀疏性和模型泛化能力避免确定性权重分配导致的过拟合简单高效计算开销小3. 联合损失函数Joint Loss Function组成L J L f s l L d L_J L_{fsl} L_dLJ​Lfsl​Ld​损失项功能公式FSL损失L f s l L_{fsl}Lfsl​度量学习计算查询样本与原型间的欧氏距离基于softmax的交叉熵P ( y n ∣ q ) exp ⁡ ( − d ( F ϕ ( q ) , c n ) ) ∑ n 1 C exp ⁡ ( − d ( F ϕ ( q ) , c n ) ) P(yn|q) \frac{\exp(-d(F_\phi(q), c_n))}{\sum_{n1}^{C}\exp(-d(F_\phi(q), c_n))}P(yn∣q)∑n1C​exp(−d(Fϕ​(q),cn​))exp(−d(Fϕ​(q),cn​))​域自适应损失L d L_dLd​对齐源域和目标域分布二元交叉熵L d − 1 N ∑ i 1 N [ y i log ⁡ f ( x i ) ( 1 − y i ) log ⁡ ( 1 − f ( x i ) ) ] L_d -\frac{1}{N}\sum_{i1}^{N}[y_i\log f(x_i) (1-y_i)\log(1-f(x_i))]Ld​−N1​∑i1N​[yi​logf(xi​)(1−yi​)log(1−f(xi​))]域自适应机制源域样本标签设为1目标域样本标签设为0通过梯度反转gradient reversal训练域分类器特征提取器学习域不变特征domain-invariant features三、训练与测试流程训练阶段两阶段阶段1FSL训练源域数据集 DS │ ├─ 随机采样 N-way-M-shot 任务 │ ├─ Support Set S: N类 × M样本/类 │ └─ Query Set Q: N类 × P样本/类 │ ├─ DRFCAM提取特征 ├─ RFRM重校准特征权重 ├─ 计算 Lfsl查询样本分类损失 └─ 计算 Ld域分类损失 阶段2域自适应目标域数据集 DT │ ├─ 使用目标域少量标注样本 DL_T 微调 └─ 联合损失反向传播优化测试阶段KNN分类器在微调数据集D T L D_T^LDTL​上拟合训练好的DRFCAM KNN对测试集D T U D_T^UDTU​分类四、实验设置数据集数据集类型空间尺寸光谱波段类别数用途Chikusei源域2517×2335128 (363-1018nm)19预训练Indian Pines (IP)目标域145×14520016测试Salina Valley (SV)目标域512×21720416测试Pavia Center (PC)目标域1096×7151029测试设置源域每类随机选200个标注样本目标域每类仅5个标注样本5-shot其余为测试对比方法7个类别方法特点传统深度学习3D-CNN, HybridSN, FDSSC需要大量样本小样本学习DFSL深度度量学习跨域FSLDCFSL条件域对抗策略跨域FSLCMFSL类协方差度量跨域FSLMRCN多任务重建分类超参数设置参数设置学习率0.001最优见图7训练轮数12,000收敛点见图8Support样本数 M11-shot最优见图9aQuery样本数 Z19≥19后稳定见图9b卷积核大小3×3滑动窗口空间尺寸9×9MaxPool参数kernel(4,2,2), stride(4,2,2)五、实验结果与分析1. 定量结果总体精度 OA方法IP (16类)SV (16类)PC (9类)3D-CNN52.52%69.91%84.31%HybridSN51.30%82.53%90.42%FDSSC63.05%84.30%95.18%DFSL61.46%87.03%95.53%DCFSL66.07%89.57%97.07%CMFSL67.40%90.26%97.21%MRCN64.20%89.57%93.60%RCASA-FSL72.44%90.27%97.52%关键发现IP数据集最难类别多且光谱复杂RCASA-FSL显著领先比DCFSL高6.37%比CMFSL高5.04%SV数据集与CMFSL基本持平90.27% vs 90.26%但稳定性更优标准差0.93 vs 2.08PC数据集最简单类别少达到97.52%比DCFSL高0.45%2. 分类图可视化定性分析见图10-12RCASA-FSL生成的分类图更平滑同类区域一致性更好边界混淆明显减少如IP数据中的农作物边界噪声像素显著减少3. 消融实验表7模块组合IPSVPCBaseline基础CNNFSL60.32%76.11%82.36% DRFCAM67.25%84.22%95.66% DRFCAM RFRM71.59%90.02%96.83% Joint Loss68.25%87.22%93.94% DRFCAM RFRM Joint Loss72.44%90.27%97.52%结论三个模块协同作用单独使用均有提升组合效果最佳。4. 损失函数消融表8损失函数IPSVPC仅 Lfsl67.58%83.66%90.36%仅 Ld66.72%85.94%90.77%Lfsl Ld联合72.44%90.27%97.52%结论联合损失函数不可或缺两者互补。5. 不同标注样本数实验图13-15标注样本从1→5递增时所有方法性能提升RCASA-FSL在**极少样本1-shot**下仍保持领先验证了其鲁棒性6. 计算效率表9方法参数量训练时间(IP)测试时间(IP)DFSL38,140622s1.36sDCFSL4,268,9941259s1.28sCMFSL622,9431532s1.25sRCASA-FSL77,5921252s1.11s优势参数量仅为DCFSL的1.8%CMFSL的12.5%测试时间最短1.11s原因DRFCAM关注通道维度而非空间维度RFRM结构简单六、技术创新点总结创新点解决的问题技术实现DRFCAM跨域通道依赖关系缺失残差连接 通道注意力 多层堆叠RFRM特征权重分配不足随机矩阵乘法 归一化重校准联合损失域间分布差异FSL度量损失 域对抗损失七、与相关工作的对比方面DCFSL (Li et al., 2021)CMFSL (Xi et al., 2022)RCASA-FSL跨域机制条件域对抗类协方差度量残差通道注意力特征重校准无无随机矩阵损失设计单一损失单一损失联合损失参数量426万62万7.8万IP数据集OA66.07%67.40%72.44%八、局限性与未来方向论文未明确讨论但可推断的局限随机矩阵的确定性RFRM使用固定随机矩阵未探索自适应随机策略源域选择依赖性能受源域与目标域相似度影响最优源域选择策略未讨论光谱波段差异Chikusei128波段与IP/SV/PC200/204/102波段存在波段数差异处理方式未详细说明未来方向引入Transformer结构替代CNN捕捉长程光谱依赖多源域融合利用多个源域数据提升泛化性自监督预训练在FSL前进行无监督特征学习九、启示通道注意力在跨域任务中的价值当数据存在域偏移时通道间的相关性比空间信息更稳定简单模块的有效性RFRM仅用随机矩阵乘法却显著提升性能说明特征重校准的重要性联合优化的必要性单一损失难以同时优化分类和域对齐多目标联合训练是关键轻量化设计参数量控制7.8万使模型更适合遥感边缘设备部署十、核心结论RCASA-FSL通过残差通道注意力捕捉跨域依赖、随机矩阵重校准特征权重、联合损失优化域不变度量空间在仅5个标注样本/类的高光谱图像分类任务上以极少参数量7.8万实现了最优性能IP: 72.44%, SV: 90.27%, PC: 97.52%。这篇论文代表了跨域小样本高光谱分类的前沿进展其核心思想——通道注意力 随机重校准 域自适应联合优化——可迁移至其他遥感任务如SAR图像分类、多光谱变化检测及医学图像分析等领域。