TCSVT 2024 | TUFusion：基于Transformer的多模态图像通用融合算法

小马不会过河

1424人浏览 · 2025-07-02 19:42:54

小马不会过河 · 2025-07-02 19:42:54 发布

论文信息

题目： TUFusion: A Transformer-Based Universal Fusion Algorithm for Multimodal Images

源码：https://github.com/windrunners/TUFusion

论文创新点

提出新型融合算法：论文提出了一种新的基于混合结构的图像融合算法TUFusion，其核心结构包括编码器、融合层和解码器。该算法创新性地将Transformer与CNN相结合，既能利用Transformer强大的全局提取能力，又能发挥CNN出色的局部图像信息感知能力，提升了多模态图像融合的通用性。
设计复合注意力融合策略：针对多模态图像融合，设计了独特的复合注意力融合策略。该策略包含两个自注意力模块、一个通道注意力模块和辅助连接模块，能够充分提取和融合来自编码器的特征，进一步提高融合精度，实现全局信息和局部信息的有效整合。
采用两阶段训练方案：采用两阶段训练方案，先对模型进行预训练，恢复其解码图像的能力；再通过在预训练模型的特征空间中进行对抗蒸馏，将教师模型的知识迁移到学生模型，弥补因结构压缩造成的性能损失，确保高质量的图像融合。
构建高效模型TUFusion：将TUFusion算法应用于多模态图像融合，在多个数据集上进行实验验证。结果表明，该模型在推理加速和参数减少的同时，在合成和真实世界数据集上都展现出具有竞争力的恢复质量，具有良好的通用性和适应性。

摘要

多模态图像融合是多模态融合领域的重要研究方向之一。该技术可利用互补的多模态图像实现图像和数据增强，在医学、工业、安防消防、自动驾驶和消费电子等领域有着广泛的应用。在这项工作中，作者提出了一种基于Transformer的通用融合（TUFusion）算法，该算法具备多领域融合能力。TUFusion算法的优势在于其混合Transformer和卷积神经网络（CNN）的编码器结构设计，以及一种新的复合注意力融合策略，使其拥有全局和局部信息整合能力。与经典的先进多模态图像融合方法相比，在多领域数据集上的实验结果表明，TUFusion算法在图像融合方面具有一定的通用性。同时，作者提出的TUFusion算法在峰值信噪比（PSNR）、均方根误差（RMSE）和结构相似性指数（SSIM）等指标上取得了较好的值。

三、TUFusion算法

A. 算法详细分析

算法整体结构：为了扩展全局和局部信息的整合能力并进一步提高通用性，作者提出了一种基于混合结构的新图像融合算法TUFusion。TUFusion的核心结构包括编码器、融合层和解码器，详细的算法结构如图1所示。待融合的多模态图像分别为和。通过TUFusion算法融合得到的图像为。获取的步骤如下：自动编码器的编码器利用输入和生成多模态表示和。和均作为融合层的输入。自动编码器具有复合注意力机制的融合层利用输入和生成多模态表示。是融合层的输出，也是解码器的输入。解码器利用生成并重建融合图像。

在本文提出的TUFusion算法中，编码器的主要部分采用Transformer - CNN结构的混合模型，而不是纯Transformer结构。这种混合结构的优点是可以利用CNN提取原始图像的局部特征，利用Transformer强大的全局提取能力，进一步提高全局信息感知能力。混合结构最终将局部特征感知和全局特征感知相结合，可提高多模态图像融合的通用性。

编码器结构：为了确定混合编码器结构中的CNN分支，TUFusion模型选择了具有强泛化能力的特征提取模块，如图1所示。CNN分支由ConvBlock模块、具有并行分支的DenseResnetBlock模块和加法融合策略组成。编码器中的CNN分支具有良好的特征提取能力。对于编码器中的Transformer分支，其结构主要包括图像分块、线性投影和Transformer模块，如图1所示。图像分块主要将待融合的图像分割成块。线性投影将图像块展平并生成Transformer模块可以处理的向量序列。Transformer模块主要包括两层归一化、多头注意力机制和多层感知机（MLP）层。Transformer模块的计算如公式（1）至（4）所示：

其中，MSA是多头注意力机制的计算过程，MLP是多层感知机的计算过程。对于MSA的计算，单头注意力机制的计算过程如公式（5）所示：

其中，是查询向量，是键向量，是值向量。多头注意力机制的计算由单头注意力机制进一步扩展得到。多头注意力机制对向量矩阵进行多次映射并组合向量矩阵，计算过程如公式（6）和（7）所示：

对于TUFusion混合编码器中Transformer分支和CNN分支的融合，融合策略选择拼接操作。在Transformer分支和CNN分支的特征融合中不考虑简单的加法融合，因为Transformer分支提取的特征图的通道数难以与CNN分支的通道数一致。为了最大程度地保留特征，最终考虑将两个网络提取的特征进行组合。 3. 解码器结构：除了TUFusion模型中的编码器，解码器的重要性不言而喻。对于解码器，主要使用两个双卷积层和一个单卷积层。具体结构如图2所示。实际上，解码器结构由5个卷积层和4个Relu层组成。

融合策略：融合策略是TUFusion算法的核心。简单的多模态图像融合算法通常采用加法策略。加法策略实用且可以降低计算复杂度。对于复杂或通用的多模态图像融合算法，精心设计的融合策略可以进一步提高融合性能。为了充分提取和融合编码器的特征，作者提出了一种新颖的复合注意力融合策略，以进一步提高通用多模态图像融合模型的融合精度。具体的复合注意力融合模块如图3所示。复合模块主要由两个自注意力模块、一个通道注意力模块和辅助连接模块组成。特别地，设计了一个基于轴注意力的模块来提高自注意力模块的计算速度。轴注意力模块可以快速提取特征的空间信息。通道注意力模块进一步实现了特征沿通道方向的适应性，以平衡CNN分支特征和Transformer分支特征。辅助连接模块将轴注意力信息和通道注意力信息叠加，最终实现全局信息和局部信息的整合。

对于轴注意力模块，其特点是既具有全局性又具有快速性。对于多模态特征图，在特征的宽度轴和高度轴上定义了一个具有位置敏感性和可调节参数的轴注意力层。轴注意力层使用多头注意力机制，宽度轴注意力层的计算如公式（8）所示：

其中，，，，，，是输入特征，其维度为。除了宽度轴注意力，高度轴注意力也遵循类似的计算过程，这两个方向的计算构成了轴注意力模块的核心。轴注意力模块的全局性体现在同时使用高度和宽度轴，快速性体现在与非局部自注意力机制的对比中。使用轴注意力模块，通过输入多模态表示和，可以得到空间增强的中间表示和。

B. 模型训练时的网络结构

在TUFusion算法进行最终融合之前需要进行模型训练，训练时的网络结构如图4所示。训练模型主要包括两部分：编码器和解码器。训练时的网络结构与图1中的编码器和解码器完全相同。当图4中的TUFusion模型进行训练时，输入图像与输出图像完全相同，且输入和输出图像来自一个大型数据集。早期训练模型与后期融合模型的区别在于，训练模型只使用一个编码器和一个解码器，而融合模型使用两个编码器、一个解码器和一个融合层。在模型训练结束时，将编码器和解码器的参数转移到后期的多模态图像融合模型中。

四、实验研究

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述