中文标题：基于场景自适应知识蒸馏的红外与可见光图像融合

英文标题：Scene-adaptive Knowledge Distillation-based Fusion of Infrared and Visible Light Images

来源期刊：电子与信息学报

基金项目：国家自然科学基金(62172058)，湖南省自然科学基金(2022JJ10052)

作  者：蔡烁 姚玄石 唐远志 邓泽阳

作者单位：长沙理工大学大学计算机与通信工程学院 长沙 410114

摘  要：红外与可见光图像融合的目的是将这两种异模态图像信息整合成场景细节信息更全面的融合图像。现有的一些融合算法仅关注评价指标的提升，而忽略了其在现实应用中的模型轻量性和场景泛化性的需求。为了解决该问题，该文提出一种基于场景自适应知识蒸馏的红外与可见光图像融合方法。首先，将领先的融合算法作为教师网络得到白天场景的学习样本，用低光增强算法继续处理得到黑夜场景的学习样本；然后，通过光照感知网络预测可见光图像的白天黑夜场景概率，从而指导学生网络实现对教师网络的场景自适应知识蒸馏；最后，引入基于结构重参数化的视觉变换器(RepViT)进一步降低模型的计算资源消耗。在MSRS和LLVIP数据集上与7种主流的深度学习融合算法进行了定性与定量的实验对比，所提融合方法能够在更低的计算资源消耗下，实现多个评价指标的提升，并在白天黑夜场景均能实现较好的融合视觉效果。

全文链接： https://jeit.ac.cn/cn/article/doi/10.11999/JEIT240886