[GitHub-unofficial]代码本人所写,没有预训练权重,代码仅供参考
此SIamFT网络是利用光学和红外图像进行数据融合,并应用于视频跟踪领域。阅读此博文前推荐先阅读[VIF-Net:红外和可见图像融合的无监督框架]。VIF-Net就给出了一种无监督的数据融合网络,但是网络只是进行数据融合,没有应用于其他的领域。另外,普通的视频跟踪方法,并没有使用多种数据,阅读此博文前推荐先阅读[视频跟踪]中的论文解读,其中都是基于孪生网络的深度学习方法。
视频跟踪方法上,比较流行的方法是深度学习方法和相关滤波算法,前者取得了更好的性能,后者拥有更好的效率。
视频跟踪数据上,大多数视频跟踪算法是针对可见图像(RGB图像)开发的。 尽管取得了显着进步,但基于可见图像的跟踪算法可能会失败,因为在某些情况下它们可能不可靠。 例如,当照明条件差时。 相反,红外图像显示了物体的热信息,并且对这些因素不敏感。 它们可以为可见图像提供补充信息,并在黑暗等情况下显示被伪装的物体。 此外,在某些情况下,RGB图像比红外图像更可靠,因为它们具有颜色特征并可以提供更多细节,如下图所示。
通过利用可见光和红外图像中的补充信息,可以显着提高跟踪算法的鲁棒性。 因此,基于可见光和热红外图像的目标跟踪已成为研究的热点,被称为RGB红外融合跟踪。
在本文中,作者提出了一种有高效的RGB红外融合跟踪方法,该方法可以实时跟踪并可以与目前先进跟踪器相互竞争的性能。 也就是作者提出了一种基于完全卷积的孪生网络的融合跟踪方法,并将其称为SiamFT。
SiamFT的流程图如下图所示。可以说SIamFT使用了双重的孪生网络,可见光网络和红外网络。 它们分别用于处理可见图像和红外图像。backbone使用的是SiamFC网络,网络权值可能不共享,可见光部分的网络权值共享,红外部分网络权值共享,也就是下图灰色的部分。
backbone的结构在下图中给出。可以看出,除最后一个卷积层之外,每个卷积层之后都是ReLU层。 而且,仅在前两个卷积层之后使用池化层。 此外,该CNN是完全卷积的,因此对输入图像的大小没有限制要求。
在网络输入方面,与SiamFC相同,都是从中心截取。对于模板图像,在第一帧中以标记中心为中心截取 127 × 127 × 3 127×127×3 127×127×3的图像。对于搜索图像,以上一帧框中心为中心截取 255 × 255 × 3 255×255×3 255×255×3的图像,如果尺寸不够裁剪,则在裁剪后以平均像素值进行填充。
SiamFT网络在数据融合上,要经过模板特征融合和搜索特征融合。
①模板特征融合
在可见光和红外模板图像经过backbone后产生的深层特征进行相连,这里是通道相连,产生融合特征。
②搜索特征融合
在可见光和红外搜索图像经过backbone后产生的深层特征送入特征融合网络,网络的具体操作会在后面说明。
最后,生成新的模板特征和搜索特征,进行相互卷积,生成响应图,意义就是在搜索图像中模板图像的响应值。这一部分的具体内容和[SiamFC:利用全卷积孪生网络进行视频跟踪]中没有区别。
如果可见光部分backbone操作为 φ φ φ,红外部分backbone操作为 φ ′ φ′ φ′, z v z_v zv和 x v x_v xv分别为输入可见光部分的模板图像和搜索图像, z t z_t zt和 x t x_t xt分别为输入红外部分的模板图像和搜索图像,那么生成响应图可以表示为: r e s p o n s e M a p = ( φ ( z v ) ⊕ φ ′ ( z t ) ) ∗ ( φ ( x v ) ⊕ φ ′ ( x t ) ) responseMap=(φ(z_v)⊕φ′(z_t))*(φ(x_v)⊕φ′(x_t)) responseMap=(φ(zv)⊕φ′(zt))∗(φ(xv)⊕φ′(xt))其中 ∗ * ∗代表相关运算也就是卷积操作, ⊕ ⊕ ⊕代表特征融合,注意两个 ⊕ ⊕ ⊕的融合方法是不一样的但是都是特征融合。作者为了方便研究令 φ φ φ与 φ ′ φ′ φ′相同,权值共享。
下面的算法流程展示了SiamFT的过程。
算法1:基于孪生网络的融合跟踪算法(SiamFT) |
---|
1 输入可见图像和红外图像,第一帧的Groundtruth |
2 输出 每个帧中目标的预测位置和大小 |
3 初始化 |
4 裁剪可见光图像获得模板图像 z v z_v zv |
5 裁剪红外图像获得模板图像 z t z_t zt |
6 跟踪 |
7 对于 每一帧 i i i 运行 |
8 裁剪当前帧可见光图像获得搜索图像 x v x_v xv |
9 裁剪当前帧红外图像获得搜索图像 x t x_t xt |
10 将 z v z_v zv和 x v x_v xv送入可见光部分网络得到 φ ( z v ) φ(z_v) φ(zv)和 φ ( x v ) φ(x_v) φ(xv) |
11 将 z t z_t zt和 x t x_t xt送入红外部分网络得到 φ ′ ( z t ) φ′(z_t) φ′(zt)和 φ ′ ( x t ) φ′(x_t) φ′(xt) |
12 基于 z v z_v zv和 x v x_v xv计算可见光特征模态权重 |
13 基于 z t z_t zt和 x t x_t xt计算红外特征模态权重 |
14 利用特征融合网络融合 φ ( z v ) φ(z_v) φ(zv)和 φ ′ ( z t ) φ′(z_t) φ′(zt),得到融合模板特征 φ ( z v ) ⊕ φ ′ ( z t ) φ(z_v)⊕φ′(z_t) φ(zv)⊕φ′(zt) |
15 利用特征融合网络融合 φ ( x v ) φ(x_v) φ(xv)和 φ ′ ( x t ) φ′(x_t) φ′(xt),得到融合搜索特征 φ ( x v ) ⊕ φ ′ ( x t ) φ(x_v)⊕φ′(x_t) φ(xv)⊕φ′(xt) |
16 根据公式 r e s p o n s e M a p = ( φ ( z v ) ⊕ φ ′ ( z t ) ) ∗ ( φ ( x v ) ⊕ φ ′ ( x t ) ) responseMap=(φ(z_v)⊕φ′(z_t))*(φ(x_v)⊕φ′(x_t)) responseMap=(φ(zv)⊕φ′(zt))∗(φ(xv)⊕φ′(xt))计算响应图 |
17 对响应图上采样获得目标的预测位置 |
18 循环结束 |
这一部分具体介绍了特征融合的操作。下图展示了特征融合网络的结构。特征融合网络的目的是对可见光和红外的搜索特征进行融合,同时作者也利用搜索图像的特征,生成新的搜索特征。注意生成新的模板特征只是通过多通道叠加,生成新的搜索特征利用新的网络。
特征融合网络的关键是模态权重的计算,在本研究中,作者提出了一种基于从互相关计算中获得的响应值的模态权重计算方法。简单理解就是,可见光和红外特征的贡献是不一样的,可以赋上一组权重,叫做模态权重。权重的计算主要依赖与哪一种搜索特征与模板特征更相似,更相似的就更容易进行跟踪,其对应的模态权重也就越大。这也与注意力机制相似,使网络更注重与需要的特征。
如上图所示(原论文中图片错误,在作者更正论文中进行了更正,上图正确)
,上面一排是可见光图像,下面一排是红外图像,下面的折线图中,蓝色是可见光响应图的最大值,红色是红外响应图的最大值。
左边图像序列第3帧中可见光图像比红外图像更清晰,所以可见光特征的响应图最大值高于红外特征,所以需要更多利用可见光特征进行融合。
右边是由于黑暗导致可见光图像目标不清晰,在可见光质量不好的情况下,需要更多利用红外特征进行融合,所以红外特征的模态权值会更高,也就是红色的线会高于蓝色。这些也可以说明通过互相关层的响应图最大值可以作为模态权重。所以模态权重可以定义为:
weight i = { max ( R i ) , i f d < threshold max ( R i ) d , i f d ≥ threshold \text { weight }_{i}=\left\{\begin{array}{ll} \max \left(R_{i}\right), if & d<\text { threshold } \\ \frac{\max \left(R_{i}\right)}{\sqrt{d}}, i f & d \geq \text { threshold }\end{array}\right. weight i={
max(Ri),ifdmax(Ri),ifd< threshold d≥ threshold 其中 i i i代表模态,就是可见光和红外两种, R i R_i Ri代表 i i i的响应图,其中作者引入 d d d是连续两帧目标的距离,在视频跟踪中,两帧之间的距离不会过大,所以一旦超出一个阈值,会对模态权重进行限制。然后进行权重归一化:
ω v = weight v weight v + weight t ω t = weight t weight v + weight t \begin{aligned} &\omega_{v}=\frac{\text {weight}_{v}}{\text {weight}_{v}+\text {weight}_{t}}\\ &\omega_{t}=\frac{\text {weight}_{t}}{\text {weight}_{v}+\text {weight}_{t}} \end{aligned} ωv=weightv+weighttweightvωt=weightv+weighttweightt其中 ω v ω_v ωv和 ω t ω_t ωt分别是可见光特征和红外特征的归一化模态权重。
模板是从第一帧获得的,并且在跟踪过程中未更新,因此,融合后的模板为:
φ ( z v ) ⊕ φ ′ ( z t ) = c o n c a t ( φ ( z v ) , φ ′ ( z t ) ) φ(z_v)⊕φ′(z_t)=concat(φ(z_v),φ′(z_t)) φ(zv)⊕φ′(zt)=concat(φ(zv),φ′(zt))
这里只是在第一帧,将两个模板特征通道叠加,没有赋予权重。而在第二帧开始将会结合模态权重:
φ ( z v ) ⊕ φ ′ ( z t ) = c o n c a t ( ω v × φ ( z v ) , ω t × φ ′ ( z t ) ) φ(z_v)⊕φ′(z_t)=concat(ω_v×φ(z_v),ω_t×φ′(z_t)) φ(zv)⊕φ′(zt)=concat(ωv×φ(zv),ωt×φ′(zt))其中 ω v ω_v ωv和 ω t ω_t ωt分别是可见图像和红外图像的模态权重。
利用网络的输出和标记的响应图,计算损失函数:
L ( y , v ) = 1 ∣ D ∣ ∑ u ∈ D log ( 1 + exp ( − y [ u ] ⋅ v [ u ] ) ) L(y, v)=\frac{1}{|D|} \sum_{u \in D} \log (1+\exp (-y[u] \cdot v[u])) L(y,v)=∣D∣1u∈D∑log(1+exp(−y[u]⋅v[u]))
其中 y [ u ] y[u] y[u]与 v [ u ] v[u] v[u]分别表示网络的输出和Groundtruth,对响应图遍历取平均值。
训练50epoch,一个epoch50K个图像对,学习率为 1 0 − 2 − 1 0 − 5 10^{-2}-10^{-5} 10−2−10−5。
具体性能指标可以阅读[视频跟踪数据集指标分析]。其中SR类似于VOT中的Accuracy,PR类似于VOT中的Center Error。
在十九种RGB红外视频的所有比较跟踪器中,作者提出的SiamFT在SR方面均达到最佳结果,在PR方面获得次优(略差于最佳)。 特别是,在SR方面,SiamFT在7个序列上均优于所有追踪器,在PR方面,它在6个序列上均优于所有追踪器。 此外,SiamFT在SR的16个视频和PR的13个视频中均排名前三。 这清楚地证明了SiamFTin在RGB红外融合跟踪中的有效性。
SR方面如下表,表格中红色最好,绿色第二,蓝色第三。
PR方面如下表,表格中红色最好,绿色第二,蓝色第三。
下图展示了一些视频上不同跟踪器之间边界框的定性比较,这从视觉上证明了作者方法的有效性。 可以发现,在某些挑战性条件下(例如遮挡,比例尺变化,照明条件较差),建议的跟踪器更加强大。
作者提出的跟踪器的运行速度约为28-32FPS,因此可以满足实时性要求。 这比速度仅为几个FPS的方法(例如SGT(5 FPS)和LGMG(7FPS))更快,更实用,证明了所提方法的效率。
◉ RGB红外
数据集
[TNO-RGB红外图像]
[FLIR-RGB红外图像]
[Multispectral Image Recognition-RGB红外目标检测]
[Multispectral Image Recognition-RGB红外语义分割]
[INO-RGB红外视频]
[SYSU-MM01行人重识别可见光红外数据]
论文
[VIF-Net:RGB和红外图像融合的无监督框架]
[SiamFT:通过完全卷积孪生网络进行的RGB红外融合跟踪方法]
[TU-Net/TDeepLab:基于RGB和红外的地形分类]
[RTFNet:用于城市场景语义分割的RGB和红外融合网络]
[DenseFuse:红外和可见图像的融合方法]
[MAPAN:基于自适应行人对准的可见红外跨模态行人重识别网络]
◉ 多光谱高光谱
数据集
[高光谱图像数据]
论文
[Deep Attention Network:基于深层注意力网络的高光谱与多光谱图像融合]
◉ RGBSAR
数据集
[待更新]
论文
[待更新]
◉ RGB红外SAR
数据集
[待更新]
论文
[待更新]
大家有数据融合方向的优秀论文可以在评论分享一下,感谢。
文章浏览阅读3.4k次,点赞8次,收藏42次。一、什么是内部类?or 内部类的概念内部类是定义在另一个类中的类;下面类TestB是类TestA的内部类。即内部类对象引用了实例化该内部对象的外围类对象。public class TestA{ class TestB {}}二、 为什么需要内部类?or 内部类有什么作用?1、 内部类方法可以访问该类定义所在的作用域中的数据,包括私有数据。2、内部类可以对同一个包中的其他类隐藏起来。3、 当想要定义一个回调函数且不想编写大量代码时,使用匿名内部类比较便捷。三、 内部类的分类成员内部_成员内部类和局部内部类的区别
文章浏览阅读118次。分布式系统要求拆分分布式思想的实质搭配要求分布式系统要求按照某些特定的规则将项目进行拆分。如果将一个项目的所有模板功能都写到一起,当某个模块出现问题时将直接导致整个服务器出现问题。拆分按照业务拆分为不同的服务器,有效的降低系统架构的耦合性在业务拆分的基础上可按照代码层级进行拆分(view、controller、service、pojo)分布式思想的实质分布式思想的实质是为了系统的..._分布式系统运维工具
文章浏览阅读174次。1.数据源准备2.数据处理step1:数据表处理应用函数:①VLOOKUP函数; ② CONCATENATE函数终表:step2:数据透视表统计分析(1) 透视表汇总不同渠道用户数, 金额(2)透视表汇总不同日期购买用户数,金额(3)透视表汇总不同用户购买订单数,金额step3:讲第二步结果可视化, 比如, 柱形图(1)不同渠道用户数, 金额(2)不同日期..._exce l趋势分析数据量
文章浏览阅读3.3k次。堡垒机可以为企业实现服务器、网络设备、数据库、安全设备等的集中管控和安全可靠运行,帮助IT运维人员提高工作效率。通俗来说,就是用来控制哪些人可以登录哪些资产(事先防范和事中控制),以及录像记录登录资产后做了什么事情(事后溯源)。由于堡垒机内部保存着企业所有的设备资产和权限关系,是企业内部信息安全的重要一环。但目前出现的以下问题产生了很大安全隐患:密码设置过于简单,容易被暴力破解;为方便记忆,设置统一的密码,一旦单点被破,极易引发全面危机。在单一的静态密码验证机制下,登录密码是堡垒机安全的唯一_horizon宁盾双因素配置
文章浏览阅读7.7k次,点赞4次,收藏16次。Chrome作为一款挺不错的浏览器,其有着诸多的优良特性,并且支持跨平台。其支持(Windows、Linux、Mac OS X、BSD、Android),在绝大多数情况下,其的安装都很简单,但有时会由于网络原因,无法安装,所以在这里总结下Chrome的安装。Windows下的安装:在线安装:离线安装:Linux下的安装:在线安装:离线安装:..._chrome linux debian离线安装依赖
文章浏览阅读153次。中国发达城市榜单每天都在刷新,但无非是北上广轮流坐庄。北京拥有最顶尖的文化资源,上海是“摩登”的国际化大都市,广州是活力四射的千年商都。GDP和发展潜力是衡量城市的数字指...
文章浏览阅读3.3k次。前言spark在java使用比较少,多是scala的用法,我这里介绍一下我在项目中使用的代码配置详细算法的使用请点击我主页列表查看版本jar版本说明spark3.0.1scala2.12这个版本注意和spark版本对应,只是为了引jar包springboot版本2.3.2.RELEASEmaven<!-- spark --> <dependency> <gro_使用java调用spark注册进去的程序
文章浏览阅读4.8k次。汽车零部件开发工具巨头V公司全套bootloader中UDS协议栈源代码,自己完成底层外设驱动开发后,集成即可使用,代码精简高效,大厂出品有量产保证。:139800617636213023darcy169_uds协议栈 源代码
文章浏览阅读4.6k次,点赞20次,收藏148次。AUTOSAR基础篇之OS(下)前言首先,请问大家几个小小的问题,你清楚:你知道多核OS在什么场景下使用吗?多核系统OS又是如何协同启动或者关闭的呢?AUTOSAR OS存在哪些功能安全等方面的要求呢?多核OS之间的启动关闭与单核相比又存在哪些异同呢?。。。。。。今天,我们来一起探索并回答这些问题。为了便于大家理解,以下是本文的主题大纲:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JCXrdI0k-1636287756923)(https://gite_autosar 定义了 5 种多核支持类型
文章浏览阅读2.2k次,点赞6次,收藏14次。原因:自己写的头文件没有被加入到方案的包含目录中去,无法被检索到,也就无法打开。将自己写的头文件都放入header files。然后在VS界面上,右键方案名,点击属性。将自己头文件夹的目录添加进去。_vs2013打不开自己定义的头文件
文章浏览阅读3.3w次,点赞80次,收藏342次。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。当数据量很大时,count 的数量的指定可能会不起作用,Redis 会自动调整每次的遍历数目。_redis命令
文章浏览阅读449次,点赞3次,收藏3次。URP的设计目标是在保持高性能的同时,提供更多的渲染功能和自定义选项。与普通项目相比,会多出Presets文件夹,里面包含着一些设置,包括本色,声音,法线,贴图等设置。全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,主光源和附加光源在一次Pass中可以一起着色。URP:全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,一次Pass可以计算多个光源。可编程渲染管线:渲染策略是可以供程序员定制的,可以定制的有:光照计算和光源,深度测试,摄像机光照烘焙,后期处理策略等等。_urp渲染管线