为什么加深神经网络如此有效?从卷积滤波器解释_卷积深度变深什么作用-程序员宅基地

技术标签: 知识经验分享  深度学习  学习技巧  

加深层的好处

  1. 减少网络参数
    与没有加深层的网络相比,加深了层的网络可以用更少的参数达到同等水平(或者更强)的表现力。我们通过结合卷积运算中的滤波器大小来理解。如下图展示了由5 × 5的滤波器构成的卷积层。

    显然,在上图中每个输出节点都是从输入数据的某个5 × 5 的区域算出来的。接下来我们思考下图中重复两次3 × 3 的卷积运算的情形。
    在这里插入图片描述
    此时,每个输出节点将由中间数据的某个3 × 3 的区域计算出来。那么,可以进一步观察到中间数据的3 × 3 的区域又是由前一个输入数据的一个5 × 5 的区域。也就是说,上图的输出数据是“观察”了输入数据的某个5 × 5 的区域后计算出来的。
卷积运算 卷积区域大小 参数数量
5 x 5 一层5 x 5 25
5 x 5 两层3 x 3 18
7 x 7 一层7 x 7 49
7 x 7 三层3 x 3 27

一次5 × 5 的卷积运算的区域可以由两次3 × 3 的卷积运算抵充。 并且,相对于前者的参数数量25(5 × 5),后者一共是18(2 × 3 × 3)通过叠加卷积层,参数数量减少了。而且,这个参数数量之差会随着层的加深而变大。 比如,重复三次3 × 3 的卷积运算时,参数的数量总共是27。而为了用一次卷积运算“观察”与之相同的区域,需要一个7 × 7 的滤波器,此时的参数数量是49。

“叠加小型滤波器来加深网络的好处是可以减少参数的数量,扩大感受野(receptive field,给神经元施加变化的某个局部空间区域)。并且,通过叠加层,将ReLU 等激活函数夹在卷积层的中间,进一步提高了网络的表现力。这是因为向网络添加了基于激活函数的“非线性”表现力,通过非线性函数的叠加,可以表现更加复杂的东西。”

  1. 使学习更加高效
    CNN的卷积层会分层次地提取信息。具体地说,在前面的卷积层中,神经元会对边缘等简单的形状有响应,随着层的加深,开始对纹理、物体部件等更加复杂的东西有响应。 比如,最开始的层只要专注于学
    习边缘就好,这样一来,只需用较少的学习数据就可以高效地进行学习。因为比起特定的训练集,拥有某个特征的数据却十分充足,足够训练。
    通过加深层,可以分层次地传递信息。也就是说,通过加深层,可以将各层要学习的问题分解成容易
    解决的简单问题
    ,从而可以进行高效的学习。

Reference

斋藤康毅. 《深度学习入门——基于python的理论与实现》[M]. 2016

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/liuz_notes/article/details/103118496

智能推荐

超小体积5G模块SIM8202G-M2_5g模组接口以m2为主?-程序员宅基地

文章浏览阅读2k次,点赞2次,收藏6次。7月29日,第十四届国际物联网博览会如期在深圳拉开帷幕。作为疫情期间物联网行业首个大型线下展览,博览会迎来了业内众多的生态合作伙伴。芯讯通携多款产品参加了博览会,并在会上进行了超小尺寸5G模组SIM8202G-M2的全球首发。SIM8202G-M2是一款多频段小尺寸的5G 模组,具有全新的四天线设计。30*42mm的封装尺寸,可以较好满足对尺寸要求较高的终端产品的需求。至此,芯讯通已经推出SIM8200EA-M2,SIM8200CE-M2,采用LGA封装的SIM8200G以及支持毫米波的SIM8300G-_5g模组接口以m2为主?

【多径衰落仿真】基于matlab模拟小尺度多径衰落Jakes模型-程序员宅基地

文章浏览阅读976次,点赞15次,收藏28次。小尺度多径衰落Jakes模型概述:Jakes模型是一种用于模拟小尺度多径衰落的统计模型,广泛应用于无线通信系统中。Jakes模型假设信号在传播过程中经历了多个独立且随机的散射体,每个散射体都会对信号产生不同的时延和幅度衰减。Jakes模型的输出是一个复数随机过程,其幅度服从瑞利分布,相位服从均匀分布。Jakes模型的数学表达式:Jakes模型的应用:Jakes模型广泛应用于无线通信系统中,用于模拟小尺度多径衰落信道。Jakes模型可以用于评估无线通信系统的性能,例如误码率、容量和覆盖范围。

队列实现杨辉三角(附详细图解)_杨辉三角的行列之间存在一定的规律,请编写一组基于队列的程序,实现杨辉三角形的打-程序员宅基地

文章浏览阅读1.2w次,点赞46次,收藏161次。之前我已经写了两篇关于队列的基本功能,今天我们使用循环顺序队来实现输出杨辉三角。这是我们最终想要的效果:*目录算法思路代码实现思考总结算法思路这里我将使用图示法配合文字。代码实现关于代码,这里只展示核心部分。其他关于入栈,出栈,初始化的操作请移步我之前的文章。附上链接:顺序队与链队(一)#include"SqQueue.h"void test(){ SQ s; s.SQInit(); //杨辉三角的过程 int line = 7;//杨辉三角的行数 int val_杨辉三角的行列之间存在一定的规律,请编写一组基于队列的程序,实现杨辉三角形的打

[解决方案] VNC Viewer 连接灰屏问题 (能够连接上,但全是灰点,没有任何菜单、按钮,鼠标变为x)_vnc灰色无画面叉-程序员宅基地

文章浏览阅读2.9w次,点赞12次,收藏59次。[解决方案] VNC Viewer 连接灰屏问题 (能够连接上,但全是灰点,没有任何菜单、按钮,鼠标变为x)情况1情况2情况3情况1登陆VNCviewer可能会发现服务器的mate桌面为灰色,没有任何图标,如下所示:解决方案因此,需要先杀死端口再重开。杀死端口号:vncserver -kill :xx重开端口号:vncserver :xxps: xx是分配给你的端口号,比如30pps: 注意这里-kill之后需要加空格如果正常出现以下提示信息则说明操作正常,端口号正常。之后,再去试试VN_vnc灰色无画面叉

vim命令-程序员宅基地

文章浏览阅读529次。vim

致远OA ucpcLogin密码重置(可组合拳GetShell)_致远oa ucpclogin密码重置(可组合拳getshell)-程序员宅基地

文章浏览阅读605次,点赞4次,收藏6次。请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失,均由使用者本人负责,所产生的一切不良后果与文章作者无关。该文章仅供学习用途使用。_致远oa ucpclogin密码重置(可组合拳getshell)

随便推点

C# WPF上位机开发(内嵌虚拟机的软件开发)_c#wpf开发上位机设计器软件-程序员宅基地

文章浏览阅读1.2k次,点赞16次,收藏7次。【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 学习过halcon的同学都知道,它不仅有很多的图像算子可以使用,而且调试很方便。每一步骤的调试结果,都可以看到对应的显示效果。这中间,开发者可以自己调参数、写脚本,十分方便。在所有的配置都ok之后,直接导出为c、c# code,变成最终的软件输出,部署到客户的电脑上面。 其实要做到这一点,也不是很复杂。一种比较简单的办法,就是内嵌一个lua虚拟机,把对应的函数转成l_c#wpf开发上位机设计器软件

做GLB外推最快多久能见效-程序员宅基地

文章浏览阅读329次,点赞9次,收藏8次。GNB外链的群发模式,保证了大量链接的发放,同时维持了dofollow比例在10%左右,有助于维护健康的外链结构比例。不要仅限于单一平台或渠道,应通过多渠道综合推广,扩大覆盖范围,提高品牌或产品的知名度,从而加速推广效果的显现。GLB外推通过在互联网上的多个渠道发布信息,借助社交媒体的传播力量,迅速提升品牌或产品的在线可见度。不同的平台有其特定的受众群体和传播特性,因此,选择与目标市场和受众匹配的平台可以加快推广效果的显现。这些策略的协同作用,将为外贸网站带来更大的流量和更好的品牌曝光度。

apt-get命令 – 安装软件_apt-get安装httpd-tools-程序员宅基地

文章浏览阅读3.7k次。apt-get命令是Debian Linux发行版中的APT软件包管理工具。所有基于Debian的发行都使用这个包管理系统。deb包可以把一个应用的文件包在一起,大体就如同Windows上的安装文件。_apt-get安装httpd-tools

AES/ECB/PKCS5Padding/PKCS7Padding 128位密钥(带密钥补位功能)加密解密-程序员宅基地

文章浏览阅读4.4w次,点赞8次,收藏27次。今天客户说发解密算法过来,本来以为拿来的是代码直接用,没想到就直接给了我个网站http://www.seacha.com/tools/aes.html和他们用的算法模式+密钥。以前还真没玩过AES加密解密,下面是今天研究的结果。实现结果:算法:AES模式:ECB密钥长度:128位密钥:自己填(代码中带补位功能)补码方式:PKCS5Padding/PKCS7P_aes/ecb/pkcs5padding

opencv基础44- Canny边缘检测详解-cv.Canny()-程序员宅基地

文章浏览阅读6.9k次,点赞6次,收藏39次。Canny边缘检测是一种经典的边缘检测算法,由John F.Canny在1986年提出。它被广泛应用于计算机视觉和图像处理领域,是一种多阶段的边缘检测算法,能够有效地检测图像中的边缘并抑制噪声。Canny边缘检测的主要步骤如下:噪声抑制:首先,通过使用高斯滤波器对图像进行平滑处理,以去除图像中的噪声。高斯滤波器可以有效地平滑图像,同时保持边缘的细节。计算梯度幅值和方向:使用Sobel算子计算图像中每个像素点的水平和垂直方向的梯度值。然后,根据梯度值计算每个像素点的梯度幅值和方向。_canny边缘检测

vue3和vite双向加持,uni-app性能再次提升_uniapp vue3 vite-程序员宅基地

文章浏览阅读4.5k次。uni-app全平台支持vite编译及vue3运行,编译性能、运行性能、语法支持均有大幅改进,快来看看详细评测数据。_uniapp vue3 vite