卷积神经网络(CNN)的发展经历了从早期简单结构到现代复杂深层网络的转变。以下是其发展的关键里程碑:
LeNet-5: 早期的卷积神经网络,由Yann LeCun在1998年提出,主要用于手写数字识别。它的成功展示了深度学习在图像识别领域的潜力。
AlexNet: 在2012年ImageNet挑战中大放异彩的网络,由Alex Krizhevsky等人开发。它的成功引起了对深度学习和卷积神经网络的广泛关注。
VGGNet: 由牛津大学的研究人员在2014年开发,其创新在于使用了小尺寸的卷积核,增加了网络的深度,展示了深度对网络性能的重要性。
GoogLeNet (Inception): 也是在2014年提出,引入了Inception模块,通过并行的不同尺寸卷积核和池化层提取特征,有效增加了网络的宽度和深度。
ResNet: 由微软研究院的研究人员在2015年提出,通过引入残差学习的概念,成功训练了超过1000层的深度神经网络,大大推动了深度学习的研究和应用。
卷积神经网络通过卷积层提取图像特征,卷积操作可以捕获图像的局部特征。在图像卷积时,根据定义,需要首先把卷积核上下左右翻转,但在实际操作中,由于卷积核通常是对称的,这一步骤可以被忽略。
填充是在矩阵的边界上添加一些值的操作,常用0或复制边界像素进行填充。这样做可以控制卷积操作后的输出大小。
步长定义了卷积核移动的间隔,步长为2意味着卷积核每次移动两个像素。
在处理彩色图像时,卷积操作会考虑RGB三个颜色通道。每个通道使用独立的卷积核,然后将结果相加,得到最终的特征图。
池化是另一种减少特征维度的操作。通过局部统计特征(如取局部平均或最大值)来减少数据的空间大小,同时保留重要信息。
在卷积神经网络中,前向传播涉及对输入图像进行一系列卷积、激活和池化操作,每一层都在前一层提取的特征基础上进一步提取高级特征。
误差反向传播算法用于训练卷积神经网络,通过计算损失函数相对于网络参数的梯度,并使用这些梯度更新参数。对于卷积层和池化层,梯度的计算涉及特定的公式。
卷积神经网络是深度学习中最成功的模型之一,特别是在图像处理和视觉识别任务中。理解其基本概念和学习算法对于深入研究和应用CNN至关重要。
LeNet-5网络是深度学习历史上的经典网络之一,由Yann LeCun等人在1998年提出,主要用于手写数字识别。其结构简单而高效,对后来的深度学习模型设计产生了深远影响。
LeNet-5网络主要由卷积层、池化层和全连接层组成,总共有7层(不包括输入层)。它的特点是采用了卷积操作来提取图像中的局部特征,通过池化层减少参数数量和计算量,最后通过全连接层完成分类任务。
PyTorch提供了方便的工具来实现LeNet-5网络:
import torch
from torch import nn
from d2l import torch as d2l
class Reshape(torch.nn.Module):
def forward(self, x):
return x.view(-1, 1, 28, 28)
net = torch.nn.Sequential(
Reshape(),
nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),
nn.AvgPool2d(kernel_size=2, stride=2),
nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),
nn.AvgPool2d(kernel_size=2, stride=2),
nn.Flatten(),
nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),
nn.Linear(120, 84), nn.Sigmoid(),
nn.Linear(84, 10))
AlexNet是由Alex Krizhevsky等人在2012年提出的深度卷积神经网络。它在ImageNet LSVRC-2012竞赛中获得了第一名,大幅降低了错误率,标志着深度学习时代的到来。
AlexNet包含8层可学习的参数层,分别是5层卷积层和3层全连接层。网络引入了ReLU非线性激活、最大池化、丢弃(Dropout)和局部响应归一化等新颖技术,显著提高了训练的速度和准确率。
VGG-16是由牛津大学的视觉几何组(Visual Geometry Group)于2014年提出。该网络通过重复利用简单的3x3卷积核和2x2最大池化层,构建了深达16层的卷积神经网络。
VGG-16网络包含13个卷积层、3个全连接层和5个池化层。所有隐藏层都采用了ReLU激活函数。VGG-16的创新之处在于使用多个较小卷积核的卷积层代替大卷积核的卷积层,增加了网络的深度。
随着网络深度的增加,传统的深层网络容易出现梯度消失或梯度爆炸的问题,导致网络难以训练。残差网络通过引入残差块,允许数据直接从浅层传递到深层,有效缓解了这一问题。
残差块的关键思想是引入了跳跃连接(或称为捷径连接),使得网络可以学习到输入与输出的残差映射。理论上,这使得网络即使非常深也能有效地训练。
ResNet有多个版本,根据层数的不同分为ResNet-18, ResNet-34, ResNet-50, ResNet-101和ResNet-152等。其中,ResNet-50及以上模型采用了瓶颈结构,进一步增加了网络的深度和性能。
从AlexNet的突破、VGG-16的规范化设计,到ResNet的创新结构,这些基本卷积神经网络模型不仅推动了计算机视觉领域的发展,也为深度学习的研究提供了宝贵的经验和灵感。
在计算机视觉领域,有几个常用的数据集被广泛用于训练和测试各种算法。以下是其中一些最重要的数据集的介绍。
MNIST 数据集是机器学习领域最著名的数据集之一,包含了大量的手写数字图片。
CIFAR-10 和 CIFAR-100 是由加拿大的学者Alex Krizhevsky、Vinod Nair和Geoffrey Hinton收集的数据集。
CIFAR-10:
CIFAR-100:
ImageNet 数据集是目前深度学习领域最著名的数据集之一,由斯坦福大学教授李飞飞领导的团队开发。
COCO 数据集是一个新的图像识别、分割和图像语义数据集。
这些数据集为计算机视觉和深度学习的研究提供了丰富的资源,是评估和比较不同算法性能的重要基础。
文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib
文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang
文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些
文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器
文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距
文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器
文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn
文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios
文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql
文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...
文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120
文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数