在 《Deep Learning》一书中介绍了好几种模型超参数的选择方式:手动调整、使用自动超参数优化算法、网格搜索(grid search)、随机搜索(random search)和基于模型的超参数优化。其中,随机搜索是该书作者较为推荐的方法,这篇博客的主题是随机搜索在 Pytorch 中的实现,就不对其他方法展开描述了(其实是因为自己理解还不够深)。
注:近期查阅资料时发现 Pytorch 官方已经出了一篇关于超参优化的教程,其中使用了 Ray Tune 这个 Python 库,感兴趣的读者可以移步到这。(2021.12.10 加)
在进行超参搜索时,应该固定住其他操作中的随机种子,并执行一些能够确保模型复现的操作(虽然在 Pytorch 中无法实现严格意义上的复现),防止模型其他部分(如全连接层中权重矩阵的初始化)引入的随机性破坏超参组合性能对比的公平性。这部分可参考 Reproducibility in Pytorch 和 Reproducibility and performance in PyTorch.
import os
import torch
import random
import numpy as np
# 这里不固定 random 模块的随机种子,因为 random 模块后续要用于超参组合随机组合。
def set_seed(seed):
torch.manual_seed(seed)
np.random.seed(seed)
os.environ['PYTHONHASHSEED'] = str(seed)
if torch.cuda.is_available():
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
(注:刚开始的版本中没有这一小节的内容,多亏了一网友的提醒,在此感谢)
# Hyperparameter grid,这些超参实际代表的意义没必要去了解,
# 因为不同的模型有着不同的超参,你只需要知道它们是超参就行,这并不妨碍你对 random search 的理解,
# 这里只是为了方便展示,现实中的超参候选范围可能会比此大得多。
param_grid = {
'patience': list(range(5, 20)),
'learning_rate': list(np.logspace(np.log10(0.005), np.log10(0.5), base = 10, num = 1000)),
'batch_size': [1, 4, 8, 16, 32],
'hidden_size': [128, 256]
}
# 超参组合最大选取次数,该次数一般会远小于网格搜索遍历所有超参候选值所需的模型训练次数,否则就失去随机搜索的意义了。
MAX_EVALS = 100
random.seed(50) # 设置随机种子
# Randomly sample from dictionary,随机从 param_grid 中对超参进行采样
# random_params 也是一个字典,k 为超参名,v 为随机选取的超参值
# 对于 random.sample 的用法建议自己查官方文档
random_params = {
k: random.sample(v, 1)[0] for k, v in param_grid.items()}
如果你打印出 r a n d o m _ p a r a m s random\_params random_params ,会有类似以下的输出:
{
'patience': 12,
'learning_rate': 0.1,
'batch_size': 4,
'hidden_size': 256}
# Evaluate randomly selected hyperparameters
# ------------------------------------------------------
# 读取被选取的超参
patience = hyperparameters['patience']
learning_rate = hyperparameters['learning_rate']
hidden_size = hyperparameters['hidden_size']
batch_size = hyperparameters['batch_size']
# ------------------------------------------------------
# 接下来为了方便,会使用伪代码
# 定义你的模型,将超参加入到你的模型定义或模型训练中,"..." 表示除超参外定义模型所需的参数
model = yourModel(hidden_size, ...) # 伪
# 训练模型
train_model(model, x_train, y_train, patience, learning_rate, batch_size,...) # 伪
# 使用验证集评估模型效果
score = evaluate(model, x_val, y_val) # 伪
# 与所记录的最好效果相比较
if score > best_score:
best_hyperparams = hyperparameters
best_score = score
set_seed(24) # 为了模型除超参外其他部分的复现
param_grid = {
'patience': list(range(5, 20)),
'learning_rate': list(np.logspace(np.log10(0.005), np.log10(0.5), base = 10, num = 1000)),
'batch_size': [1, 4, 8, 16, 32],
'hidden_size': [128, 256]
}
MAX_EVALS = 100
# 记录用
best_score = 0
best_hyperparams = {
}
for i in range(MAX_EVALS):
random.seed(i) # 设置随机种子,每次搜索设置不同的种子,若种子固定,那每次选取的超参都是一样的
hyperparameters = {
k: random.sample(v, 1)[0] for k, v in param_grid.items()}
patience = hyperparameters['patience']
learning_rate = hyperparameters['learning_rate']
hidden_size = hyperparameters['hidden_size']
batch_size = hyperparameters['batch_size']
model = yourModel(hidden_size, ...)
train_model(model, x_train, y_train, patience, learning_rate, batch_size,...)
score = evaluate(model, x_val, y_val)
if score > best_score:
best_hyperparams = hyperparameters
best_score = score
# 你还可以在这一步保存模型,以最终得到最优的模型,如
torch.save(model.state_dict(), "best_model.pt")
# 对于模型的保存与读取相关方法,请你查询 pytorch 官方文档
本文为了描述方便在一些地方使用了伪代码,希望读者能够根据自己的情况进行改动。若有问题,欢迎指正。写到最后,才发现这篇博客的内容与标题中的 P y t o r c h Pytorch Pytorch 没有太多联系,甚至可以说是没有联系,除了模型保存部分的 t o r c h . s a v e ( ) torch.save() torch.save(),所以你也可以在 T e n s o r f l o w Tensorflow Tensorflow 框架下实现一样的效果(就让我当一次标题党)。
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读101次。1986年,深度学习(Deep Learning)火爆,它提出了一个名为“深层神经网络”(Deep Neural Networks)的新型机器学习模型。随后几年,神经网络在图像、文本等领域取得了惊艳成果。但是,随着深度学习的应用范围越来越广泛,神经网络在遇到新的任务时出现性能下降或退化的问题。这主要是由于深度神经网络在训练初期面临着“梯度消失”或“梯度爆炸”的问题。_在人工神经网络研究的初始阶段,辛顿针对训练过程中常出现的梯度消失现象, 提供相
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf
文章浏览阅读3.2k次,点赞3次,收藏4次。vscode打开markdown文件 不显示图片 预览markdown文件_vscodemarkdown图片无法显示