关键词

PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm

@

目录

L-1正则化实现

PyTorch没有L-1正则化,所以用下面的方法自己实现

L-2正则化

一般用L-2正则化
weight_decay 表示\(\lambda\)

动量


moment参数设置上式中的\(\beta\),表式上一时刻梯度所占的比例0~1之间

学习率衰减

当loss不在下降时的学习率衰减

固定循环的学习率衰减

Dropout


Dropout在train时使用,在test时要手动关闭

Batch Norm


本文链接:http://task.lmcjl.com/news/12084.html

展开阅读全文