PyTorchoptimizer怎么使用
本篇内容主要讲解“PyTorch optimizer怎么使用”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“PyTorch optimizer怎么使用”吧!
目前创新互联公司已为上千的企业提供了网站建设、域名、虚拟空间、网站托管运营、企业网站设计、伊州网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。
优化器的作用是管理并更新参数组,请构建一个SGD优化器,通过add_param_group方法添加三组参数,三组参数的学习率分别为 0.01, 0.02, 0.03, momentum分别为0.9, 0.8, 0.7,构建好之后,并打印优化器中的param_groups属性中的每一个元素的key和value(提示:param_groups是list,其每一个元素是一个字典)
控制 lr 的 optimizer
import torch import torch.optim as optim torch.manual_seed(1234) w1 = torch.randn((2, 2), requires_grad=True) w2 = torch.randn((2, 2), requires_grad=True) w3 = torch.randn((2, 2), requires_grad=True) w1.grad = torch.ones((2, 2)) print(w1.grad, w2.grad, w3.grad) optimizer = optim.SGD([w1], lr=1, momentum=0.9) optimizer.add_param_group({"params": w2, 'lr': 2, 'momentum': 0.8}) optimizer.add_param_group({"params": w3, 'lr': 3, 'momentum': 0.7}) print("optimizer.param_groups is\n{}".format(optimizer.param_groups)) optimizer.step() print(w1, w2, w3)
到此,相信大家对“PyTorch optimizer怎么使用”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
网页题目:PyTorchoptimizer怎么使用
地址分享:http://scyanting.com/article/pjcgho.html