pytorch如何在网络中添加可训练参数和修改预训练权重文件-创新互联
这篇文章主要介绍了pytorch如何在网络中添加可训练参数和修改预训练权重文件,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
网站的建设成都创新互联专注网站定制,经验丰富,不做模板,主营网站定制开发.小程序定制开发,H5页面制作!给你焕然一新的设计体验!已为工商代办等企业提供专业服务。实践中,针对不同的任务需求,我们经常会在现成的网络结构上做一定的修改来实现特定的目的。
假如我们现在有一个简单的两层感知机网络:
# -*- coding: utf-8 -*- import torch from torch.autograd import Variable import torch.optim as optim x = Variable(torch.FloatTensor([1, 2, 3])).cuda() y = Variable(torch.FloatTensor([4, 5])).cuda() class MLP(torch.nn.Module): def __init__(self): super(MLP, self).__init__() self.linear1 = torch.nn.Linear(3, 5) self.relu = torch.nn.ReLU() self.linear2 = torch.nn.Linear(5, 2) def forward(self, x): x = self.linear1(x) x = self.relu(x) x = self.linear2(x) return x model = MLP().cuda() loss_fn = torch.nn.MSELoss(size_average=False) optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9) for t in range(500): y_pred = model(x) loss = loss_fn(y_pred, y) print(t, loss.data[0]) model.zero_grad() loss.backward() optimizer.step() print(model(x))
现在想在前向传播时,在relu之后给x乘以一个可训练的系数,只需要在__init__函数中添加一个nn.Parameter类型变量,并在forward函数中乘以该变量即可:
class MLP(torch.nn.Module): def __init__(self): super(MLP, self).__init__() self.linear1 = torch.nn.Linear(3, 5) self.relu = torch.nn.ReLU() self.linear2 = torch.nn.Linear(5, 2) # the para to be added and updated in train phase, note that NO cuda() at last self.coefficient = torch.nn.Parameter(torch.Tensor([1.55])) def forward(self, x): x = self.linear1(x) x = self.relu(x) x = self.coefficient * x x = self.linear2(x) return x
注意,Parameter变量和Variable变量的操作大致相同,但是不能手动调用.cuda()方法将其加载在GPU上,事实上它会自动在GPU上加载,可以通过model.state_dict()或者model.named_parameters()函数查看现在的全部可训练参数(包括通过继承得到的父类中的参数):
print(model.state_dict().keys()) for i, j in model.named_parameters(): print(i) print(j)
输出如下:
odict_keys(['linear1.weight', 'linear1.bias', 'linear2.weight', 'linear2.bias']) linear1.weight Parameter containing: -0.3582 -0.0283 0.2607 0.5190 -0.2221 0.0665 -0.2586 -0.3311 0.1927 -0.2765 0.5590 -0.2598 0.4679 -0.2923 -0.3379 [torch.cuda.FloatTensor of size 5x3 (GPU 0)] linear1.bias Parameter containing: -0.2549 -0.5246 -0.1109 0.5237 -0.1362 [torch.cuda.FloatTensor of size 5 (GPU 0)] linear2.weight Parameter containing: -0.0286 -0.3045 0.1928 -0.2323 0.2966 0.2601 0.1441 -0.2159 0.2484 0.0544 [torch.cuda.FloatTensor of size 2x5 (GPU 0)] linear2.bias Parameter containing: -0.4038 0.3129 [torch.cuda.FloatTensor of size 2 (GPU 0)]
这个参数会在反向传播时与原有变量同时参与更新,这就达到了添加可训练参数的目的。
如果我们有原先网络的预训练权重,现在添加了一个新的参数,原有的权重文件自然就不能加载了,我们需要修改原权重文件,在其中添加我们的新变量的初始值。
调用model.state_dict查看我们添加的参数在参数字典中的完整名称,然后打开原先的权重文件:
a = torch.load("OldWeights.pth") a是一个collecitons.OrderedDict类型变量,也就是一个有序字典,直接将新参数名称和初始值作为键值对插入,然后保存即可。
a = torch.load("OldWeights.pth") a["layer1.0.coefficient"] = torch.FloatTensor([1.2]) a["layer1.1.coefficient"] = torch.FloatTensor([1.5]) torch.save(a, "Weights.pth")
现在权重就可以加载在修改后的模型上了。
感谢你能够认真阅读完这篇文章,希望小编分享的“pytorch如何在网络中添加可训练参数和修改预训练权重文件”这篇文章对大家有帮助,同时也希望大家多多支持创新互联成都网站设计公司,关注创新互联成都网站设计公司行业资讯频道,更多相关知识等着你来学习!
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、网站设计器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
分享名称:pytorch如何在网络中添加可训练参数和修改预训练权重文件-创新互联
路径分享:http://scyanting.com/article/dgjigc.html