欧意交易所资讯

uncategorized
首页 > 欧意交易所资讯 > 正文内容

pytorch 计算过程中如何节省显存并注册钩子导出中间变量

qer1238个月前 (11-06)欧意交易所资讯178

钩子方法有四种:

火炬..()

火炬.nn..k()

火炬.nn..ok()

torch.nn.._hook()。

1、手电筒..(挂钩)

用于导出指定张量的梯度,或者修改梯度值。

import torch
def grad_hook(grad):
    grad *= 2
x = torch.tensor([2., 2., 2., 2.], requires_grad=True)
y = torch.pow(x, 2)
z = torch.mean(y)
h = x.register_hook(grad_hook)
z.backward()
print(x.grad)
h.remove()    # removes the hook
>>> tensor([2., 2., 2., 2.])

注意:(1)上面的代码是有效的,但是如果写成grad = grad * 2就会无效,因为此时没有对grad进行本地操作,新的grad值并没有传递给指定的梯度。为了安全起见,最好在 def 语句中指定 grad。现在:

def grad_hook(grad):
    grad = grad * 2
    return grad

(2) 可以使用()方法取消钩子。注意,()必须在()之后,因为梯度计算只有在执行()语句时才开始,而在x.()处它只“注册”了一个grad hook。此时没有计算,而是执行 取消这个钩子就行了,然后()这个钩子就不起作用了。

(3)如果类中定义了钩子函数,则必须先在输入参数中添加self,即

def grad_hook(self, grad):
    ...

2、torch.nn..k(,输入,输出)

用于导出指定子模块(可以是layer、等nn.type)的输入输出张量,但只能修改输出。它常用于导出或修改卷积特征图。

inps, outs = [],[]
def layer_hook(module, inp, out):
    inps.append(inp[0].data.cpu().numpy())
    outs.append(out.data.cpu().numpy())
hook = net.layer1.register_forward_hook(layer_hook)
output = net(input)
hook.remove()

注意:(1)由于模块可以有多个输入,因此输入是元组类型,需要先提取出来再进行操作;输出是元组类型,可以直接使用。

(2)导出后不要放到显存上,除非你有A100。

(3)只能修改输出out的值,不能修改输入inp的值(不能返回,本地修改无效)。修改时最好以表单形式返回,如:

def layer_hook(self, module, inp, out):
    out = self.lam * out + (1 - self.lam) * out[self.indices]
    return out

这段代码在mixup中使用,混合中间层特征,实现数据增强,其中self.lam是[0,1]概率值,self.lam是[0,1]概率值。是最后一个序列号。

3、torch.nn.._hook(, in)

用于导出或修改指定子模块的输入张量。

def pre_hook(module, inp):
    inp0 = inp[0]
    inp0 = inp0 * 2
    inp = tuple([inp0])
    return inp
hook = net.layer1.register_forward_pre_hook(pre_hook)
output = net(input)
hook.remove()

注意:(1)inp值是tuple类型,所以需要先提取张量,然后进行其他操作,然后将其转换为tuple并返回。

(2)这句话只有在执行=net(input)时才会被调用。 ()可以放在调用后取消钩子。

4、torch.nn..ok(, , )

用于导出指定子模块的输入和输出张量的梯度,但只能修改输入张量的梯度(即只能返回gin),不能修改输出张量的梯度。

gouts = []
def backward_hook(module, gin, gout):
    print(len(gin),len(gout))
    gouts.append(gout[0].data.cpu().numpy())
    gin0,gin1,gin2 = gin
    gin1 = gin1*2
    gin2 = gin2*3
    gin = tuple([gin0,gin1,gin2])
    return gin
hook = net.layer1.register_backward_hook(backward_hook)
loss.backward()
hook.remove()

注意:

(1) 和都是元组,必须先展开。修改的时候,执行操作然后再把tuple放回去。

(2) 该钩子函数是在()语句中调用的,因此()应放在()之后,以取消钩子。

扫描二维码推送至手机访问。

版权声明:本文由本站发布,如需转载请注明出处。

转载请注明出处https://juxingsy.com/post/1568.html

标签: hook
分享给朋友:

相关文章

区块链赚钱的8种方式:从炒币到开设交易所,全面解析如何通过区块链技术盈利

区块链赚钱的8种方式:从炒币到开设交易所,全面解析如何通过区块链技术盈利

赚钱的方式有八种: 1、炒币。 股票交易与股票交易相同。投机硬币是最简单的赚钱方法之一。每个人都知道。比特币诞生以来,其价格已经上涨了4万多倍。除了比特币之外,还有许多其他电子货币。炒币分为一级市场...

欧意交易所:正规性与可靠性备受质疑,安全措施成关键

欧意交易所最近颇受关注,作为加密货币交易平台,它引起了众多人的疑问。大家都在质疑它的正规性和可靠性。这样的问题直接关联到投资者的利益和资金安全,因此我们必须对此保持高度的警惕。 注册与监管情况 观察其...

2023 年数字孪生城市白皮书发布,探索建设新路径新方法

“数字孪生城市”概念最早于2017年提出,2021年我国“十四五”规划明确提出“探索建设数字孪生城市”,2023年《数字中国建设总体布局规划》再次提出“全面提升数字中国建设的整体性、系统性、协同性”...

数字人民币:变革支付习惯,构建全新金融生态

数字人民币,作为我国的法定数字货币,其本质上是电子版的人民币。在功能上,它与传统的纸质人民币相差无几。它主要应用于支付领域,并将对我们的支付习惯和生活方式带来变革。 数字人民币的性质 数字人民币,作为...

欧意交易所官网登录指南:如何安全获取正确网址并顺利登录

在现在的数字货币交易领域中,欧意交易所是很多投资者进行交易的重要平台。要开启交易,首先得能够顺利登录它的官方网站。接下来,就为大家详细地介绍一下关于欧意交易所官网登录的相关情况。 网址获取 要登录欧意...

铭文投资血泪攻略:9个关键问题解析,避免数百U的损失

铭文投资血泪攻略:9个关键问题解析,避免数百U的损失

除了社区同事elsa提供的基础教学外,还有一些问题无法在基础教程中一一讨论,所以我把自己犯的坑整理在这里,可以说是废了几百价值 U 的 BTC。 《血与泪》指南中有9个非常关键的问题,几乎所有你能看到...

加入欧意交易所,探索元宇宙世界!

探索DeFi,DApps, NFTs 和GameFi的世界,和OKX一起创造未来!