Python 通过PyTorch中的MIN函数传递渐变

发布于02月28日

我有一个变量，比方说，a，在之前的一些运算中，它有一些与之相关的梯度.然后我得到了整数b和c，它们没有梯度.我想计算最小的a、b和c.MWe如下所示.

import torch

a = torch.tensor([4.], requires_grad=True)  # As an example I have defined a leaf node here, in my program I have an actual variable with gradient
b = 5
c = 6
d = torch.min(torch.tensor([a, b, c]))  # d does not have gradient associated

我怎么才能用不同的方式写这个，让从a到d的梯度流过呢？谢谢.

推荐答案

代码的问题是第d = torch.min(torch.tensor([a, b, c]))行

当您计算torch.tensor([a, b, c])时，您创建了一个新的张量，它没有a、b或c个张量的计算图.例如:

a = torch.tensor([4.], requires_grad=True)
b = torch.tensor([5.])
c = torch.tensor([6.])
d = torch.tensor([a,b,c])
d.requires_grad
> False

解决方案是将min函数与输入张量本身一起使用.

a = torch.tensor([4.], requires_grad=True)
b = torch.tensor([5.])
c = torch.tensor([6.])
d = a.min(b).min(c)
d.requires_grad
> True

请注意，对于最小值，min函数的梯度为1，对于所有其他值，梯度为0.这意味着，如果你想要支撑的值不是最小值，你将失go 渐变信号.

a = torch.tensor([4.], requires_grad=True)
b = torch.tensor([5.])
d = a.min(b)
d.backward()
a.grad
> tensor([1.])

a = torch.tensor([6.], requires_grad=True)
b = torch.tensor([5.])
d = a.min(b)
d.backward()
a.grad
> tensor([0.])