wondrive / dl-practice Goto Github PK

질문

layer 한 개로 구성된 망이 있다고 가정했을 때,
만약 layer에서 x+x 하고, 또 x+x 하면 미분값은 2인지 4인지??

테스트

다음 소스로 테스트 해보았다.

x = torch.ones(1, requires_grad=True)`
layer1 = x+x
layer1 = x+x
out = layer1
out.backward()
print(x.grad)

결과는 2였다. 누적되지 않고 최종 계산 값만 보관한다.

또한

layer1 = x*x
print(layer1.grad_fn)

의 결과를 봐도 곱셈 연산만 저장이 되었음을 알 수 있다.