← 보드Autograd — 자동으로 기울기 구하기 · 8/8

이 장 3줄 요약

기울기는 loss를 줄일 방향(부호)과 민감도(크기)를 알려 줘요. requires_grad=True로 추적을 켜고 loss에서 backward()를 호출하면 leaf Tensor의 .grad에 chain rule로 계산한 값이 저장돼요(w=3, L=w²이면 6 / w=2, x=3, 정답 10이면 −24).
backward()는 스칼라 loss에서 한 번만 호출할 수 있고(그래프는 한 번 쓰면 풀려요), 기울기는 누적되기 때문에 zero_grad가 필요해요. 새 forward와 기울기 초기화는 별개예요(4 → 8 → 0 → 4).
파라미터를 직접 업데이트하거나 평가할 때는 with torch.no_grad():로 추적을 꺼요. 블록 안의 연산만 제외되고 requires_grad=True는 유지돼요. 옵티마이저의 step()은 이것을 알아서 처리해요.

자료: 6주차 · Week04_Autograd_Loss_Optimizer · 6주차 녹취(빅데이터06), 7주차 녹취(빅데이터07)