왜 기울기가 필요할까 — 방향과 민감도
모델에는 W와 B 같은 숫자(파라미터)가 있어요. 처음에는 아무 값이나 넣어 두기 때문에 예측이 많이 틀려요. 이 틀린 정도를 숫자 하나로 나타낸 것이 손실(loss)이에요. 우리 목표는 loss가 작아지도록 파라미터를 고치는 거예요.
기울기(gradient) = 파라미터를 살짝 바꿨을 때 loss가 얼마나, 어느 방향으로 변하는지를 알려 주는 숫자예요. 부호는 방향, 크기는 민감도예요.
안개가 짙은 산에서 가장 낮은 곳으로 내려가려면 발밑의 경사를 느껴서 "내리막 쪽"으로 한 걸음 가면 돼요. 기울기가 바로 그 발밑의 경사예요. 경사가 가파를수록(크기가 클수록) loss가 그 방향에 더 민감하다는 뜻이에요.
업데이트 식은 이렇게 써요. 학습률(learning rate, η)은 "한 걸음의 크기"예요. 7장에서 자세히 배워요.
예를 들어 loss가 L = w²이고 w = 3이면 기울기는 2w = 6이에요. 학습률이 0.1이면 w = 3 − 0.1 × 6 = 2.4가 돼요. loss는 3² = 9에서 2.4² = 5.76으로 줄었어요. 기울기가 양수라서 w를 줄인 거예요. 반대로 기울기가 음수면 w를 늘려요.
| 기울기 | 뜻 | 업데이트 |
|---|---|---|
| 양수 (+) | w가 커지면 loss도 커져요 | w를 줄여요 |
| 음수 (−) | w가 커지면 loss가 줄어요 | w를 늘려요 |
| 크기가 큼 | loss가 w에 민감해요 | 많이 움직여요 |
기울기를 설명하는 보기에서는 "파라미터를 바꿨을 때 loss가 변하는 방향과 정도"가 맞는 문장이에요. 업데이트는 기울기의 반대 방향으로 해서 loss를 줄이니, "기울기 방향으로 더한다"는 보기는 오답이에요. 식은 w ← w − 학습률 × 기울기예요.
잠깐 확인 — 기울기가 −24이고 학습률이 0.01이면 w는 커질까요, 작아질까요?
커져요. w − 0.01 × (−24) = w + 0.24이니까 0.24만큼 커져요. 기울기가 음수이면 w를 늘려요.
자료: 6주차 · Week04_Autograd_Loss_Optimizer · 6주차 녹취(빅데이터06), 7주차 녹취(빅데이터07)