← 보드손실 함수와 옵티마이저 · 7/7

이 장 3줄 요약

손실 함수는 예측과 정답의 차이를 숫자 하나로 만들어요. MSE는 (예측 − 정답)²의 평균이고(예 [3, 4]와 [1, 5]이면 2.5), criterion(예측, 정답)의 두 크기(shape)는 같아야 해요(안 맞추면 브로드캐스팅으로 틀린 값이 나와요).
옵티마이저 optim.SGD(model.parameters(), lr=...)는 파라미터의 .grad로 값을 갱신해요. backward()는 기울기 계산, step()은 갱신만 해요(w=1, 입력 2, 정답 4, lr=0.1이면 기울기 −8, 새 weight 1.8, loss 4 → 0.16).
학습률은 한 걸음의 크기예요. 너무 크면 발산(NaN, Inf)하고 너무 작으면 느려요. SGD 외에 Adam, AdamW, RMSprop도 있고 갱신 규칙만 달라요.

자료: 6·7주차 · Week04_Autograd_Loss_Optimizer · 7주차 녹취(빅데이터07)