← 보드학습 루프와 검증 · 7/7

이 장 3줄 요약

한 배치 학습은 5줄이에요. zero_grad(기울기 지우기) → model(x)(예측) → criterion(loss) → backward(기울기 계산, 값은 그대로) → step(파라미터 갱신). 각 함수는 한 가지 일만 해요.
이 5줄을 배치마다 실행하고(안쪽 for), 그것을 epoch만큼 반복해요(바깥 for). step 횟수는 배치 수 × epoch 수이고(90개, 20씩, 30 epoch이면 150번), epoch 평균 loss는 각 loss에 배치 sample 수를 곱해 더한 뒤 전체 sample 수로 나눠요.
(참고) 검증 데이터는 학습에 쓰지 않고 성능만 확인하는 데이터예요. 평가할 때는 model.eval()과 torch.no_grad()를 쓰고 backward·step은 하지 않아요. model.eval()만으로는 기울기 계산이 꺼지지 않아요.

자료: 6·7주차 · Week04_Autograd_Loss_Optimizer, Week05_Dataset_DataLoader_Train_Validation(part1), 딥러닝 모델 Training 과정.pdf · 7주차 녹취(빅데이터07)