머신러닝을 위한 경사 하강

경사 하강법은 선형 회귀 모델에서 가장 흔하게 사용됩니다. 📉

선형 회귀 모델 예시

• 목표: 집의 크기(x)로 가격(y)을 예측하는 모델을 만드는 것.
• 모델: y=Wx+b
  • W (가중치)와 b (편향)는 모델이 학습을 통해 찾아야 할 최적의 값입니다.
  • 처음에는 W와 b를 임의의 값으로 설정합니다.

경사 하강법 적용 단계

1. 손실 함수 정의: 예측값과 실제값의 차이를 측정하는 MSE(평균 제곱 오차)를 손실 함수로 사용합니다.
   • 손실=(예측−실제)2
2. 기울기 계산 (미분): 손실 함수를 W와 b에 대해 각각 미분하여 기울기를 계산합니다.
   • 이 기울기는 현재 W와 b의 값에서 손실이 얼마나 빠르게 증가하는지를 알려줍니다.
3. 가중치 업데이트: 기울기의 반대 방향으로 W와 b를 업데이트합니다. 학습률(learning rate)을 곱하여 이동할 거리를 조절합니다.
   • 새로운 W=현재 W−학습률×(dWd손실​)
   • 새로운 b=현재 b−학습률×(dbd손실​)
4. 반복: 이 과정을 수천, 수만 번 반복합니다. 매번 W와 b가 조금씩 조정되면서 손실이 점차 줄어들게 됩니다.

이 과정을 거치면, 모델은 결국 손실이 가장 작은 지점에 도달하게 되고, 이때의 W와 b가 집의 크기를 바탕으로 가격을 가장 잘 예측할 수 있는 최적의 값이 됩니다.