Loss function 과 Cost function

1. 손실 함수 (Loss Function)의 개념

손실 함수는 머신러닝 모델이 얼마나 잘못 예측했는지를 측정하는 함수입니다. 이 함수는 모델의 예측값(y^​)과 실제 정답값(y) 사이의 차이를 계산하여 하나의 숫자로 반환합니다. 이 숫자를 **손실(Loss) 또는 비용(Cost)**이라고 부릅니다.

• 모델의 목표: 손실 값을 최소화하는 것.
• 원리: 손실이 크다는 것은 모델의 예측이 틀렸다는 의미이므로, 모델은 이 손실을 줄이는 방향으로 학습합니다.

2. 예시: 평균 제곱 오차 (Mean Squared Error, MSE)

회귀 문제(연속된 숫자 예측)에서 가장 많이 사용되는 손실 함수인 MSE를 예시로 들어볼게요.

• 상황: 집의 크기(x)로 가격(y)을 예측하는 모델을 만들고 있습니다.

1. 모델 예측:
   • 실제 집값: 5억 원
   • 모델의 예측: 4.8억 원
2. 손실 계산:
   • 오차: 예측값과 실제값의 차이 = (4.8 - 5) = -0.2억 원
   • 손실: 오차를 제곱하여 음수를 없애고 큰 오차에 더 큰 페널티를 부여합니다. = (−0.2)2=0.04
3. 여러 데이터의 평균: 실제 모델은 하나의 데이터가 아닌 수많은 데이터에 대해 예측을 수행합니다. 모든 예측에 대한 오차 제곱을 구한 뒤, 그 평균을 계산합니다. 이 평균값이 바로 **MSE(평균 제곱 오차)**입니다.
   • MSE=n1​∑i=1n​(yi​^​−yi​)2
   • n : 데이터의 개수
   • yi​ : i번째 데이터의 실제값
   • yi​^​ : i번째 데이터의 예측값

3. 학습 과정

모델은 이 손실 값을 줄이기 위해 예측에 사용된 가중치(weight)를 계속해서 수정합니다. 만약 손실이 너무 크면, 예측이 틀렸다는 의미이므로 가중치를 크게 조정하고, 손실이 작으면 미세하게 조정합니다. 이 과정을 반복하며 모델은 점점 더 정확한 예측을 할 수 있도록 학습합니다.