❓ 딥러닝 모델의 성능을 향상시키기 위해 조정하는 하이퍼파라미터의 종류

✅ 딥러닝에서 하이퍼파라미터는 모델의 학습 과정과 구조를 제어하는 중요한 설정값들입니다. 모델이 스스로 학습하는 파라미터 (가중치와 편향)와 달리, 하이퍼파라미터는 개발자가 직접 설정해야 해요. ⚙️

---

모델 구조 관련 하이퍼파라미터

이 하이퍼파라미터들은 신경망의 크기와 형태를 결정합니다. 🏗️

• 은닉층의 수 (Number of Hidden Layers): 신경망의 깊이를 결정해요. 층이 깊을수록 복잡한 특징을 학습할 수 있지만, 학습이 어려워지고 과적합(Overfitting) 위험이 커집니다.
• 뉴런의 수 (Number of Neurons): 각 층에 있는 뉴런의 수를 의미합니다. 뉴런이 많을수록 더 많은 정보를 처리할 수 있지만, 모델이 너무 커져서 학습 속도가 느려질 수 있어요.
• 활성화 함수 (Activation Function): 뉴런의 출력을 결정하는 함수입니다. ReLU (Rectified Linear Unit)는 계산이 빠르고 효율적이라 가장 많이 사용되며, 시그모이드나 소프트맥스는 주로 출력층에서 사용돼요.

---

학습 과정 관련 하이퍼파라미터

이 하이퍼파라미터들은 모델이 어떻게 학습할지를 제어합니다. 🚀

• 학습률 (Learning Rate): 가장 중요한 하이퍼파라미터 중 하나입니다. 모델이 학습할 때 가중치를 얼마나 크게 업데이트할지 결정해요. 학습률이 너무 높으면 최적점을 지나치고, 너무 낮으면 학습 속도가 매우 느려집니다.
• 옵티마이저 (Optimizer): 손실(Loss)을 최소화하기 위해 가중치를 업데이트하는 방법을 정의하는 알고리즘이에요. Adam이 일반적으로 가장 좋은 성능을 보여 많이 사용됩니다.
• 배치 크기 (Batch Size): 한 번에 모델에 입력되는 데이터의 수를 의미해요. 배치 크기가 클수록 학습 속도가 빨라질 수 있지만, 메모리 사용량이 늘고 최적점에 도달하는 데 어려움을 겪을 수 있습니다.
• 에포크 수 (Number of Epochs): 전체 데이터셋을 몇 번 반복하여 학습할지를 결정합니다. 너무 적으면 **과소적합(Underfitting)**이 발생하고, 너무 많으면 과적합이 발생할 수 있어요.

---

과적합 방지 관련 하이퍼파라미터

이 하이퍼파라미터들은 모델이 특정 학습 데이터에만 너무 맞춰지는 과적합을 방지하는 역할을 합니다. 🛡️

• 드롭아웃 비율 (Dropout Rate): 학습 과정에서 뉴런을 랜덤하게 비활성화시키는 비율입니다. 예를 들어, 드롭아웃 비율이 0.5이면 각 학습 단계에서 뉴런의 50%가 비활성화되어 모델이 특정 뉴런에 의존하는 것을 막아줘요.
• 가중치 감소 (Weight Decay, L2 Regularization): 모델의 가중치가 너무 커지는 것을 방지하여 복잡도를 줄여줍니다. 이는 과적합을 방지하는 효과가 있어요.

---

🎨 쉬운 비유

딥러닝 모델을 요리에 비유하면, 하이퍼파라미터는 요리법을 결정하는 설정과 같아요. 👩‍🍳

• 재료의 종류와 양(모델 구조): 재료의 종류(뉴런)와 양(층의 수)을 어떻게 할지 정하는 것.
• 불의 세기와 조리 시간(학습 과정): 불의 세기(학습률)를 어떻게 조절하고 얼마나 오래(에포크) 요리할지 정하는 것.
• 요리 실력 향상(과적합 방지): 똑같은 요리만 반복하지 않도록 새로운 기술(드롭아웃)을 배우는 것.

이처럼 하이퍼파라미터를 적절하게 조절하는 것이 딥러닝 모델의 성능을 최적화하는 핵심적인 과정입니다. 🧑‍💻