B컷전문 | 개발과 인생의 이야기

아무리 뛰어난 머신러닝 모델도 하이퍼파라미터가 적절하지 않으면 제 성능을 발휘하지 못합니다.

하이퍼파라미터 튜닝은 단순한 숫자 조정이 아니라, 모델의 학습 구조와 일반화 능력을 조율하는 고도의 설계 행위입니다.

 

이번 글에서는 하이퍼파라미터 튜닝의 개념부터 그리드서치, 랜덤서치, 베이지안 최적화(Optuna)까지 실무에서 유용한 기법들을 체계적으로 설명합니다.

 

---

 

1. 하이퍼파라미터란 무엇인가?

 

모델 내부적으로 자동 학습되는 파라미터가 아닌,

모델이 학습되기 전에 사람이 지정해야 하는 설정값을 말합니다.

 

 

예시

모델주요 하이퍼파라미터

RandomForest	n_estimators, max_depth, min_samples_split
XGBoost	learning_rate, max_depth, subsample, gamma
SVM	C, kernel, gamma
KNN	n_neighbors, weights, metric

 

---

 

2. 하이퍼파라미터 튜닝 전략

 

 

2.1 그리드 서치 (Grid Search)

 

• 모든 조합을 탐색
• 장점: 가장 단순하고 직관적
• 단점: 조합 수가 많아질수록 속도 저하

from sklearn.model_selection import GridSearchCV

param_grid = {
    'n_estimators': [100, 200],
    'max_depth': [3, 5, 7]
}
grid = GridSearchCV(RandomForestClassifier(), param_grid, cv=5)
grid.fit(X_train, y_train)

 

2.2 랜덤 서치 (Random Search)

 

• 일부 조합만 무작위로 탐색
• 효율적이고 빠르며, 높은 성능 가능성 ↑

from sklearn.model_selection import RandomizedSearchCV

param_dist = {
    'n_estimators': [50, 100, 200],
    'max_depth': [3, 5, 7, 9]
}
random = RandomizedSearchCV(RandomForestClassifier(), param_distributions=param_dist, n_iter=10)
random.fit(X_train, y_train)

 

---

 

3. 고급 튜닝 – Optuna를 활용한 베이지안 최적화

 

Optuna는 탐색 공간에서 유망한 조합을 동적으로 학습하면서 탐색을 수행하는 프레임워크입니다.

속도와 성능 모두 뛰어나며, 최근 Kaggle에서 광범위하게 활용되고 있습니다.

 

 

3.1 기본 구조

import optuna
from sklearn.model_selection import cross_val_score

def objective(trial):
    max_depth = trial.suggest_int("max_depth", 3, 10)
    n_estimators = trial.suggest_int("n_estimators", 50, 200)
    clf = RandomForestClassifier(max_depth=max_depth, n_estimators=n_estimators)
    score = cross_val_score(clf, X, y, cv=5).mean()
    return score

study = optuna.create_study(direction="maximize")
study.optimize(objective, n_trials=30)

 

---

 

4. 튜닝 시 고려해야 할 5가지 원칙

 

1. 데이터 크기 고려: 작은 데이터엔 복잡한 튜닝이 오히려 과적합 유발
2. CV 스킴 선택: StratifiedKFold로 클래스 비율 유지
3. 성능 지표 명확화: Accuracy, F1-score, AUC 등 목적별 최적화
4. 튜닝 범위 설정: 너무 넓으면 시간 낭비, 너무 좁으면 탐색 제한
5. 재현성 확보: random_state 고정, scoring 명시

 

---

 

5. 실전 모델별 튜닝 팁 요약

모델필수 튜닝 포인트

RandomForest	n_estimators, max_depth, min_samples_split
XGBoost	learning_rate, n_estimators, max_depth, gamma
LightGBM	num_leaves, feature_fraction, min_child_samples
SVM	C, gamma, kernel
KNN	n_neighbors, weights
NeuralNet	hidden_layer_sizes, activation, batch_size, epochs

 

---

 

튜닝은 모델을 ‘지휘’하는 예술이다

 

하이퍼파라미터 튜닝은 반복적이고 복잡하지만,

모델을 일반화 가능한 상태로 정제하는 과정이자, 데이터 해석의 마지막 관문입니다.

경험이 쌓일수록 불필요한 탐색을 줄이고, 성능을 예측할 수 있는 감각이 생깁니다.

 

다음 11화에서는 다양한 분류/회귀 모델의 성능을 비교하고

종합 평가하고 선택하는 기준 – 모델 비교 전략과 해석 기법을 다룹니다.