B컷전문 | 개발과 인생의 이야기

머신러닝 프로젝트의 본질은 단순한 모델 학습이 아니라 최적의 모델을 선택하여 의사결정에 적용하는 것입니다.
이번 글에서는 여러 모델의 성능을 종합적으로 비교하는 전략, 평가 기준, 시각화 및 해석 방법까지 상세히 다룹니다.

1. 모델 비교란 무엇을 비교하는가?

단순히 “정확도가 높은 모델”만 선택하면 안 됩니다.
업무 목적, 데이터 특성, 해석 가능성, 운영 비용 등 다양한 측면을 고려해야 합니다.

비교 요소 설명 고려 시점

예측 정확도	Precision, Recall, F1-score, R2 등	성능 중심 선택 시
학습 속도	모델 학습 시간, 자원 소모량	실시간/대용량 처리 환경
예측 속도	실시간 응답 필요 여부	온라인 서비스
해석 가능성	피처 중요도, 결정 경로	금융, 의료, 정책 분야
유지보수성	리트레이닝 필요성	정기 운영 환경
데이터 민감도	이상치/스케일/누락값 민감도	EDA 이후 판단

---

2. 분류 모델 평가 지표 비교

2.1 주요 지표

지표 설명 언제 중요?

Accuracy	전체 중 맞춘 비율	클래스 불균형 없을 때
Precision	예측이 맞은 비율	False Positive 피해야 할 때
Recall	실제 정답 중 맞춘 비율	False Negative 위험할 때
F1-score	Precision과 Recall의 조화	균형 중요할 때
AUC-ROC	판별 성능	전체 분류 성능 곡선화

from sklearn.metrics import classification_report, roc_auc_score

print(classification_report(y_test, y_pred))
roc_auc_score(y_test, model.predict_proba(X_test)[:, 1])

---

3. 회귀 모델 평가 지표 비교

3.1 주요 지표

지표 설명 민감도

MAE	절대 오차 평균	직관적, 이상치 강건
MSE	제곱 오차 평균	이상치에 민감
RMSE	MSE의 제곱근	실제 단위로 해석
R2 Score	설명력 (1에 가까울수록 좋음)	다중 회귀 성능 해석용

---

4. 모델별 비교 시각화

4.1 분류 문제: Confusion Matrix

from sklearn.metrics import ConfusionMatrixDisplay
ConfusionMatrixDisplay.from_estimator(model, X_test, y_test)

4.2 ROC Curve 시각화

from sklearn.metrics import RocCurveDisplay
RocCurveDisplay.from_estimator(model, X_test, y_test)

4.3 회귀 문제: 예측 vs 실제 산점도

import matplotlib.pyplot as plt

plt.scatter(y_test, y_pred)
plt.xlabel('Actual')
plt.ylabel('Predicted')
plt.title('Actual vs Predicted')
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--')
plt.show()

---

5. 모델 선택 전략: 목적 지향적 접근

목적 추천 모델 이유

해석력 중요 (금융, 의료)	로지스틱 회귀, 결정트리	명확한 결정 기준 제시
성능 최우선	XGBoost, LightGBM	강력한 예측력
속도 중요	랜덤포레스트, 나이브베이즈	빠른 응답 속도
범주형 변수 중심	CatBoost	인코딩 없이 처리 가능
소량 데이터	KNN, 로지스틱 회귀	학습 데이터가 적을 때
대용량 데이터	LightGBM, 신경망	분산 처리 및 병렬 학습 지원

---

6. 실전 종합 비교 프레임워크

from sklearn.model_selection import cross_val_score

models = {
    'Logistic': LogisticRegression(),
    'RandomForest': RandomForestClassifier(),
    'XGBoost': xgb.XGBClassifier(),
    'LightGBM': lgb.LGBMClassifier()
}

for name, model in models.items():
    score = cross_val_score(model, X, y, cv=5, scoring='f1')
    print(f"{name}: 평균 F1-score = {score.mean():.4f}")

---

7. 모델 선택 후 할 일

• 최종 모델 성능 재확인
• 모델 버전 저장 (joblib, pickle)
• 모델 해석 및 문서화
• 결과 리포트, 경영진용 요약 준비
• 모니터링 기준 및 리트레이닝 주기 설정

---

결론: 모델 선택은 단순한 '성능 대결'이 아니다

진짜 좋은 모델이란 주어진 문제에 가장 잘 맞고, 예측 외에도 해석/설명/운영 측면까지 고려한 설계입니다.
수치만 보고 판단하지 말고, 업무의 맥락 속에서 모델을 읽는 능력이 진정한 실력입니다.

다음 12화에서는 분석가가 실무에서 자주 겪는 문제 중 하나인
클래스 불균형 문제 해결 전략(SMOTE, 언더샘플링 등) 을 깊이 있게 다루겠습니다.