• Hold-out 교차검증: 데이터를 훈련/검증/테스트 세트로 나누어 학습
  • 문제점?
    • 훈련 세트의 크기가 모델학습에 충분하지 않을 때
    • 검증 세트의 크기가 충분하지 않을 때 → 예측 성능에 대한 추정이 부정확함
    • 모델선택의 문제 (Model Selection)

• 교차검증
  • 목적: 데이터 크기, 모델 선택에 대한 문제 해결
  • 시계열 (times series) 데이터에는 적합 X.
  • 데이터를 K 개로 등분 (K개의 집합에서 K-1 개를 부분 집합에 사용, 나머지 부분 집합은 테스트 데이터). 이 과정을 K번 반복하여 K개의 모델과 성능 추정을 얻는다
    • Ex. k=3 , 3 개의 폴드로 나누고 , 1개는 검증, 2개는 훈련. 총 3번의 검증을 거쳐 3개의 추정 성능을 얻는다
      • 평균 모델 성능
    • 중복 X
      • 모델 성능의 추정에 분산이 낮다
    • **cross_val_score *** (사이킷런)

하이퍼파라미터 튜닝

• 하이퍼파라미터 : 모델 훈련중에 학습이 되지 않는 파라미터 (사용자에 의해 정해짐)

• 목적: 하이퍼파라미터의 최적화 → 모델의 성능 향상

• 머신러닝 모델을 만들 때 중요한 이슈인 최적화 vs. 일반화

  • 최적화: 훈련 데이터로 더 좋은 성능을 얻기 위해 모델을 조정하는 과정 (Train)
  • 일반화: 학습된 모델이 처음 본 데이터에서 좋은 성능을 내는지 (Test)

• 모델의 과소적합 시 → 학습의 추가적인 여지가 있다고 판단 → 검증곡선을 그려서 학습이 최적화된 지점을 찾기

  • max_depth 지정해주기 * (과적합을 막아주는 용도) → 일반화 성능 지키기

  

  

Randomized Search CV

• 목적: 하이퍼파라미터의 최적값을 찾기 위해 사용 (사이킷런)
• GridSearchCV
  • 하이퍼파라미터들의 수치를 정해주고 그 조합을 모두 검증
    • 연산이 느림. 모든 하이퍼파라미터 검증에 대한 결과를 얻을 수 있음.
• Randomized Search
  • 하이퍼파라미터들의 범위를 지정해주면 무작위로 값을 지정해 그 조합을 모두 검증
    • 연산이 빠름 ; n-iter 수 만큼의 검증