Tuning The Hyper Parameter - GridSearchCV
Hyper Parameter
사용자의 입력값
우리가 설정 가능한 입력값
사용할 데이터에 따라 가장 적합한 모델, 그 모델의 하이퍼 파라미터 값이 다름
-> 데이터마다 파라미터 입력값을 하나하나 찾아줘야함 => 하이퍼 파라미터 튜닝
# 직접 입력값을 하나하나 넣고 결과를 도출해보기 전까지 어떤 입력값이 좋을지 전혀 예측할 수 없음
GridSearchCV
교차검증 + 하이퍼 파리미터 튜닝
머신러닝에서 모델의 성능향상을 위해 쓰이는 기법 중 하나
사용자가 직접 모델의 하이퍼 파라미터의 값을 리스트로 입력하면 값에 대한 경우의 수마다 예측성능을 측정평가하여 비교하면서 최적의 하이퍼 파라미터 값을 찾는 과정을 진행
=> 검증하고 싶은 하이퍼 파라미터들의 수치를 정해주고 그 조합을 모두 검증,
실험하려는 하이퍼파라미터와 값 범위를 지정하면 교차검증을 사용해 모든 조합을 수행
>> 설정한 모든 가능한 파라미터 조합을 다 시험해보는 방법
GridSearchCV의 parameters
- estimator : 적용 알고리즘 모델
- param_grid : 튜닝을 위한 대상 파라미터, 사용될 파라미터를 딕셔너리 형태로 넣어
- scoring : 예측 성능을 측정할 평가 방법 - 분류='accuracy' , 'f1' / 회귀 = 'neg_mean_squared_error'. 'r2'
- cv : 교차검증에서 몇개로 분할되는지 가정 (default : cv = 3), 정수 넣으면 K겹 교차검증 = KFold(k)
- refit : True로 하면 최적의 하이퍼 파라미터 찾아 estimator를 재학습시킴 (default = True)
GridSearchCV의 attributes
- cv_results_ : 결과를 데이터 프레임으로 변환, fit시킨 결과, 파라미터 조합별 결과 조회
- best_score_ : 최고 점수 출력
- best_params_ : 최적의 파라미터 출력
- best_estimator_ : 가장 좋은 성능을 낸 모델
Grid를 촘촘하게 만들면 어떨까?
하이퍼파라미터가 1개인 경우에는 촘촘하게 만드는게 나쁘지 않을 수 있으나 여러개 일 경우 경우의 수가 매우 커짐
-> 연산의 양이 매우 증가
참고 및 출처 : https://dacon.io/codeshare/4568 , https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html#sklearn.model_selection.GridSearchCV ,