Hyper Parameter

Parameter

매개변수

모델 내부에서 결정되는 변수, 데이터로부터 결정

사용자에 의해 조정되지 않음

ex) 정규분포의 평균, 표준편차, 가중치, 편향

 

Hyper  Parameter

초매개변수

모델링할때 사용자가 직접 세팅해주는 값

ex ) learning rate나 SVM에서 C값 등

 

=> 구분기준 : 사용자가 직접 설정하느냐 아니냐의 차이

 

하이퍼 파라미터 튜닝이 필요한 이유

 모델의 성능을 향상시키기 위함

-> 예를 들어 모델의 학습 속도를 하이퍼파라미터로 사용한다 가정,

값이 너무 높으면 모델이 차선의 결과로 너무 빨리 수렴할 수 있다.

반면 너무 낮으면 훈련이 너무 오래 걸려 결과가 수렴되지 않을 수 있다.

=> 적절하고 균형있게 선택하면 정확한 모델과 우수한 성능을 얻을 수 있다.

 

하이퍼파라미터 튜닝 방법

1. Manual Search
2. Grid Search
3. Random Search
4. Bayesian Optimization
5. Non - Probabilistic
6. Evolutionary Optimization
7. Gradient-based Optimization
8. Early Stopping

1을 제외한 방법들을  automated hyperparameter selection이라 함

 

 

 

 

---

참고 및 출처 : https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-13-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Parameter%EC%99%80-%ED%95%98%EC%9D%B4%ED%8D%BC-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Hyper-parameter , https://aws.amazon.com/ko/what-is/hyperparameter-tuning/