Hyper Parameter

2024. 1. 28. 15:25ML

Parameter

매개변수

모델 내부에서 결정되는 변수, 데이터로부터 결정

사용자에 의해 조정되지 않음

ex) 정규분포의 평균, 표준편차, 가중치, 편향

 

Hyper  Parameter

초매개변수

모델링할때 사용자가 직접 세팅해주는 값

ex ) learning rate나 SVM에서 C값 등

 

=> 구분기준 : 사용자가 직접 설정하느냐 아니냐의 차이

 

하이퍼 파라미터 튜닝이 필요한 이유

 모델의 성능을 향상시키기 위함

-> 예를 들어 모델의 학습 속도를 하이퍼파라미터로 사용한다 가정,

값이 너무 높으면 모델이 차선의 결과로 너무 빨리 수렴할 수 있다.

반면 너무 낮으면 훈련이 너무 오래 걸려 결과가 수렴되지 않을 수 있다.

=> 적절하고 균형있게 선택하면 정확한 모델과 우수한 성능을 얻을 수 있다.

 

하이퍼파라미터 튜닝 방법

  1. Manual Search
  2. Grid Search
  3. Random Search
  4. Bayesian Optimization
  5. Non - Probabilistic
  6. Evolutionary Optimization
  7. Gradient-based Optimization
  8. Early Stopping

1을 제외한 방법들을  automated hyperparameter selection이라 함

 

 

 

 


참고 및 출처 : https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-13-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Parameter%EC%99%80-%ED%95%98%EC%9D%B4%ED%8D%BC-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Hyper-parameter , https://aws.amazon.com/ko/what-is/hyperparameter-tuning/ 

'ML' 카테고리의 다른 글

Bagging  (0) 2024.02.10
Voting  (0) 2024.02.10
Cross Validation  (0) 2024.02.02
Tuning The Hyper Parameter - RandomizedSearchCV  (0) 2024.01.28
Tuning The Hyper Parameter - GridSearchCV  (0) 2024.01.28