ML
Hyper Parameter
성지우
2024. 1. 28. 15:25
Parameter
매개변수
모델 내부에서 결정되는 변수, 데이터로부터 결정
사용자에 의해 조정되지 않음
ex) 정규분포의 평균, 표준편차, 가중치, 편향
Hyper Parameter
초매개변수
모델링할때 사용자가 직접 세팅해주는 값
ex ) learning rate나 SVM에서 C값 등
=> 구분기준 : 사용자가 직접 설정하느냐 아니냐의 차이
하이퍼 파라미터 튜닝이 필요한 이유
모델의 성능을 향상시키기 위함
-> 예를 들어 모델의 학습 속도를 하이퍼파라미터로 사용한다 가정,
값이 너무 높으면 모델이 차선의 결과로 너무 빨리 수렴할 수 있다.
반면 너무 낮으면 훈련이 너무 오래 걸려 결과가 수렴되지 않을 수 있다.
=> 적절하고 균형있게 선택하면 정확한 모델과 우수한 성능을 얻을 수 있다.
하이퍼파라미터 튜닝 방법
- Manual Search
- Grid Search
- Random Search
- Bayesian Optimization
- Non - Probabilistic
- Evolutionary Optimization
- Gradient-based Optimization
- Early Stopping
1을 제외한 방법들을 automated hyperparameter selection이라 함
참고 및 출처 : https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-13-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Parameter%EC%99%80-%ED%95%98%EC%9D%B4%ED%8D%BC-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Hyper-parameter , https://aws.amazon.com/ko/what-is/hyperparameter-tuning/