Voting

Ensemble Learning

 

 

학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기위해 다수의 학습 알고리즘을 사용하는 방법

여러개의 분류기를 생성하고 그 예측을 결합함으로써 보다 정확한 예측을 도출하는 기법

weak classifier들을 결합해 strong classifier로 만드는 것

 

특징

여러 모델들을 결합함으로서 단일모델들의 약점을 보완하는 방식

-> 뛰어난 성능을 가진 모델로만 구성하는 것보다 성능이 떨어지더라도 서로 다른 유형의 모델을 섞는 것이 전체 성능향상에 도움이 될 수 있

Decision tree에서 overfitting되는 문제를 감소시킴

 

유형 : voting, bagging, boosting, stacking

 

Voting

 

https://wpaud16.tistory.com/81

 

하나의 데이터셋에 여러개의 알고리즘을 사용하는 기법

각각 다른 알고리즘을 이용한 분류기를 결합하는 방식

최종 예측값을 투표하는 방식

여러개의 분류기를 사용하여 각각의 분류기 결과를 투표해 예측

 

 

https://medium.com/dawn-cau/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EC%95%99%EC%83%81%EB%B8%94-%ED%95%99%EC%8A%B5-%EC%9D%B4%EB%9E%80-cf1fcb97f9d0

 

 

Hard Voting

다수결 원칙과 유사

다수의 분류기가 결정한 예측값을 최종 보팅결과 값으로 선정

 

Soft Voting

분류기의 레이블 값 결정 확률을 모두 더해 평균내서 확률이 가장 높은 레이블 값을 최종 보팅 결과값으로 선정

 

 

 

 

 

 

 

 

 

 

---

참고 및 출처 : https://medium.com/dawn-cau/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EC%95%99%EC%83%81%EB%B8%94-%ED%95%99%EC%8A%B5-%EC%9D%B4%EB%9E%80-cf1fcb97f9d0 , https://swingswing.tistory.com/281 ,