RandomForest

성지우 2024. 2. 17. 20:42

Random Forest

등장배경 : 의사결정트리의 과적합을 해결책으로 제안됨

-> 모든 feature들을 기반으로 트리를 만들어 가지가 많아져 오버피팅됨

랜덤포레스트는 의사결정나무를 배깅방식으로 만든 알고리즘

* 배깅 (Bagging) : 같은 알고리즘을 사용하되 데이터를 무작위로 추출해 다양한 서브 데이터셋을 생성하고 이들을 병렬적으로 학습한 결과를 다수결이나 평균으로 결정하는 것

랜덤포레스트는 다수의 분류트리로 구성

각 노드에서 무작위로 선택되는 변수 개수인 m값은 2가지 오류율 원인에 영향을 미침

m을 줄이면 상관관계, 강도 모두 감소하고 m을 늘리면 둘 다 증가

-> 오류율이 최소화되는 m의 최적 범위가 있다

=> oob (out of bag)오류율을 사용해 결정할 수 있다

-> 랜덤포레스트는 전체 feature중 랜덤으로 일부 feature만 선택(개별 나무 간 상관성 줄임)해 하나의 결정트리를 만듬

또 전체에서 랜덤으로 일부 feature를 선택해 또 다른 결정트리를 만드는 것을 반복

여러개의 결정트리들의 예측값중 가장 많이 나온 값을 최종 예측값으로 정함

랜덤포레스트 모델을 평가할때 사용하는 방법

Bagging을 통해 각 Bootstrap을 하며 복원추출에 뽑히지 않은 데이터들 (보통 2/3정도 뽑힘)이

자동으로 validation set이 되어 cross validation하지 않아도 test error를 추정할 수 있다

이때 뽑히지 않은 데이터 = Out-of-Bag

여러개의 나무를 합하면서 예측정확도는 올라갔지만 기존의 결정트리가 가진 해석력이 없어짐

-> 하나의 트리로 의사결정의 절차를 표현할 수 없어졌기 때문

그러나, RSS나 Gini index를 통해 전반적인 예측변수들의 중요도를 확인할 수 있다

예를들어 분류의 경우 Gini index의 감소량을 특정해 감소량이 크면 중요한 변수임을 의미

장점

분류, 회귀 모두 사용가능

결측치 다루기 쉬움

대용량 데이터 처리에 효과적

오버피팅문제 해결로 모델 정확도 향상

분류모델에서 상대적으로 중요한 변수를 선정 및 ranking가능

개별 의사결정 트리에 비해 데이터의 노이즈 및 이상값에 덜 민감

특성중요도(feature inportance)를 제공

단점

모형의 해석이 어려움

다른 앙상블처럼 유연하지 않음 - 트리외의 다른 예측모형 적용 불가

계산량이 많고 학습에 소요되는 시간이 길다 - 하나의 결정트리에 비