XGBoost 개념

225p~229p

1.Xgboost(extreme gradient boosting) : 트리 기반의 앙상블 학습에서 가장 각광받고 있는 기법 

• gbm의 단점인 느린 수행시간, 과적합 규제 부재 등의 문제를 해결

 

2.xgboost의 대표적인 장점

• 분류와 회귀에서의 뛰어난 예측 성능
• GBM대비 빠른 수행 시간
• 과적합 규제 
• tree pruning
• 자체 내장된 교차 검증 - 교차 검증을 통해 평가 데이터셋의 평가 값이 최적화 되면 반복을 중간에 멈출 수 있는 early stopping 기능 존재
• 결손값 자체 처리

 

3.파이썬 래퍼 xgboost 모듈 & 사이킷런 래퍼 xgboost 모듈

파이썬 래퍼 xgboost 모듈 : 초기의 독자적인 xgboost 프레임워크 기반의 xgboost

사이킷런 래퍼 xgboost 모듈 : 사이킷런과 연동되는 모듈

 

4.파이썬 래퍼 xgboost 하이퍼 파라미터 

GBM과 유사한 하이퍼 파라미터를 가지고 있으며, 여기에 조기 중단, 과적합을 규제하기 위한 하이퍼 파라미터 등이 추가됨

 

일반 파라미터 - 스레드의 개수나 silent 모드 등의 선택을 위한 파라미터

부스터 파라미터 - 트리 최적화, 부스팅, regularization 등과 관련 파라미터 등을 지칭

학습 태스크 파라미터 - 학습 수행 시의 객체 함수, 평가를 위한 지표 등을 설정