차원 축소 개념 차원이(feature) 증가하면 데이터 포인트 간 거리가 기하급수적으로 멀어짐 (=희소한 구조) 만약 수백 개 이상 피처로 구성된 데이터 세트가 있다면 적은 차원에서 학습된 모델보다 예측 신뢰도 떨어짐 또한 개별 피처간 상관관계가 높을 가능성이 큼 선형 모델에서 입력 변수 간 상관관계가 높은 경우 다중 공산성 문제가 발생하며 결국, 모델 예측 성능이 저하됨 이러한 문제들을 해결하기 위해, 많은 다차원 피처를 줄이는 것이 차원 축소임 차원 축소 종류 2가지 피처 선택(feature selection) & 피처 추출(feature extraction) 피처 선택 특정 피처에 종속성이 강한 불필요한 피처 제거 즉, 특징을 잘 나타내는 주요 피처만 선택 피처 추출 기존 피처를 저차원의 중요 피처..

225p~229p 1.Xgboost(extreme gradient boosting) : 트리 기반의 앙상블 학습에서 가장 각광받고 있는 기법 gbm의 단점인 느린 수행시간, 과적합 규제 부재 등의 문제를 해결 2.xgboost의 대표적인 장점 분류와 회귀에서의 뛰어난 예측 성능 GBM대비 빠른 수행 시간 과적합 규제 tree pruning 자체 내장된 교차 검증 - 교차 검증을 통해 평가 데이터셋의 평가 값이 최적화 되면 반복을 중간에 멈출 수 있는 early stopping 기능 존재 결손값 자체 처리 3.파이썬 래퍼 xgboost 모듈 & 사이킷런 래퍼 xgboost 모듈 파이썬 래퍼 xgboost 모듈 : 초기의 독자적인 xgboost 프레임워크 기반의 xgboost 사이킷런 래퍼 xgboost 모..