Gradient boosting
그라디언트 부스팅(Gradient boosting)은 기능 공간에서의 부스팅을 기반으로 하는 기계 학습 기술로, 목표는 기존 부스팅에 사용되는 일반적인 잔차가 아닌 유사 잔차이다. 이는 약한 예측 모델의 앙상블 형태로 예측 모델을 제공한다. 즉, 일반적으로 단순한 결정 트리인 데이터에 대해 거의 가정하지 않는 모델이다. 결정 트리가 약한 학습기인 경우 결과 알고리즘을 그래디언트 부스팅 트리라고 한다. 일반적으로 랜덤 포레스트보다 성능이 뛰어난다. 그래디언트 부스팅 트리 모델은 다른 부스팅 방법과 마찬가지로 단계적 방식으로 구축되지만 임의의 미분 가능한 손실 함수를 최적화하여 다른 방법을 일반화한다.
Gradient boosted trees
- Gradient Boosting Algorithm의 직관적인 이해 :: Deep Play
- Gradient Boosted Decision Trees | Machine Learning | Google for Developers
See also
- Machine learning
- Classification
- Regression
- Decision Tree
- 에이다부스트
- 랜덤 포레스트
- XGBoost
- CatBoost
- 결정 트리 학습법
- Boosting (machine learning)