GBM(Gradient Boosting)

GP

먼저 모델을 하나를 만든다. 이 모델에서 발견되는 오차를 보완할 모델을 새로 만들어 그 전 모델과 합친다. 이 과정을 반복한다. 

즉, weak learners를 하나의 strong learner에 결합시키는 과정을 반복한다.

 

Least-squares 설정으로 설명하면 쉽다. 여기서 목표는 $\hat{y}$=F(x)형태의 값을 예측하는 모델 F를 학습시키는 것이다. 평균 제곱 오차( $\tfrac {1}{n}\sum _{i}({\hat {y}}_{i}-y_{i})^{2}$ )를 최소화함으로써

 

각 단계 m (1≤m≤M of gradient boosting)에서 불황전한 모델 $F_{m)$이 있다고 하자.

(처음 F는 y의 평균을 예측하는 모델도 가능)

$F_{m+1}(x) = F_{m}(x)+h(x)$ = y이다.

우리는 이 h를 찾아야한다.

h(x) = y-$F_{m}(x)$

h?

제곱 오차 이외의 loss function, classification, ranking problems에 대한 일반화는 주어진 모형에 대한 나머지 y-F(x)가 suared error less function($\tfrac{1}{2}(y-F(x))^{2}$)의 음의 기울기 임을 관찰한 결과를 따른다.

즉, gradient boosting은 gradient descent algorithm이며, 일반화하려면 다른 loss와 그 gradient를 연결해야 한다.