QRF(Quantile regression forest)

출처: https://towardsdatascience.com/quantile-regression-from-linear-models-to-trees-to-deep-learning-af3738b527c3

출처: https://blog.datadive.net/prediction-intervals-for-random-forests/

출처: https://en.wikipedia.org/wiki/Quantile_regression

 

 

Quantile Regression Forest

- 의사 결정 트리 기반 방법에 대한 신뢰 구간을 찾는 일반적인 방법

- 아이디어:

숲의 각 나뭇잎에 반응 변수의 평균 값을 기록하는 대신 잎에 관찰된 모든 반응을 기록한다.

예측은 응답 변수의 평균뿐만 아니라 모든 x에 대한 응답 값의 전체 조건부 분포 P(Y≤y∣X=x)를 반환 할 수 있다.

이러한 분포를 사용하면 분포의 적절한 백분위 수를 사용하여 새 인스턴스에 대한 prediction interval을 만드는 것은 간단하다.

 

prediction interval: 단순히 하나의 값을 예측하는 것이 아니라 가능한 범위를 예측하는 것

prediction interval하는 일반적인 방법 -> quantile regression 

 

 

Quantile regression

- 응답 변수의 조건부 중간 값 또는 다른 분위수 중 하나를 추정하는 것을 목표로 한다.

- 본질적으로 선형 회귀의 확장이며 선형 회귀의 조건이 적용 가능하지 않을 때 사용한다.

 

* quantile: 분위 수

Quantile regression은 quantile loss를 최소화한다.

regression이 단일 지점 추정을 예측하기 위해 제곱 오차 손실 함수(squared-error loss function)를 최소화하는 것처럼,

quantile reressions는 특정 분위 수를 예측할 때 quantile loss를 최소화 합니다.

 

가장 많이 사용하는 분위 수는 중앙값 또는 50 백분위 수이고, 이 경우 quantile loss는 단순히 절대 오차의 합계이다.

quantile loss는 평가된 quantile에 따라 다르기 때문에 더 높은 quantiles의 경우 negative errors가 더 많이 발생하고

더 낮은 quantiles의 경우 더 많은 positive errors가 부과된다.