Forecasting at Uber

출처: https://eng.uber.com/forecasting-introduction/

 

Uber의 예측 솔루션을 위한 세 가지 기술 (표준 통계 알고리즘 외)

- Marketplace forecasting:

  사용자의 공급과 수요를 임시로세분화된 방식으로 예측하여 운전자들이 발생하기 전에 높은 수요 지역으로

  유도함으로써 이들의 트립 수와 수익을 증가시킬 수 있음

 

- Hardware capacity planning:

  하드웨어 공급이 작으면 운영 중단이 발생하여 사용자 신뢰가 저하될 수 있지만,

  과도한 공급은 비용이 많이 들 수 있다.

 

- Marketing:

  트랜드, 계절성 등을 제어하면서 다양한 미디어 채널의 한계 효과에 대해 이해하는 것이 중요하다. (예: 경쟁 또는 가격)

  고급 예측 방법론을 활용하여 보다 강력한 추정치를 구축하고 규모에 맞는 데이터 중심 마케팅 결정을 내릴 수 있도록    지원하고 있다.

 

 

Prominent forecasting approaches

qualitative 방법과는 별도로 quantitative 예측 접근방식은 모델 기반 또는 causal classical, 통계적 방법 및 머신 러닝 접근방식으로 분류 할 수 있다.

 

- Model-based forecasting

 모델 기반 예측은 문제의 근본적인 메커니즘, 즉 물리학을 알 수 있을 때 가장 강력한 선택이며, 이와 같이 우버의 많은  과학 및 공학 상황에서 올바른 선택이다. 

 

만약, 기본 메커니즘을 모르거나 너무 복잡할 때(예: 주식 시장) 또는 완전히 모를 때(예: 소매 판매)는 보통 간단한 통계적 모델을 적용하는 것이 좋다 

 

인기 있는 고전적인 방법으로는 ARIMA(autogressive integrated moving average)와 Holt-Winters같은 exponential smoothing methods, Theta method 등이 있다. (Theta method: 널리 쓰이지는 않지만 성능이 매우 우수하다)

실제로, Theta method는 M3 Forecasting Competiton에서 우승했으며, 우버의 time series에서도 잘 작동한다.

(게다가 계산적으로 더 저렴하다)

 

최근 몇 년 동안, 잘 알려진 random forest의 사촌인 quantile regression forests(QRF)을 포함한 기계 학습 접근방식이 

예측 툴킷의 일부가 되었다. Recurrent neural networks(RNNs)도 충분한 데이터, 특히 exogenous regressors를 이용 가능한 경우 매우 유용한 것으로 나타났다. 일반적으로 이러한 기계 학습 모델은 블랙박스 유형이며 해석성이 요구되지 않을 때 사용된다.

 

인기 있는 고전 및 기계 학습 예측 방법에 대한 개괄적인 개요

Classical & Statistical	Machine Learning
Autoregressive integrated moving average (ARIMA) Exponential smoothing methods (예: Holt-Winters) Theta	Recurrent neural networks (RNN) Quantile regression forest (QRF) Gradient boosting trees (BGM) Support vector regression (SVR) Gaussian Process reression (GP)

 

M4 Forecasting Competition에 참가한 한 가지 수상작은 잘 알려진 Holt-Winters 방식과 확장된 장기 기억 장치(long short-term emmory units; LSTMs)의 스택에서 영감을 얻은 hand-coded smoothing 공식을 포함하는 하이브리드 모델이였다.

 

사실 고전적인 방법과 머신 러닝 방법은 서로 그다지 다르지 않지만, 모델이 더 단순하고 해석 가능한지 아니면 더 복잡하고 유연한지에 따라 구별된다. 고전 통계 알고리즘은 훨씬 더 빠르고 사용하기 쉬운 경향이 있다.