cross-entropy cost function

cross-entropy

: 불확실성의 정도

- SEE(Sum Squared Error)보다 수렴이 빠르다

- classification 문제 / deep learning에서 많이 사용한다.

  ( regression 문제에서는 SEE 많이 사용)

- 대칭적(symmetric)이지 않다.

 

 

sigmoid function에서는 z가 어느정도 작거나 큰 값일 때, 항상 0이나 1에 가까운 값을 출력하기 때문에,

입력의 변화가 출력에 반영되기 어렵다. 그 결과, 오차 함수의 가중치 매개 변수에 대한 편미분이 0에 가까운 값이되어, 경사 하강법의 학습이 늦어지는 문제가 있다.

 

그래서 cross-entropy를 이용하여 cost function을 만든다.

 

 

cross-entropy cost function

S(y): 출력을 softmax로 변환

           = $\hat{y}$(예측)

L:  실제 값

 

 

 

 

 

 

 

사진 출처

 

 

D(S,L) = -$\sum_{i}$$L_{i}$log($S_{i}$) = $\sum_{i}$$L_{i}$*-log($\hat{y}_{i}$)

 

Loss = $\frac{l}{n}$$\sum_{i}$D(S(w$x_{i}$+b),$L_{i}$)