Andrew Ng - machine learning 정리 [Lecture 4]

강의: www.coursera.org

 

Lecture 4 Linear Regression With Multiple Variables

feature이 여러개

 

Multiple feature 함수

• n=feature개수

 

다중 변수인 경우 Xj의 각 값이 반영된다.

GD: Feature Scaling

idea: Make sure features are on a similar scale.

 

x1과 x2의 값 차이가 많이 나면 왼쪽처럼 얇고 긴 타원 모양이되고, 

gradient descent의 최적값 찾는 경로가 복잡하고 많이 이동하게 된다.

오른쪽 같은 경우는 x1과 x2가 비슷하다. 이처럼 각 변수 값이 일정해지면 , 

gradient descent의 최적값을 짧은 경로로 쉽게 찾을 수 있다.

Feature Scaling 

-> 모든 feature을 대략 -1<= Xi <= 1 범위로 가져온다

 

[0<= X1 <=3] [-2<=x2<=0.5]  이 정도는 괜찮

[-100<=X3<=100] 이렇게 너무 많이 차이나면 안됨

Mean normalization

평균 값을 고려하여 정규화 하기

feature을 거의 0으로 만들기 위해 Xi를 Xi-ui로 바꿔준다.

 

ㄴ S: 표준 편차 or (max-min)

     u: 평균 값

 

J(Θ)는 gradient descent가 진행될수록 감소해야 한다. 

 

기존 feature을 그대로 사용하는게 아니라, 변형해서 최적화된 feature을 사용

 

첫 번째 식은 파란 선처럼 나중에 감소해서 위 자료에는 맞지 않음

 

Normal Equation

• feature scaling이 필요없고, learning rate도 지정할 필요가 없음

• 계산이 빠르고 쉽게 원하는 값을 찾을 수 있다.

ㄴ J(Θ)가 최소가 되는 Θ

• n이 크면 계산량이 많아서 보통 GD 사용함