너와 나의 스토리

Terry TaeWoong Um님의 영상과 Colah의 블로그를 기반으로 정리하였습니다. (+ 추가 자료) 기본 NN 구조 RNN 구조 1. RNN은 상당히 deep한 구조이다 $x_{0}$가 $h_{t}$를 출력하는데 영향을 미치려면 굉장히 많은 단계를 거치게된다. 2. exploding and vanishing gradient problem 여기서 $x_{0}$를 통해 나온 결과 A의 가중치를 작게 하면 이는 점점 작아져 나중에는 거의 영향력이 사라진다 반대로 가중치를 처음에 크게 잡으면 나중에 이 값이 너무 커지게 된다. 즉, 너무 예전 결과를 가져와 쓰는게 힘들다 하지만 LSTM는 이런 문제가 발생하지 않는다! 즉, 기존 RNN의 경우 정보와 정보 사이의 거리가 멀면 초기의 weight 값이 유지..

* Kaggle 참고 What is Vanishing Gradient problem? Vanishing Gradient problem: gradient 기반 학습 방법 및 backpropagation을 사용하여 인공 neural network를 학습하는데 어려움이 있다. 이러한 방법으로, 신경망의 각각의 가중치는 각 반복 학습에서 현재 가중치에 대한 와 함수의 부분 도함수에 비례하는 업데이트를 수신한다. 문제는 경우에 따라 gradient이 작아져서 weight이 효과적으로 값을 변경하지 못하게하는 것이다. 최악의 경우, 이것은 신경망을 추가 훈련으로부터 완전히 정지시킬 수 있다. 즉, 각 단계에 해당하는 가중치가 조금만 작아도 결과적으로 엄청 작아져서 vanishing gradient problem이 ..

kaggle(https://www.kaggle.com/szrlee/stock-time-series-20050101-to-20171231#CAT_2006-01-01_to_2018-01-01.csv)에 있는 데이터로 실습함 * Kernels을 참조 할 것 1. google과 cat 데이터를 load 2. 한 달 단위로 나눠서 learning 할 것 3. 미래의 결과 예측 1. Introduction to date and time 1.1 import . . import numpy as np import pandas as pd import matplotlib.pyplot as plt . . 1.2 데이터 로드 jupyter notebook에 현재 문서가 있는 곳에 input파일을 만들고 그 곳에 csv파일을 l..

Step3 - 손실 줄이기 ● 반복 방식 에서 b와 w1에 적절한 값을 넣어보면서 손실 계산하는 과정 반복 * 손실 계산 -> 손실 함수(제급 손실 함수) 사용 ● 경사 하강법 매개변수 업데이트를 어떻게 할까 -> 경사하강법 회귀 문제에서 손실과 w1을 대응한 도표는 항상 볼록 함수 모양을 할 것이다. 볼록 문제에서 기울기가 정확하게 0인 지점인 최소값이 하나만 존재한다. 이 최소값에서 손실 하수가 수렴한다. - 경사하강법 1. w1에 대한 시작 값 선택 ( 손실 곡선 중에서 한 점 선택 ) 2. 그 점에서 손실 곡선의 기울기를 계산 ㄴ 어느 방향이 더 정확한지를 알 수 있음 ㄴ 기울기는 [방향, 크기]를 가짐 ㄴ 기울기는 항상 손실 함수 값이 가장 크게 증가하는 방향을 향한다 -> 즉, 기울기의 반대 ..

출처: https://developers.google.com/machine-learning/crash-course/ Step1. ML 문제로 표현하기 Step2. ML로 전환하기 ● 선형 회귀 y′: 예측된 라벨(얻고자 하는 출력) b: y절편 $x_{i}$: 특성 $w_{i}$: 해당 특성에 대한 가중치 -> 기울기 ● 학습 및 손실 - 학습: 라벨이 있는 데이터로부터 올바른 가중치와 편향값을 학습(결정)하는 것 - 경험적 위험 최소화: (지도 학습에서 머신러닝 알고리즘은) 다양한 예를 검토하고 손실을 최소화 하는 모델을 찾아봄으로써 모델을 만들어내는 과정 - 손실: 한 가지 예에서 모델의 예측이 얼마나 잘못되었는지를 나타내는 수 손실 함수 - 제곱 손실 (MSE: 평균 제곱 오차) - (x,y)에서 ..

GP 먼저 모델을 하나를 만든다. 이 모델에서 발견되는 오차를 보완할 모델을 새로 만들어 그 전 모델과 합친다. 이 과정을 반복한다. 즉, weak learners를 하나의 strong learner에 결합시키는 과정을 반복한다. Least-squares 설정으로 설명하면 쉽다. 여기서 목표는 $\hat{y}$=F(x)형태의 값을 예측하는 모델 F를 학습시키는 것이다. 평균 제곱 오차( $\tfrac {1}{n}\sum _{i}({\hat {y}}_{i}-y_{i})^{2}$ )를 최소화함으로써 각 단계 m (1≤m≤M of gradient boosting)에서 불황전한 모델 $F_{m)$이 있다고 하자. (처음 F는 y의 평균을 예측하는 모델도 가능)$F_{m+1}(x) = F_{m}(x)+h(x)$..

출처: https://en.wikipedia.org/wiki/Gaussian_process Gaussian process는 많은 무작위 변수의 공동 분포이며, 이와 같이 시간이나 공간과 같은 연속적인 도메인을 가진 기능에 대한 분포다. (시간 연속적인 확률 과정) Gaussian process를 사용하는 머신 러닝 알고리즘은 lazy learning과 포인트 간의 유사성 측정(kernel function)을 사용하여 학습 데이터로부터보이지 않는 지점의 값을 예측한다. 예측은 그 점에 대한 추정일 뿐 아니라 불확실성 정보도 포함한다. 이는 1차원 가우스 분포이다. 일부 커널 함수의 경우 행렬 대수를 사용하여 kriging 기술을 사용하여 예측을 계산할 수 있다. Gaussian process의 개념은 가우..

딥러닝은 분류에 있어 중요한 feauture을 스스로 골라내지만, 머신러닝은 중요하게 연관된다고 판단하는 feature을 우리가 제공해야한다. 대신, 딥러닝은 대신 많은 양의 데이터, 고사양의 하드웨어가 필요하다. 머신러닝 알고리즘은 문제를 해결할 때, 주로 문제를 여러 파트로 쪼갠 후 , 각각 답을 구하고 그 결과를 합친다. 딥러닝은 end-to-end방식으로 문제를 해결한다. (프로세스의 모든 단계를 포함)