너와 나의 스토리

● One-hot (vector) 데이터에 고유한 인덱스(숫자)를 붙여서 분류 자신이 가진 인덱스에서는 1, 나머지는 0 ex) 딸기-0 사과-1 바나나-2 키위-3 수박-4 사과 -> [0,1,0,0,0] ● 상수 - tf.constant(): 상수 선언 ex) x=tf.constant(1) # 상수선언 x=1 - tf.zeros(,,): 모든 원소의 값이 0인 텐서 생성 ex) tf.zeros([2,3], float32) => [ [0,0,0], [0,0,0] ] - tf.ones - tf.fill(,,): value 값으로 채워진 텐서를 생성함 - tf.constant(,,,): 상수 텐서 생성 - tf.range(,,,): start~limit 사이에서 delta 간격으로 뽑아낸 정수들의 리스트를..

kaggle(https://www.kaggle.com/crawford/computer-network-traffic)에 있는 데이터 셋으로 실습하였습니다. Date: IP => 08-24(235): 1 / 09-04(246): 5 / 09-18(260): 4 / 09-26(268): 3, 6 * kernels을 참조 RNN(Recurrent Neural Network) 미리 공부하고 보기! 1. import & data load import numpy as np #linear algebra import pandas as pd #data processing, csv file I/O import matplotlib.pyplot as plt import seaborn as sns from subprocess i..

Terry TaeWoong Um님의 영상과 Colah의 블로그를 기반으로 정리하였습니다. (+ 추가 자료) 기본 NN 구조 RNN 구조 1. RNN은 상당히 deep한 구조이다 $x_{0}$가 $h_{t}$를 출력하는데 영향을 미치려면 굉장히 많은 단계를 거치게된다. 2. exploding and vanishing gradient problem 여기서 $x_{0}$를 통해 나온 결과 A의 가중치를 작게 하면 이는 점점 작아져 나중에는 거의 영향력이 사라진다 반대로 가중치를 처음에 크게 잡으면 나중에 이 값이 너무 커지게 된다. 즉, 너무 예전 결과를 가져와 쓰는게 힘들다 하지만 LSTM는 이런 문제가 발생하지 않는다! 즉, 기존 RNN의 경우 정보와 정보 사이의 거리가 멀면 초기의 weight 값이 유지..

* Kaggle 참고 What is Vanishing Gradient problem? Vanishing Gradient problem: gradient 기반 학습 방법 및 backpropagation을 사용하여 인공 neural network를 학습하는데 어려움이 있다. 이러한 방법으로, 신경망의 각각의 가중치는 각 반복 학습에서 현재 가중치에 대한 와 함수의 부분 도함수에 비례하는 업데이트를 수신한다. 문제는 경우에 따라 gradient이 작아져서 weight이 효과적으로 값을 변경하지 못하게하는 것이다. 최악의 경우, 이것은 신경망을 추가 훈련으로부터 완전히 정지시킬 수 있다. 즉, 각 단계에 해당하는 가중치가 조금만 작아도 결과적으로 엄청 작아져서 vanishing gradient problem이 ..

kaggle(https://www.kaggle.com/szrlee/stock-time-series-20050101-to-20171231#CAT_2006-01-01_to_2018-01-01.csv)에 있는 데이터로 실습함 * Kernels을 참조 할 것 1. google과 cat 데이터를 load 2. 한 달 단위로 나눠서 learning 할 것 3. 미래의 결과 예측 1. Introduction to date and time 1.1 import . . import numpy as np import pandas as pd import matplotlib.pyplot as plt . . 1.2 데이터 로드 jupyter notebook에 현재 문서가 있는 곳에 input파일을 만들고 그 곳에 csv파일을 l..

Step3 - 손실 줄이기 ● 반복 방식 에서 b와 w1에 적절한 값을 넣어보면서 손실 계산하는 과정 반복 * 손실 계산 -> 손실 함수(제급 손실 함수) 사용 ● 경사 하강법 매개변수 업데이트를 어떻게 할까 -> 경사하강법 회귀 문제에서 손실과 w1을 대응한 도표는 항상 볼록 함수 모양을 할 것이다. 볼록 문제에서 기울기가 정확하게 0인 지점인 최소값이 하나만 존재한다. 이 최소값에서 손실 하수가 수렴한다. - 경사하강법 1. w1에 대한 시작 값 선택 ( 손실 곡선 중에서 한 점 선택 ) 2. 그 점에서 손실 곡선의 기울기를 계산 ㄴ 어느 방향이 더 정확한지를 알 수 있음 ㄴ 기울기는 [방향, 크기]를 가짐 ㄴ 기울기는 항상 손실 함수 값이 가장 크게 증가하는 방향을 향한다 -> 즉, 기울기의 반대 ..

출처: https://developers.google.com/machine-learning/crash-course/ Step1. ML 문제로 표현하기 Step2. ML로 전환하기 ● 선형 회귀 y′: 예측된 라벨(얻고자 하는 출력) b: y절편 $x_{i}$: 특성 $w_{i}$: 해당 특성에 대한 가중치 -> 기울기 ● 학습 및 손실 - 학습: 라벨이 있는 데이터로부터 올바른 가중치와 편향값을 학습(결정)하는 것 - 경험적 위험 최소화: (지도 학습에서 머신러닝 알고리즘은) 다양한 예를 검토하고 손실을 최소화 하는 모델을 찾아봄으로써 모델을 만들어내는 과정 - 손실: 한 가지 예에서 모델의 예측이 얼마나 잘못되었는지를 나타내는 수 손실 함수 - 제곱 손실 (MSE: 평균 제곱 오차) - (x,y)에서 ..

GP 먼저 모델을 하나를 만든다. 이 모델에서 발견되는 오차를 보완할 모델을 새로 만들어 그 전 모델과 합친다. 이 과정을 반복한다. 즉, weak learners를 하나의 strong learner에 결합시키는 과정을 반복한다. Least-squares 설정으로 설명하면 쉽다. 여기서 목표는 $\hat{y}$=F(x)형태의 값을 예측하는 모델 F를 학습시키는 것이다. 평균 제곱 오차( $\tfrac {1}{n}\sum _{i}({\hat {y}}_{i}-y_{i})^{2}$ )를 최소화함으로써 각 단계 m (1≤m≤M of gradient boosting)에서 불황전한 모델 $F_{m)$이 있다고 하자. (처음 F는 y의 평균을 예측하는 모델도 가능) $F_{m+1}(x) = F_{m}(x)+h(x)$..