너와 나의 스토리

● sequence-to-sequence network - 주식가격 같은 시계열 데이터를 예측하는 데 유용 - 최근 N일치의 주식각격을 주입하면 네트워크는 하루 앞선 가격을 출력해야 한다. (즉, N-1일 전부터 내일까지 모든 출력을 다 봄) ● sequence-to-vector network - 입력 시퀀스를 네트워크에 주입하고, 마지막을 제외한 모든 출력 무시 - ex) 영화 리뷰에 있는 연속된 단어를 주입하면 네트워크는 감성 점수를 출력 - 인코더(encoder)라고 불림 ● delayed sequence-to-sequence network - 인코더(encoder)라고 불리는 sequence-to-vector network 뒤에 디코더(decoder)라 불리는 vector-to-sequence n..

1.1 머신러닝이란? 머신러닝 정의 - 일반적인 정의: 명시적인 프로그래밍 없이 컴퓨터가 학습하는 능력을 갖추게 하는 연구 분야 - 공학적인 정의: 어떤 작업 T에 대한 컴퓨터 프로그램의 성능을 P로 측정했을 때 경험 E로 인해 성능이 향상됐다면, 이 컴퓨터 프로그램은 작업 T와 성능 측정 P에 대해 경험 E로 학습한 것이다. 정의 - 훈련 세트(training set): 시스템이 학습하는 데 사용하는 샘플 - 훈련 사례(training instance): 각 훈련 데이터 - 데이터 마이닝(data mining): 머신러닝 기술을 적용해서 대용량의 데이터를 분석하면 겉으로는 보이지 않던 패턴을 발견하는 것. ex) 스팸 필터는 스팸 메일과 일반 메일의 샘플을 이용해 스팸 메일 구분법을 배울 수 있는 머신..

cross-entropy : 불확실성의 정도 - SEE(Sum Squared Error)보다 수렴이 빠르다 - classification 문제 / deep learning에서 많이 사용한다. ( regression 문제에서는 SEE 많이 사용) - 대칭적(symmetric)이지 않다. sigmoid function에서는 z가 어느정도 작거나 큰 값일 때, 항상 0이나 1에 가까운 값을 출력하기 때문에, 입력의 변화가 출력에 반영되기 어렵다. 그 결과, 오차 함수의 가중치 매개 변수에 대한 편미분이 0에 가까운 값이되어, 경사 하강법의 학습이 늦어지는 문제가 있다. 그래서 cross-entropy를 이용하여 cost function을 만든다. cross-entropy cost function S(y): 출..

Wikipedia 참고 ApEn 통계에서 ApEn(approximate entropy)는 time series 데이터에 대한 규칙성의 양과 변동성의 예측 불가능성을 정량화하는데 사용된다. -> 규칙성의 정도, 불확실성의 정도 시계열에서 반복되는 변동 패턴의 존재는 그러한 패턴이 없는 시계열보다 더 예측 가능하게 한다. ApEn은 유사한 관찰 패턴이 추가로 유사한 관찰에 이어지지 않을 가능성을 반영한다. 많은 반복 패턴을 포함하는 시계열은 상대적으로 작은 ApEn을 가지고, 덜 예측 가능한 프로세스는 더 높은 ApEn을 가진다. ApEn's algorithm Step1. 시계열 형태의 데이터 $u_{1}$, $u_{2}$,...,$u_{n}$. 시간의 균등한 간격으로 측정한 N개의 원시 데이터 값이다. S..

Keras Keras Decumentation참고 ● Sequential - keras.models.Sequential() - Neural Network를 초기화하는데 필요 - model 생성자 ● add - models.add() - sequential로 만든 모델에 특성 넣어줌 ● Dense - keras.layers.Dense(,,,) - input_dim: 입력 뉴런의 수 설정 - init: 가중치 초기화 방법 설정 (uniform / normal) - activation: 활성화 함수 설정 (linear / relu / sigmoid / softmax) - 입력 뉴런과 출력 뉴런을 모두 연결해준다. - 참고 [출처: 데이터 사이언스 스쿨] ● GRU - keras.layers.GRU() - LS..

* '핸즈온 머신러닝' 책의 내용을 기반으로 작성 ● 퍼셉트론(Perceptron) 가장 간단한 인공 신경망 구조 중 하나 TLU(threshold logic unit)라는 조금 다른 형태의 인공 뉴런을 기반으로 한다. 입력과 출력이 어떤 숫자고 각각의 입력 연결은 가중치와 연관되어 있다. 층이 하나뿐인 TLU로 구성된다. ● TLU 간단한 선형 이진 분류 문제에 사용할 수 있다. 입력의 선형 조합을 계산해서 그 결과가 임곗값을 넘어서면 양성 클래스를 출력하고 그렇지 않으면 음성 클래스를 출력한다. 여기에 편향 특성이 더해진다. ● 다층 퍼셉트론(Multi-Layer Perceptron) - MLP 여러 퍼셉트론을 쌓아올려 일부 제약을 줄일 수 있는데, 이런 신경망을 MLP라고 한다. [입력층 하나 + ..

● One-hot (vector) 데이터에 고유한 인덱스(숫자)를 붙여서 분류 자신이 가진 인덱스에서는 1, 나머지는 0 ex) 딸기-0 사과-1 바나나-2 키위-3 수박-4 사과 -> [0,1,0,0,0] ● 상수 - tf.constant(): 상수 선언 ex) x=tf.constant(1) # 상수선언 x=1 - tf.zeros(,,): 모든 원소의 값이 0인 텐서 생성 ex) tf.zeros([2,3], float32) => [ [0,0,0], [0,0,0] ] - tf.ones - tf.fill(,,): value 값으로 채워진 텐서를 생성함 - tf.constant(,,,): 상수 텐서 생성 - tf.range(,,,): start~limit 사이에서 delta 간격으로 뽑아낸 정수들의 리스트를..

kaggle(https://www.kaggle.com/crawford/computer-network-traffic)에 있는 데이터 셋으로 실습하였습니다. Date: IP => 08-24(235): 1 / 09-04(246): 5 / 09-18(260): 4 / 09-26(268): 3, 6 * kernels을 참조 RNN(Recurrent Neural Network) 미리 공부하고 보기! 1. import & data load import numpy as np #linear algebra import pandas as pd #data processing, csv file I/O import matplotlib.pyplot as plt import seaborn as sns from subprocess i..