너와 나의 스토리

모두를 위한 딥러닝 ML lab12-3: Long Sequence RNN 강의 정리&코드 전체 코드: https://github.com/hunkim/DeepLearningZeroToAll/blob/master/lab-12-2-char-seq-rnn.py 1. data creation # Data creation idx2char = ['h', 'i', 'e', 'l', 'o'] # Teach hello: hihell -> ihello x_data = [[0, 1, 0, 2, 3, 3]] # hihell x_one_hot = [[[1, 0, 0, 0, 0], # h 0 [0, 1, 0, 0, 0], # i 1 [1, 0, 0, 0, 0], # h 0 [0, 0, 1, 0, 0], # e 2 [0, 0, 0,..

모두를 위한 딥러닝 ML lab12-2: RNN - Hi Hello Training 강의 정리&코드 전체 코드: https://github.com/hunkim/DeepLearningZeroToAll/blob/master/lab-12-1-hello-rnn.py 1. RNN model 적합한 것 골라 쓰기 2. Data creation idx2char = ['h', 'i', 'e', 'l', 'o'] # Teach hello: hihell -> ihello x_data = [[0, 1, 0, 2, 3, 3]] # hihell x_one_hot = [[[1, 0, 0, 0, 0], # h 0 [0, 1, 0, 0, 0], # i 1 [1, 0, 0, 0, 0], # h 0 [0, 0, 1, 0, 0], # e..

모두를 위한 딥러닝 ML lab12-1: RNN - Basics 강의 정리&코드 전체 코드: https://github.com/hunkim/DeepLearningZeroToAll/blob/master/lab-12-0-rnn_basics.ipynb 1. 데이터 # One hot encoding h = [1, 0, 0, 0] e = [0, 1, 0, 0] l = [0, 0, 1, 0] o = [0, 0, 0, 1] # input dimension -> 4 (0,0,0,0) 입력 데이터의 dimension이 뭐든 상관없이 출력의 dimension은 우리가 설정한 hidden_size를 따름 2. cell 만들기 with tf.variable_scope('one_cell') as scope: hidden_siz..

● sequence-to-sequence network - 주식가격 같은 시계열 데이터를 예측하는 데 유용 - 최근 N일치의 주식각격을 주입하면 네트워크는 하루 앞선 가격을 출력해야 한다. (즉, N-1일 전부터 내일까지 모든 출력을 다 봄) ● sequence-to-vector network - 입력 시퀀스를 네트워크에 주입하고, 마지막을 제외한 모든 출력 무시 - ex) 영화 리뷰에 있는 연속된 단어를 주입하면 네트워크는 감성 점수를 출력 - 인코더(encoder)라고 불림 ● delayed sequence-to-sequence network - 인코더(encoder)라고 불리는 sequence-to-vector network 뒤에 디코더(decoder)라 불리는 vector-to-sequence n..

1.1 머신러닝이란? 머신러닝 정의 - 일반적인 정의: 명시적인 프로그래밍 없이 컴퓨터가 학습하는 능력을 갖추게 하는 연구 분야 - 공학적인 정의: 어떤 작업 T에 대한 컴퓨터 프로그램의 성능을 P로 측정했을 때 경험 E로 인해 성능이 향상됐다면, 이 컴퓨터 프로그램은 작업 T와 성능 측정 P에 대해 경험 E로 학습한 것이다. 정의 - 훈련 세트(training set): 시스템이 학습하는 데 사용하는 샘플 - 훈련 사례(training instance): 각 훈련 데이터 - 데이터 마이닝(data mining): 머신러닝 기술을 적용해서 대용량의 데이터를 분석하면 겉으로는 보이지 않던 패턴을 발견하는 것. ex) 스팸 필터는 스팸 메일과 일반 메일의 샘플을 이용해 스팸 메일 구분법을 배울 수 있는 머신..

cross-entropy : 불확실성의 정도 - SEE(Sum Squared Error)보다 수렴이 빠르다 - classification 문제 / deep learning에서 많이 사용한다. ( regression 문제에서는 SEE 많이 사용) - 대칭적(symmetric)이지 않다. sigmoid function에서는 z가 어느정도 작거나 큰 값일 때, 항상 0이나 1에 가까운 값을 출력하기 때문에, 입력의 변화가 출력에 반영되기 어렵다. 그 결과, 오차 함수의 가중치 매개 변수에 대한 편미분이 0에 가까운 값이되어, 경사 하강법의 학습이 늦어지는 문제가 있다. 그래서 cross-entropy를 이용하여 cost function을 만든다. cross-entropy cost function S(y): 출..

문제: https://www.acmicpc.net/problem/9934 문제 풀이: 위에서부터 왼쪽에서 오른쪽으로 1번부터 순서를 매긴다고 하자. 깊이가 k일 때, 마지막 레벨의 번호는 $2^{k-1}$≤N≤$2^{k}-1$이다. l: $2^{k-1}$ r: $2^{k}-1$ pos: 1 (도착 순서) 이라고 하자. 1. 왼쪽 노드를 방문 안했고 현재 l보다 작다면(아직 마지막 층이 아니라면) -> 왼쪽 노드로 이동 2. 왼쪽 노드를 방문 했고 현재 자신의 위치에서 방문한 적이 없으면 -> 입력 받은 순서대로 트리의 해당 위치에 값을 넣어준다. 3. 현재 위치를 방문했고, 오른쪽 노드는 방문 하지 않았는데 현재 l보다 작다면 -> 오른쪽 노드로 이동 소스 코드: int h,l,r,arr[1026],re..

문제: https://www.acmicpc.net/problem/3830 문제 풀이: 1. 입력 받은 샘플에 상대적인 무게를 지정해준다. (그룹별로) 2. 두 그룹이 합쳐지는 경우 사이즈가 작은 그룹을 큰 그룹에 포함되도록 만든다 큰 그룹의 끝에서 작은 그룹으로 dfs를 돌려서 큰 그룹의 번호와 큰 그룹의 상대적인 무게에 맞는 무게를 부여 이미 존재하는 그룹에 새로 연결하는 경우는 그냥 상수시간으로 해결 가능하고, 두 그룹 묶을 때, 작은 그룹만 dfs 돌리니까 최악의 연산은 전체 dfs 한 번 돌리는 정도가 된다. * 주의: 무게 저장할 때, long long 써야하는데, 이것만 long long으로 하는 것이 아니라 이 것과 관련된 변수들도 다 long long으로 해줘야 한다. 소스 코드: type..