너와 나의 스토리

* Kaggle 참고 What is Vanishing Gradient problem? Vanishing Gradient problem: gradient 기반 학습 방법 및 backpropagation을 사용하여 인공 neural network를 학습하는데 어려움이 있다. 이러한 방법으로, 신경망의 각각의 가중치는 각 반복 학습에서 현재 가중치에 대한 와 함수의 부분 도함수에 비례하는 업데이트를 수신한다. 문제는 경우에 따라 gradient이 작아져서 weight이 효과적으로 값을 변경하지 못하게하는 것이다. 최악의 경우, 이것은 신경망을 추가 훈련으로부터 완전히 정지시킬 수 있다. 즉, 각 단계에 해당하는 가중치가 조금만 작아도 결과적으로 엄청 작아져서 vanishing gradient problem이 ..

kaggle(https://www.kaggle.com/szrlee/stock-time-series-20050101-to-20171231#CAT_2006-01-01_to_2018-01-01.csv)에 있는 데이터로 실습함 * Kernels을 참조 할 것 1. google과 cat 데이터를 load 2. 한 달 단위로 나눠서 learning 할 것 3. 미래의 결과 예측 1. Introduction to date and time 1.1 import . . import numpy as np import pandas as pd import matplotlib.pyplot as plt . . 1.2 데이터 로드 jupyter notebook에 현재 문서가 있는 곳에 input파일을 만들고 그 곳에 csv파일을 l..

문제: https://www.acmicpc.net/problem/11559 문제 풀이: 1. 터질 수 있는 뿌여 그룹 찾기 -> '.'이 아닌 점에서 bfs 돌려서 4개 이상 이어져 있으면 vector에 push 2. 현재 모양에서 터질 수 있는 뿌여 그룹을 다 찾았으면 각 그룹을 없애고 위에 것들을 끌어 내림 ㄴ> 위에서부터 작업할 수 있도록 정렬해주고 작업 3. 터뜨리고 res++ -> 한 번에 여러 그룹 터뜨리면 res는 한 번만 ++됨. 소스 코드: typedef pair P; int res; int dx[4] = { 0,1,-1,0 }; int dy[4] = { 1,0,0,-1 }; bool visit[12][6]; char arr[12][6]; vector bomb; void bfs(int x..

문제: https://www.acmicpc.net/problem/1100 문제 풀이: index 0 1 2 3 4 5 6 7 0 White White White White 1 White White White White 2 White White White White 3 White White White White 4 White White White White 5 White White White White 6 White White White White 7 White White White White White는 x축과 y축의 합이 짝수인 곳이다 소스 코드: int res; int main() { ios::sync_with_stdio(false); cin.tie(NULL), cout.tie(NULL); for (..

Step3 - 손실 줄이기 ● 반복 방식 에서 b와 w1에 적절한 값을 넣어보면서 손실 계산하는 과정 반복 * 손실 계산 -> 손실 함수(제급 손실 함수) 사용 ● 경사 하강법 매개변수 업데이트를 어떻게 할까 -> 경사하강법 회귀 문제에서 손실과 w1을 대응한 도표는 항상 볼록 함수 모양을 할 것이다. 볼록 문제에서 기울기가 정확하게 0인 지점인 최소값이 하나만 존재한다. 이 최소값에서 손실 하수가 수렴한다. - 경사하강법 1. w1에 대한 시작 값 선택 ( 손실 곡선 중에서 한 점 선택 ) 2. 그 점에서 손실 곡선의 기울기를 계산 ㄴ 어느 방향이 더 정확한지를 알 수 있음 ㄴ 기울기는 [방향, 크기]를 가짐 ㄴ 기울기는 항상 손실 함수 값이 가장 크게 증가하는 방향을 향한다 -> 즉, 기울기의 반대 ..

출처: https://developers.google.com/machine-learning/crash-course/ Step1. ML 문제로 표현하기 Step2. ML로 전환하기 ● 선형 회귀 y′: 예측된 라벨(얻고자 하는 출력) b: y절편 $x_{i}$: 특성 $w_{i}$: 해당 특성에 대한 가중치 -> 기울기 ● 학습 및 손실 - 학습: 라벨이 있는 데이터로부터 올바른 가중치와 편향값을 학습(결정)하는 것 - 경험적 위험 최소화: (지도 학습에서 머신러닝 알고리즘은) 다양한 예를 검토하고 손실을 최소화 하는 모델을 찾아봄으로써 모델을 만들어내는 과정 - 손실: 한 가지 예에서 모델의 예측이 얼마나 잘못되었는지를 나타내는 수 손실 함수 - 제곱 손실 (MSE: 평균 제곱 오차) - (x,y)에서 ..

문제: https://www.acmicpc.net/problem/1965 문제 풀이: 가장 긴 증가하는 부분 수열을 찾으면 된다. 소스 코드: int n; vector v; int main() { ios::sync_with_stdio(false); cin.tie(NULL), cout.tie(NULL); cin >> n; for (int i = 0; i > q; int pos = lower_bound(v.begin(), v.end(), q)-v.begin(); if (pos == v.size())v.push_back(q); else v[pos] = q; } cout

GP 먼저 모델을 하나를 만든다. 이 모델에서 발견되는 오차를 보완할 모델을 새로 만들어 그 전 모델과 합친다. 이 과정을 반복한다. 즉, weak learners를 하나의 strong learner에 결합시키는 과정을 반복한다. Least-squares 설정으로 설명하면 쉽다. 여기서 목표는 $\hat{y}$=F(x)형태의 값을 예측하는 모델 F를 학습시키는 것이다. 평균 제곱 오차( $\tfrac {1}{n}\sum _{i}({\hat {y}}_{i}-y_{i})^{2}$ )를 최소화함으로써 각 단계 m (1≤m≤M of gradient boosting)에서 불황전한 모델 $F_{m)$이 있다고 하자. (처음 F는 y의 평균을 예측하는 모델도 가능) $F_{m+1}(x) = F_{m}(x)+h(x)$..