너와 나의 스토리

ensemble_model.fit(x_train, y_train) 해결 방법: ensemble_model.fit(x_train, y_train.values.ravel())

import numpy as np from keras.models import Sequential from keras import layers #from keras.optimizers import SGD from keras import optimizers from keras.layers import Activation,BatchNormalization, Dropout, Dense from keras.wrappers.scikit_learn import KerasClassifier from sklearn.ensemble import VotingClassifier from mlxtend.classifier import EnsembleVoteClassifier def make_model(dense): N = l..

Lecture 3. Backpropagation deep learning의 기본 optimization 알고리즘인 backpropagation과 그 변형 알고리즘들에 대해 알아보자 Train set and test set Machine learning의 궁극적인 목표 트레이넹 셋으로 학습시킨 모델이 테스트 셋에서도 성능이 잘 나오도록 하는 것이 목표 => generalization 트레이닝 데이터를 반복적으로 학습하여 training error을 줄여나감 테스트 데이터: unseen data에 대한 평가를 위한 데이터 generalization error(a.k.a. test error) 측정하는 데 사용 train and test sets 사이의 근본 가정 둘 다 동일한 데이터 생성 분포를 따른다 E(..

AI(Aritificial Intelligence)란? Strong AI: 인간과 똑같이 생각하는 기계 아직까지는 불가능 자유 의지가 있어야 함 Weak AI 컴퓨터 기반의 인공지능은 인간의 지능을 부분적으로 흉내 내고 있을 뿐 인간 생각의 요소들 기억, 계산, 추론, Knowlege Representation(Expert system), 인지(Pattern recognition), 상식, 계획 기억, 계산, 추론, 계획은 컴퓨터가 잘함 인지, 상식은 컴퓨터가 잘 못 함 -> 점점 잘해지고 있음 인지 -> 개인가 고양이인가 => Deep learning으로 구별 CLASSICAL AI Decision Tree - 고전적인 AI Basic algorithm (그리디 알고리즘) top-down recursi..

Instance-Based Classifiers 모델을 안 만들고 분류하는 방법 미리 저장된 트레이닝 데이터 필요 트레이닝 데이터를 사용해서 label 없는 데이터의 클래스 예측 Example: Rote-learner 트레이닝 데이터를 전부를 기억하고 새로운 데이터의 attribute 값이 트레이닝 셋에 속하는 데이터와 완전히 일치할 때, 클래스를 판단 Nearest neighbor 새로운 데이터가 트레이닝 셋과 가장 근사한 것으로 클래스 분류 Nearest Neighbor Classifiers 기본 아이디어: 오리처럼 뒤뚱뒤뚱 걷고, 꽥꽥 소리 내면, 이것은 아마 오리일 것이다. Nearest-Neighbor Classifiers 기존 트레이닝 셋에 있는 데이터와 현재 새로운 데이터와 유사도를 계산할 ..

Model 평가: 어떻게 performance를 신뢰성 있게 추정할 것인가? 모델의 performance는 알고리즘 외에도 여러 요소에 의해 결정된다. 클래스들에 속하는 데이터들의 분포 잘못 분류한 것에 대한 비용 -> 케이스마다 다름 트레이닝 or 테스트 데이터 셋의 크기(비율) Learning Curve 샘플 사이즈가 클수록 정확도가 높아짐 Learning curve를 보면서 어느 정도의 샘플 사이즈가 적절한지 판단 가능 추정 방법 Holdout 우리가 가지고 있는 데이터의 2/3를 트레이닝 데이터로, 1/3을 테스트 데이터로 사용하는 방법 Random subsampling holdout을 반복하는 방법 Cross validation 데이터를 k개의 서브셋으로 파티션 -> 각 서브셋에 여러 개의 데이..

Gini Index (IBM intelligent miner) 어떤 노드에 대응되는 트레이닝 데이터의 불순도의 정도를 측정하는 지표 이 값이 크면 불순도가 큰 것. 즉, 이 값이 작을수록 분류를 잘했다고 판단 가능 [부모의 gini index(=$gini(T)$)]과 [자식의 gini index(=$gini_{split}(T)$) 차이가 클수록 좋은 것 잘 split 한 것 gain이 최대가 되는 split이 최적의 split Gini 값은 낮을 수록, Gain은 높을수록 좋다. Gini(N1) = 1- $\sum_{j=1}^{클래스 개수}(\frac{N1의 C1 개수}{N의 C1 개수})^2$ 첫 번째 split의 Gini 값이 가장 작으므로, 이렇게 split하는 것이 좋다 Continuous Att..

* 참고 - 2019/08/15 - [Machine learning] - [ML] Decision Tree - classification / regression Classification 정의 목적: 이전에 보지 못했던 데이터들을 최대한 정확히 클래스별로 분류하는 것 이런 분류 작업을 위해서 model이 필요 model을 만들기 위해서는 training set이 필요하다. 모델의 정확도를 측정하기 위해서는 test set이 필요하다 training set과 test set은 같으면 안 된다. 학습(learning) - supervised learning / unsupervised learning supervised learning: 알고리즘에 주입하는 훈련 데이터에 레이블(label)이라는 답이 포함됨...