너와 나의 스토리

Mondrain Forest Random forest에서 incremental learning을 위해 몬드리안 포레스트를 사용한다. 최근 제안된 Online random forest 방법보다 빠르고 정확하다 Mondrian forests = Mondrian process + Random forests MF = Online bagging + Extremely randomized tree + Temporal knowledge weighting Online bagging 설명 RF에서 각 트리를 만드는 방법 Breiman-RF: Bagging + feautre들을 무작위로 서브 샘플링하고 서브 샘플링 feature들 중에서 가장 적합한 위치 선택 Extremely Randomized Trees: 랜덤으로 K ..

푸아송 분포 확률론에서 단위 시간 안에 어떤 사건이 몇 번 발생할 것인지를 표현하는 이산 확률 분포 이산 확률 분포 이산 확률 변수가 가지는 확률 분포를 의미한다. 여기에서 확률변수가 이산 확률 변수라는 말은 확률 변수가 가질 수 있는 값의 개수가 가산 개 있다는 의미이다. 확률 질량 함수를 통하여 표현가능 이산 확률 분포 예 이산균등분포 푸아송 분포 베르누이 분포 기하 분포 초기하 분포 이항 분포 음의 이항 분포 다항 분포 연속 확률 분포 확률 밀도 함수를 이용해 분포를 표현할 수 있는 경우를 의미한다. 연속 확률 분포를 가지는 확률변수는 연속 확률 변수라고 부른다. 연속 확률 분포 예 정규 분포 연속균등분포 카이제곱 분포 감마 분포 이항 분포 연속된 n번의 독립적 시행에서 각 시행이 확률 p를 가질 ..

[출처] [Dataset] 1. importing import pandas as pd import numpy as np import matplotlib.pyplot as plt df=pd.read_csv('./input/Position_Salaries.csv') 2. Asigning the input and output values X=df.iloc[:,1].values y=df.iloc[:,2].values 3. Fitting Random Forest Regression to the dataset from sklearn.ensemble import RandomForestRegressor regressor = RandomForestRegressor(n_estimators = 10, random_state..

Ensemble learning 참조 Ensemble method: 여러개의 머신 러닝 알고리즘으로부터 예측을 결합하는 기술 Types of Ensemble Learning (model combining method) Boosting AdaBoost / Gradient Boost Bosststrap Aggregation (Bagging) Majority Voting / Bagging / Random forest Boosting 가중치 평균을 사용하여 약한 학습자를 더 강력한 학습자로 만드는 알고리즘 그룹을 말한다. "teamwork"에 관한 것 실행되는 각 모델은 다음 모델에 집중할 feature을 결정한다 차례대로 하나는 다른 것으로부터 배우고, learning을 boosting함 Bootstrap A..

Expert system 획단한 expert에 대한 모든 지식이 디지털화되어 의사 결정에 사용된다. expert는 결정을 내리기 위해 취한 모든 단계, 동일한 작업의 기초 및 예외 처리 방법을 지정 순수/견고한 시스템은 전문가의 정확한 규칙을 따르려고 한 유연한 시스템은 지식을 초기 가이드로 사용하고 전문가의 피드백을 기반으로 전문가의 지침을 사용하여 학습한다 rule based system Machine learning이 입력을 일부 모델 공간에 투영하는 동안 추론을 수행 할 때 if-then 문을 사용 Machine learning training 예제를 제공하는 동안 expert에게만 결정을 요청한다. "Supervised Learning" 알고리즘은 사용 가능한 모든 데이터를 기반으로 expert..

Parametric statistics 고정된 매개 변수 집합을 갖는 확률 분포에 의해 적절하게 모델링 될 수 있는 모집단으로부터 샘플 데이터가 온다고 가정하는 통계의 한 부분 Non-parametric statistics 통계학에서 모수에 대한 가정을 전제로 하지 않고 모집단의 형태에 관계없이 주어진 데이터에서 직접 확률을 계산하여 통계학적 검정을 하는 분석법 출처: 위키백과: Non-parametric statistics 위키백과: Parametric statistics

Incremental decision tree algorithm decision tree를 출력하는 online machine learning 알고리즘이다 C4.5와 같은 많은 의사 결정 트리 방법은 완전한 데이터 세트를 사용하여 트리를 구성한다. 과거 인스턴스를 다시 처리할 필요 없이 새로운 개별 데이터 인스턴스만 사용하여 기존 트리를 업데이트할 수 있다. 출처: 위키백과

앙상블: 일련의 예측기(분류나 회귀 모델) 앙상블 학습(Ensemble learning): 일련의 예측기로부터 예측을 수집하면 가장 좋은 모델 하나보다 더 좋은 예측을 얻을 수 있을 것 앙상블 방법(Ensemble method): 앙상블 학습 알고리즘 훈련 세트로부터 무작위로 각기 다른 서브셋을 만들어 일련의 결정 트리 분류기를 훈련시킬 수 있다. 예측을 하려면 모든 개별 트리의 예측을 구하면 된다. 그런 다음 가장 많은 선택을 받은 클래스를 예측으로 삼는다. 랜덤 포레스트(Random forest): 결정 트리의 앙상블 가장 강력한 머신러닝 알고리즘 Ensemble method - 배깅, 부스팅, 스태킹 등 1. 투표 기반 분류기 좋은 분류기를 만드는 방법은 (로지스트)회귀 분류기, SVM 분류기, 랜..