청춘

LDA와 QDA는 모두 분류 모델링(Classification modeling)에서 사용되는 대표적인 알고리즘이다. 그러나 두 알고리즘은 다른 방식으로 작동하며, 특히 데이터가 가지는 분산의 정도에 따라 적합한 알고리즘이 달라진다. 이에 따라 LDA와 QDA의 차이점을 비교해보려한다. 정의 LDA: Linear Discriminant Analysis QDA: Quadratic Discriminant Analysis 일반적으로 Logistic Regression에서 확장된 개념으로 설명하고 있는 글이 많다. 두개 이상의 클래스를 구분하려할 때, Logistic Regression도 물론 classification을 할 순 있지만 일반적이지 못하다는 평가다. 혹은 클래스들이 잘 나눠져있지 않을 때, Logi..

정의 Approximate inference = 근사 추론 어떤 확률 모델에서 정확한 계산이 불가능해 데이터 분포를 표현하기 어려울 때 그와 유사한 표현을 통해 모델을 대체하겠다는 개념으로 근사시킨다는 말을 사용한다. 즉, 근사적인(approximate) 방법을 사용해 확률 분포를 추정하는 것이다. 꽤 복잡한 확률 모델의 경우 특히 유용하다는 특징을 가지는데, 일반적으로 모델에서 정확한 추론(inference)를 수행하기 위해 exponetial한 계산을 필요로 하기 때문이다. 가령, RBM(Restricted Boltzmann machine) 이나 PPCA(probabilistic principle component analysis)등을 예시로 들 수 있고, graphical model with mul..

선행개념 * Bayesian Statistics 추천 아티클: http://www.scholarpedia.org/article/Bayesian_statistics Bayesian statistics - Scholarpedia Bayesian statistics is a system for describing epistemological uncertainty using the mathematical language of probability. In the 'Bayesian paradigm,' degrees of belief in states of nature are specified; these are non-negative, and the total belief in all www.scholarpedia..