낭만

중심극한정리 : Central Limit Theorem 정의 vs 정리 이미 많이들 아시다시피 정의(Definition)과 정리(Theorem)은 서로 다른 개념이다. 정의(Definition)는 어떤 개념이나 용어의 의미를 정확히 정의(Define)하는 것이고 정리(Theorem)는 어떤 가설이나 명제를 증명(prove)하는 것이다. 가령, "집합"을 정의하기 위해 "원소"라는 개념을 사용하게되고, "집합은 서로 구별 가능한 원소들의 모임이다" 라는 정의를 사용해 "집합"을 정의한다. 반면, "만약 A가 B라면, A는 C이다"를 증명하고싶을 때, 적절한 수학적 기법과 논리를 사용하여 증명해야 한다. 아마 해당 가설은 삼단논법을 통해 매우 유명한 예시로 다들 알고있을 것이다. 중심극한정리는 통계학에서 매..

정의 Approximate inference = 근사 추론 어떤 확률 모델에서 정확한 계산이 불가능해 데이터 분포를 표현하기 어려울 때 그와 유사한 표현을 통해 모델을 대체하겠다는 개념으로 근사시킨다는 말을 사용한다. 즉, 근사적인(approximate) 방법을 사용해 확률 분포를 추정하는 것이다. 꽤 복잡한 확률 모델의 경우 특히 유용하다는 특징을 가지는데, 일반적으로 모델에서 정확한 추론(inference)를 수행하기 위해 exponetial한 계산을 필요로 하기 때문이다. 가령, RBM(Restricted Boltzmann machine) 이나 PPCA(probabilistic principle component analysis)등을 예시로 들 수 있고, graphical model with mul..