낭만

정의 Degree of Freedom(자유도) : 어떤 통계량이 자유롭게 변화할 수 있는 정도 자유도가 높을 수록 통계량의 변동성이 높아지며, 그만큼 더 정확한 추정치를 얻을 수 있다. 가령, t-distribution에서 자유도는 표본 크기와 관련이 있다. 표본 크기가 작으면 자유도가 작아지기 때문에 t-distribution의 꼬리(tail) 부분의 면적이 커지게되며 normal distribution과 달라지는 모습을 확인할 수 있다. 회귀(regression)에서도 자유도는 중요한 개념인데 SSE(Sum of Squared Error)나 SSR(Sum of Squared Residual)의 자유도는 각각 n-p-1과 p다. (이때 p는 number of coefficient, 1은 intercep..

LDA와 QDA는 모두 분류 모델링(Classification modeling)에서 사용되는 대표적인 알고리즘이다. 그러나 두 알고리즘은 다른 방식으로 작동하며, 특히 데이터가 가지는 분산의 정도에 따라 적합한 알고리즘이 달라진다. 이에 따라 LDA와 QDA의 차이점을 비교해보려한다. 정의 LDA: Linear Discriminant Analysis QDA: Quadratic Discriminant Analysis 일반적으로 Logistic Regression에서 확장된 개념으로 설명하고 있는 글이 많다. 두개 이상의 클래스를 구분하려할 때, Logistic Regression도 물론 classification을 할 순 있지만 일반적이지 못하다는 평가다. 혹은 클래스들이 잘 나눠져있지 않을 때, Logi..

통계적 지식이 있는 분께선 제목만 보고 이 사람이 무슨 말을 하고싶은건지 이해가 안되실 듯 싶습니다.. 우연히 poisson distribution에 대해 공부하다가, Chi-squared distribution와 그래프가 매우 유사해보이는 것 처럼 보여 연관성이 있는지 찾아보다 어이 없는 생각이었다는 걸 알게되어 저의 멍청한 삽질을 글로 정리하려고합니다... * 저 둘은 연관성이 없습니다. Poisson distribution 제가 해석한 poisson distribution의 의미는 다음과 같습니다. 고정된 구간(시간 or 공간)에서 사건이 발생하는 횟수를 표현한 discrete probability distribution n(시행 횟수)가 매우 크고, probability of success (p)..

원본 : https://github.com/sabin5105/openCV-tutorial GitHub - sabin5105/openCV-tutorial: unofficial openCV quick tutorial unofficial openCV quick tutorial. Contribute to sabin5105/openCV-tutorial development by creating an account on GitHub. github.com 소스코드 lena.png는 아래를 참고하셔서 저장하시길 바랍니다. Lenna image src Lenna - Wikipedia From Wikipedia, the free encyclopedia Standard test image Image of Lena Forsé..

원본 : https://github.com/sabin5105/openCV-tutorial GitHub - sabin5105/openCV-tutorial: unofficial openCV quick tutorial unofficial openCV quick tutorial. Contribute to sabin5105/openCV-tutorial development by creating an account on GitHub. github.com 소스코드 """ plot_3d.py: Plotting the data distribution into 3 dimensions. Quick tutorial on how to use kmeans with openCV. __author__: sabin lee __lice..

정의 (Definition) Time Series Classification (TSC) : 시간의 흐름에 따라 측정된 데이터를 분류하는 문제를 다루는 기술. 시계열 데이터(Time Series)는 시간에 따라 값이 변화하는 데이터를 일컫는 말이다. 일정한 시간 간격으로 샘플링된 데이터를 말한다. 가령, 주식 시장에서 주식 가격을 일정한 간격으로 측정한 데이터나, 센서에서 측정한 온도나 진동 데이터 등이 시계열 데이터의 예시로 볼 수 있다. 이때 시간은 일정한 간격으로 측정될 수도 있고, 불규칙적인 간격으로 측정될 수도 있다. 시계열 데이터(Time Series)는 일반적으로 다음과 같은 특징을 갖는다. 시간에 따라 측정된 값이 변화한다. 값의 변화는 시간적인 관계에 따라서 발생한다. 일반적으로 이전 시간..

정의 Approximate inference = 근사 추론 어떤 확률 모델에서 정확한 계산이 불가능해 데이터 분포를 표현하기 어려울 때 그와 유사한 표현을 통해 모델을 대체하겠다는 개념으로 근사시킨다는 말을 사용한다. 즉, 근사적인(approximate) 방법을 사용해 확률 분포를 추정하는 것이다. 꽤 복잡한 확률 모델의 경우 특히 유용하다는 특징을 가지는데, 일반적으로 모델에서 정확한 추론(inference)를 수행하기 위해 exponetial한 계산을 필요로 하기 때문이다. 가령, RBM(Restricted Boltzmann machine) 이나 PPCA(probabilistic principle component analysis)등을 예시로 들 수 있고, graphical model with mul..

Bias 와 Variance 간의 tradeoff 관계를 여러가지 관점에서 해석해보고자 한다. 용어 Bias (편향) Learning algorithm에서 잘못된 가정(assumption)을 했을 때 발생하는 오차(error) 높은 bias 는 쏠림,치우침(편향)이 심하다는 의미이며 underfitting 문제를 야기한다. Variance (분산) Training set에 내재된 작은 변동(flucuation) 때문에 발생하는 오차(error) 높은 variance는 흩어져있다(큰 노이즈까지 모델링에 포함)는 의미이며 overfitting 문제를 야기한다. Tradeoff (상충관계) 한 쪽에서 이득을 얻으면 다른 쪽은 손해를 얻는 관계 원본 : https://www.cs.cornell.edu/cours..

선행개념 * Bayesian Statistics 추천 아티클: http://www.scholarpedia.org/article/Bayesian_statistics Bayesian statistics - Scholarpedia Bayesian statistics is a system for describing epistemological uncertainty using the mathematical language of probability. In the 'Bayesian paradigm,' degrees of belief in states of nature are specified; these are non-negative, and the total belief in all www.scholarpedia..

딥러닝에 대한 전반적인 이해를 가지고 계신 분을 위한 포스트입니다. 흐름들을 복습하는 차원에서 읽는 것을 추천하며, 자세한 내용보단 간략한 정리에 초점을 맞추어 작성했음을 알려드립니다!😄 Large Scale Deep Learning Deep Learning은 connectionism 철학에 기반한 학문입니다. 모든 뉴런들이 서로 연결되어있기 때문이다. 그래서 각각의 뉴런들의 상호작용으로 현명한 행동을 하는 네트워크를 구성하는 것을 목표로 한다. neural network의 가장 중요한 요소는 결국 정확성과 복잡성을 해결하는 능력이다. 이를 위해 다음과 같은 노력들이 있었다. Fast CPU Implementations GPU Implementations Large Scale Distributed Imp..