Likelihood, posteriori, prior (+Bayesian Statistics) 연관성 정리

선행개념

* Bayesian Statistics

추천 아티클: http://www.scholarpedia.org/article/Bayesian_statistics

Bayesian statistics - Scholarpedia

---

딥러닝을 공부하다보면 자연스럽게 많이 보게되는 단어들을 통해 확률에 관한 내용이 유독 많은 것을 알 수 있는데, 그 중 매우 중요한 요소라고 생각하는 likelihood, posteriori, prior의 연관성을 Bayesian statistics의 관점에서 정리해보려고 한다.

 

축약적인 내용이 담긴 하나의 그림이 있어서 소개하고 포스트를 이어가겠다.

 

 

---

Bayesian Statistics

Bayesian Statistics를 한마디로 표현하자면

 

" 경험에 기반한 예측 "

 

이라고 표현하고싶다.

 

실제값은 우리가 모르기 때문에 해당 값은 Random Variable 일텐데, 실제값에 대한 예측값을 경험에 빗대어 Gaussian distribution으로 나타냈을 때 평균을 예측값으로 하고, 특정 variance를 갖는 어떤 분포가 나올 것이다.

 

an example of Gaussian distribution

 

likelihood는 위의 bayesian statistics를 통해 표현될 수 있다.

 

포스트의 맨 처음 그림이 bayesian statistics의 equation 이다.

 

 

---

적용

 

사실 식을 정확히 기억만 하고 있다면 posterior과 likelihood, prior 간의 관계를 유추하는 것은 어렵지 않아서 너무 짧은 글이 될 것 같아서 어떤 방식으로 적용되는지 간단히 소개만 하고 마치겠다.

 

물론 소개하는 내용이 전부는 아니니 참고만 바란다! 이미 너무 짧은 글이다..

 

Likelihood

• Maximum-Likelihood estimation (MLE) -> log를 적용해 계산적인 측면에서 이득을 가져가는 경우가 대부분
• Variational Autoencoder (VAE) -> likelihood function을 이용해 encoder, decoder에 주어진 input의 parameters를 observing하는 probability를 측정할 때 사용함
• etc

 

Posterior

• Bayesian neural network
• Poseterior probability는 주어진 observed data의 model parameters의 distribution을 표현하는 데 사용한다.
• etc

 

위의 지표들은 observed data를 통해 probabilities를 예측함으로써 모델을 최적화 하거나, 퍼포먼스를 평가할 때 사용된다.