낭만

정의 Degree of Freedom(자유도) : 어떤 통계량이 자유롭게 변화할 수 있는 정도 자유도가 높을 수록 통계량의 변동성이 높아지며, 그만큼 더 정확한 추정치를 얻을 수 있다. 가령, t-distribution에서 자유도는 표본 크기와 관련이 있다. 표본 크기가 작으면 자유도가 작아지기 때문에 t-distribution의 꼬리(tail) 부분의 면적이 커지게되며 normal distribution과 달라지는 모습을 확인할 수 있다. 회귀(regression)에서도 자유도는 중요한 개념인데 SSE(Sum of Squared Error)나 SSR(Sum of Squared Residual)의 자유도는 각각 n-p-1과 p다. (이때 p는 number of coefficient, 1은 intercep..

Bias 와 Variance 간의 tradeoff 관계를 여러가지 관점에서 해석해보고자 한다. 용어 Bias (편향) Learning algorithm에서 잘못된 가정(assumption)을 했을 때 발생하는 오차(error) 높은 bias 는 쏠림,치우침(편향)이 심하다는 의미이며 underfitting 문제를 야기한다. Variance (분산) Training set에 내재된 작은 변동(flucuation) 때문에 발생하는 오차(error) 높은 variance는 흩어져있다(큰 노이즈까지 모델링에 포함)는 의미이며 overfitting 문제를 야기한다. Tradeoff (상충관계) 한 쪽에서 이득을 얻으면 다른 쪽은 손해를 얻는 관계 원본 : https://www.cs.cornell.edu/cours..