전체 글 57
TSC / Time series classification 시계열 분류 정리

정의 (Definition) Time Series Classification (TSC) : 시간의 흐름에 따라 측정된 데이터를 분류하는 문제를 다루는 기술. 시계열 데이터(Time Series)는 시간에 따라 값이 변화하는 데이터를 일컫는 말이다. 일정한 시간 간격으로 샘플링된 데이터를 말한다. 가령, 주식 시장에서 주식 가격을 일정한 간격으로 측정한 데이터나, 센서에서 측정한 온도나 진동 데이터 등이 시계열 데이터의 예시로 볼 수 있다. 이때 시간은 일정한 간격으로 측정될 수도 있고, 불규칙적인 간격으로 측정될 수도 있다. 시계열 데이터(Time Series)는 일반적으로 다음과 같은 특징을 갖는다. 시간에 따라 측정된 값이 변화한다. 값의 변화는 시간적인 관계에 따라서 발생한다. 일반적으로 이전 시간..
MACHINE LEARNING/Artificial Neural Network 2023.03.10

Approximate inference 정리

정의 Approximate inference = 근사 추론 어떤 확률 모델에서 정확한 계산이 불가능해 데이터 분포를 표현하기 어려울 때 그와 유사한 표현을 통해 모델을 대체하겠다는 개념으로 근사시킨다는 말을 사용한다. 즉, 근사적인(approximate) 방법을 사용해 확률 분포를 추정하는 것이다. 꽤 복잡한 확률 모델의 경우 특히 유용하다는 특징을 가지는데, 일반적으로 모델에서 정확한 추론(inference)를 수행하기 위해 exponetial한 계산을 필요로 하기 때문이다. 가령, RBM(Restricted Boltzmann machine) 이나 PPCA(probabilistic principle component analysis)등을 예시로 들 수 있고, graphical model with mul..
MACHINE LEARNING 2023.02.21

Bias-Variance tradeoff 관계 해석

Bias 와 Variance 간의 tradeoff 관계를 여러가지 관점에서 해석해보고자 한다. 용어 Bias (편향) Learning algorithm에서 잘못된 가정(assumption)을 했을 때 발생하는 오차(error) 높은 bias 는 쏠림,치우침(편향)이 심하다는 의미이며 underfitting 문제를 야기한다. Variance (분산) Training set에 내재된 작은 변동(flucuation) 때문에 발생하는 오차(error) 높은 variance는 흩어져있다(큰 노이즈까지 모델링에 포함)는 의미이며 overfitting 문제를 야기한다. Tradeoff (상충관계) 한 쪽에서 이득을 얻으면 다른 쪽은 손해를 얻는 관계 원본 : https://www.cs.cornell.edu/cours..
MACHINE LEARNING 2023.02.19

Likelihood, posteriori, prior (+Bayesian Statistics) 연관성 정리

선행개념 * Bayesian Statistics 추천 아티클: http://www.scholarpedia.org/article/Bayesian_statistics Bayesian statistics - Scholarpedia Bayesian statistics is a system for describing epistemological uncertainty using the mathematical language of probability. In the 'Bayesian paradigm,' degrees of belief in states of nature are specified; these are non-negative, and the total belief in all www.scholarpedia..
MACHINE LEARNING/Artificial Neural Network 2023.02.08

Deep Learning Applications / 활용

딥러닝에 대한 전반적인 이해를 가지고 계신 분을 위한 포스트입니다. 흐름들을 복습하는 차원에서 읽는 것을 추천하며, 자세한 내용보단 간략한 정리에 초점을 맞추어 작성했음을 알려드립니다!😄 Large Scale Deep Learning Deep Learning은 connectionism 철학에 기반한 학문입니다. 모든 뉴런들이 서로 연결되어있기 때문이다. 그래서 각각의 뉴런들의 상호작용으로 현명한 행동을 하는 네트워크를 구성하는 것을 목표로 한다. neural network의 가장 중요한 요소는 결국 정확성과 복잡성을 해결하는 능력이다. 이를 위해 다음과 같은 노력들이 있었다. Fast CPU Implementations GPU Implementations Large Scale Distributed Imp..
MACHINE LEARNING/Artificial Neural Network 2023.01.30

Sequence Modeling : Recurrent & Recursive Nets as RNN

Keyword Parameter sharing Sequence Back-propagation through time (BPTT) * this post is structed and based on "Deep Learning" by Ian goodfellow with my own opinion. * continous post from my last post : https://24bean.tistory.com/entry/Sequence-Modeling-Recurrent-Recursive-Nets-as-introduction Sequence Modeling : Recurrent & Recursive Nets as introduction Keyword Parameter sharing Sequence Back-pr..
MACHINE LEARNING/Artificial Neural Network 2023.01.16

Sequence Modeling : Recurrent & Recursive Nets as introduction

Keyword Parameter sharing Sequence Back-propagation through time (BPTT) * this post is based on "Deep Learning" by Ian goodfellow with my own opinion. Intro a recurrent nueral network is a neural network that is speialized for processing a seqeunce of values x(1),x(2)...x(i). Parameter sharing makes it possible to extend and apply the model to examples of different forms(different lengths..) and..
MACHINE LEARNING/Artificial Neural Network 2023.01.15

Attention / 어텐션이란 무엇인가? (분량 주의)

선행 지식 (Pre-requirement) RNN https://wikidocs.net/22886 - (딥러닝을 이용한 자연어 처리 입문) https://arxiv.org/abs/1808.03314 - (RNN paper) LSTM https://wikidocs.net/22888 - (딥러닝을 이용한 자연어 처리 입문) http://www.bioinf.jku.at/publications/older/2604.pdf - (LSTM paper) seq2seq model https://wikidocs.net/24996 - (딥러닝을 이용한 자연어 처리 입문) https://arxiv.org/abs/1409.3215 - (seq2seq paper) "딥러닝을 이용한 자연어 처리 입문" 이라는 매우 좋은 책에 접근..
MACHINE LEARNING/Artificial Neural Network 2023.01.09
1 2 3 4 5 6
더보기

티스토리툴바