청춘

개요 Autoencoder와 Seq2Seq 모두 encoder-decoder 구조로 되어있다는 점이 유사하지만 차이점이 명확한 서로 다른 두 구조이다. 가장 큰 차이점으로는 목적과 구조적인 차이가 있다. Autoencoder는 데이터를 압축하고 재구성하는데 중점을 둔 unsupervised learning model이다. 입력데이터를 encoder로 압축하고, decoder를 통해 원래의 입력 데이터를 재구성(reconstruction)한다. 이 때 압축된 표현을 latent variable이라고 할 수 있다. 이 과정에서 모델은 input을 가능한 한 재구성(reconstruction)하는 방법을 학습하게된다. 즉, 사실상 Input을 적절하게 재구성해서 reconstructed input을 outpu..

Keyword Parameter sharing Sequence Back-propagation through time (BPTT) * this post is structed and based on "Deep Learning" by Ian goodfellow with my own opinion. * continous post from my last post : https://24bean.tistory.com/entry/Sequence-Modeling-Recurrent-Recursive-Nets-as-introduction Sequence Modeling : Recurrent & Recursive Nets as introduction Keyword Parameter sharing Sequence Back-pr..

Keyword Parameter sharing Sequence Back-propagation through time (BPTT) * this post is based on "Deep Learning" by Ian goodfellow with my own opinion. Intro a recurrent nueral network is a neural network that is speialized for processing a seqeunce of values x(1),x(2)...x(i). Parameter sharing makes it possible to extend and apply the model to examples of different forms(different lengths..) and..