낭만

정의 Neural Machine Translation with attention 을 의역하면 다음과 같다. Sequence(input)에서 어디에 집중하여 인공신경망을 이용한 번역을 할 것인지의 관점에서 구현된 구조 Seq2Seq Architecture 간단히 Seq2Seq 구조에 대해 정리하자. 기존에 정리해놓았던 글을 인용해왔다. Seq2Seq은 시퀀스(sequence) 데이터를 다루는데 주로 사용된다. 가령, machine translation같은 작업에서 주로 사용되는데 영어를 불어로 바꾼다는 등의 task를 수행하기도 한다. 이를 위해 모델은 입력과 출력 간의 sequence mapping을 학습한다. 이 때 위에서 간단히 언급한 바와 같이 모델은 시간적인 의존성(Temporal dependen..

정의 (Definition) "Time Series" + "Transformer" : Transformer 기반 시계열 데이터(Time Series) 예측 모델 HuggingFace에서는 Time Series Transformer를 다음과 같이 정의한다. The Time Series Transformer model is a vanilla encoder-decoder Transformer for time series forecasting. Vanilla encoder-decoder, 혹은 Transformer 에 대한 간략한 이해가 필요해보인다. Vanilla encoder-decoder encoder-decoder 구조 또한 딥러닝(인공신경망) 모델 중 하나이다. 시퀀스 데이터를 입력으로 받아 이를 예측..

개요 Autoencoder와 Seq2Seq 모두 encoder-decoder 구조로 되어있다는 점이 유사하지만 차이점이 명확한 서로 다른 두 구조이다. 가장 큰 차이점으로는 목적과 구조적인 차이가 있다. Autoencoder는 데이터를 압축하고 재구성하는데 중점을 둔 unsupervised learning model이다. 입력데이터를 encoder로 압축하고, decoder를 통해 원래의 입력 데이터를 재구성(reconstruction)한다. 이 때 압축된 표현을 latent variable이라고 할 수 있다. 이 과정에서 모델은 input을 가능한 한 재구성(reconstruction)하는 방법을 학습하게된다. 즉, 사실상 Input을 적절하게 재구성해서 reconstructed input을 outpu..

선행 지식 (Pre-requirement) RNN https://wikidocs.net/22886 - (딥러닝을 이용한 자연어 처리 입문) https://arxiv.org/abs/1808.03314 - (RNN paper) LSTM https://wikidocs.net/22888 - (딥러닝을 이용한 자연어 처리 입문) http://www.bioinf.jku.at/publications/older/2604.pdf - (LSTM paper) seq2seq model https://wikidocs.net/24996 - (딥러닝을 이용한 자연어 처리 입문) https://arxiv.org/abs/1409.3215 - (seq2seq paper) "딥러닝을 이용한 자연어 처리 입문" 이라는 매우 좋은 책에 접근..

논문링크: https://arxiv.org/abs/1611.01603 Bidirectional Attention Flow for Machine Comprehension Machine comprehension (MC), answering a query about a given context paragraph, requires modeling complex interactions between the context and the query. Recently, attention mechanisms have been successfully extended to MC. Typically these methods use atten arxiv.org Abstract Machine Comprehension(이하 MC)..