청춘

딥러닝에 대한 전반적인 이해를 가지고 계신 분을 위한 포스트입니다. 흐름들을 복습하는 차원에서 읽는 것을 추천하며, 자세한 내용보단 간략한 정리에 초점을 맞추어 작성했음을 알려드립니다!😄 Large Scale Deep Learning Deep Learning은 connectionism 철학에 기반한 학문입니다. 모든 뉴런들이 서로 연결되어있기 때문이다. 그래서 각각의 뉴런들의 상호작용으로 현명한 행동을 하는 네트워크를 구성하는 것을 목표로 한다. neural network의 가장 중요한 요소는 결국 정확성과 복잡성을 해결하는 능력이다. 이를 위해 다음과 같은 노력들이 있었다. Fast CPU Implementations GPU Implementations Large Scale Distributed Imp..

BART 논문 리뷰 paper source : https://arxiv.org/abs/1910.13461 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension We present BART, a denoising autoencoder for pretraining sequence-to-sequence models. BART is trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. It us..

Matching the Blanks: Distributional Similarity for Relation Learning 논문 원문 : https://arxiv.org/pdf/1906.03158.pdf prerequirement transformer neural network architecture에 대한 기본 지식이 있어야합니다! - entity pair의 관계를 encoding하는 부분..! Abstract 기존의 일반적인 General purpose relation extractors 는 Information extraction(이하 IE)의 주요한 목표였습니다. 다만 generalize 능력의 한계가 있어왔습니다. 해당 논문에서는 관계에 대한 extensions of Harris’ distrib..

GPT 와 Bert 두 모델 모두 Transformer를 기반으로 pretraining 기법이 사용된 모델이라고 볼 수 있습니다. Transformer ➡️ 아주 유명한 논문이 있습니다. (22.08.09 기준 약 48000회의 인용수를 보여주고 있음....) https://arxiv.org/pdf/1706.03762.pdf - Attention Is All You Need Transformer에 대한 사전 이해가 있어야 합니다. BERT(Bidirectional Encoder Representations from Transformers) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ➡️ https://..

논문링크: https://arxiv.org/abs/1611.01603 Bidirectional Attention Flow for Machine Comprehension Machine comprehension (MC), answering a query about a given context paragraph, requires modeling complex interactions between the context and the query. Recently, attention mechanisms have been successfully extended to MC. Typically these methods use atten arxiv.org Abstract Machine Comprehension(이하 MC)..