낭만

알고리즘 문제는 대부분 시간 제한이 있습니다. 온라인 저지 시스템에서 시간 제한은 특정한 조건(최악의 수)에서 특정한 시간(제한 시간)내로 알고리즘이 동작하는 가를 판단하기 위해 존재합니다. 사용하는 언어에 따라서도 시간이 차이가 납니다. (해당 포스트는 c++을 기준으로 작성되었습니다.) 시간복잡도에 관한 아티클은 매우 많으니 해당 글을 참고해주시면 감사하겠습니다. 추천: https://stackoverflow.com/questions/11032015/how-can-i-find-the-time-complexity-of-an-algorithm How can I find the time complexity of an algorithm? I have gone through Google and Stack Ov..

기존에 존재하던 one hot vector 형식의 matrix는 word vector간의 유의미한 유사도를 구하는 것이 제한되었다. (Sparse representation) 따라서 다음과 같은 개념이 등장하게 된다. 단어의 의미를 다차원 벡터 공간에 띄우는 개념 : 분산표현 (distributed representation) 분산 표현을 통한 단어 간 의미적 유사성을 벡터화 : 워드 임베딩 (word embedding) -> 임베딩 벡터 (embedding vector) 분산 표현 (distributed representation) 분산 가설(distributional hypothesis) 아래에서 정의된 해당 표현 방식은 분산 가설을 통해 텍스트의 의미를 학습하며, 단어의 의미를 벡터에 여러 차원에 ..

Few-Shot Learning에 대해 매우 함축적으로 간결히 잘 정리된 문구가 있어서 소개하고 시작하겠다. Few Shot Learning : example of meta-learning, where is trained on several related task, during the meta-training phase, so that it can generalize well to unseen (but related) tasks with just few examples, during the meta-testing phase. An effective approach to the Few-Shot Learning problem is to learn a commmon representation for vario..

BART 논문 리뷰 paper source : https://arxiv.org/abs/1910.13461 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension We present BART, a denoising autoencoder for pretraining sequence-to-sequence models. BART is trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. It us..

전역 변수 전역 변수 : 모든 곳에서 사용할 수 있는 변수 문자열 자료형의 전역 변수 __filename : 현재 실행 중인 코드의 파일 경로 __dirname : 현재 실행 중인 코드의 폴더 경로 process 객체의 속성과 이벤트 process 객체 : 현재 실행 중인 노드 프로세스에 대한 정보를 담고 있는 객체 노드 : 이벤트 기반의 비동기 I/O를 가진 자바스크립트 런타임 process 객체의 속성 속성 설명 process.env 컴퓨터 환경 정보를 나타냄 process.version Node.js 버전 process.versions Node.js와 종속된 프로그램 버전 process.arch 프로세서의 아키텍처를 나타냄 process.platform 플랫폼을 나타냄 process.connect..

Hoisting : 호이스팅 Interpreter(javascript engine)가 변수와 함수의 메모리 공간을 선언 전에 미리 할당하는 것 많은 사람들이 호이스팅을 "코드를 실행하기 전 변수 및 함수 선언을 해당 스코프의 최상단으로 끌어올리는 것" 이라고 알고 있지만 해당 문장은 잘못된 이해이다. 정확히 하자면 다음과 같다. "코드를 실행하기 전 변수 및 함수 선언을 해당 스코프의 최상단으로 끌어올리는 것처럼 보이는 것" 위에서 정의한 것 처럼 메모리 공간을 선언 전에 '미리' 할당하기 때문에 해당 스코프의 최상단으로 끌어올리는 것 처럼 보인다. 자바스크립트의 모든 선언에는 호이스팅이 발생하는데, 다음을 이용한 선언문은 호이스팅이 일어나지 않은 것 처럼 보인다. let const class 예를 들어..

ML 3가지 주요 원칙 Machine Learning을 이용해 데이터를 학습시킬 때엔 아무렇게나 막 하면 안되겠죠.. 그래서 우리가 지켜야 할 가이드라인을 크게 3가지로 분류합니다. Occam's Razor : 오캄의 면도날 Sampling Bias : 표본 편향 Data Snooping Bias : 데이터 스누핑 편향 Occam's Razor 일반적으로 오캄의 면도날이라고 불리는 해당 원칙은 흔히들 lex parsimoniae, 검약의 원리라고도 부르곤 합니다. 말이 참 어려운데.. Occam의 저서에 나온 문구를 통해 쉽게 이해해보겠습니다. Pluralitas non est ponenda sine neccesitate. 해당 문구는 라틴어로, "많은 것들을 필요없이 가정해서는 안된다"는 의미를 지닙니..

Metric 종류 및 특징 일반적으로 ML(Machine Learning)에서는 모델의 category에 따라 Metric을 각각 다르게 정의합니다. 말 그대로 하는 일들이 다르기 때문에 평가 기준의 역할을 하는 Metric이 달라집니다. 대표적으로 사용되는 Metric 몇가지를 각 cateogory별로 정리하겠습니다. ML의 대표적인 task는 다음과 같이 정의됩니다. Classification Regression Ranking Statistical CV (Computer Vision) NLP (Natural Language Processing) Deep learning related etc... 해당 포스트에서 언급하지 않은 Metric도 다수 존재합니다. 모든 평가기준을 다룰 수는 없으니 대표적인 ..

정규표현식 : REGEX (REGular EXpression) 거의 대부분의 프로그래밍 언어에서 지원하는 정규표현식은 custom하게 원하는 string의 정보를 추출하는 데 탁월한 능력을 보입니다. 정규 표현식에서 사용하는 Meta characters에는 다음과 같은 것들이 있습니다. . ^ $ * + ? { } [ ] \ | ( ) 정규표현식은 이런저런 정리를 보는 것보다 Cheatsheet를 보고 직접 예제를 작성해가며 배우는 것이 효과적이라고 생각합니다. (일단 복잡해지면 뭔 소린지 이해가 어려움, 사람마다 문제를 접근하는 방식이 다 다르기 때문) 정규표현식을 직접 실험해 볼 수 있는 사이트가 있습니다. Expression Flag를 지정할 수 있으며, References도 잘 나와있기 때문에 해..

Matching the Blanks: Distributional Similarity for Relation Learning 논문 원문 : https://arxiv.org/pdf/1906.03158.pdf prerequirement transformer neural network architecture에 대한 기본 지식이 있어야합니다! - entity pair의 관계를 encoding하는 부분..! Abstract 기존의 일반적인 General purpose relation extractors 는 Information extraction(이하 IE)의 주요한 목표였습니다. 다만 generalize 능력의 한계가 있어왔습니다. 해당 논문에서는 관계에 대한 extensions of Harris’ distrib..