낭만

GPT 와 Bert 두 모델 모두 Transformer를 기반으로 pretraining 기법이 사용된 모델이라고 볼 수 있습니다. Transformer ➡️ 아주 유명한 논문이 있습니다. (22.08.09 기준 약 48000회의 인용수를 보여주고 있음....) https://arxiv.org/pdf/1706.03762.pdf - Attention Is All You Need Transformer에 대한 사전 이해가 있어야 합니다. BERT(Bidirectional Encoder Representations from Transformers) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ➡️ https://..

Theme Python telegram 모듈을 사용해 웹 상 변화 감지 알람을 만들어 보겠습니다. pre-requirement #telegram #pip $pip install python-telegram-bot #conda $conda install -c conda-forge python-telegram-bot #bs4 #pip $pip install beautifulsoup4 #conda $conda install -c anaconda beautifulsoup4 #requests #pip $pip install requests #conda $conda install -c anaconda requests Component telebot logs : 변화 기록 scrapper : 해당 페이지 클래스 모듈..

Container(컨테이너) : 어떤 환경에서나 실행하기 위해 필요한 모든 요소를 포함하는 소프트웨어 패키지 컨테이너는 운영체제를 가상화하여 프라이빗 데이터 센터에서 퍼블릭 클라우드 또는 개발자 로컬 환경에 이르기 까지 어디서나 실행됩니다. 컨테이너화를 통해 신속한 작업, 효율적인 소프트웨어 배포가 가능합니다. 좀 더 깊게 개념적으로 접근하면, 컨테이너는 운영체제 수준에서 CPU, 메모리, 스토리지, 네트워크 리소스를 쉽게 공유할 수 있게 해주며 컨테이너가 실제로 실행되는 환경에서 애플리케이션을 추상화할 수 있는 논리 패키징 메커니즘을 제공합니다. 이점 책임 분리 개발자는 로직과 항목 종속에만 집중할 수 있고, 운영팀은 특정 소프트웨어 세부 요소 대신 배포 및 관리에에 집중할 수 있습니다. 워크로드 이동..

객체지향언어 : Object Oriented Language (OOL) 객체 지향 프로그래밍은 컴퓨터 프로그래밍의 패러다임 중 하나입니다. "객체" 들의 모임으로 프로그램을 파악하고자 하는 관점인데, 이 때 각각의 객체는 메세지를 주고받고 데이터를 처리합니다. 객체 지향 프로그래밍의 특징으로는 프로그램을 유연하게 만들 수 있다. 변경을 쉽게 만들 수 있다. 개발과 보수가 간편하다 직관적인 코드 분석이 가능하다 등이 있습니다. 소프트웨어 공학의 관점에서 볼 때 소프트웨어의 질을 향상하기 위해선 강한 응집력(Strong Cohesion)과 약한 결합력(Weak Coupling)을 지향해야합니다. 객체 지향 프로그래밍(OOP)의 경우 하나의 문제 해결을 위한 데이터를 클래스에 모아 놓은 데이터형을 사용함으로써..

논문링크: https://arxiv.org/abs/1611.01603 Bidirectional Attention Flow for Machine Comprehension Machine comprehension (MC), answering a query about a given context paragraph, requires modeling complex interactions between the context and the query. Recently, attention mechanisms have been successfully extended to MC. Typically these methods use atten arxiv.org Abstract Machine Comprehension(이하 MC)..

오픈소스의 사용 목적 및 용도에 따라 라이센스를 확인하고 사용할 필요가 있습니다. 오픈소스에 해당하는 라이센스의 최소한의 정의를 위해 OSD(Open Source Definition)을 정해두고 이에 따라 인증, 관리를 하고 있다고 합니다. 우리가 주로 접하게 될 라이센스의 종류에는 무엇이 있고 어떤 특징과 차이점이 있는지 알아보겠습니다. GNU General Public License(GPL) 2.0 GPL 이라고 불리는 해당 라이센스는 가장 많은 오픈소스가 채택하고 있는 라이센스입니다. 지켜야 할 의무사항이 다른 라이센스와 비교했을 때 비교적 엄격한 편에 속합니다. 소프트웨어를 해당 라이센스를 사용해서 배포할 경우 GPL에 의해 배포된다고 명시해야합니다. 소프트웨어를 수정하거나 새로운 소프트웨어를 병..

Weights & Biases is the machine learning platform for developers to build better models faster 🔥 Simple Pytorch Neural Network import random # Launch 5 simulated experiments total_runs = 5 for run in range(total_runs): **# 🐝 1️⃣ Start a new run to track this script** wandb.init( # Set the project where this run will be logged project="basic-intro", # We pass a run name (otherwise it’ll be random..

Preprocess 모델에 데이터를 직접 사용하기 전 우리는 전처리가 필요합니다. 해당 데이터들은 numbers 혹은 tensor로 assembled된 형식 등 이어야 합니다. Tokenize pretrained tokenizer를 불러옵니다 from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-cased") encoded_input = tokenizer("Do not meddle in the affairs of wizards, for they are subtle and quick to anger.") print(encoded_input) """output {'input_ids': [101, 2..

AutoClass AutoClass는 주어진 체크포인트(Check point)에서 올바른 아키텍처(Architecture)를 자동으로 추론하고 로드합니다. from_pretrained 메소드를 사용하면 모든 아키텍처에 대해 pretrained 모델을 신속하게 로드할 수 있으므로 처음부터 모델을 교육하는 데 시간과 리소스를 투자할 필요가 없습니다. * 아키텍처는 모델의 뼈대임을 의미하고, 체크포인트는 주어진 아키텍처에 해당하는 가중치입니다. AutoTokenizer from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") sequence = "In a hole in the groun..

HTTP : Hyper Text Transfer Protocol - 서버 / 클라이언트 모델을 따라 데이터를 주고 받기 위한 프로토콜 인터넷에서 Hyper Text 를 서로 주고 받기 위한 통신 규약으로 80번 포트를 사용하고 있다. (default port:80) application 레벨의 프로토콜로 TCP/IP 위에서 작동한다. 또한 Stateless 프로토콜이며 Method, Path, Version, Headers, Body 등으로 구성된다. HTTP 는 암호화 되지 않은 평문 데이터를 전송하는 프로토콜인데, 개인정보나 암호 등을 주고 받는 과정에서 leak 문제가 생길 수 있다는 점이 대두되며 이를 해결하기 위해 암호화-복호화 기능이 추가된 HTTPS가 등장하게 되었다. HTTPS : Hype..