청춘

Python FastAPI를 이용한 웹소켓 기반 비동기 통신을 위한 네트워크 구성

24_bean — Thu, 5 Dec 2024 15:19:43 +0900

Python FastAPI를 이용한 웹소켓 기반 비동기(Async) 통신을 위한 네트워크 구성

웹 애플리케이션이 점점 복잡해지고 사용자와의 실시간 상호작용이 중요해짐에 따라, 비동기 통신과 웹소켓(WebSocket)의 활용이 필수적이 되었습니다. 이번 글에서는 Python의 FastAPI 프레임워크를 이용하여 웹소켓 기반의 비동기 통신을 구현하고, 이를 위한 네트워크 구성을 상세히 알아보겠습니다.

1. 웹소켓과 비동기 통신의 이해

2. FastAPI와 웹소켓 통합

3. 프로젝트 구조 설정

4. 코드 구현

• 4.1. FastAPI 설치 및 기본 설정

• 4.2. 웹소켓 엔드포인트 작성

• 4.3. 클라이언트 코드 작성

5. 네트워크 구성 및 설정

• 5.1. 로컬 환경 설정

• 5.2. 배포 시 고려사항

6. 테스트 및 검증

7. 결론

1. 웹소켓과 비동기 통신의 이해

웹소켓(WebSocket)이란?

웹소켓은 클라이언트와 서버 간의 양방향 통신을 가능하게 하는 프로토콜로, HTTP와는 달리 연결이 지속되어 실시간 데이터 전송에 적합합니다.

비동기 통신의 필요성

비동기 통신은 서버의 응답을 기다리지 않고도 다른 작업을 수행할 수 있게 해주어 애플리케이션의 성능과 사용자 경험을 향상시킵니다.

2. FastAPI와 웹소켓 통합

FastAPI는 Python의 최신 비동기 기능을 활용한 고성능 웹 프레임워크로, 웹소켓을 쉽게 통합할 수 있습니다.

3. 프로젝트 구조 설정

my_websocket_project/
├── app.py
├── requirements.txt
└── templates/
    └── index.html

4. 코드 구현

4.1. FastAPI 설치 및 기본 설정

먼저 필요한 패키지를 설치합니다.

pip install fastapi uvicorn

app.py 파일을 생성하고 기본 설정을 합니다.

from fastapi import FastAPI

app = FastAPI()

4.2. 웹소켓 엔드포인트 작성

웹소켓을 지원하기 위해 WebSocket 클래스를 임포트하고 엔드포인트를 추가합니다.

from fastapi import FastAPI, WebSocket, WebSocketDisconnect
from fastapi.responses import HTMLResponse

app = FastAPI()

# 연결된 클라이언트를 관리하기 위한 매니저 클래스
class ConnectionManager:
    def __init__(self):
        self.active_connections: list[WebSocket] = []

    async def connect(self, websocket: WebSocket):
        await websocket.accept()
        self.active_connections.append(websocket)
        print("Client connected.")

    def disconnect(self, websocket: WebSocket):
        self.active_connections.remove(websocket)
        print("Client disconnected.")

    async def broadcast(self, message: str):
        for connection in self.active_connections:
            await connection.send_text(message)

manager = ConnectionManager()

@app.get("/")
async def get():
    with open("templates/index.html") as f:
        html_content = f.read()
    return HTMLResponse(content=html_content, status_code=200)

@app.websocket("/ws")
async def websocket_endpoint(websocket: WebSocket):
    await manager.connect(websocket)
    try:
        while True:
            data = await websocket.receive_text()
            print(f"Received message: {data}")
            await manager.broadcast(f"Client says: {data}")
    except WebSocketDisconnect:
        manager.disconnect(websocket)

4.3. 클라이언트 코드 작성

templates/index.html 파일을 생성하고 다음과 같이 작성합니다.

<!DOCTYPE html>
<html>
<head>
    <title>WebSocket Test</title>
</head>
<body>
    <h1>WebSocket 테스트</h1>
    <input id="messageInput" type="text" placeholder="메시지를 입력하세요" />
    <button onclick="sendMessage()">전송</button>
    <ul id="messages">
    </ul>

    <script>
        var ws = new WebSocket("ws://localhost:8000/ws");
        ws.onmessage = function(event) {
            var messages = document.getElementById('messages');
            var message = document.createElement('li');
            var content = document.createTextNode(event.data);
            message.appendChild(content);
            messages.appendChild(message);
        };

        function sendMessage() {
            var input = document.getElementById("messageInput");
            ws.send(input.value);
            input.value = '';
        }
    </script>
</body>
</html>

5. 네트워크 구성 및 설정

5.1. 로컬 환경 설정

로컬에서 서버를 실행하려면 다음 명령어를 사용합니다.

uvicorn app:app --reload

서버는 기본적으로 http://localhost:8000에서 실행됩니다.

5.2. 배포 시 고려사항

• 포트 개방: 배포 환경에서는 웹소켓 통신을 위한 포트를 개방해야 합니다.

• 리버스 프록시 설정: Nginx와 같은 리버스 프록시를 사용하여 웹소켓 요청을 처리할 수 있도록 설정합니다.

• SSL/TLS 적용: 보안을 위해 HTTPS를 적용해야 하며, 웹소켓의 경우 wss:// 프로토콜을 사용합니다.

Nginx 설정 예시

server {
    listen 80;
    server_name your_domain.com;

    location / {
        proxy_pass http://localhost:8000;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
}

6. 테스트 및 검증

브라우저에서 http://localhost:8000에 접속하여 메시지를 전송하고, 실시간으로 메시지가 표시되는지 확인합니다.

7. 결론

이번 글에서는 Python의 FastAPI를 이용하여 웹소켓 기반의 비동기 통신을 구현하고, 이를 위한 네트워크 구성을 살펴보았습니다. 웹소켓을 활용하면 실시간 기능을 손쉽게 구현할 수 있으므로, 다양한 웹 애플리케이션에 적용해 보시기 바랍니다.

참고 자료

• FastAPI 공식 문서

• UVicorn

Time series classification 데이터 전처리

24_bean — Sun, 1 Sep 2024 15:12:07 +0900

Introduction

이전 포스트에서 Time Series Classification (TSC), 즉 시계열 분류에 대해 정의한 바 있습니다.

자세한 내용은 아래 링크를 통해 확인할 수 있습니다:

https://24bean.tistory.com/entry/TSC-Time-series-classification-시계열-분류-정리

TSC / Time series classification 시계열 분류 정리

정의 (Definition) Time Series Classification (TSC) : 시간의 흐름에 따라 측정된 데이터를 분류하는 문제를 다루는 기술. 시계열 데이터(Time Series)는 시간에 따라 값이 변화하는 데이터를 일컫는 말이다. 일

24bean.tistory.com

Time Series Classification (TSC) : 시간의 흐름에 따라 측정된 데이터를 분류하는 문제를 다루는 기술.

시계열 데이터(Time Series)는 일반적으로 다음과 같은 특징을 갖는다.

시간에 따라 측정된 값이 변화한다.
값의 변화는 시간적인 관계에 따라서 발생한다.
일반적으로 이전 시간에 측정된 값이 다음 시간에 측정된 값에 영향을 준다.
시계열 데이터의 길이는 고정되어 있지 않을 수 있다.

따라서, 시계열 데이터의 가장 큰 특징은 시간적인 관계가 있다는 점입니다. 이러한 시간적 특성을 고려해 데이터를 적절한 Time Frame으로 나누어 전처리해야 의미 있는 인사이트를 도출하고, 효과적인 모델 학습이 가능합니다.

데이터

간단한 예제와 함께 이해해봅시다.

import pandas as pd
import numpy as np

# 클래스 A (6일 데이터)
date_range_A = pd.date_range(start='2024-01-01', periods=6, freq='D')
data_A = np.random.normal(loc=0, scale=1, size=(6, 1))
data_A_df = pd.DataFrame(data_A, columns=['Value'])
data_A_df['Class'] = 'A'
data_A_df['Date'] = date_range_A

# 클래스 B (5일 데이터)
date_range_B = pd.date_range(start='2024-01-01', periods=5, freq='D')
data_B = np.random.normal(loc=5, scale=1.5, size=(5, 1))
data_B_df = pd.DataFrame(data_B, columns=['Value'])
data_B_df['Class'] = 'B'
data_B_df['Date'] = date_range_B

# 클래스 C (7일 데이터)
date_range_C = pd.date_range(start='2024-01-01', periods=7, freq='D')
data_C = np.random.normal(loc=10, scale=2, size=(7, 1))
data_C_df = pd.DataFrame(data_C, columns=['Value'])
data_C_df['Class'] = 'C'
data_C_df['Date'] = date_range_C

# 세 개의 클래스 데이터프레임 병합
time_series_sampled_df_abc = pd.concat([data_A_df, data_B_df, data_C_df]).reset_index(drop=True)
print(time_series_sampled_df_abc)

데이터 전처리

앞서 언급한 것처럼, 각 클래스가 동일한 기간의 데이터를 가져야 모델 학습에 적합한 형태로 사용할 수 있습니다. 따라서, 가장 적은 날짜 수를 가진 Class B의 데이터 기간인 5일을 기준으로 모든 데이터를 동일하게 맞춰보겠습니다.

우선, 2024-01-01부터 2024-01-05까지의 데이터만을 필터링합니다:

# '2024-01-01'부터 '2024-01-05'까지의 데이터 필터링
filtered_df = time_series_sampled_df_abc[
    (time_series_sampled_df_abc['Date'] >= '2024-01-01') & 
    (time_series_sampled_df_abc['Date'] <= '2024-01-05')
].reset_index(drop=True)

그 후, 학습 가능한 형태인 Numpy 3D 배열로 변환합니다:

# 클래스별로 데이터를 그룹화하고, 각각의 Value와 Date를 추출하여 numpy array로 변환
classes = filtered_df['Class'].unique()
date_count = len(filtered_df['Date'].unique())

# 빈 numpy array 생성
data_3d_array = np.zeros((len(classes), date_count, 2), dtype=object)

# 클래스별로 데이터를 numpy 3D array에 할당
for i, cls in enumerate(classes):
    class_data = filtered_df[filtered_df['Class'] == cls][['Value', 'Date']].to_numpy()
    data_3d_array[i, :len(class_data), :] = class_data

data_3d_array

이제 3D 배열은 다음과 같은 형태를 가집니다:
- 5 (Date; x) x 3 (Feature; y) x 3 (Class; z)

이와 같은 전처리를 통해, 모든 클래스의 데이터가 동일한 기간에 맞춰졌으며, 이를 통해 모델 학습을 위한 준비가 완료되었습니다.

마무리

지금까지 우리는 시계열 데이터 분류(Time Series Classification, TSC)에 대해 기본 개념을 다루고, 간단한 예제를 통해 데이터 전처리 과정을 실습해 보았습니다. 각 클래스별 데이터를 동일한 기간으로 맞추는 것이 중요하며, 이를 통해 모델 학습에 적합한 형태로 데이터를 준비할 수 있습니다.

이제 이렇게 전처리된 데이터를 사용해 다양한 머신러닝 또는 딥러닝 모델에 적용해 볼 수 있습니다. 예를 들어, LSTM (Long Short-Term Memory) 네트워크와 같은 딥러닝 모델을 사용하여 시계열 데이터를 분류하는 것이 가능합니다. 또한, 다양한 피처 엔지니어링 기법을 사용해 데이터를 더욱 정제하고 성능을 향상시킬 수 있습니다.

추후 포스트에서는 이러한 모델링 과정과 추가적인 시계열 데이터의 고급 처리 기법들에 대해 다루도록 하겠습니다. 관심 있는 분들은 다음 포스트도 기대해 주세요!

LLaMA 3.1 사용법 - (with Ollama)

24_bean — Sun, 28 Jul 2024 19:20:59 +0900

Llama 3은 8B, 70B의 두 종 (각 종별 2가지로 총 4가지)의 소형 버전 뿐이었더라면, 이번(3.1)에는 매개변수 4,050억개짜리 Llama 3.1 405B 모델이 포함되어 있습니다.

이 모델은 ‘공개된’ 모델 중 최대 규모의 모델로서, GPT-4, Claude 3.5 Sonnet 등의 폐쇄형 모델 (Closed Model)과 대등한 성능을 보이는 것으로 알려져 있습니다.

간단하게 모델 다운로드 및 설정 절차에 대해 이번 포스트에서는 알아봅시다.

https://huggingface.co/meta-llama/Meta-Llama-3.1-405B

모델 다운로드

공식 다운로드 홈페이지가 있긴 한데, 여기저기 들어가야하는 번거로움이 있으니 Huggingface에서 받아줍시다.

https://huggingface.co/meta-llama/Meta-Llama-3.1-405B

개인 정보 입력하고 제출합니다.

Ollama

Quantized llama을 providing하는 ollama에도 역시 빠르게 llama3.1이 올라왔습니다.

https://ollama.com/library/llama3.1

llama3.1

Llama 3.1 is a new state-of-the-art model from Meta available in 8B, 70B and 405B parameter sizes.

ollama.com

하드웨어의 한계로 인해.. Quantized model을 써야하는 저같은 분들을 위한 글이 될겁니다..

Ollama 사용법은 아래와 같습니다!

macOS

1. 다운로드: Ollama https://ollama.com/library/llama3.1 macOS용 파일을 다운로드합니다.
2. 압축 해제: 다운로드한 zip 파일의 압축을 풉니다.
3. 폴더 이동: 터미널을 열고 압축 해제한 폴더로 이동합니다.
4. 실행: 다음 명령어를 입력하여 Ollama를 실행합니다:

./ollama

Linux

1. 터미널 실행: 터미널을 열고 아래 명령어를 입력합니다:

curl -fsSL https://ollama.com/install.sh | sh

Docker

1. 공식 Docker 이미지 사용: 공식 Docker 이미지 `ollama/ollama`를 사용할 수 있습니다. Docker를 설치한 후, 아래 명령어를 사용하여 Ollama를 실행합니다:

docker run ollama/ollama

실행

ollama run llama3.1

SaaS 에서의 RAG vs. Fine-Tuning 비교!

24_bean — Sun, 2 Jun 2024 16:13:50 +0900

유용한 AI SaaS Application을 구축하려면 모델이 사용자의 외부 데이터에 액세스할 수 있어야 합니다.

그렇다면, RAG(Retreival Augemented Generation) vs. Fine-Tuning 중 어느것을 사용해야 할까요?

이번 글에서는 SaaS Application 관점에서 두 가지 접근 방식을 비교하고자 합니다.

단순 비교만 원하시는 분은 마지막 Conclusion의 표를 확인하시면 됩니다

Introduction

Multi-Tenant (클라우드의 하나의 자원을 쪼개서 서비스 사용자에게 제공; 마치 하나의 집을 쪼개서 빌려주는 개념) AI SaaS Application을 구축하려는 경우, Prompt Engineering(프롬프트 엔지니어링)에만 의존하는 한계를 경험했을 것입니다.

기본적인 프롬프트를 완벽하게 작성하더라도, GPT-4, Llama-3 같은 범용 모델은 사용자 고유의 데이터를 포함하지 않기 때문에 context가 부족하여 제한적입니다.

예를 들어, AI 고객 서비스 챗봇을 판매한다고 가정해봅시다. 고객의 데이터(과거 대화, 제품 정보 등)에 접근할 수 없다면 챗봇은 쓸모가 없게 됩니다.

보통의 경우, 이러한 데이터는 고객의 CRM, 문서, 티켓 시스템 등 다른 애플리케이션에 저장되어 있죠.

그렇다면 이러한 Context Data를 LLM에 어떻게 활용할 수 있을까요?

제 3자 소스로부터의 데이터를 LLM과 함께 사용하는 주요 접근법은 RAG와 Fine-Tuning입니다.

RAG vs. Fine-Tuning

Retrieval Augmented Generation (RAG)

RAG는 외부 데이터를 실시간으로 검색하여 프롬프트에 Context를 주입함으로써 대형 언어 모델의 정확성을 높이는 과정입니다.

이 데이터는 고객의 문서, 웹 페이지 등 다양한 소스에서 가져올 수 있습니다.

ref: https://pvml.com/glossary/retrieval-augmented-generation-rag/

데이터 수집/저장

초기 수집 작업: 고객이 제공한 모든 관련 데이터를 초기 수집합니다.
백그라운드 작업: 새로운 정보가 생길 때마다 실시간으로 데이터를 업데이트합니다.
임베딩 및 저장: 수집한 데이터를 벡터 데이터베이스에 저장하여 검색할 수 있도록 임베딩을 생성합니다.

프롬프트 주입

실시간 검색 및 주입: 벡터 데이터베이스에서 가장 관련성 높은 텍스트를 검색하여 초기 프롬프트에 주입합니다.

Fine-Tuning

Fine-Tuning은 사전 훈련된 LLM을 특정 도메인 데이터셋으로 추가 학습시켜 특정 작업에서 성능을 높이는 과정입니다.

ref: https://neo4j.com/developer-blog/fine-tuning-retrieval-augmented-generation/

주요 차이점

Fine-Tuning은 LLM의 파라미터를 수정하며, 배포 전에 수행됩니다.

Clean한 훈련 데이터셋을 얻는 것이 어렵고 시간이 많이 걸리지만, 예측 가능한 결과를 제공합니다.

RAG

도메인 특정 데이터셋을 바로 사용할 수 없다면, Fine-Tuning보다는 RAG를 우선시하는 것이 좋습니다.

다음과 같은 이유 때문입니다:

RAG는 실시간 또는 거의 실시간의 Context를 프롬프트에 주입할 수 있습니다.
RAG는 Clean하고 Structured 훈련 데이터셋이 필요하지 않습니다.
RAG는 여러 데이터 소스에서 관련 Context를 검색할 수 있습니다.

그럼, 이제 RAG와 구현 방법을 조금 더 깊이 파헤쳐보겠습니다.

RAG with Third-Party Data

1. Data Ingestion

첫 번째 단계는 유저의 external contextual data가 어디에 있는지 파악하는 것입니다.

(즉 내가 원하는 데이터는 어디있고, 그 중 어떤걸 사용할 것인지에 대한 명확한 정의가 필요합니다.)

예를 들어, product knowledge가 Notion 워크스페이스나 Google Drive의 온보딩 문서에 저장되어 있을 수도 있고,

공통 Q&A는 Slack 스레드에, 판매 이메일은 Salesforce/Salesloft에, 통화 기록은 Gong이나 Zoom 등에 저장될 수 있습니다.

어디에서 데이터를 가져올지 파악한 후에는 기존 데이터를 모두 수집하고, 해당 데이터 소스의 업데이트를 반영하는 메커니즘을 구축해야 합니다.

데이터 수집 엔진을 구축 시 고려사항:

Authentication: 각 3자 API마다 OAuth 정책이 다르므로 항상 토큰을 갱신하여 연결 상태를 유지해야 합니다.
Webhooks/CRON jobs: 각 앱의 각 객체 유형에 대해 webhook listener나 CRON 작업을 설정하고, Activate 상태를 확인하는 모니터링 메커니즘을 구축해야 합니다.
Horizontal Scaling: 초기 수집 작업에서 모든 고객의 기존 데이터를 수집하면 수백만, 수십억 개의 요청이 한꺼번에 발생할 수 있습니다. 이러한 데이터를 처리할 수 있도록 인프라가 자동으로 확장되어 서버가 죽지 않도록 해야 합니다.
Rate Limits: 통합해야 하는 각 서드파티 API에는 속도 제한이 있을 수 있습니다. 만약 속도 제한에 걸릴 경우, 작업 실패를 방지하기 위해 auto-retry 및 Queuing 메커니즘을 갖추어야 합니다.
Security: 수집한 데이터는 안전하게 저장되고 SaaS application의 multi-tenant 특성상 고객의 인스턴스 간에 격리되어야 합니다.
Breaking Changes: 3자 API는 종종 변경 사항을 발표하므로 팀이 이를 신속하게 대응해야 합니다.

2. Chunking (Tokenization)

대부분의 Contextual Data는 Unstructured Data이므로 대량의 문자열을 처리하게 됩니다.

LLM의 짧은 Context Window 때문에 고객의 모든 데이터를 각 프롬프트에 주입할 수 없습니다(비효율적이기도 합니다).

3. Generate Embedding

RAG 프로세스가 실행 시 가장 관련성 높은 데이터를 검색할 수 있도록 청크를 벡터화하여 숫자 표현으로 변환해야 합니다.

이를 위해 사용할 수 있는 Embedding 모델은 많으며, Huggingface의 리더보드에서 최신 벤치마크 기반 상위 모델을 확인할 수 있습니다.

https://huggingface.co/models?language=ko

Models - Hugging Face

huggingface.co

4. Storing in a Vector Database

수집한 데이터에서 Embedding을 생성한 후 이를 Vector Database에 저장해야 합니다.

데이터를 벡터로 저장하면 대량의 데이터를 신속하게 유사성 검색할 수 있으며, 이는 방대한 지식 기반을 가진 RAG에 필수적입니다.

https://www.pinecone.io

The vector database to build knowledgeable AI | Pinecone

Search through billions of items for similar matches to any object, in milliseconds. It’s the next generation of search, an API call away.

www.pinecone.io

5. Runtime Retrieval

실행 시, 사용자가 쿼리를 보내면 해당 쿼리를 벡터화하여 벡터 데이터베이스에서 유사성 검색을 수행해야 합니다.

이를 통해 가장 관련성 높은 Context Chunk를 검색하고, 이를 선택한 LLM(e.g. GPT, Llama 등)의 프롬프트에 포함시킵니다.

이렇게 하면 LLM이 검색된 정보를 활용하여 사용자 쿼리에 대해 더 개인화되고 관련성 높은 포괄적인 응답을 생성할 수 있습니다.

Fine-Tuning

이제 multi-tanent SaaS 에서 Fine-Tuning이 어떻게 작동하는지 살펴보겠습니다.

다음은 Pre-trained model 을 Fine-Tuning하는 과정의 세부 사항입니다.

1. Data Ingestion

RAG와 마찬가지로, 사용자의 외부 애플리케이션에서 데이터를 수집하여 훈련 데이터셋을 구축해야 합니다.

여기에는 판매 참여 플랫폼의 판매 이메일, Intercom의 대화 기록, CRM의 판매 성과 데이터 등이 포함될 수 있습니다.

2. Preparation

RAG와 달리, 이 데이터는 Fine-Tuning에 사용될 수 있도록 준비되고 정리되어야 합니다.

기본적으로, 모델을 Fine-Tuning하기 위해 훈련, 검증, 테스트 데이터셋이 필요합니다. 다음은 훈련 데이터셋의 예시입니다:

AI 지원 챗봇을 위한 훈련 데이터셋:
- Input: 고객에 대한 모든 접근 가능한 데이터와 제출한 티켓
- Output: 지원 담당자가 제공한 응답
AI 콘텐츠 작성자를 위한 훈련 데이터셋:
- Input: 고객의 블로그 개요
- Output: 해당 개요로 작성된 블로그 게시물

이 과정에서 가장 까다로운 점은 테스트 데이터셋이 깨끗하고 최적의 입력만을 포함하도록 하는 것입니다.

이 때문에 일부 AI SaaS 회사는 고객과 함께 훈련 데이터셋을 검증하는 On-Boarding을 요구하기도 합니다.

3. Fine-Tune and Validate

대부분의 회사에서는 기본 모델의 실제 파라미터를 수동으로 설정하는 것이 계산적으로 의미가 없습니다. 대신, Fine-Tuning(위에서 언급한 예시)을 통해 제한된 데이터셋으로도 기본 LLM을 훈련시킬 수 있습니다.

모델을 Fine-Tuning한 후에는 검증 세트를 사용하여 원하는 응답이 나오는지 테스트하고 검증해야 합니다. 결과가 만족스럽지 않으면 추가 데이터를 사용하여 모델을 계속 Fine-Tuning해야 하며, 제품 준비가 완료되면 Fine-Tuning된 모델을 배포합니다.

4. Reinforcement Learning

운영 중에는 사용자 피드백을 통한 강화 학습(RLHF) 루프를 도입할 수 있습니다.

기본적인 형태로, 사용자가 받은 응답을 평가할 수 있는 기능을 제공하고, 그 평가를 모델의 성능을 높이는데 활용할 수 있습니다.

그러나 이는 사용자의 행동, 예를 들어 사용자가 명확한 질문을 했는지, 사용자 감정, 또는 생성된 출력을 그대로 사용했는지 여부(특히 AI 콘텐츠 생성 맥락 내에서) 등에 기반하여 상당히 정교해질 수 있습니다.

※ 아래 링크를 따라 Fine-Tuning 을 위한 파이프라인을 코드와 함께 확인해보세요.

https://huggingface.co/learn/cookbook/fine_tuning_code_llm_on_single_gpu

Fine-tuning a Code LLM on Custom Code on a single GPU - Hugging Face Open-Source AI Cookbook

LLM and RAG recipes with other Libraries

huggingface.co

Conclusion

말이 길었지만, 결국 간단하게 정리하면 다음과 같습니다.

RAG는 빠르게 구현할 수 있고 실시간 정보를 제공할 수 있어 유연한 장점이 있지만, 복잡한 인프라와 보안 문제를 해결해야 합니다.

반면, Fine-Tuning은 특정 도메인에 최적화된 성능을 제공하지만, 훈련 데이터셋 준비와 모델 업데이트에 많은 시간과 비용이 소요됩니다.

대부분의 경우, 초기에는 RAG를 우선시하고, 필요에 따라 Fine-Tuning을 고려하는 것이 효율적일 수 있습니다.

Reference

https://www.useparagon.com/blog/rag-vs-finetuning-saas

https://pvml.com/glossary/retrieval-augmented-generation-rag/

https://neo4j.com/developer-blog/fine-tuning-retrieval-augmented-generation/

https://www.matrixflows.com/blog/retrieval-augmented-generation-rag-finetuning-hybrid-framework-for-choosing-right-strategy

구글 Gemma 사용법

24_bean — Sun, 25 Feb 2024 15:18:56 +0900

Gemma란?

DeepMind, Google이 최근 Gemma를 공개했습니다. 이는 그 이전의 모델들과는 달리 open-weight architecture를 특징으로 하는 최신 대규모 언어 모델(LLM)입니다.

https://ai.google.dev/gemma

Gemma - Google의 경량형 첨단 개방형 모델 제품군 | Google AI for Developers

오픈소스 경량 언어 모델 제품군인 Gemma를 소개합니다. 빠른 시작 가이드, 벤치마크, Google Cloud에서 학습 및 배포를 살펴보고 커뮤니티에 참여하여 AI 연구를 발전시키세요.

ai.google.dev

사용법

Google에서 공개한 LLM 답게 JAX를 사용하여 Gemma를 사용하실 수 있습니다.

물론, Pytorch 혹은 C++등 다양한 수단을 통해서도 사용할 수 있도록 코드를 공개했습니다.

CPU, GPU, TPU 모두 호환이 됩니다.

추천하는 시스템 사양은 2B 체크포인트의 경우 GPU에서 8GB 이상의 RAM을, 7B 체크포인트의 경우 GPU에서 24GB 이상의 RAM을 권장합니다.

아래 Gemma 접근을 위한 Github repo를 공유합니다.

JAX

https://github.com/google-deepmind/gemma

GitHub - google-deepmind/gemma: Open weights LLM from Google DeepMind.

Open weights LLM from Google DeepMind. Contribute to google-deepmind/gemma development by creating an account on GitHub.

github.com

Pytorch

https://github.com/google/gemma_pytorch?tab=readme-ov-file

GitHub - google/gemma_pytorch: The official PyTorch implementation of Google's Gemma models

The official PyTorch implementation of Google's Gemma models - google/gemma_pytorch

github.com

추가로 Kaggle에 공개한 모델 카드 또한 공유합니다

https://www.kaggle.com/models/google/gemma

Gemma

Gemma is a family of lightweight, open models built from the research and technology that Google used to create the Gemini models.

www.kaggle.com

Hugging Face - transformers

CPU

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("google/gemma-7b")
model = AutoModelForCausalLM.from_pretrained("google/gemma-7b")

input_text = "Write me a poem about Machine Learning."
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

GPU

# pip install accelerate
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("google/gemma-7b")
model = AutoModelForCausalLM.from_pretrained("google/gemma-7b", device_map="auto")

input_text = "Write me a poem about Machine Learning."
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

Quantization

# pip install bitsandbytes accelerate
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

tokenizer = AutoTokenizer.from_pretrained("google/gemma-7b")
model = AutoModelForCausalLM.from_pretrained("google/gemma-7b", quantization_config=quantization_config)

input_text = "Write me a poem about Machine Learning."
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

자세한 내용은 아래를 참조해주세요

https://huggingface.co/google/gemma-7b

google/gemma-7b · Hugging Face

This repository is publicly accessible, but you have to accept the conditions to access its files and content. To access Gemma on Hugging Face, you’re required to review and agree to Google’s usage license. To do this, please ensure you’re logged-in

huggingface.co

IOPaint: 딥러닝 기반 이미지 인페인팅 오픈소스 툴 사용법

24_bean — Sun, 18 Feb 2024 18:33:42 +0900

https://github.com/Sanster/IOPaint

디지털 아트와 사진의 빠르게 발전하는 세계에서, 완벽한 이미지 편집 도구를 찾는 탐색은 끝이 없습니다. IOPaint는 이미지 편집 소프트웨어의 붐비는 공간에서 눈에 띄는 혁신적인 솔루션으로 등장했습니다.

IOPaint란 무엇인가요?

IOPaint는 간단한 수정부터 복잡한 이미지 조작에 이르기까지 다양한 요구 사항을 충족시키기 위해 설계된 무료, 오픈 소스, 완전 자체 호스팅 이미지 편집 플랫폼입니다. CPU, GPU, 심지어 Apple Silicon까지 지원하여, 어떤 하드웨어를 사용하든 AI의 전력을 활용하여 이미지를 변형할 수 있습니다. Windows 1-Click Installer를 통해 IOPaint 설정이 간편해져, 모든 사람이 고급 이미지 편집에 접근할 수 있게 되었습니다.

주요 기능:

- **AI 기반 모델:** IOPaint는 이미지에서 원하지 않는 객체, 결함, 워터마크, 사람을 제거하는 등의 작업을 수행할 수 있는 다양한 AI 모델을 통합합니다.
- **Erase Models:** 이 모델들은 이미지를 정리하고 원하지 않는 요소를 제거하는 데 특화되어 있어, 사진을 매끄럽고 전문적으로 보이게 합니다.
- **Diffusion Models:** 이미지의 경계를 확장하거나 객체를 교체하고자 하는 경우, IOPaint는 놀라운 정확도와 세부 사항으로 outpaint 또는 inpaint할 수 있는 확산 모델을 제공합니다.

지원되는 모델:

IOPaint에서 지원하는 인기 모델 중 일부는 다음과 같습니다:

- runwayml/stable-diffusion-inpainting
- diffusers/stable-diffusion-xl-1.0-inpainting-0.1
- 특정 편집 작업에 맞춰진 많은 다른 모델들

플러그인:

IOPaint의 기능은 다음과 같은 플러그인으로 더욱 향상됩니다:

- Segment Anything: 빠르고 정확한 객체 분할을 위한 기능.
- RemoveBG: 배경을 쉽게 제거하거나 전경 객체에 대한 마스크를 생성.
- RealESRGAN & GFPGAN: 초고해상도 및 얼굴 복원을 위해, 이미지의 모든 세부 사항이 선명하고 깨끗하도록 보장.

IOPaint 시작하기

IOPaint를 사용하기 위한 시작 절차는 다음과 같습니다:

빠른 설정:

IOPaint를 시작하는 것은 몇 가지 간단한 명령어로 가능합니다. 원하는 모델과 디바이스를 지정하여 IOPaint를 설치하고 실행할 수 있습니다. 이 과정은 로컬 서버를 시작하여, 웹 브라우저를 통해 IOPaint에 접근할 수 있게 합니다.

# GPU를 사용하기 위해서는 먼저 CUDA 버전의 pytorch를 설치해야 합니다.
# pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118
# AMD GPU 사용자는 리눅스에서만 작동하는 다음 명령어를 사용해야 합니다. Windows에서는 아직 pytorch가 ROCm을 지원하지 않습니다.
# pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/rocm5.6

pip3 install iopaint
iopaint start --model=lama --device=cpu --port=8080

자세한 사항은 github 공식 홈페이지를 참고해주세요!

Reference: https://github.com/Sanster/IOPaint

GitHub - Sanster/IOPaint: Image inpainting tool powered by SOTA AI Model. Remove any unwanted object, defect, people from your p

Image inpainting tool powered by SOTA AI Model. Remove any unwanted object, defect, people from your pictures or erase and replace(powered by stable diffusion) any thing on your pictures. - Sanster...

github.com

완전한 오픈소스와 언어모델 / OLMo: Open Language Model

24_bean — Sun, 11 Feb 2024 20:33:13 +0900

https://blog.allenai.org/olmo-open-language-model-87ccfc95f580

최근 AI2는 Huggingface와 Github을 통해 대규모 언어 모델을 훈련하고 실험할 수 있는 프레임워크를 공개하며 첫번째 오픈 언어 모델(OLMo)를 출시했습니다.

아래 링크는 관련 논문 및 사이트입니다.

Github: https://github.com/allenai/OLMo

GitHub - allenai/OLMo: Modeling, training, eval, and inference code for OLMo

Modeling, training, eval, and inference code for OLMo - GitHub - allenai/OLMo: Modeling, training, eval, and inference code for OLMo

github.com

공개 블로그: https://blog.allenai.org/olmo-open-language-model-87ccfc95f580

OLMo: Open Language Model

A State-Of-The-Art, Truly Open LLM and Framework

blog.allenai.org

Huggingface 7B 모델: https://huggingface.co/allenai/OLMo-7B

allenai/OLMo-7B · Hugging Face

Model Card for OLMo 7B OLMo is a series of Open Language Models designed to enable the science of language models. The OLMo models are trained on the Dolma dataset. We release all code, checkpoints, logs (coming soon), and details involved in training thes

huggingface.co

논문: https://arxiv.org/abs/2402.00838

OLMo: Accelerating the Science of Language Models

Language models (LMs) have become ubiquitous in both NLP research and in commercial product offerings. As their commercial importance has surged, the most powerful models have become closed off, gated behind proprietary interfaces, with important details o

arxiv.org

자세한 설명은 오히려 첨부한 공개 블로그를 참조하시면 좋을 것 같습니다.

아래에 해당 논문의 Abstract을 첨부합니다.

Abstract

언어 모델들은 이제 NLP 연구와 상업적 제품 모두에 없어서는 안 될 존재가 되었습니다. 그러나 상업적 가치가 커짐에 따라, 가장 성능이 뛰어난 모델들은 독점 인터페이스 뒤로 숨겨지고, 그 훈련 데이터, 구조, 그리고 개발 과정에 대한 중요 정보는 비공개로 남아있습니다. 이러한 정보는 모델의 편향성과 잠재적 위험을 포함하여 과학적으로 연구하는 데 매우 중요하기 때문에, 우리는 연구 커뮤니티가 강력하면서 완전히 개방된 언어 모델에 접근할 수 있어야 한다고 생각합니다. 이런 맥락에서, 우리는 언어 모델링의 과학을 구축하고 탐구하기 위한 프레임워크와 함께, 최신 기술의 진정으로 개방된 언어 모델인 OLMo의 첫 출시를 상세히 소개하는 이 기술 보고서를 준비했습니다. 이전의 많은 시도들이 모델 가중치와 추론 코드만 공개한 것과 달리, 우리는 OLMo와 그에 따른 전체 프레임워크, 훈련 데이터, 그리고 훈련 및 평가 코드까지 포함하여 공개함으로써, 개방 연구 커뮤니티를 지원하고 새로운 혁신의 물결을 일으킬 수 있기를 바랍니다.

Dataset (Dolma)

본 프로젝트의 가장 주목할 점은 Pre-training 시 사용했던 데이터셋을 완전히 공개했다는 점입니다.

Ref: https://huggingface.co/datasets/allenai/dolma

allenai/dolma · Datasets at Hugging Face

You need to agree to share your contact information to access this dataset This repository is publicly accessible, but you have to accept the conditions to access its files and content. Access to this dataset is automatically granted upon accepting the AI2

huggingface.co

아래와 같은 방법으로 다운로드 하실 수 있습니다.

DATA_DIR="<path_to_your_data_directory>"
PARALLEL_DOWNLOADS="<number_of_parallel_downloads>"
DOLMA_VERSION="<version_of_dolma_to_download>"

git clone https://huggingface.co/datasets/allenai/dolma
mkdir -p "${DATA_DIR}"


cat "dolma/urls/${DOLMA_VERSION}.txt" | xargs -n 1 -P "${PARALLEL_DOWNLOADS}" wget -q -P "$DATA_DIR"

Load (Python)

import os
from datasets import load_dataset

os.environ["DATA_DIR"] = "<path_to_your_data_directory>"
dataset = load_dataset("allenai/dolma", split="train")

대화형 에이전트(Conversational Agent)란?

24_bean — Sat, 3 Feb 2024 16:42:42 +0900

대화형 에이전트(Conversational Agent)란?

대화형 에이전트, 종종 챗봇(Chatbot)이라고 불리는 것은 자연어를 통해 사용자와 대화를 시뮬레이션할 수 있는 인공지능(AI) 소프트웨어의 일종입니다.

이러한 에이전트는 메시징 애플리케이션, 웹사이트, 모바일 앱 또는 전화를 통해 사용자와 자연스러운 대화를 나눌 수 있습니다.

대화형 에이전트는 고객 서비스, 요청 라우팅, 정보 수집 및 의료 및 금융 부문에서 증상 확인, 온라인 거래와 같은 작업을 위해 점점 더 많이 사용되고 있습니다.

출처 : https://www.dashbot.io/blog/conversational-agent

대화형 에이전트(Conversational Agent)의 유형

대화형 에이전트는 크게 두 가지 범주로 분류될 수 있습니다:

- 규칙 기반 에이전트(Rule-Based Agents):

이러한 에이전트는 사전 정의된 규칙을 따르며 특정 작업에 제한되는 경우가 많습니다. 사용자 입력을 응답 데이터베이스와 일치시켜 간단한 질문과 명령을 처리할 수 있습니다. 프로그램된 규칙을 넘어서 복잡한 대화를 이해하거나 처리하는 능력은 없습니다.

- AI 기반 에이전트(AI-Powered Agents):

이러한 에이전트는 머신러닝(Machine Learning)과 자연어 처리(Natural Language Processing, NLP)를 사용하여 사용자의 질문을 이해하고 응답합니다. 과거 상호작용에서 배우고, 더 복잡한 대화를 처리하고, 맥락을 이해하며, 개인화된 응답을 제공할 수 있습니다.

출처: https://gptpluginz.com/llm-agents/

대화형 에이전트(Conversational Agent)의 작동 방식

대화형 에이전트는 사용자 입력을 처리하고, 맥락과 의도를 이해하며, 가능한 한 인간 같은 응답을 생성하는 과정을 거칩니다. 이 과정은 일반적으로 다음 단계를 포함합니다:

- 사용자 입력(User Input):

사용자가 텍스트나 음성을 사용하여 에이전트와 상호작용합니다.

- 의도 인식(Intent Recognition):

에이전트는 NLP를 사용하여 입력을 분석하고 사용자의 의도를 파악합니다.

- 맥락 이해(Context Understanding):

에이전트는 대화의 맥락을 평가합니다. 여기에는 사용자의 이전 상호작용, 선호도 및 대화의 현재 상태가 포함될 수 있습니다.

- 응답 생성(Response Generation):

의도와 맥락에 기반하여, 에이전트는 적절한 응답을 만듭니다.

- 사용자 피드백(User Feedback):

에이전트의 메시지에 대한 사용자의 응답은 미래의 상호작용을 개선하는 데 사용될 수 있는 피드백을 제공합니다.

출처 : https://www.dashbot.io/blog/conversational-agent

대화형 에이전트의 응용 및 예시

대화형 에이전트는 다음과 같이 다양한 응용 분야에서 사용되고 있습니다:

- 고객 지원(Customer Support):

고객 질문에 답하고 문제를 해결하며 사용자를 안내하는 24/7 지원을 제공합니다.

- 전자상거래(E-commerce):

고객이 제품 검색, 추천 및 구매를 돕습니다.

- 의료(Healthcare):

의료 조언, 증상 확인 및 예약 일정을 제공합니다.

- 금융 및 금융(Banking and Finance):

온라인 거래, 계좌 조회 및 재무 상담을 촉진합니다.

- 개인 비서(Personal Assistants):

일상적인 작업을 돕습니다. 예를 들어 알림 설정, 음악 재생, 날씨 업데이트 제공 등입니다.

- ...

출처 : https://www.dashbot.io/blog/conversational-agent

대화형 에이전트의 미래

대화형 에이전트의 미래는 AI와 NLP의 발전으로 더욱 향상될 것으로 보이며, 이러한 에이전트가 더욱 정교해지면서 다양한 산업에서 중요한 역할을 할 것으로 예상됩니다.

개인화되고 맥락을 인식하는 인간 대화와 유사한 상호작용을 제공함으로써, 이들은 고객 서비스, 생산성 및 전반적인 사용자 경험에 큰 영향을 미칠 수 있는 잠재력을 가지고 있습니다.

또한 음성 인식 기술이 개선됨에 따라 음성 기반 대화형 에이전트가 더 널리 사용될 것으로 예상되며, 이는 사용자에게 손쉬운 지원과 접근성 옵션을 제공할 것입니다.

대화형 에이전트가 증강 현실(AR) 및 가상 현실(VR)과 같은 다른 신흥 기술과 통합되면 사용자 참여와 몰입형 경험을 위한 새로운 가능성도 열릴 수 있습니다.

결론적으로, 대화형 에이전트는 우리가 기술과 상호작용하는 방식을 변화시키고 있으며, 더 자연스럽고 사용자 친화적인 방식으로 발전함에 따라 중요한 영향을 미칠 잠재력을 가지고 있습니다.

참조:

https://deepai.org/machine-learning-glossary-and-terms/conversational-agent

Conversational Agent

A conversational agent is any dialogue system that not only conducts natural language processing but also responds automatically using human language.

deepai.org

https://gptpluginz.com/llm-agents/

What Are LLM Agents ? An Overview of Their Capabilities

Did you know that as early as the 18th century, philosopher Denis Diderot pondered the nature of intelligence, suggesting that

gptpluginz.com

논문 리뷰 / RAG VS FINE-TUNING: PIPELINES, TRADEOFFS, AND A CASESTUDY ON AGRICULTURE

24_bean — Sun, 28 Jan 2024 15:44:03 +0900

Original Paper: https://arxiv.org/abs/2401.08406

RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture

There are two common ways in which developers are incorporating proprietary and domain-specific data when building applications of Large Language Models (LLMs): Retrieval-Augmented Generation (RAG) and Fine-Tuning. RAG augments the prompt with the external

arxiv.org

본 포스트는 매우 간략히 연구를 통한 인사이트를 비교하는 데 목적을 두고있습니다.

자세히 알고싶으신 분은 꼭 원문을 참조해주세요.

Abstract에서 알 수 있다시피 해당 논문은 LLM 발전과 함께 application 수준에서의 활용 중, RAG(Retreival-Augmented Generation)과 Fine-Tuning에 대한 비교를 다루고 있습니다.

Introduction

RAG

외부 데이터로 Prompt 보강
추가 데이터 Vectorization(외부 데이터베이스) 및 참조

Fine-Tuning

추가 지식을 학습함으로서 모델에 직접 통합
특정 데이터셋에 맞춰 모델 Tuning

아래 그림은 LLM이 Specific Domain Knowledge가 필요함을 직접적으로 보여주며 논문을 시작합니다.

Methodology

Brief methodology Pipeline

Fine-Tuning
RAG

PDF information extraction

pdf2text (Python Library)

Results

전반적인 인사이트를 정리하자면 다음과 같습니다.

Cost – Input Token Size:
  - RAG: 프롬프트 크기가 증가하며, 비용이 더 듭니다.
  - Fine-tuning: 최소한의 비용이 듭니다.

Cost – Output Token Size:
  - RAG: 출력이 더 장황하고 제어가 어렵습니다.
  - Fine-tuning: 간결하고, 간단함에 맞게 조정됩니다.

Initial Cost:
  - RAG: 임베딩 생성 비용이 낮습니다.
  - Fine-tuning: 파인 튜닝 과정이 높은 초기 비용을 필요로 합니다.

Accuracy:
  - 두 모델 모두 효과적입니다.

New Knowledge:
  - RAG: 데이터가 맥락에 있을 때 새로운 지식을 제공합니다.
  - Fine-tuning: 특정 도메인에서 새로운 기술을 추가합니다.

OpenAI Assistant API 활용 예제 (Python Code) / ChatGPT

24_bean — Sun, 12 Nov 2023 16:31:27 +0900

지난 11월 06일 OpenAI는 DevDay를 통해 새로운 Assistant API를 공개하였습니다.

Assistant는 "Code Interpreter, Retrieval, Function calling" 과 같은 다양한 도구를 활용할 수 있습니다.

현재 베타 버전으로, 특정 Instruction과 model selection을 통해 사용자 정의 assistant를 생성할 수 있습니다.

Assistant를 활용하는 것은 다음과 같은 절차에 의해 구성됩니다.

1. 어시스턴트 생성
   - 어시스턴트에 대한 사용자 정의 지침 정의.
   - 모델 선택 및 Code Interpreter, Retrieval, Function calling과 같은 도구 활성화 여부 선택.

2. 대화 플로우
   - 사용자가 대화를 시작하면 Thread 생성.
   - 사용자의 질문에 따라 Thread에 Messages 추가.

3. 어시스턴트 실행
   - Thread에서 어시스턴트를 실행하여 응답 트리거.
   - API는 어시스턴트 구성에 따라 자동으로 관련 도구를 호출.

코드와 함께 조금 자세히 활용법을 알아보겠습니다.

https://devday.openai.com

OpenAI DevDay

New models and developer products announced at DevDay GPT-4 Turbo with 128K context and lower prices, the new Assistants API, GPT-4 with Vision, DALL·E 3 API, and more.

devday.openai.com

0. 전체 구성

OpenAI가 제안하는 전체 프로세스를 정리해보면 다음과 같습니다.

* Object

* Run life-cycle

* Run Step

1. 어시스턴트(Assistant) 생성

기존 OpenAI의 API를 활용하는 것과 같이 우선 API KEY를 환경 변수에 추가해야합니다.

* client 선언

client = OpenAI(api_key="YOUR_API_KEY")

* Assistant를 생성합니다.

아래의 코드 예시는 제가 작성한 임의의 예시입니다.

쉽게 생각하면, 모델에게 자아(?)를 부여하는 것입니다

ex)

너의 이름은 "CSV interpreter"야,

나는 너가 다음과 같이 행동하길 바래, "You are a CSV ~~~",

너가 활용할 Tool은 "code_interpreter"야,

모델은 "gpt-4-1106-preview"를 사용하고,

file에 대한 정보는 "[file.id]"야

new_assistant = client.beta.assistants.create(
        name="CSV interpreter",
        instructions=f"You are a CSV interpreter.\
            \nI want you to give me a recommendation for visualization of the data.",
        tools=[{"type": "code_interpreter"}], # type: code_interpreter, retrieval, function
        model="gpt-4-1106-preview",
        file_ids=[file.id]
    )

file에 대한 입출력 또한 위와 같이 관리할 수 있습니다.

이 때 retrieval은 파일의 지속적인 접근을 다루는 내용이며 code interpreter와의 자세한 비교는 아래 표를 참조바랍니다.

* 참조: https://platform.openai.com/docs/assistants/tools/supported-files

OpenAI Platform

Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform.

platform.openai.com

2. 쓰레드(Thread) 생성

대화를 위한 쓰레드를 생성합니다.

new_thread = client.beta.threads.create()
    message = client.beta.threads.messages.create(
        thread_id=new_thread.id,
        role="user",
        content="I need to visualize the data. Can you recommend me 4 plots that describe the data as much as possible?",
        )

3. 어시스턴트(Assistant) 실행

추가한 쓰레드에 대한 답변을 정의한 어시스턴트에게 요청합니다.

run = client.beta.threads.runs.create(
        thread_id=thread.id,
        assistant_id=assistant.id,
        # instructions="I want you to elaborate why you recommend these plots.", <- duplicate instructions
    )
while(run.status != "completed"):
    run = client.beta.threads.runs.retrieve(
        thread_id=thread.id,
        run_id=run.id
    )

    print("run.status: ", run.status)
    if run.status == "failed":
        raise Exception("The run failed with the message: " + run.error)

messages = client.beta.threads.messages.list(
    thread_id=thread.id,
)
return messages

* 이때 beta 버전의 API 답게 불편함이 꽤나 많습니다. 특히, While 문을 통해 지속적인 요청을 보내야한다는 점이 그 단점입니다.

해당 이슈에 대한 OpenAI 또한 문제를 인식하고 있는 듯 보입니다.

* 아래는 OpenAI의 답변 중 일부를 발췌했습니다.

ETC

사실 매번 코드를 작성하고 내가 원하는 작업이 정상적으로 동작하는 지 여부를 판단하는 것은 생각보다 직관적이지 못한 경우도 있고, 더욱 쉬운 방법이 있다면 굳이 해보지 않을 이유는 없죠?

직관적으로 내가 원하는 작업과 모델의 이용가능성을 Playground에서 확인해보시면 됩니다.

* Playground 활용 예시

https://platform.openai.com/playground?assistant=asst_uU2p7HUg96AC8NxjFhX4dR7X

OpenAI Platform

Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform.

platform.openai.com

* 자세한 활용 방안은 아래에 링크를 참조해주세요.

https://platform.openai.com/docs/assistants/overview

OpenAI Platform

Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform.

platform.openai.com