Llama 3은 8B, 70B의 두 종 (각 종별 2가지로 총 4가지)의 소형 버전 뿐이었더라면, 이번(3.1)에는 매개변수 4,050억개짜리 Llama 3.1 405B 모델이 포함되어 있습니다.
이 모델은 ‘공개된’ 모델 중 최대 규모의 모델로서, GPT-4, Claude 3.5 Sonnet 등의 폐쇄형 모델 (Closed Model)과 대등한 성능을 보이는 것으로 알려져 있습니다.
간단하게 모델 다운로드 및 설정 절차에 대해 이번 포스트에서는 알아봅시다.
모델 다운로드
공식 다운로드 홈페이지가 있긴 한데, 여기저기 들어가야하는 번거로움이 있으니 Huggingface에서 받아줍시다.
개인 정보 입력하고 제출합니다.
Ollama
Quantized llama을 providing하는 ollama에도 역시 빠르게 llama3.1이 올라왔습니다.
https://ollama.com/library/llama3.1
llama3.1
Llama 3.1 is a new state-of-the-art model from Meta available in 8B, 70B and 405B parameter sizes.
ollama.com
하드웨어의 한계로 인해.. Quantized model을 써야하는 저같은 분들을 위한 글이 될겁니다..
Ollama 사용법은 아래와 같습니다!
macOS
1. 다운로드: Ollama https://ollama.com/library/llama3.1 macOS용 파일을 다운로드합니다.
2. 압축 해제: 다운로드한 zip 파일의 압축을 풉니다.
3. 폴더 이동: 터미널을 열고 압축 해제한 폴더로 이동합니다.
4. 실행: 다음 명령어를 입력하여 Ollama를 실행합니다:
./ollama
Linux
1. 터미널 실행: 터미널을 열고 아래 명령어를 입력합니다:
curl -fsSL https://ollama.com/install.sh | sh
Docker
1. 공식 Docker 이미지 사용: 공식 Docker 이미지 `ollama/ollama`를 사용할 수 있습니다. Docker를 설치한 후, 아래 명령어를 사용하여 Ollama를 실행합니다:
docker run ollama/ollama
실행
ollama run llama3.1