최근 인공지능 분야에서 주목받는 두 가지 오픈소스 프로젝트인 Llama 3.2와 Ollama를 활용하여 개인 PC에서 AI 모델을 설치하고 실행하는 방법을 소개합니다. 이 글에서는 Llama 3.2와 Ollama의 특징을 살펴보고, Ollama를 통해 Llama 3.2를 설치하는 과정을 단계별로 안내하겠습니다.
겁내지 말고 들어와! 들어와!
Llama 3.2와 Ollama 소개
Llama 3.2는 Meta에서 개발한 최신 대규모 언어 모델(LLM)로, 자연어 처리 분야에서 뛰어난 성능을 보입니다. 이 모델은 다양한 크기(예: 1B, 3B 파라미터)로 제공되어, 사용자의 필요와 시스템 사양에 맞게 선택할 수 있습니다.
Llama 3.1이 메타의 최신 모델로 유명했는데 발표 후 2개월인 24년 9월에 Llama 3.2이 발표되었습니다!
새로운 모델인 Llama 3.2를 사용하면 개발자는 비디오에 대한 실시간 이해를 제공하는 증강 현실 앱, 콘텐츠에 따라 이미지를 정렬하는 시각적 검색 엔진, 긴 텍스트를 요약해 주는 문서 분석 등 더욱 고급 AI 애플리케이션을 만들 수 있습니다.
Llama 3.2에는 두 개의 비전 모델(110억 개의 매개변수와 900억 개의 매개변수 포함)과 두 개의 가벼운 텍스트 전용 모델(10억 개의 매개변수와 30억 개의 매개변수 포함)이 포함되어 있습니다.
오늘 본 기사에서 같이 인스톨해 볼 것은 30억 개 매개변수(모델 용량 2기가바이트) 텍스트 모델입니다.
Llama 3.2 - Vision 모델은 110억개 매개변수 모델도 8기가 용량으로
PC에 설치된다 해도 실제 사용에는 메모리등 벅찰 수 있습니다.
Ollama는 로컬 환경에서 대규모 언어 모델을 쉽게 실행할 수 있도록 지원하는 오픈소스 도구입니다. 이를 통해 사용자는 복잡한 설정 없이도 Llama 3.2와 같은 모델을 개인 PC에서 직접 실행하고 활용할 수 있습니다.
Ollama를 통한 Llama 3.2 설치 방법
이제 Ollama를 활용하여 Llama 3.2를 설치하는 과정을 단계별로 살펴보겠습니다.
1. Ollama 설치
먼저, Ollama를 설치해야 합니다. Ollama는 Windows, macOS, Linux 등 다양한 운영체제를 지원합니다. 각 운영체제에 맞는 설치 파일을 Ollama 공식 웹사이트에서 다운로드하여 설치를 진행합니다.
다음 Ollama 홈페이지 접속해서 Ollama를 다운로드 해 주세요.
Ollama
Get up and running with large language models.
ollama.com
다운로드 버튼이 표시되면 클릭해 줍니다.
OS선택 화면이 표시되면 자신의 PC에 맞는 OS를 선택하여 파일을 다운로드합니다.
OllamaSetup.exe라는 파일이 다운로드되며, 용량은 764mb 정도 되네요.
설치법은 단순해서 인스톨 버튼만 클릭하면 됩니다.
인스톨이 완료되면 터미널 창이 표시되며 다음과 같이 웰컴 메시지를 볼 수 있습니다.
Welcome to Ollama!
Run your first model:
ollama run llama3.2
ollama
명령어를 입력하면 사용법을 알 수 있습니다.
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
stop Stop a running model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
2. Llama 3.2 모델 다운로드
Ollama 설치가 완료되면, 터미널(또는 명령 프롬프트)을 열고 다음 명령어를 입력하여 Llama 3.2 모델을 다운로드합니다:
ollama run llama3.2:3b
명령어는 ollama 홈페이지 접속하여 선택할 수도 있습니다.
library
Get up and running with large language models.
ollama.com
모델을 확인하고 오른쪽 복사 아이콘을 클릭하면 명령어가 복사됩니다.
다시 돌아와서 Llama 모델이 다운로드되면 실행도 자동으로 됩니다.
Llama 3.2는 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 총 8개 언어를 지원합니다.
영어, 한국어, 일본어로 테스트해 보았습니다.
영어! 보시는 것과 같이 무난한 AI 인증 답변이 돌아왔네요.
한국어!? 영어와 한국어, 그리고 유저인 저를 말하는 것 같은데 문자가 깨진 것인지..
일본어?? 질문을 너무 어렵게 했나요?비슷한 말을 몇 번이나 반복해서 답변하니 살짝 무서워지네요... ㅎ
Llama 3.2 모델 실행
터미널 닫으면 Llama는 종료되고 다시 기동시킬 때는 터미널 열고 아래 명령어를 입력하세요!
ollama run llama3.2
이러한 과정을 통해 복잡한 설정 없이도 개인 PC에서 Llama 3.2 모델을 활용할 수 있습니다.
어때요? 생각보다 쉽고 간단하게 PC에 Llama 설치가 가능하지요!
좋았다면 하트 한 번씩 눌러 주세요!
'AI로 한계 돌파 > 프롬프트 엔지니어링' 카테고리의 다른 글
| ChatGPT 잡는 최강 LLM 출현! 클라우드2(Claude2)?! (5) | 2023.10.30 |
|---|---|
| [ChatGPT] 챗GPT의 사악한 쌍둥이 BratGPT! (0) | 2023.05.22 |
| 우리 아이 집에서 손쉽게 더구나 무료로 외국어 회화 시키기 (0) | 2023.04.21 |
| 한국어로 이미지 생성. 그것도 카톡에서. 챗gpt도 쓰면서(feat. AskUp) (0) | 2023.04.12 |
| [챗GPT와 대화하는 법] 유시민 작가 스타일로 배우는 질문 작성 원칙 (0) | 2023.04.10 |
