A.I

Ollama로 로컬 AI 시작하기: 설치부터 API 연결까지

Ollama로 개인 컴퓨터에서 언어 모델을 실행하고 로컬 API와 개발 도구에 연결하는 절차, 데이터 경계와 복구 방법을 단계별로 정리합니다.

Ollama는 지원되는 언어 모델을 개인 컴퓨터에서 내려받아 실행하고, 터미널·로컬 HTTP API·코딩 도구에서 재사용할 수 있게 묶어 주는 도구입니다. 민감한 입력을 무조건 외부 서비스에 보내고 싶지 않거나 네트워크 지연 없이 작은 모델을 시험하려는 개발자에게 유용하지만, ‘로컬’이라는 말만으로 보안과 성능이 자동 보장되지는 않습니다.

무엇을 해결하나

모델별 실행 명령과 서버 구성을 직접 조합하는 대신 모델 다운로드, 실행, 로컬 API를 한 흐름으로 제공합니다. macOS·Windows·Linux를 지원하며 공식 라이브러리의 모델을 선택할 수 있습니다. 2026년 9월 13일 확인한 공식 저장소는 비공개 전환이나 보관 상태가 아니며 MIT 라이선스로 제공됩니다.

설치 전 확인

먼저 디스크 여유와 메모리를 확인하세요. 모델 파일은 수 GB 이상일 수 있고, 모델 규모가 커질수록 메모리 압박과 응답 지연이 커집니다. 회사 장비에서는 모델 라이선스, 프롬프트 저장 정책, 방화벽과 로컬 포트 노출 정책을 먼저 확인해야 합니다.

공식 다운로드 페이지에서 운영체제용 설치 프로그램을 사용합니다. Linux 수동 설치나 Docker가 필요하면 공식 설치 문서의 현재 명령을 우선하세요. 설치 후 터미널에서 다음처럼 확인합니다.

ollama --version
ollama

두 번째 명령은 대화형 메뉴를 열며 모델 실행과 도구 연결 항목을 제공합니다.

첫 모델 실행

공식 빠른 시작 기준으로 모델을 실행하는 기본 흐름은 다음과 같습니다. 모델 이름은 장비 성능과 사용 목적에 맞춰 라이브러리에서 고르세요.

ollama run gemma3

처음에는 모델을 내려받느라 시간이 걸립니다. 실행 후 간단한 질문을 입력하고, 종료한 뒤 ollama list로 내려받은 모델을 확인할 수 있습니다.

API로 연결하기

Ollama는 기본적으로 로컬의 11434 포트에서 API를 제공합니다. 아래 예시는 대화 요청의 최소 형태입니다.

curl http://localhost:11434/api/chat -d '{
  "model": "gemma3",
  "messages": [{"role": "user", "content": "이 문장을 세 줄로 요약해줘"}],
  "stream": false
}'

애플리케이션에서는 응답 시간, 최대 컨텍스트, 동시 요청 수를 측정한 뒤 모델을 선택하세요. 로컬 API를 외부 인터페이스에 바인딩하면 같은 네트워크의 다른 기기에서 접근할 수 있으므로 인증 없는 공개 노출은 피해야 합니다.

실제 활용 예시

내부 Markdown 문서를 외부로 보내지 않고 요약하는 작은 도구를 만들 수 있습니다. 애플리케이션이 파일을 읽고 필요한 문단만 로컬 API에 전달하도록 하면 데이터 범위를 통제하기 쉽습니다. 다만 모델 출력에는 오류가 있을 수 있으므로 원문 링크와 검토 절차를 유지해야 합니다.

Ollama의 빠른 시작은 ollama launch codex, ollama launch claude 같은 통합도 안내합니다. 통합을 쓰기 전에는 해당 도구가 어떤 모델과 권한으로 파일에 접근하는지 확인하세요.

설정과 데이터 경계

모델과 캐시는 로컬 저장 공간을 사용합니다. 저장 위치를 옮기거나 서버를 네트워크에 공개하는 설정은 운영체제별 차이가 있으므로 FAQ와 설치 문서를 확인합니다. 로컬 실행이어도 사용자가 별도의 웹 검색·원격 도구를 연결하면 그 단계의 데이터는 외부로 나갈 수 있습니다. ‘모델 추론 위치’와 ‘전체 워크플로의 데이터 흐름’을 구분해야 합니다.

흔한 문제

명령을 찾지 못하면 앱 설치 여부와 셸 PATH를 확인합니다.
모델 다운로드가 멈추면 저장 공간, 프록시, 방화벽을 확인합니다.
응답이 지나치게 느리면 더 작은 양자화 모델을 선택하고 다른 메모리 사용 앱을 종료합니다.
API 연결이 거부되면 Ollama 앱이나 서버 프로세스가 실행 중인지, 요청 주소가 localhost:11434인지 확인합니다.

제거와 복구

필요하지 않은 모델은 먼저 목록을 확인한 뒤 ollama rm 모델명으로 지울 수 있습니다. 앱 전체 제거와 모델 저장 폴더 정리는 운영체제별 공식 문서를 따르세요. 프로젝트에서는 기존 클라우드 모델 설정을 바로 삭제하지 말고 별도 브랜치나 환경 변수로 전환해 품질과 속도를 비교한 뒤 되돌릴 수 있게 유지하는 편이 안전합니다.

이 글의 명령은 2026년 9월 13일 공식 문서 기준이며 이 환경에서 직접 실행하지 않았습니다.