Ollama로 Docker에서 Open-WebUI 설치 및 사용하기

최근 인공지능(AI) 기술이 발전함에 따라 개인이나 그룹이 사용할 수 있는 챗봇 솔루션에 대한 관심이 높아지고 있습니다. 특히, 인터넷 환경이 필요하지 않은 로컬 기반의 솔루션을 찾는 분들이 많습니다.

이러한 요구에 부응하기 위해 Ollama와 Open-WebUI를 활용하여 Docker 환경에서 챗봇을 설치하고 사용하는 방법에 대해 자세히 알아보겠습니다.

Docker 설치 및 환경 설정

Docker는 소프트웨어를 컨테이너로 패키징하여 효율적으로 실행할 수 있도록 돕는 플랫폼입니다. Docker를 이용하면 다양한 환경에서 애플리케이션을 일관되게 실행할 수 있습니다.

먼저, Docker를 설치하기 위해서는 공식 웹사이트에서 본인의 운영 체제에 맞는 설치 파일을 다운로드 받아야 합니다.

Docker 다운로드하기

1. Docker 공식 웹사이트에 접속합니다.
2. 상단 메뉴에서 "Get Started" 또는 "Download" 버튼을 클릭하여 설치 페이지로 이동합니다.
3. 사용 중인 운영 체제(Windows, macOS, Linux)에 맞는 설치 파일을 다운로드합니다.
4. 다운로드한 파일을 실행하여 설치 과정을 완료합니다.

Docker 설치 후 확인

설치가 완료되면 Docker가 정상적으로 작동하는지 확인해야 합니다. 아래의 명령어를 터미널이나 명령 프롬프트에 입력하여 확인할 수 있습니다.

bash docker --version

이 명령어를 입력했을 때 Docker의 버전 정보가 출력되면 성공적으로 설치된 것입니다.

항목	설명
다운로드 링크	Docker 공식 웹사이트
확인 명령어	docker --version
지원 운영 체제	Windows, macOS, Linux

Ollama 설치하기

Ollama는 개인 PC에서 AI 모델을 쉽게 실행할 수 있도록 도와주는 툴입니다. Ollama를 사용하면 LLM(대형 언어 모델)을 손쉽게 다운로드하고 사용할 수 있습니다.

Ollama를 설치하기 위해서는 다음 단계를 따르시면 됩니다.

Ollama 다운로드 및 설치

1. Ollama의 공식 웹사이트에 접속합니다.
2. 설치 방법에 대한 안내를 확인하고, 해당 지침에 따라 설치를 진행합니다.
3. 설치가 완료되면 ollama 명령어를 통해 설치가 제대로 되었는지 확인합니다.

Ollama 확인하기

설치가 완료되었는지 확인하기 위해 아래의 명령어를 입력합니다.

bash ollama --version

이 명령어를 통해 Ollama의 버전 정보가 출력되면 성공적으로 설치된 것입니다.

항목	설명
확인 명령어	ollama --version
설치 링크	Ollama 공식 웹사이트

다른 내용도 보러가기 #1

Open-WebUI 설치하기

Open-WebUI는 Ollama와 함께 사용하여 AI 챗봇을 위해 웹 기반의 사용자 인터페이스를 제공하는 프레임워크입니다. Open-WebUI를 설치하려면 아래의 단계를 따라 주시기 바랍니다.

파이썬 및 Open-WebUI 설치

Open-WebUI는 파이썬에서 작동하는 애플리케이션이므로, Python 3.11 이상의 버전이 필요합니다. 또한, pip를 사용하여 Open-WebUI를 설치할 수 있습니다.

1. 파이썬이 설치되어 있는지 확인합니다. 아래 명령어를 입력하여 확인할 수 있습니다.

bash python --version

1. 파이썬이 설치되어 있지 않다면, 파이썬 공식 웹사이트에서 다운로드하여 설치합니다.
2. 이제 Open-WebUI를 설치하기 위해 아래의 명령어를 입력합니다.

bash pip install open-webui

Open-WebUI 확인하기

설치가 완료되면 Open-WebUI가 정상적으로 작동하는지 확인합니다. 아래의 명령어를 입력하여 Open-WebUI를 실행합니다.

bash open-webui

이 명령어를 입력하면 서버가 실행되며, 기본적으로 8080 포트에서 서비스가 제공됩니다.

항목	설명
확인 명령어	open-webui
설치 명령어	pip install open-webui
기본 포트	8080

Docker에서 Open-WebUI 실행하기

Docker를 사용하여 Open-WebUI를 실행하면, 로컬 환경에서 안전하게 챗봇을 사용할 수 있습니다. Docker 컨테이너를 생성하고 실행하는 방법에 대해 알아보겠습니다.

Docker 컨테이너 생성

1. 터미널에서 아래의 명령어를 입력하여 Docker 컨테이너를 생성합니다.

bash docker run -d --name My_GPT -p 3000:8080 open-webui

이 명령어는 Open-WebUI를 실행하는 Docker 컨테이너를 생성하고, 이를 My_GPT라는 이름으로 지정합니다.

컨테이너 상태 확인

컨테이너의 상태를 확인하기 위해 Docker Desktop을 열거나 아래의 명령어를 입력합니다.

bash docker ps

이 명령어를 통해 현재 실행 중인 컨테이너 목록을 확인할 수 있습니다.

항목	설명
컨테이너 이름	My_GPT
포트 매핑	3000 (호스트) → 8080 (컨테이너)
상태 확인 명령어	docker ps

Open-WebUI 접속하기

Open-WebUI가 실행되고 나면, 웹 브라우저를 통해 접속할 수 있습니다. 아래의 방법으로 접속해 보시기 바랍니다.

웹 브라우저에서 접속

1. 웹 브라우저를 열고, 아래의 주소를 입력합니다.

http://localhost:3000/

1. Open-WebUI의 화면이 나타나면, 관리자 계정을 생성하고 설정을 완료합니다.

기능 및 설정

Open-WebUI는 사용자가 다양한 AI 모델을 선택하고, 이를 통해 대화를 나눌 수 있는 기능을 제공합니다. 설정 메뉴를 통해 API 키를 입력하거나, 모델을 업데이트하는 등의 작업을 수행할 수 있습니다.

항목	설명
접속 주소	http://localhost:3000/
관리자 계정 생성	초기 설정 과정에서 진행
기능	다양한 AI 모델 선택 가능

다른 내용도 보러가기 #2

모델 선택 및 설정

Open-WebUI에서는 사용자가 원하는 AI 모델을 선택할 수 있으며, 이를 통해 다양한 대화를 나눌 수 있습니다. 모델을 선택하고 설정하는 방법에 대해 알아보겠습니다.

모델 선택하기

1. Open-WebUI에 접속한 후, 사용 가능한 모델 목록을 확인합니다.
2. 원하는 모델을 선택하고, 대화를 시작합니다.

API 설정하기

API 설정 메뉴를 통해 OpenAI API 키를 입력하면, 추가적인 GPT 모델을 사용할 수 있습니다. 이 기능을 통해 더 많은 선택지를 제공받을 수 있습니다.

항목	설명
모델 선택 방법	웹 UI에서 직접 선택
API 설정 방법	설정 메뉴에서 API 키 입력

추가적인 활용 방안

Open-WebUI와 Ollama를 결합하여 개인의 필요에 맞는 AI 챗봇 솔루션을 구축할 수 있습니다. 또한, Hugging Face와 같은 플랫폼을 통해 다양한 모델을 추가로 다운로드하여 사용할 수 있습니다.

Hugging Face 모델 다운로드

Hugging Face에서는 여러 가지 모델을 제공하고 있으며, Ollama와 함께 사용할 수 있습니다. 이를 통해 사용자 맞춤형 AI 챗봇을 개발할 수 있습니다.

항목	설명
다운로드 플랫폼	Hugging Face
모델 종류	다양한 LLM 모델

이와 같은 과정을 통해 Docker에서 Open-WebUI를 설치하고 사용할 수 있으며, 개인의 필요에 맞는 AI 챗봇 솔루션을 손쉽게 구축할 수 있습니다.

관련 영상

같이 보면 좋은 글