B컷전문 | 개발과 인생의 이야기

2025년 5월 15일, Ollama는 자사의 블로그를 통해 새로운 멀티모달 모델 지원 엔진을 발표했습니다. 이제 Ollama를 통해 텍스트와 이미지를 동시에 처리할 수 있는 다양한 오픈소스 비전 모델을 로컬에서 실행할 수 있게 되었습니다.

 

---

 

Ollama의 멀티모달 지원: 무엇이 달라졌나?

 

기존에는 Ollama가 llama.cpp 기반으로 텍스트 중심의 모델 실행에 초점을 맞췄다면, 이번 업데이트를 통해 이미지와 텍스트를 함께 이해하고 추론할 수 있는 멀티모달 모델을 본격적으로 지원하게 되었습니다. 이를 위해 Ollama는 자체 엔진을 도입하여, 향후 음성, 비디오 등 다양한 모달리티 확장도 가능하도록 기반을 마련했습니다 .

 

---

 

지원되는 주요 멀티모달 모델

 

• Meta Llama 4 Scout: 109B 파라미터의 mixture-of-experts 구조를 가진 모델로, 이미지에 대한 상세한 설명과 위치 기반 질의 응답이 가능합니다.
• Google Gemma 3: 여러 이미지를 동시에 입력받아 공통 요소를 식별하거나, 이미지 간 관계를 추론할 수 있습니다.
• Qwen 2.5 VL: 문서 스캔, OCR, 수직 한자 해석 등 복잡한 비전-언어 작업에 적합한 모델입니다.
• Mistral Small 3.1: 경량화된 비전 모델로, 빠른 응답성과 효율성을 제공합니다.

 

---

 

실전 예시: Ollama로 멀티모달 모델 실행하기

ollama run llama4:scout
>>> 이 이미지에서 무엇을 볼 수 있나요? /Users/ollama/Downloads/image.png
>>> 이 건물은 스탠포드 대학교에서 얼마나 떨어져 있나요?
>>> 가장 빠르게 가는 방법은 무엇인가요?

또는 Gemma 3 모델을 사용하여 여러 이미지를 동시에 분석할 수 있습니다:

ollama run gemma3
>>> /Users/ollama/Downloads/img1.png /Users/ollama/Downloads/img2.png /Users/ollama/Downloads/img3.png /Users/ollama/Downloads/img4.png 이 네 이미지에 모두 등장하는 동물은 무엇인가요?
>>> 복싱 이미지에서 라마와 고래 중 누가 이길 가능성이 높나요?

 

---

 

Ollama의 새로운 엔진: 기술적 전환점

 

Ollama는 기존의 llama.cpp 기반에서 벗어나, GGML 텐서 라이브러리를 활용한 자체 엔진으로 전환하였습니다. 이를 통해 멀티모달 모델의 안정성과 정확성을 향상시키고, 향후 음성, 이미지 생성, 비디오 처리 등 다양한 모달리티 지원을 위한 기반을 마련하였습니다 .

 

---

 

결론: 로컬 AI의 새로운 시대

 

Ollama의 멀티모달 지원은 로컬 환경에서의 AI 활용 가능성을 크게 확장시켰습니다. 이제 개발자와 연구자들은 클라우드에 의존하지 않고도 고성능 멀티모달 모델을 로컬에서 실행하여, 개인화된 애플리케이션 개발이 가능해졌습니다.

 

---

 

🔗 참고 링크

 

• Ollama 공식 블로그: https://ollama.com/blog/multimodal-models
• Ollama 모델 라이브러리: https://ollama.com/models