Cara Memasang dan Menjalankan LLaVA Vision Model di Docker untuk Project Deteksi Objek

Menjalankan LLaVA di dalam container Docker memastikan aplikasi Anda portabel dan mudah dideploy di server staging maupun production. Berikut panduan konfigurasinya.

Langkah 1: Siapkan Docker Compose File

Buat file baru bernama docker-compose.yml di direktori proyek Anda dan masukkan konfigurasi layanan Ollama yang memuat LLaVA berikut:

version: '3.8'
services:
  ollama-vision:
    image: ollama/ollama:latest
    container_name: ollama-vision
    ports:
      - "11435:11434"
    volumes:
      - ollama_storage:/root/.ollama
    restart: always

volumes:
  ollama_storage:

Langkah 2: Jalankan Container dan Unduh Model LLaVA

Jalankan container dengan perintah berikut di terminal Anda:

docker-compose up -d

Setelah container aktif, unduh model LLaVA ke dalam container tersebut menggunakan perintah eksekusi terminal:

docker exec -it ollama-vision ollama run llava

Langkah 3: Uji Coba Analisis Gambar via API

Kirim gambar menggunakan Python atau cURL ke endpoint API lokal untuk dianalisis oleh LLaVA:

curl http://localhost:11435/api/generate -d '{
  "model": "llava",
  "prompt": "Deskripsikan objek apa saja yang ada di gambar ini?",
  "images": ["/9j/4AAQSkZJRg... (base64 string gambar Anda)"],
  "stream": false
}'

Container LLaVA Anda kini aktif sebagai API server deteksi gambar mandiri!