Ollama: Công cụ hỗ trợ Triển khai Ứng dụng LLM nội bộ

# Tạo thư mục để lưu trữ dữ liệu Ollama
mkdir -p ~/ollama-data

# Chạy container Ollama
docker run -d \
  --name ollama \
  -p 11434:11434 \
  -v ~/ollama-data:/root/.ollama \
  --gpus all \  # Bỏ dòng này nếu không có GPU
  ollama/ollama

# Sử dụng thông qua Docker exec
docker exec -it ollama ollama pull tinyllama

# Hoặc truy cập API từ bên ngoài container
curl -X POST http://localhost:11434/api/pull -d '{"name": "tinyllama"}'

docker exec -it ollama ollama run tinyllama "Viết một đoạn code Python đơn giản để tính giai thừa"

mkdir ollama-demo
cd ollama-demo

fastapi
uvicorn
httpx
python-dotenv

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
import httpx
import os
from typing import List, Dict, Any

app = FastAPI(title="Ollama AI Assistant")

# Cấu hình kết nối Ollama
OLLAMA_HOST = os.getenv("OLLAMA_HOST", "http://localhost:11434")
DEFAULT_MODEL = os.getenv("DEFAULT_MODEL", "tinyllama")

class Message(BaseModel):
    role: str
    content: str

class ChatRequest(BaseModel):
    messages: List[Message]
    model: str = DEFAULT_MODEL
    temperature: float = 0.7
    
class ChatResponse(BaseModel):
    response: str
    model: str
    
@app.get("/")
def read_root():
    return {"status": "online", "service": "Ollama AI Assistant"}

@app.get("/models")
async def list_models():
    """Liệt kê các mô hình có sẵn trong Ollama"""
    async with httpx.AsyncClient() as client:
        try:
            response = await client.get(f"{OLLAMA_HOST}/api/tags")
            return response.json()
        except Exception as e:
            raise HTTPException(status_code=500, detail=f"Không thể kết nối đến Ollama: {str(e)}")

@app.post("/chat", response_model=ChatResponse)
async def chat(request: ChatRequest):
    """Gửi tin nhắn đến mô hình và nhận phản hồi"""
    payload = {
        "model": request.model,
        "messages": [{"role": m.role, "content": m.content} for m in request.messages],
        "temperature": request.temperature
    }
    
    async with httpx.AsyncClient() as client:
        try:
            response = await client.post(f"{OLLAMA_HOST}/api/chat", json=payload)
            if response.status_code != 200:
                raise HTTPException(status_code=response.status_code, 
                                   detail=f"Ollama API error: {response.text}")
            
            result = response.json()
            return {
                "response": result["message"]["content"],
                "model": request.model
            }
        except httpx.RequestError as e:
            raise HTTPException(status_code=500, 
                               detail=f"Lỗi kết nối đến Ollama: {str(e)}")

if __name__ == "__main__":
    import uvicorn
    uvicorn.run("main:app", host="0.0.0.0", port=8000, reload=True)

FROM python:3.11-slim

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY main.py .

CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"]

version: '3'

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    volumes:
      - ollama_data:/root/.ollama
    ports:
      - "11434:11434"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  api:
    build: .
    container_name: ollama-api
    environment:
      - OLLAMA_HOST=http://ollama:11434
      - DEFAULT_MODEL=tinyllama
    ports:
      - "8000:8000"
    depends_on:
      - ollama

volumes:
  ollama_data:

# Build và chạy các container
docker-compose up -d

# Đảm bảo mô hình được tải vào Ollama
docker-compose exec ollama ollama pull tinyllama

curl -X POST http://localhost:8000/chat \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [
      {"role": "user", "content": "Viết một hàm JavaScript để tìm số lớn nhất trong mảng"}
    ],
    "model": "tinyllama",
    "temperature": 0.7
  }'