UGREEN [Docker/Ollama] installation de Ollama via docker sur DXP4800+

[pticle94]

Merci à tous pour vos retours et expérimentations.
J'ai essayé ollama mais je trouve ça effectivement trop long, quelque soit le modèle utilisé...

J'ai vu que Google propose la Google Coral en usb pour améliorer la reconnaissance des vidéos dans Frigate.
Vous pensez que c'est possible de l'utiliser également pour ollama ?

 

[FX Cachem]

Hello,

J'avais rédigé un tuto sur le sujet pour les NAS Synology en avril dernier : https://www.cachem.fr/chatgpt-synology/ J'avais fait quelques recommandations de modèles. Je l'utilise toujours ponctuellement.
Il faut avouer que sans GPU, le résultat est assez moyen sur les gros modèle. Par contre, il existe certains qui sont assez léger et donc rapide. La qualité des réponses de Gemma est là, mais il est lent (chez moi)... Phi3 est plus rapide, mais pas sans petit défaut.

Sinon, je me posais une question : pourquoi télécharger les modèles à l'aide de la commande dans le YML plutôt que l'interface d'administration ?

 

[Frank-Pomme]

pourquoi télécharger les modèles à l'aide de la commande dans le YML plutôt que l'interface d'administration

j'ai modifié et supprimé dans mon YML et je sélectionne directement sur la page, c'est en faite plus simple pour le choix.

Les modèles que j'utilise:

 

[PackTu]

Hello,

Merci à tous pour vos retours et expérimentations.
J'ai essayé ollama mais je trouve ça effectivement trop long, quelque soit le modèle utilisé...

J'ai vu que Google propose la Google Coral en usb pour améliorer la reconnaissance des vidéos dans Frigate.
Vous pensez que c'est possible de l'utiliser également pour ollama ?

Malheureusement non, les développeurs ont privilégié les config genre PC Windows, linux avec docker pour utiliser les cartes graphiques Nvidia et AMD pour HW accélération.

 

[morgyann]

@PackTu Merci pour ton compose Ollama - il fonctionne merveilleusement bien (et j'ai testé pas mal de configs).

 

[PackTu]

Hello,

Content que ce fut utile, c'était le but, juste dommage que la partie HW ne fonctionne pas en IGPU.

 

[TractoGrowl]

Bonjour !

Je viens de tomber sur ce thread par hasard en cherchant à optimiser ma config Ollama + Open WebUI.

Pour info, la sortie des nouveaux modèles de Google (Gemma4) on peut enfin utiliser ça sur le NAS sans trop de lenteur, en particulier pour les versions e2b et e4b qui en plus sont multimodaux (entrée possible de texte, image ou audio) et ont un système de réflexion.

Après quelques tests ceux-ci sont vraiment efficace pour de l'OCR, des snippets de code ou de la rédaction. Je commence à les utiliser pour extraire les informations de documents structurés (rapports, bulletins de salaire, etc.) et créer des automatisations avec n8n.

Si cela peut aider certains, voici mon docker compose pour ma stack IA contenant Ollama et Open Webui. La partie "labels" me permet de gérer les accès avec Traefik (reverse proxy, DNS).

Docker Compose

x-log: &log
  driver: json-file
  options:
    max-size: "10m"
    max-file: "3"

x-hc-defaults: &hc
  interval: 30s
  timeout: 5s
  retries: 10
  start_period: 90s

services:
  ollama:
    image: ollama/ollama:${OLLAMA_VERSION}
    container_name: ollama
    environment:
      TZ: ${TZ}
      OLLAMA_HOST: 0.0.0.0:11434
      # stabilité / perfs CPU
      OLLAMA_NUM_PARALLEL: "1"
      OLLAMA_MAX_LOADED_MODELS: "2"
      OLLAMA_NUM_THREADS: "6"

      # verrouillage CPU
      GGML_VK_VISIBLE_DEVICES: "-1"
    volumes:
      - /volume1/docker/ai_stack/ollama:/root/.ollama:rw
    healthcheck:
      test: [ "CMD", "ollama", "list" ]
      <<: *hc
    security_opt:
      - no-new-privileges:true
    cap_drop:
      - ALL
    networks:
      ai_net: {}
    ulimits:
      nofile: 65535
    init: true
    logging: *log
    restart: unless-stopped

  open-webui:
    image: ghcr.io/open-webui/open-webui:${OPENWEBUI_VERSION}
    container_name: open-webui
    depends_on:
      ollama:
        condition: service_started
    environment:
      TZ: ${TZ}
      OLLAMA_BASE_URL: http://ollama:11434
      WEBUI_URL: https://${OPENWEBUI_HOST}
      WEBUI_SECRET_KEY: ${WEBUI_SECRET_KEY}
    volumes:
      - /volume1/docker/ai_stack/open-webui:/app/backend/data:rw
    healthcheck:
      test: [ "CMD-SHELL", "python3 -c \"import urllib.request,sys; sys.exit(0 if urllib.request.urlopen('http://127.0.0.1:8080/health', timeout=5).status < 500 else 1)\" || exit 1" ]
      <<: *hc
    security_opt:
      - no-new-privileges:true
    cap_drop:
      - ALL
    networks:
      ai_net: {}
      edge_proxy: {}
    labels:
      - traefik.enable=true
      - traefik.docker.network=edge_proxy
      - traefik.http.routers.openwebui.tls.certresolver=ionosdns
      - traefik.http.routers.openwebui.rule=Host(`${OPENWEBUI_HOST}`)
      - traefik.http.routers.openwebui.entrypoints=websecure
      - traefik.http.routers.openwebui.tls=true
      - traefik.http.routers.openwebui.service=openwebui-svc
      # Accès privé & VPN Wireguard par défaut
      - traefik.http.routers.openwebui.middlewares=chain-private@file
      - traefik.http.services.openwebui-svc.loadbalancer.server.port=8080
    init: true
    logging: *log
    restart: unless-stopped

networks:
  ai_net:
    driver: bridge
    name: ai_net
    internal: true

  edge_proxy:
    external: true
    name: edge_proxy

Fichier .env :

TZ=Europe/Paris
OLLAMA_VERSION=0.21.2
OPENWEBUI_VERSION=v0.9.2
OPENWEBUI_HOST=ai.exemple.fr
WEBUI_SECRET_KEY=XXXXXXXXXXXXXXXXXXXXXXXXXXXX

Si certaines personnes ont des conseils pour le paramétrage des modèles, je suis preneur !

P.S. pour ceux qui veulent avoir accès à des modèles plus lourds pour certaines tâches (non sensibles en termes de données), vous pouvez créer un compte sur OpenRouter et avoir quelques crédits gratuits pour tester d'autres modèles. Cela est aussi possible avec Google en se connectant à l'AI Studio.