QNAP Ollama / Ipex-LLM / Docker tentatives d'utilisations

[Phildefer]

Bonjour,

Je souhaitais savoir si certains d'entre vous avaient déjà tenté l'expérience d'installer avec Docker Ollama sur son Nas ainsi que Open Web Ui qui apporte un enviro type ChatGPT en local.
J'ai moi même installé Ollama + Open WebUi sur mon 253D car ils sont très simples à configurer mais Ollama n'utilise pas le GPU intel de mon Nas et meme avec un Model minimaliste type Phil3 ça rame. J'ai vu qu'il existe un projet Ipex-LLM qui permet à Ollama d'utiliser le GPU intel mais par contre je ne comprends rien à la 'installation, donc si qqun a déjà tenté l'aventure je suis preneur de ses conseils.
Merci.

 

[Phildefer]

Finalement après plusieurs tests il se trouve que le GPU du 253D n'est pas compatible. Par contre il serait possible de le faire avec une machine équipée d'un Pentium et non d'un Celeron comme le TVS-h474. Si jamais qqun à l'occasion de le faire tenez moi au courant car je changerai peut de NAS si cela fonctionne. L'image et la procédure à suivre est ici : https://github.com/intel-analytics/...ocs/DockerGuides/docker_cpp_xpu_quickstart.md

En passant par container station il ne faut pas oublié d'ajouter DRI dans les devices de l'option avancée runtime
MErci.