UGREEN [Docker/Ollama] installation de Ollama via docker sur DXP4800+

[pticle94]

Merci à tous pour vos retours et expérimentations.
J'ai essayé ollama mais je trouve ça effectivement trop long, quelque soit le modèle utilisé...

J'ai vu que Google propose la Google Coral en usb pour améliorer la reconnaissance des vidéos dans Frigate.
Vous pensez que c'est possible de l'utiliser également pour ollama ?

 

[FX Cachem]

Hello,

J'avais rédigé un tuto sur le sujet pour les NAS Synology en avril dernier : https://www.cachem.fr/chatgpt-synology/ J'avais fait quelques recommandations de modèles. Je l'utilise toujours ponctuellement.
Il faut avouer que sans GPU, le résultat est assez moyen sur les gros modèle. Par contre, il existe certains qui sont assez léger et donc rapide. La qualité des réponses de Gemma est là, mais il est lent (chez moi)... Phi3 est plus rapide, mais pas sans petit défaut.

Sinon, je me posais une question : pourquoi télécharger les modèles à l'aide de la commande dans le YML plutôt que l'interface d'administration ?

 

[Frank-Pomme]

pourquoi télécharger les modèles à l'aide de la commande dans le YML plutôt que l'interface d'administration

j'ai modifié et supprimé dans mon YML et je sélectionne directement sur la page, c'est en faite plus simple pour le choix.

Les modèles que j'utilise:

 

[PackTu]

Hello,

Merci à tous pour vos retours et expérimentations.
J'ai essayé ollama mais je trouve ça effectivement trop long, quelque soit le modèle utilisé...

J'ai vu que Google propose la Google Coral en usb pour améliorer la reconnaissance des vidéos dans Frigate.
Vous pensez que c'est possible de l'utiliser également pour ollama ?

Malheureusement non, les développeurs ont privilégié les config genre PC Windows, linux avec docker pour utiliser les cartes graphiques Nvidia et AMD pour HW accélération.