Proxmox proxmox ou retour à omv

[Nincha]

Hello!
Je viens de me monter ma nouvelle machine (i3 12100, 16g, ds3h b660m) server/nas, et je suis parti d'office sur proxmox.
Attrait de la nouveauté je pense. J'ai déjà un mini pc qui tourne sur proxmox sans soucis, mais sans données particulières à manipuler (homeassistant, swag, adguard...)
MAIS
Plusieurs questions avant d'aller plus loin dans la config:

• je vais réutiliser les disques de data qui tournaient sur OMV (vidéos, musiques, documents, etc) et les répertoires qu'ils contiennent doivent être partagés entre plusieurs containers. Exemple les vidéos, qui doivent être accessibles évidemment pour Jellyfin, mais aussi pour Nextcloud, voir pour d'autres containers. Si je veux par exemple un lxc pour nextcloud, et un autre pour jellyfin, j'ai un peu de mal à voir comment partager facilement le dossier vidéos entre ces deux lxc. Je voudrai éviter de devoir passer par Samba, ma précédente expérience de Nextcloud et les "external storage" smb, je trouvai pas ça réactif...
• la maintenance de chaque container lxc... Venant d'OMV, j'avais juste à mettre à jour le système omv, et pour les containers docker j'avais watchtower. De ce que j'ai compris jusque là, pour avoir un lxc spécifique à un usage (mettons nextcloud), je dois charger un template debian12, puis lui claquer docker, puis installer des containers docker (nextcloud/mariadb etc). Du moins c'est comme ça que j'ai procédé sur mon autre proxmox pour swag/adguard. Je peux bien réaliser un template debian 12 custom avec docker installé, et portainer agent, mais ça n'empèche qu'il faudra que je me coltine la mise à jour régulière de CHAQUE container lxc en plus des maj des dockers qu'ils contiennent. Par rapport à OMV ça fait une couche supplémentaire non négligeable à gérer, avec une maintenance qui augmente selon le nombre de lxc que je déploie.

Concrètement, voici l'archi de mes disques et les services qui doivent y avoir accès:

• IronWolf 4To: Films / Nextcloud - Jellyfin - Samba
• WDRed 4To: Séries / Nextcloud - Jellyfin - Samba
• Vieux nanard 200Go: Downloads / Nextcloud - Samba - Jdownloader
• Vieux nanard 220Go: Musique / Nextcloud - Samba - Jellyfin
• OCZ1To ssd: Docker! / obvious-> tous les containers

En plus, je vais déployer un gitlab, un wireguard, un duplicati, teamspeak, heimdall, deemix, paperless-ngx...

Bref, avec un peu de recul, je pense que Proxmox n'est peut être pas le plus judicieux pour mon usage, en plus de me rajouter une couche de maintenance assez importante (hormis en jouant du CRON pour les ap update/upgrade...

J'en avais déjà discuté un peu avec @EVOTk qui semblait dubitatif sur l'usage de proxmox pour mon cas.
Les retours d'expérience de @Bambusa29 m'avaient bien tenté pour le switch OMV/proxmox, surtout avec la gestion des alias et du firewall qui sont un vrai bonheur.
Mais là c'est plus la gestion des data déjà existantes qui me semble compliquée..

Qu'en pensez vous ?

 

[pierre liths]

En effet, installer Docker sur un conteneur LXC n'est pas le plus opportun. Tu peux directement installer Nextcloud sur un conteneur LXC, c'est le but. LXC est une alternative à Docker. Il existe directement dans Proxmox des template avec Nextcloud (très probablement basé sur un debian) par exemple. Ces Template de Proxmox viennent de https://www.turnkeylinux.org/
Cf ma capture d'écran, en quelques clics tu peux déployer un conteneur LXC

Ou bien tu peux créer des conteneur LXC via une ligne de commande, ce site est pas mal du tout : https://tteck.github.io/Proxmox/ pour installer des conteneurs LXC, il y a plusieurs versions de Nextcloud également.

Je ne sais pas si c'est ce que tu avais prévu de faire, mais tu peux également installer OMV sur une VM dans Proxmox pour gérer tes disques durs. Pour la partie partage des fichiers, je ne peux pas te répondre, je suis intéressé par les réponses également.

 

[Nincha]

En effet, installer Docker sur un conteneur LXC n'est pas le plus opportun. Tu peux directement installer Nextcloud sur un conteneur LXC, c'est le but. LXC est une alternative à Docker.

c'est bien ce que je me disais que ça me paraissait crade de remettre du docker sur un lxc. Dans mes recherches il m'avait semblé comprendre que LXC était une sorte de protocole/standard sur lequel se basait les containers docker aussi, donc je comprenais pas trop les tutos qui disait de mettre docker un lxc debian. Au moins tu confirmes ça me rassure.
Comment sont gérées les mises à jour de ces lxc ? Je recharge le template à jour, et je peux redéployer mon lxc facilement, un peu comme les systèmes de tag docker ? Ou c'est plus compliqué que ça ?

 

[pierre liths]

En fait, je connais très mal docker, du coup je ne peux pas te dire si c'est plus complexe. En tout cas, la mise à jour peux se faire en ligne de commande à travers le terminale dans Proxmox, et il me semble qu'en quelques clics tu peux envoyer un ordre de mise à jour à tous tes conteneurs LXC (perso je les fait un à un en cas de problème).
Tu peux sauvegarder tes conteneurs sur un serveur Proxmox-Backup (par exemple en VM sur un autre NAS), tes conteneurs et VM sont sauvegardés et redéployables en quelques clics, c'est super simple et très performant.

 

[Nincha]

En fait, je connais très mal docker, du coup je ne peux pas te dire si c'est plus complexe. En tout cas, la mise à jour peux se faire en ligne de commande à travers le terminale dans Proxmox, et il me semble qu'en quelques clics tu peux envoyer un ordre de mise à jour à tous tes conteneurs LXC (perso je les fait un à un en cas de problème).

Ok, donc ça ça va grandement me simplifier la tache pour gérer les mises à jour, ça reviendrait sensiblement au même de ce que je faisais auparavant avec docker/portainer.
Faut que je vois par contre, si tous les services que je compte utiliser existent templates.

Tu peux sauvegarder tes conteneurs sur un serveur Proxmox-Backup (par exemple en VM sur un autre NAS), tes conteneurs et VM sont sauvegardés et redéployables en quelques clics, c'est super simple et très performant.

ça ce sera l'étape d'après, une fois que le système sera en grande partie opérationnel (va falloir que je rachète du stockage pour le mini pc pour héberger les sauvegardes par contre).

Et concernant tes datas ? En espérant que tu aies cette utilisation, si tu veux mettre à dispo une sources de médias (photos/musiques/vidéos) pour plusieurs lxc, comment t'y prends tu ?

En tout cas merci pour tes réponses

 

[pierre liths]

Et concernant tes datas ? En espérant que tu aies cette utilisation, si tu veux mettre à dispo une sources de médias (photos/musiques/vidéos) pour plusieurs lxc, comment t'y prends tu ?

J'en ai pas l'usage pour l'instant en effet, mes conteneurs n'ont pas besoin d’accéder aux données de mon NAS, mais j'ai des projets qui ont ce besoin et je suis intéressé par les réponses à ce sujet.
Il y a des connaisseurs de Proxmox bien plus éclairés que moi ici

 

[Nincha]

J'en ai pas l'usage pour l'instant en effet, mes conteneurs n'ont pas besoin d’accéder aux données de mon NAS, mais j'ai des projets qui ont ce besoin et je suis intéressé par les réponses à ce sujet.
Il y a des connaisseurs de Proxmox bien plus éclairés que moi ici

OK, on va donc attendre des avis sur la gestion des data avant de jeter le proxmox pour OMV ^^
Je suis en train de consulter ce qui est dispo sur les liens tteck que tu m'as envoyé plus haut, il y a de la matière !
Faut que je vois pour ajouter le repo turnkey également à mon proxmox. EDIT: un simple sudo pveam update a suffit.

Pour la gestion des datas, une piste ici pour monter les disques de data déjà existants:
forum proxmox

 

[EVO]

Salut,
Pour moi si tu souhaite garder ton fonctionnement actuelle au niveau des datas, le plus simple reste de faire une VM avec OMV ( ou autre ) , et de monter dedans les disques en passtrought. Ensuite depuis cette VM, tu fait du partage NFS, ou autre, pour tes autres VMs, ....

Sinon, il te faudra les formater, et repartir sur des volumes pour proxmox

 

[Nincha]

Salut,
Pour moi si tu souhaite garder ton fonctionnement actuelle au niveau des datas, le plus simple reste de faire une VM avec OMV ( ou autre ) , et de monter dedans les disques en passtrought. Ensuite depuis cette VM, tu fait du partage NFS, ou autre, pour tes autres VMs, ....

Sinon, il te faudra les formater, et repartir sur des volumes pour proxmox

Salut, merci pour ton retour, donc pas des plus pratiques...
J'ai testé rapidement le lxc nextcloud/turnkey, ça se déploie vite, ça tourne vite mais je trouve la customisation limitée, et il y a des trucs en trop.
Pareil pour jellyfin (appelé média server), trop de trucs en plus par rapport à l'usage.
Je pense redéployer un omv en natif

 

[pierre liths]

As tu essayé de déployer OMV en machine virtuelle pour voir si ça te convient ?

 

[Nincha]

Non pas encore. Je comptais m'y pencher ce soir mais je pense que ça attendra encore un peu.
La gestion des datas, je pense que ça se résoudra avec une vm omv.
Mais est ce qu'il est possible d'avoir la même flexibilité que docker compose?
Exemple turnkey nextcloud qui me met nextcloud MySQL adminer. Si je veux juste du nextcloud/mariadb, je fais comment ? Je pense que ça se fait avec un équivalent de docker file pour les lxc, mais ça devient plus complexe à gérer à chaque mise à jour. Ou alors il y a quelque chose que je ne saisis pas dans la gestion/création des lxc.

 

[pierre liths]

Je ne connais pas assez Docker pour te répondre. Tu peux dans tous les cas installer un debian vierge en LXC et y installer ce que tu veux par la suite, ce ne sera dans doute pas aussi simple que Docker pour le déploiement et la mise à jour.

Il me semble que tu peux installer Docker sur OMV.
Tu peux installer OMV en VM et continuer à utiliser Docker pour les appli que tu trouves plus simples à utiliser/mettre à jour. Tu peux également dédier une VM à Docker sous Proxmox pour bénéficier de tous les avantages de Docker, et avoir des conteneurs LXC sous Proxmox si tu les trouves mieux ou plus performant. Comme cela tu bénéficies des avantages de LXC et Docker, et surtout tu ne perds pas ce que tu as appris sous Docker. Plus tard, tu viendras nous expliquer les avantages et inconvénients des deux

 

[Nincha]

Je ne connais pas assez Docker pour te répondre. Tu peux dans tous les cas installer un debian vierge en LXC et y installer ce que tu veux par la suite, ce ne sera dans doute pas aussi simple que Docker pour le déploiement et la mise à jour.

Je confirme c'est un peu ce qui me faisait peur en ouvrant ce post. C'est ce que j'ai fait sur mon mini pc promox qui a homeassistant (VM), j'ai migré mes services swag/authelia et adguard home dessus.
Je me suis basé sur un template debian 12, sur lequel j'ai fait les mises à jour, puis installé docker, puis portainer agent (un client de portainer, qui permet à une instance "principale" de portainer de s'y connecter à distance). J'ai ensuite supprimer toute la configuration qui était propre à ce container (fichier host, interface réseau, user etc) pour la transformer en "template custom".
C'est ce template que j'ai utilisé pour créer deux lxc, un pour adguard home et l'autre pour swag/authelia.
Mais comme tu dis, ça sous entend qu'il faut se connecter à ces lxc pour les mettre à jour, ou à minima faire un cron apt update/upgrade pour les maintenir... Donc pas aussi simple que de télécharger la dernière image docker à jour et la redéployer.

Il me semble que tu peux installer Docker sur OMV.
Tu peux installer OMV en VM et continuer à utiliser Docker pour les appli que tu trouves plus simples à utiliser/mettre à jour. Tu peux également dédier une VM à Docker sous Proxmox pour bénéficier de tous les avantages de Docker, et avoir des conteneurs LXC sous Proxmox si tu les trouves mieux ou plus performant. Comme cela tu bénéficies des avantages de LXC et Docker, et surtout tu ne perds pas ce que tu as appris sous Docker. Plus tard, tu viendras nous expliquer les avantages et inconvénients des deux

Tout à fait pour OMV Vu que "sous le vernis" OMV c'est debian, docker s'y installe sans pb ^^

L'idée de la VM dédiée à docker me plait bien ! Même pourquoi pas un lxc debian.
Donc si je résume:

• une vm omv pour gérer les disques de data et potentiellement faire du partage nfs/smb
• une vm/lxc debian avec docker pour que je puisse garder la flexibilité de docker et ce que j'avais mis en place précédemment
• d'autres lxc pour tout ce qui ne nécessite pas spécialement d'accès aux datas déjà existantes (donc gitlab, teamspeak, heimdall, etc)

PS: désolé pour la prose, difficile d'être concis

 

[pierre liths]

Je me suis basé sur un template debian 12, sur lequel j'ai fait les mises à jour, puis installé docker, puis portainer agent (un client de portainer, qui permet à une instance "principale" de portainer de s'y connecter à distance).

Je me suis peut être mal exprimé, tu peux installer debian vierge sur un conteneur LXC, puis installer directement sur ce debian l'application que tu souhaites (par exemples un Adguard Home, ou bien Ngix Proxy Manager etc...) s'il n'existe pas de template, le but est justement de ne pas ajouter de surcouche Docker.
Par contre, je sais que certaines appli s'installent en deux secondes via docker, mais c'est très compliquer directement sur un debian vierge, par exemple SWAG. D'où l'idée d'utiliser des conteneurs LXC sur Proxmox et Docker via une VM de Proxmox pour allier les deux.

 

[Bambusa29]

Sur mon Proxmox, je me suis organisé comme cela :

J'ai un conteneur LXC avec Docker et Portainer pour installer ce qui interne au LAN et qui nécessite pas d'avoir une IP dans le LAN. Quelques exceptions comme Jellyfin (pour l’accélération matériel) qui est en conteneur LXC sans Docker.

Tous le reste c'est un conteneur LXC Debian 11 ou 12 par service :

- LXC consomme très peu de ressources (j'ai pas mal de conteneur qui consomme moins de 50Mo de Ram)
- Une adresse IP fixe dans ton LAN, pratique pour régler ton Firewall finement,
- Plus simple pour faire des maintenances sur un conteneur sans devoir tout arrêter,
- C'est comme même mieux que Docker quand tu veux modifier une config qui restera persistante dans le temps.

Pour les mises a jour, c'est du Debian, donc un simple apt-get update de temps en temps.... que tu peux effectivement faire via le cron. J'avoue ne pas mettre a jour régulièrement mes conteneurs... Je pense mettre ca en place !!

Pour mes partages sur le LAN, j'ai créé un conteneur générique LXC Debian avec juste un serveur Samba dessus. Les autres conteneurs y accède via Samba (cela pourrait être du NFS).
En cas de panne je peux débrancher mes disques pour les mettre sur mon Proxmox de secours et relancer les conteneurs et a priori tout refonctionne..

J'ai depuis re-installer OMV sur un vieux NUC pour des besoins de maquettages et de tests pour un client. Je lui ai adjoint un DD de 500Go qui traînait.
Je l'utilise aussi pour stocker le disque virtuelle des VM Windows et Home Assistant via NFS (ca marche pas bien en Samba) qui prenne trop de place sur mon SSD local Proxmox...
Idéalement cela sera mieux que tout les disques durs externes contenant mes medias soit sur le NAS mais je laisse comme cela pour l'instant.

Avec tout ce qui tourne, je suis a peine à 5Go de Ram (Quand Jellyfin n'est pas utilisé) sur mon Proxmox principal.

Avec l’étiquetage, on comprend tout d'un seul coup d'oeil :

 

[Nincha]

Je me suis peut être mal exprimé, tu peux installer debian vierge sur un conteneur LXC, puis installer directement sur ce debian l'application que tu souhaites (par exemples un Adguard Home, ou bien Ngix Proxy Manager etc...) s'il n'existe pas de template, le but est justement de ne pas ajouter de surcouche Docker.
Par contre, je sais que certaines appli s'installent en deux secondes via docker, mais c'est très compliquer directement sur un debian vierge, par exemple SWAG. D'où l'idée d'utiliser des conteneurs LXC sur Proxmox et Docker via une VM de Proxmox pour allier les deux.

My bad, effectivement j'avais mal compris. Je te rejoins sur ce point, avant de découvrir Docker j'avais tenté le déploiement en parrallèle d'OMV de pydio puis nextcloud, ça n'avait pas été simple. Ceci dit comme tu le présentes, ça peut valoir la peine de faire quelques recherches sur un déploiement basique avant de se tourner vers turnkey ou autre.

Sur mon Proxmox, je me suis organisé comme cela :

J'ai un conteneur LXC avec Docker et Portainer pour installer ce qui interne au LAN et qui nécessite pas d'avoir une IP dans le LAN. Quelques exceptions comme Jellyfin (pour l’accélération matériel) qui est en conteneur LXC sans Docker.

Tous le reste c'est un conteneur LXC Debian 11 ou 12 par service :

- LXC consomme très peu de ressources (j'ai pas mal de conteneur qui consomme moins de 50Mo de Ram)
- Une adresse IP fixe dans ton LAN, pratique pour régler ton Firewall finement,
- Plus simple pour faire des maintenances sur un conteneur sans devoir tout arrêter,
- C'est comme même mieux que Docker quand tu veux modifier une config qui restera persistante dans le temps.

Pour les mises a jour, c'est du Debian, donc un simple apt-get update de temps en temps.... que tu peux effectivement faire via le cron. J'avoue ne pas mettre a jour régulièrement mes conteneurs... Je pense mettre ca en place !!

Pour mes partages sur le LAN, j'ai créé un conteneur générique LXC Debian avec juste un serveur Samba dessus. Les autres conteneurs y accède via Samba (cela pourrait être du NFS).
En cas de panne je peux débrancher mes disques pour les mettre sur mon Proxmox de secours et relancer les conteneurs et a priori tout refonctionne..

J'ai depuis re-installer OMV sur un vieux NUC pour des besoins de maquettages et de tests pour un client. Je lui ai adjoint un DD de 500Go qui traînait.
Je l'utilise aussi pour stocker le disque virtuelle des VM Windows et Home Assistant via NFS (ca marche pas bien en Samba) qui prenne trop de place sur mon SSD local Proxmox...
Idéalement cela sera mieux que tout les disques durs externes contenant mes medias soit sur le NAS mais je laisse comme cela pour l'instant.

Avec tout ce qui tourne, je suis a peine à 5Go de Ram (Quand Jellyfin n'est pas utilisé) sur mon Proxmox principal.

Avec l’étiquetage, on comprend tout d'un seul coup d'oeil :

Voir la pièce jointe 10312

Merci pour tout le détail ! Je suis assez surpris de la conso totale de test services, c'est très sobre en ressources !
J'avoue que ce sont tes précédents posts sur d'autres topics qui m'ont fait me tourner vers proxmox, à minima pour tester.
Le réglage pare feu avec les alias, faut dire ce qui est, c'est un bonheur en venant d'OMV et son interface lente pour le firewall.
Je pensais suivre les conseils de @pierre liths pour l'organisation, et à ce que je vois ça rejoint (du moins en partie) ce que tu as aussi, à savoir un mix lxc/docker.
Pour les partage, je vais tenter la VM dédiée avec un partage samba ou nfs, mais j'ai trouvé que samba était lent avec nextcloud, je vais certainement tenter NFS, ou carrément faire en sorte que nextcloud tourne sur la même machine qui a les disques en pass-through.

Quelle stack utilise tu pour jellyfin, docker, install en dur dans le lxc, ou autre chose ?

 

[Nincha]

Hello,
un peu de nouveau par ici.

Je suis donc parti sur l'archi suivante:

• une VM pour openmediavault afin de lui passer les disques de media en passthrough, et de faire du partage samba
• un lxc avec docker portainer, pour nextcloud avec sa maria_db et redis
• un lxc pour heimdall, installé en mode flemme grâce à un script de tteck, ça se déploie vite, ça tourne au poil et c'est compatible avec le reverse proxy nginx Swag, what else ?
• un lxc jellyfin, avec jellyfin installé par le biais du script bash directement fourni par Jellyfin

Quelques problèmes en cours de recherches:

• les pc windows ne voient pas les partages samba, j'ai pourtant configuré mon pare feu de la même manière que je l'avais configuré sur OMV, pour le moment je sèche. Le ubuntu voit bien les partages samba
• problème de samba aussi pour Jellyfin, j'ai tenté un bindmount vers le chemin sur le disque de média, mais je me heurte à des problèmes de permissions (dûes au fait que le container est en unprivileged). Pour une raison inconnue impossible de monter un partage samba sur la debian de Jellyfin en ligne de commande, je me prends un bad usage sur la ligne de commande

  mount //<adresse_ip_OMV>/<Partage_samba> /mnt/Films -o user=toto,pass=super_pwd

• les notifs mails d'OMV ne partent pas, celles de Nextcloud partent bien.... Peut être une subtilité que je n'ai pas sur le fait qu'OMV soit en VM et nextcloud en docker/lxc...

Si certains d'entre vous ont des pistes qui ne nécessitent pas de binder des uid du host vers d'autres uid du lxc.... Je suis preneur !

 

[pierre liths]

Pour le montage de disque réseau, regarde par là :

mount_fstab [Wiki ubuntu-fr]

doc.ubuntu-fr.org

 

[Nincha]

Pour le montage de disque réseau, regarde par là :

mount_fstab [Wiki ubuntu-fr]

doc.ubuntu-fr.org

Hello Pierre,
c'est pas tant la commande mount qui me pose problème, c'est plus différents problèmes de permissions en interne d'un lxn unprivileged que je n'arrive pas à contourner.
Exemple j'arrive à faire un montage nfs sur le host proxmox, mais par contre j'arrive pas à faire le même montage nfs sur un lxc. Idem pour samba

 

[pierre liths]

Ah ok, possible de remettre ton conteneur LXC en Privileged ?