Proxmox Configuration de mon serveur Proxmox (Organisation du stockage et autres)

[morgyann]

Bonjour,

Souhaitant centraliser tous mes services sur une seule machine, j'envisage de reconfigurer mon serveur DIY sous Proxmox (actuellement sous Windows).

Le cahier des charges est le suivant :
- 1 Windows pour -> 1 serveur Plex (transfert de celui en cours) + logiciels propriétaires
- 1 Linux pour -> | Docker + Portainer | + 1 Serveur web
- Des apps en LXC (en complément/substitution à celles de Docker)
- "Un espace de test / lab" -> OS / Apps

Matériel : i5-13500E - RAM 128G - Réseau 10G - 4M2 x 4To + 4SSD x 4To

Bien qu'ayant utilisé Proxmox sur un serveur Lenovo, il y a 5 ans, j'avoue qu'aujourd'hui, je me sens complètement Newbie face à des questionnements de conf de base.
Avant la mise en œuvre et le transfert des données sur ce serveur - j'ai monté une petite machine pour tester la conf générale (J5040 + SDD 2x2To + 2x120Go) voir si ça fonctionne sans trop de problème.

Bref, mes questionnements :

1. L'attribution de l'iGPU à Win (résolu sur un autre poste)

2. Reconnaissance de la carte 10G -> sur ma carte mère j'ai 2 ports réseau intégrés : 1x2.5G et 1x10G - lors de l'installation de Win seul le port 2.5 a été reconnu, j'ai dû installer le pilote dans un second temps. (Sur ma machine de test j'ai mis un 2.5 en PCIe et il a été reconnu de suite en + du 1G) Le 2.5 est maintenant reconnu automatiquement, en revanche qu'en est il pour le 10G - si celui ci ne ne l'est pas lors de l'installation - est il compliqué d'installer le pilote et de reconfigurer le réseau ?

3. Organisation du stockage -> j'avoue c'est sur ce point que je suis particulièrement Newbie - malgré de nombreuses lectures je n'ai pas encore tout pigé. Je souhaite organiser mon stockage comme suit : 28To pour Win et 4To pour le reste. Une fois de +, c'est particulièrement à ce niveau où je suis complètement perdu J'ai compris que l'on pouvait attribuer plusieurs SDD à une VM et que l'on pouvait aussi faire un système de Raid avec ZFS (système que je n'ai jamais mis en œuvre) mais je n'ai pas compris comment les VM utilisaient ceux-ci (sachant aussi que j'ai 4 SSD M2 et 4 SSD Sata).

Dans l'attente de votre précieuse aide,

 

[R76]

Bonjour, alors ZFS.....visiblement y-a des contraintes de types de disques durs :

Interview d'Alexandre Derumier, contributeur Proxmox !

Retrouvez les réponses d'Alexandre Derumier à propos de questions que belginux se posait !

belginux.com

Après j'ai pas tester moi même mais mieux vaux bien creuser le sujet qu'user prématurément tes disques....Non ?
Mais bon tu trouveras sans doute plein de gens qui te diront qu'ils tournent en ZFS avec des ssd chinois mais au moins tu as matière à réfection?
Sinon pour le RAID, tu recherches quoi, JBOD, redondance, perfs max ?
Concernant les RAID, j'aurais perso l'approche suivante :
1) c'est géré en hard via le contrôleur et les systèmes au dessus n'y voient que du feu de toute façon ou :
2) c'est géré logiciellement et dans ce cas je suis plutôt pour déclarer les disques de stockages en passthrough sur les VMs et ensuite chaque OS de VM se débrouille avec le raid que tu souhaites (genre plugin MD avec OMV).

 

[morgyann]

@R76 Merci pour ce premier retour

'user prématurément tes disques

J'ai lu l'article et vu que pour les SSD - le ZFS n'était pas conseillé - pas de souci je mettrais sous un autre format si besoin.

Sinon pour le RAID, tu recherches quoi, JBOD, redondance, perfs max

Je recherche les perfs (je sauvegarde sur les Nas) -> plutôt du raid0 ou JBOD.
Après quques lectures, il me semble avoir compris que Proxmox n'a pas été conçu pour être un gestionnaire de stockage mais bien un hyperviseur de VM.
Donc il faut que je m'adapte à cette logique inverse des autres Systèmes/Machines (Nas, Serveurs, Linux, Win ...) - où l'on a un stockage sur lequel on installe un système. Mais je commence à comprendre le principe. N'hésitez pas à me répondre si je fais fausse route .

Concernant les RAID, j'aurais perso l'approche suivante :
1) c'est géré en hard via le contrôleur et les systèmes au dessus n'y voient que du feu de toute façon ou :
2) c'est géré logiciellement et dans ce cas je suis plutôt pour déclarer les disques de stockages en passthrough sur les VMs et ensuite chaque OS de VM se débrouille avec le raid que tu souhaites (genre plugin MD avec OMV).

Si j'ai bien compris (une fois de + après mes recherches qui semblent confirmer ta proposition)
- Soit tu fais 1 RAID avec Proxmox et tu installes ta VM dessus (mais dans ce cas est-ce que tu peux déclarer d'autres disques à rajouter à ton "Raid/VM" ?)
- Soit tu ajoutes les disques à ta VM (en passthrough) et, cette VM gère "ses DD/espace de stockage".

Si je pars sur cette dernière conf je peux donc organiser le stockage de ma machine de la manière suivante (???) :

• Sur SSDM2 n°1 - 4To -> OS Proxmox et toutes mes VMs (Win + Linux + XVM + LXC) - - - Attribuer à C/Win : 120Go par ex
• Sur SSDM2 N° 2, 3, 4 -> passthrough sur Win -> et passage en Espace de Stock/D (12To)
• Sur SSDSATA N° 5, 6, 7, 8 -> passthrough sur Win -> et passage en Espace de Stock/E (16To)

Indiquez moi si cette organisation vous semble correcte et jouable.

2. Reconnaissance de la carte 10G

Si des membres ont l'expérience d'une install Proxmox en 10G ?

 

[Informatix]

Bonjour,

Proxmox n'a pas été conçu pour être un gestionnaire de stockage mais bien un hyperviseur de VM

C'est également ma compréhension. Proxmox dispose quand même de solutions intégrées pour gérer le stockage (ZFS, Ceph), mais pour les serveurs personnels la pensée populaire s'oriente vers un passthrough des disques de stockage pour les gérer depuis la VM (RAID, MergerFS, etc.).

Si je pars sur cette dernière conf je peux donc organiser le stockage de ma machine de la manière suivante (???) :

• Sur SSDM2 n°1 - 4To -> OS Proxmox et toutes mes VMs (Win + Linux + XVM + LXC) - - - Attribuer à C/Win : 120Go par ex
• Sur SSDM2 N° 2, 3, 4 -> passthrough sur Win -> et passage en Espace de Stock/D (12To)
• Sur SSDSATA N° 5, 6, 7, 8 -> passthrough sur Win -> et passage en Espace de Stock/E (16To)

Je n'ai jamais monté de machine comme vous souhaitez le faire mais je m'étais renseigné sur une configuration similaire dans sa structure.
De ce que je me souviens, ce que vous indiquez ci-dessus correspond à ce que j'avais prévu de faire et devrait fonctionner.


Maintenant quelques réflexions complémentaires :

• Il y a plusieurs types de passthrough des disk. Notamment un type qui permet de passer les données SMART (important pour le RAID) et pas l'autre >> A tester avant de déployer
• Est-ce que faire un Raid1 pour les OS/VM à de la valeur à vos yeux ? Au détriment du stockage sur la VM1 ou VM2
• Anticipez bien à la capacité de stockage que vous souhaitez attribuez à vos OS lors de la création de vos VM. Bien qu'il soit possible par la suite d'augmenter l'espace attribué par Proxmox à la VM, dans mon cas particulier ça n'a jamais été "simple". En effet, l'espace de stockage supplémentaire était une partition non adjacente à la partition de l'OS ce qui fait qu'il n'était pas possible d'augmenter la partition de l'OS facilement

Dans le champs des possible, il est aussi possible :

• de monter les SSD n°2, 3, 4, 5, 6, 7 et 8 dans une VM1 Proxmox et d'accéder à ce stockage depuis la VM2 via SMB/NFS. Cela peut avoir comme avantage d'unifier la gestion du stockage et comme inconvénient de créer du bruit sur le trafic réseau
• de déployer OMV en bare metal à la place de Proxmox pour unifier le stockage avec un RAID sur OMV, puis utiliser l'hyperviseur de OMV pour déployer les VM plutôt que Proxmox

 

[R76]

Bonjour, alors petite précaution d’usage : Tout ce que j’avance n’est que mon avis personnel, ce n’est pas à prendre pour argent comptant. Les conseilleurs ne sont pas les payeurs ; donc j’encourage ce qui me liront à bien vérifier que cela leur convient.

Donc pour le ZFS, si quelqu’un veut s’y coller ce serais à approfondir mais perso dans le doute je ne joue pas.

Pour Proxmox, effectivement même s’il gère sans souci les volumes ce n’est pas sa vocation de gérer du stockage ; c’est le taf d’un NAS.

Dans mon usage, pour cette partie je crée une vm (light en volume) ou j’héberge mon OS/Nas (OMV) j’associe les disques destinés au stockage en passthrough (ils sont donc transparent pour PVE) et subtilités : je retire ces disques des jobs de sauvegardes gérés par PVE pour ne garder que le disque de la VM.

• Parce la sauvegarde d’OMV est pas franchement « user/friendly » ; Celle de PVE est plus intuitive et complète (avis personnel)
• Par contre gérer des TO de datas lors de sauvegardes PVE>PBS c’est l’enfer ; donc là ce sont les OS/NAS qui synchronisent les datas entre eux.

Pour la partie RAID, comme toi j’ai rarement besoin du RAID1 (typiquement c’est à réserver aux nécessités de continuité de production sur les groupes de travail) surtout vu le prix du stockage actuellement !

Pour le RAID0, çà avais tout son sens avec nos disques mécaniques, aujourd’hui avec les ssd, je suis moins sûr. D’abord les débits ne sont multipliés par deux, au mieux c’est du 30 ou 40% de gain. Certes c’est déjà pas mal, mais le plus souvent s’il y a d’autres goulots d’étranglement sur le reste de la chaine de périphériques le gain n’est plus si sûr. A évaluer selon son matos donc.

Pour le JBOD, là par contre c’est un bon moyen (à condition d’avoir les sauvegardes qui vont bien) d’optimiser l’ensemble des disques dont on dispose et d’en faciliter la gestion avec un volume unique. Bien sûr il faut rester cohérent en amalgament des disques de performances analogues.

Pour en revenir à ta config, oui tu peux dédier un disque performant pour héberger PVE et tes VM/LXC/etc. Voir pour gagner en perf un disque de petite taille mais performant dédié PVE et un second performant pour les VMs avec une taille adaptées au nombre de VM souhaitées (hors stockage juste tes besoins OS).

Ensuite tout le reste en passthrough sur tes VMs, par contre je suis perplexe, pourquoi accrocher autant de stockage à un Windows, y’a des OS plus sérieux non ? Là c’est un peu comme participer à une course équestre avec un Percheron.

Enfin pour rester dans l’idée des Perfs, investir dans une carte contrôleur Raid si tu as la place, c’est p’tête pas con ?

Pour ta carte 10G, j’ai pas piger le souci, si tu as le driver pour Debian tu devrais la voir dans ton installation. Par contre dans PVE tu dois lui déclarer un switch virtuel (VMBR(x)) pour en profiter.

Par rapport à l’avis (que je respecte complètement) de Informatix, je resterais sur l’idée de PVE mais comme lui je mettrais mon stockage sur OMV plutôt que de le gérer sous Windows. Pour avoir utiliser un paquet d’OMV en baremetal, c’est fiable, mais çà peux être « grave chiant » en cas de pépins. De plus tu peux certes gérer des VMs, du Docker sans souci depuis OMV….mais franchement c’est TELLEMENT plus simple depuis PVE.
Personnellement je n’utilise plus OMV en Baremetal mais comme VM comme indiqué ci-dessus.

Par contre PBS/OMV conjointement en baremetal c’est nickel, mais c’est un autre sujet.

 

[MilesTEG]

Je ce sujet
La discussion m'intéresse

 

[SManu]

Super intéressant tout cela, j'aimerais beaucoup me faire une config similaire sur mon ancien pc qui fonctionne toujours très bien, avec pas mal de ports SATA. PVE + OMV pour du stockage avec un plex pour gérer ma bibliothèque. Pour le moment, c'est sur Windows mais ce n'est pas ouf du tout.
Désolé de m'incruster et de ne pas faire avancer le schmilblick par contre

 

[pierre liths]

Enfin pour rester dans l’idée des Perfs, investir dans une carte contrôleur Raid si tu as la place, c’est p’tête pas con ?

En cas de défaillance de la carte, si tu ne peux pas racheter la même, tu perds toutes tes données. Bien sûre si pas de sauvegarde ailleurs. Sur les perfs à voir si c'est important où si ça vaut le coup/coûts

 

[morgyann]

@Informatix @R76 merci pour vos réponses.

J'ai approfondi le fonctionnement des stockages et de Proxmox cette nuit. Je continue les tests sur la machine dédiée. (Dire que je l'ai utilisée pendant 2 ans et je ne souvenais plus des basics du système ).

Par rapport à l’avis (que je respecte complètement) de Informatix, je resterais sur l’idée de PVE mais comme lui je mettrais mon stockage sur OMV plutôt que de le gérer sous Windows.

En fait, l'idée c'est d'avoir Windows et Linux sur une même machine (en prod simultanée).

• Win pour des logiciels propriétaires qui ont besoin de ressources matérielles (et qui puissent tourner quelques heures - traitement vidéo par ex) - ou facilement accessibles à distance (petits logiciels pro exclusivement vendu sous Win).
• Linux pour des apps Docker/LXC et serveur web.

Et j'ai besoin des 2 professionnellement (et loisirs) - pour l'instant le serveur est sous Win et j'utilise Syno pour Docker et serveur web (apps web en ligne et sites web pour des assos et mes activités pro).

Mon dilemme (comme d'autres) - c'est si je prend un hyperviseur Linux (Proxmox) c'est au détriment de la performance matérielle de Win et si je prend un hyperviseur Win (HyperV) c'est au détriment des performances Linux.

Donc difficile d'avoir le beurre, l'argent du beurre et la crémière.

Je suis donc toujours en phase de tests --- (et ça fait qque temps que je me casse la tête).

Pour l'instant, j'upgrade mon serveur en RAM et stockage M2 (je viens de recevoir les éléments ce jour) - procède à la sauvegarde des données - et réinstalle Win Serveur - je vais tester HyperV (pas encore fait) voir si Linux dessus fonctionne bien (ou pas) pour les apps web - (le serveur web de Win ne m'a pas convaincu).

je mettrais mon stockage

Pour la majorité de mon stockage (conséquent), j'ai déjà les Nas (voir ma signature) - un Nas c'est ce qu'il y a de + génial pour du stockage en ligne (en revanche, sa conception matérielle n'est vraiment prévu pour accueillir des apps nécessitant les ressources nécessaires).

Le serveur quant à lui est doté d'un stockage à exécution rapide (pour les apps) en SSD - même si NFS (Linux) est + rapide en lecture que SMB (Win), il demeure beaucoup moins 'souple" à utiliser plus particulièrement pour le montage des dossiers partagés (extrêmement chronophage vu le nombres de mes dossiers - et pour opérer les modifs). Aussi, sur Win les système SMB / Serveur / Partages sont par nature opérationnels donc pourquoi s'embêter à en créer d'autres et les Raid se font en 1 clic.


Bon je dévie de mon sujet de départ à savoir : " la config de Proxmox" en "quel système choisir pour avoir les systèmes Linux et Win sur la même machine ?"

 

[R76]

Super intéressant tout cela, j'aimerais beaucoup me faire une config similaire sur mon ancien pc qui fonctionne toujours très bien, avec pas mal de ports SATA. PVE + OMV pour du stockage avec un plex pour gérer ma bibliothèque. Pour le moment, c'est sur Windows mais ce n'est pas ouf du tout.
Désolé de m'incruster et de ne pas faire avancer le schmilblick par contre

Si tu utilise directement OMV plutôt que Win tu seras beaucoup mieux. De plus il y a un Template Compose disponible pour Plex :

 

[R76]

En cas de défaillance de la carte, si tu ne peux pas racheter la même, tu perds toutes tes données. Bien sûre si pas de sauvegarde ailleurs. Sur les perfs à voir si c'est important où si ça vaut le coup/coûts

Oui tu as raison de préciser ce point, mais bon soyons honnêtes ; RAID soft ou Hard même combat :

Si t'as pas de sauvegarde.....c'est de la sélection naturelle !

Pour l'anecdote, j'ai vécu çà : un admin réseau d'une PME qui m'appel au secours : "la carte contrôleur de mon raid5 à cramée"
C'est balot, ben commande une nouvelle en urgence et redescent ta sauvegarde !
"Ben heu ma sauvegarde marche plus depuis six mois et je m'en étais pas aperçu..."
Hum, y avais quand même 120 salariés derrière qui demandais toutes les 10mn : çà remarche quand ?

Et effectivement la solution à consister à commander non seulement la même carte mais AUSSI le même indice de firmware !
Comme c'était du DELL ils sont réactifs et la pièce arrivait le lendemain en livraison expresse.
Je crois que depuis le guss vérifie un peu plus souvent ses sauvegardes.

 

[R76]

Mon dilemme (comme d'autres) - c'est si je prend un hyperviseur Linux (Proxmox) c'est au détriment de la performance matérielle de Win et si je prend un hyperviseur Win (HyperV) c'est au détriment des performances Linux.

Pas sûr que tu perdes des perfs sur ton Win sous Proxmox. Si tu lui donne assez de RAM, un disque dédié, et si nécessaire un passthrough du GPU tu pourrais être surpris.

Linux pour des apps Docker/LXC et serveur web.

LXC, ce sera directement dans Proxmox.
Pour Docker, tu peux faire un LXC.Docker, une VM Debian avec Docker, un LXC Debian avec Docker....et voir ce qui te convient le mieux. Souplesse souplesse Proxmox !

j'utilise Syno pour Docker

Ben c'est pas idiot de migrer, sauf erreur de ma part Syno tourne sur un noyau vieillissant et cela commence à devenir limite pour la sécurité sur Docker (dont c'est déjà pas le point fort au départ).
Tes efforts sont susceptibles d'êtres doublement récompensés.