Création d'un NAS à partir d'un HP DL380E G8

madkoin

Chevalier Jedi
8 Août 2019
329
0
16
Bonjour à tous.

Je viens de faire l'acquisition d'un serveur HP DL380e Gen8 12 + 2 LFF (LFF étend le nom utilisé pour les disques de 3.5 pouces, les 2.5 pouces sont appelés SFF). mon but est de créer un NAS de forte capacité. Objectif à long thermes 12*4 TO. J'ai regarder les différences solutions OS orientés NAS disponible.

Description détaillé du serveur:
Processeur : 2 x Intel XEON E5-2450L 1,8 GHz 8Core
Ram : 32 GB
Contrôleur RAID : Smart Array P420 mit 1 GB Cache und Batterie + B120i
Disque dur : Pour le moment je n'ai pas encore achetés les disques dur (je dois étaler les achats) mais je suis très content de mes WD red. donc je partirais surement sur du WD red 4 To sata

Objectif: réalisé un RAID 5 évolutif (j'entends par la que je pense démarrer avec une grappe de 3 disques de 4TO) et étendre cette grappe pour sur le long thermes atteindre 12*4TO.
Comme signalé dans la description du serveur, je dispose de 2 cartes contrôleur RAID. Hors pour le moment mon expérience c'est arrêté au RAID logiciel via Mdam sous debian. Vu le nombre de disque voulu, le RAID matériel était obligatoire(je ne souhaitais pas multiplié les tours). De même j'aime apprendre et faire par moi même, et quand on vois le prix des solutions pré à l'emploi pour le nombre de disque, je ne pouvais et ne souhaitais pas investir autant. (solutions souvent conçus pour les entreprises)

Niveau recherche, j'en suis encore à début, mais j'ai repérer openmediavault (basé sur debian que je connais déjà un peu), freenas, NAS4Free / XigmaNAS je ne connais que de nom et en recherchant un peu les OS orienté nas je suis aussi tombé sur Rockstor, ce dernier m'intéressera surement plu tard pour les données sensibles qui vont rester sur la tour qui me sert actuellement de nas, via un bête partage par SAMBA.

De même des recherches que j'ai commencé à faire de mon coté, je suis tombé sur des sujets sur la toile parlant de la difficulté d'augmenter la grappe sous openmediavault (mais le sujet externe à ce forum) ne faisait pas référence a une version précise de celui-ci. N'étant encore jamais passé par un OS orienté NAS, je ne connais pas bien les avantages/inconvénients de chacun. c'est aussi en parti pour cela que je viens vers vous. De même je partagerais, le résultat de mes recherches afin d'en faire profiter le plus grand nombre.

Dernier détaille, la quantité de ram peux vous semblez surdimensionner, mais je sachant pas encore quelle OS j'utiliserais et sachant que Freenas préconise 1Go de ram par 1TO de stockage, j'ai préférer prendre plus de ram que d'en manqué.

je suis ouvert à toutes les propositions, partages, conseils. De même si malgrès le gros pavé que je viens de rédiger, des informations capitales manquent, faite le moi savoir, je tacherais de faire au mieux le complément.

Je n'es aucun besoin d'un accès externe au données, elle resterons en accès local.

edit: petite précision, moi et l'anglais ne sommes pas trop copains, donc les traducteurs sont mes amis, mais on leur limites ^^.

P.S: J'espère ne pas me tromper de section

Edit concernant Freenas: Après une rapide recherche dans la documentation fournis par freenas, les cartes controller semble prisent en charge (bonne nouvelle pour moi). cela se trouve dans cette section de la doc "1.3.3. Storage Disks and Controllers"
 
salut a toi

perso j'avais avant un AS6204T avec plex et le partage de mes fichier
et j’étais comme toi a vouloir changer et a monter mon propre serveur NAS car les serveur NAS commercial sont très cher pour les performance proposer
donc j'ai chercher pendant plusieurs mois et je les ai pratiquement tous tester pour mon utilisation
et celui qui sort du lots ces UNRAID

tu peut faire un RAID avec des disque dur de tailles différente le seul inconvénient est que le disque de parité doit être aussi gros que ton disque dur le plus gros
compatible avec beaucoup de composant
tu peu utiliser docker
tu peur faire autant de VM que ton processeur accepte
tu peu attribuer des cœur a certaine application et moins a d'autres qui n’ont pas besoin de puissance

le seul inconvénient est qu'il est payant environ 55€ pour 6 disque
 
Bonjour,

merci à toi pour tes infos et propositions, je vais faire des citations pour chaque partie de ta réponse.

perso j'avais avant un AS6204T avec plex et le partage de mes fichier
et j’étais comme toi a vouloir changer et a monter mon propre serveur NAS car les serveur NAS commercial sont très cher pour les performance proposer
donc j'ai chercher pendant plusieurs mois et je les ai pratiquement tous tester pour mon utilisation

Pour ma part j'utilise kodi en solution mediacenter, il joue très bien son rôle, pas trop gourmand en ressources et des plugins, thèmes et extensions à "volonté". Je ne suis pas trop pour les solutions payant à part vraiment quand il n'y a pas d'autres choix. Et oui il est vrai que les solutions pour gros volume (j'entends par là plus de 4 baies, son souvent réservé au pro et/ou coute trop chère pour moi, surtout que je ne suis pas non plus un débutant en informatique.)

et celui qui sort du lots ces UNRAID

Il est vrai que j'ai lu tes commentaires sur UNRAID, laissé sur le site de Cachem et je connaissais aussi vite fait (vu sur yt sur des vidéos d'un américain qui fait des VOD sur le hardware/software et qui l'utilise). Je sais qu'il reste dans un coin de ma tête mais plus par curiosité et en cas de secours je préfèrerais m'orienter vers des solutions gratuits.

tu peut faire un RAID avec des disque dur de tailles différente le seul inconvénient est que le disque de parité doit être aussi gros que ton disque dur le plus gros
compatible avec beaucoup de composant

C'est vrai que le coté raid avec des disques de volume différence peux être utile, pour mon cas je pense resté sur du 4 TO. j'en possède déjà 2 bientôt rempli et les plus de 4 To rapport €/go ne sont pas encore assez développé et utilisé pour qu'il soit intéressant à l'achat.

tu peu utiliser docker
tu peux faire autant de VM que ton processeur accepte
tu peu attribuer des cœur a certaine application et moins a d'autres qui n’ont pas besoin de puissance

Pour la partie VM, application etc.... ce serveur ne fera que du RAID pour le stockage.
Pour ce qui est des VM, je dispose déjà d"un serveur Hp DL160 2 x xeon E5645 2.4Ghz, 24 Go de ram et 480 go de disque (4 disques sas 2.5p 120go 10k/tr m en raid 0). (si jamais je n'utilise pas les 32 Go du DL380e, une partie ira sur le DL160) pour cette machine (DL160) j'étais partie sur une Debian avec KVM+ son extension pour pouvoir administrer tout cela depuis une interface graphique web. Mais après l'avoir laissé un certain temps éteint, au redémarrage soucis de paramétrage des carte réseaux virtuel. je suis passé depuis sur "Promox" lui aussi basé sur Debian. j'utilise la version non enregistrer (gratuite) qui me suffit amplement et permet de convertir des VM en template et de cloner les templates en VM :)

Je sais que avoir un 2 x Intel XEON E5-2450L 1,8 GHz 8Core pour faire du RAID, c'est useless, mais je me fournis sur le marché de l'occasion, et vivant en appartement, la conso électrique et les DBs sont importants. Pour mieux illustré, ce serveur sans caddie (les tiroirs sur les quelle sont fixés les disques) et sans disque m'a couté environ 200€. les serveurs 12 emplacements sont généralement en 2.5p et non en 3.5p. cela à limité le choix, de même je pouvais avoir des serveur avec des processeurs moins véloce et moins de ram, mais cela revenais plus chère. Du coup qui peux le plus peu le moins.

Si tu as des questions à propos d'une de mes réponses, pas de soucis, de même si une partie de ce que je t'ai décris t'intéresse pour approfondir ou par curiosité, je peux créer un sujet dans bistrot ou autre sous forum plus approprié que ce post :)
 
moi ce qui m'inquiète le plus c'est
- es tu conscient du bruit et de la conso éléctrique de ton DL380E G8
- es tu consient que pour faire juste nas ta machine est over-mega-super-surdimensionnée?
- es tu conscient que chacun des cpu a 8 core et 16 threads avec un pdt de 70w?
- es tu consient que la carte raid P410 nécessite pour faire du raid 5 avec writecache d'une batterie cache qu'il faut changer régulièrement (tous les 3ans de mémoire), sans ça pas de write cache, perfs en baisses et risques en hausse
- oublie la B120 c'est du fake raid ;)
 
Merci pour tes retours. c'est vraiment gentil ;)

moi ce qui m'inquiète le plus c'est
- es tu conscient du bruit et de la conso électrique de ton DL380E G8
Oui j'en suis conscient, elle dispose d'une alim de 750 w platinum, de plus j'ai chez moi une prise de courant avec relevé, de la conso, pour justement me faire une idée a court-moyen-long termes des conso réelles des serveurs :) (pour le moment installer sur la multiprise qui alimente, box, routeur cisco + DL 160). Je suis conscient que la conso électrique à long termes, va me revenir plus chère que les 5000€ que coutes les machines, mais peut-être que d'ici là mon setup aura changé, ou il sera plus "raisonnable".

- es tu conscient que pour faire juste nas ta machine est over-mega-super-surdimensionnée?
Bien sûr j'en suis conscients aussi, après entre mettre 200€ et avoir une config over-mega-super-surdimensionnée et mettre 5 000€ + pour avoir une config adapté en termes de proc, ram, alim et emplacements disque. le choix est vite fait.

De même avant de porté mon choix sur une machine existante j'avais regarder pour en faire une moi même, mais cette idée a vite pris court pour deux raisons, la première le prix des chassis vide 12+ emplacements reviens au même prix que le serveur que je viens d'acheter, a cela il faut ajouter, CM, proc, RAM, alim etc... et la deuxième, je n'ai peut-être pas recherché à bon endroit et/ou suffisamment, mais les alimentations vendu pour le grands public n'ont pas assez de cable sata et étant nul en électricité, je préfère ne pas y toucher autant que possible.

es tu conscient que chacun des cpu a 8 core et 16 threads avec un pdt de 70w?
Oui autant les cartes RAID sont une nouveauté pour moi d'où ma recherche d'informations et de conseil, autant le reste du serveur, je commence à avoir un petit peu d'expérience. et ark.intel son mes amis quand je veux des infos sur les processeurs :). Mon DL 160 dispose de 2 Xeon E5645 avec 80W de pdt et aucun soucis de refroidissement et pour ce qui est des Dbs, c'est entre 40-45 comme mon actuelle DL 160.

es tu conscient que la carte raid P410 nécessite pour faire du raid 5 avec writecache d'une batterie cache qu'il faut changer régulièrement (tous les 3ans de mémoire), sans ça pas de write cache, perfs en baisses et risques en hausse

Nop je ne le savais pas et je suis bien content que tu m'en fassent part, je vais regarder un peu le prix de cette batterie et confirmé ou non leur durée de vie, merci.
la carte raid est bien vendu avec sa batterie "Smart Array P420 mit 1 GB Cache und Batterie"
Edit:Après petit check rapide la batterie coute entre 15-20 €, hormis la contrainte de remplacement, le coute est raisonnable. la doc indique 3 ans + pour la durée de vie de la batterie. Je pense en commandé une en rab à l'occasion.

Pour ce qui est du raid 5, j’hésite encore entre 2 RAID5 avec grappe de 6 disques ou un RAID 6 (quand la baies sera rempli), mais acheter 4 disques 4TO risque d'être plu dur en une fois (au cours actuelle les disques que je souhaites coute 120€ 1 disque 4TO).
le serveur ne stockera que des fichiers Media allant de 200 Mo à 15 Go le fichier. il n'y aura rien de vital à conservé dessus, mais je souhaiterais quand même un minimum de sécurisation.

- oublie la B120 c'est du fake raid ;)
Ok ca marche :) je m'en doutais un peu mais n'avais pas encore fait de recherche la dessus.
 
Pour le moment le seul et unique objectif c'est un NAS, après j'espère trouvé plus adapté dans le futur, mais le moins chère que j'ai trouvé hormis les serveurs d'occasion sont des châssis vides et pour 300 € minimum. La virtualisation je le fait déjà avec mon DL160. :rolleyes: (je peux comprendrais si certains considère que c'est comme donner du caviar à un cochon, mais je fait avec mes connaissances et surtout mon budget).
Après de par mes expériences passés faire plusieurs choses avec une même machine apporte son lot de contrainte (hors virtualisation).

Mais j'aime découvrir de nouvelles choses. Je n'es juste pas envie de risqué de l'instabilité et ou des soucis serveur à cause de mon manque d'expérience. pour cela je pense prochainement me monter 1 ou 2 VM avec les distribs orienté NAS pour voir comment cela fonctionne.

Après il y a encore pas mal de choses que je ne comprends pas forcément, ex: la card RAID qui est fournis avec le serveur est une HP P420 1Gb.
Voici un lien vers la documentation officiel de la carte
on remarque 2 port mini-sas, qui permettent de gérer chacun 4 disques, donc 8 au total (je ne pense pas me trompé si ?). On trouve les 2 port mini-sas x4 sur cette autre doc HP différent controller RAID celui que j'ai est page 10, mais si l'on regarde la première doc, on remarque qu'il est indiqué que la carte peux gérer jusqu'a 60 disques de 4 TO. C'est sur ce genre de détails techniques que je manque cruellement de connaissance (je suppose qu'il s'agit de baie d'extension relier au serveur principal ?)
 
chacun voit midi à sa porte, et si tu penses que cette solution est bonne pour toi, ça n'est pas à nous de te l'interdire ;)
pour ma part (avis perso) je serai plutot parti sur un microserver HP avec des HDD plus gros 8to au lieu de 4), par exemple ou un NAS de constructeur

Pour le port mini sas en effet on met jusqu'à 4 HDD sur chaque port, mais certaines cartes ont des "expanders" qui permettent d'avoir plus de HDD (je n'en ai jamais eu mais j'en ai déjà installer)
 
wep, même les microserver Hp reste plus cher que ma solution actuelle, mais j'avais aussi regardé cette possibilité. Pour ma part les disques 8 To sont vraiment pas les plus intéressant hormis si tu as un nombre d'emplacement limité et une capacité minimum de To voulu. je viens de regarder la différence et 12 HDD 4to x 130€ = 1560€ et 6 HDD 8To x 280 = 1680€. D'ici 2-3 ans avec le "besoin" de stocker toujours plus, les 8To seront peux-être devenu intéressant, mais c'est aussi pour cela que je recherche un grand nombre de baie, ne pas être obligé de choisir des disques plus gros pour un combler un nombre d'emplacement très réduit.

Merci, c'est bien ce qu'il me semblait, après jamais eu ou installer non plu :) mais en recherchant des serveurs avec chassis 12-24 baie, j'ai souvent vu des racks de baies pour l'extension aussi.
 
oui certe tu le paye moins cher en occassion ton serveur HP mais attention le bruit aussi
est la consomation electrique

actuellement j'utilise un i5 6600 avec 32go de ram sous unraid et j'ai pris la version 12Unité de stokage pour 75€ environ
mon i5 me coutera environ 55€ anuelle d'electricité
je pense pas que le tiens en face autant ;)
 
Salut, merci comme le l'ai signaler à webmail, j'ai en effet pris en compte le bruit (40-45 db comme mon DL 160 actuelle) et la consommation d’électricité. Pour ma part je pense m'orienter vers Openmediavault, je souhaite resté au maximum sur des solutions gratuites qui sont largement suffisante pour mon usage (je n'ai pas l'intention de faire du raid avec des disques de tailles différentes, ce qui est un des avantage d'UNRAID), de plus j'ai vu que via plugin, Openmediavault proposait aussi le format ZFS (qui m'avais intéressé chez Freenas, l'autre distrib avec la quelle j'hésitais), c'est un format qui m’intéresse de par ça manière de fonctionné, ces possibilités (snapshot etc...) et sa sécurisation des données. De plus les 32 Go de ram ne seront pas la pour de la figuration. Pour revenir rapidement sur la conso, le serveur est équipé d'une alimentation de 750w certes, mais en qualité "platinium" (l'un des meilleur rendement).

Pour le moment je suis toujours dans l'attente de mes caddies pour faire des test, mais je l'ai démarré quand même une fois pour voir et à la prise il consommais 300w (le démarrage est presque le moment de la plus forte consommation hormis serveur à pleine charge). Du coup j'ai bonne espoir de ne pas voir ma facture s'envoler. J'ai pour futur projet (vraiment pas pour tout de suite) de créer un NAS DIY 5-8 baies (j'hésite encore sur la taille, cela dépendra des prix, de l'encombrement et du matériel, je pensais à des baies interne 1x5 ou 2x4 comme en propose silverstone et d'autres marque) pour cette fois si héberger mes données privées. Je rechercherais à ce moment là à créer la solution la plus compacte et la moins énergivore possible. Du coup entre l'utilisation de mon DL 380 dans le temps et ce futur projet, j'espère acquérir assez d'infos et de connaissances et de retour d'expérience sur les avantages/inconvénients de chacun pour trouvé le juste milieu en termes de hardware.
 
Juste pour être sur que il n'y est pas eu confusion, les 300 w indiqué ici
Pour le moment je suis toujours dans l'attente de mes caddies pour faire des test, mais je l'ai démarré quand même une fois pour voir et à la prise il consommais 300w
et les 5-8 disques, sont deux projets différences.

Concernant le projet "lointain" du NAS DIY 5 ou 8 baies, je ne suis pas sur que cela consomme 300 w +. Voici un comparatif qui avais été fait en 2011 sur 8 disques différents, sur leur consommation : Comparatif HDD: 8 disques durs 2 To, de plus si l'on regarde les nas 8 baies de grande marque, les consommation vont de 50W et 90 W pour un 8 baies (recherche effectué sur ldlc sur les 3 premiers nas 8 baies les moins cher si vous voulez savoir d'où sortent mes chiffre) à savoir "QNAP TS-832X-2G","ASUSTOR AS6208T" et "Netgear ReadyNAS 428". Je suis conscient qu'il sera difficile d'atteindre un niveau de consommation si bas, mais en dessous de 300w c'est largement possible selon moi.
 
ha oui ok, mais pour ton DL380E ce sont des HDD SAS?si oui ça consomme plus que des satas, en général surtout que ce sont souvent des 10/15k rpm
 
Je me doutais qu'il y avais confusion ;) .
Pour le DL380, non je pense partir sur du WD red 4 TO en SATA 3 en 5400/rpm (sur le pc qui me serveur de nas mediacenter dans le salon avec un réseau câblé en cat 6 et 1gbit, j'obtiens des taux de transfert de l'ordre de 110 Mo/s en moyenne, mon réseau à une vitesse max théorique de 125mo/s du fait des 1Gbit, cela me suffit largement et les switchs 10 Gbits coutent vraiment cher du fait qu'il s’agissent d'un techno récente pour le grand publique, switch 8 ports 10 Gbits + de 400€, je ne suis pas prêt et n'est pas d’intérêt à investir dedans) et si mes tests préliminaires non concluant concernant le ZFS, je pense partir sur du RAIDZ. J'ai actuellement 4 disques sata de 250 Go pour faire mes tests avant d'acheter les disques durs définitifs.

Je souhaites vraiment tester et réfléchir aux solutions à mettre en place afin d'automatisé et de pérenniser la maintenance du "NAS" DL380, je pense par exemple à la mise en place de script pour automatisé "Scrub" qu'il est recommandé de lancer tous les 3 mois environ pour nettoyer et vérifier que les contrôle quotidien sont cohérent.
 
QuickSpecs HP ProLiant DL380e Generation 8 (Gen8)
Standard Features 12 LFF drive bays total without Optical BayOptional: +2 Rear Drive Bays (LFF or SFF) "mon cas 12 LFF + 2 LFF"
Maximum Internal Storage :
Hot Plug LFF SAS 56.0TB 14 x 4TB (with 12LFF drive cage + Rear 2LFF drive cage)
Hot Plug LFF SATA 56.0TB 14 x 4TB (with 12LFF drive cage + Rear 2LFF drive cage) je vais utilisé cette solution, avec seulement 12 DD et 1 SSD pour l'OS
Hot Plug LFF SATA SSD 11.2TB 14 x 800GB (with 12LFF drive cage + Rear 2LFF drive cage)

Voilà mes possibilités :-D
les slots sont souvent compatibles SAS-SATA, sinon cela serait ingérable si il ont devais changer la backplates et ne permettrais pas les mix

Edit: voilà la bête en photo :)
DSC-0605.jpg
 
Bonjour, je reviens vous donner des nouvelles de l'avancement et des soucis rencontré et résolu (cela peu toujours servir) après pas mal de galère le boot du serveur (à la fin des install OMV et debian, le dd n'était pas reconnu bootable). Les 14 emplacements étant géré par la carte p420 et vu qu'il n'y avais pas de câble d'alimentation sata disponible pour brancher le ssd sur la carte mère et le faire gérer par la b120i, j'ai trouvé la solution (OMV l'installation de l'OS sur clé usb n'est pas recommandé, mais cela ne pose aucun soucis pour les SSD, c'est même mieux, du coup j'ai acheté un petit boitier auto-alimenté 2.5 pour hdd/ssd) . Le serveur tourne donc sous OMV 4 avec le plugin OMV extra, j'ai pu m'orienter sur un format ZFS, cela me permettra d'exploité au mieux la grosse quantité de ram dispo sur le serveur. J'ai également passé la carte RAID p420 en mode HBA pour qu'elle soit transparente et laisse l'OS gérer.

Je me retrouve donc pour le moment avec le serveur et un RAIDZ de 4 disque 3.5 de 250 Go pour mes tests et les préparations d'automatisations du serveur.

Je continuerais de vous informer de l'avancement si cela vous intéresse bien sûr. :rolleyes:
 
Bonsoir à tous, désolé si je ne donne pas trop de news du project actuellement, mais je recherchais une baie plus adapté à mon nouveau serveur. Ma baie actuelle faisant l 600x L800 x H 1220, le nouveau serveur dépassait (merci la doc constructeur indiquant 750 et qui fait finalement 820 mm).

J'ai enfin trouvé mon bonheur pour pas chère d'occasion. Je dois normalement la récupérer demain, je vous posterais des photos à ce moment là. Nouvelle baie l 800x L1000 xH1220

FX Cachem a dit:
En tout cas, merci pour le partage d'informations/expérience...

Pas de soucis, je sais à quelle point c'est frustrant de ne pas trouver l'infos et/ou de voir un sujet résolu sans que la solution soit posté.