UGREEN Synchro vers Google Drive : échec

c'est long, c'est long...
depuis midi environ, seulement 6% de progression (mais j'ai plusieurs centaines de milliers de fichiers, c'est vrai).
c'est beaucoup plus rapide quand on procède à un téléversement.

Au départ j'ai voulu partir d'un dossier contenant déjà les fichiers, en me disant que la synchro (différentielle par définition) se contenterait d'ajouter les nouveaux fichiers + remplacer les fichiers modifiés...
... mais tout ce que j'ai gagné, c'est la génération de centaines de fichiers doublons (avec 'conflict1' à la fin du nom du fichier).

Je suis donc repartie de zéro, et comme je le craignais, c'est long, très très long.
espérons qu'au final ça fonctionne correctement.

Début de semaine pro, je vous ferai un topo pour vous dire comment ça s'est passé.

bon WE !!

PS: pour celles et ceux qui veulent le faire sur Onedrive, sachez que les fichiers destop.ini qui sont sur le NAS ne sont pas du tout tolérés par Onedrive, qui les compte comme des erreurs et demande leur suppression (sans pour autant les copier sur le cloud).
 
FlodAriege a dit:
(mais j'ai plusieurs centaines de milliers de fichiers, c'est vrai)
Cliquez pour agrandir...
Bonjour

Astu màj ton UGOS?

Moi pas encore.. je temporise! Mon OS est stable, tout est configuré aux petits oignons... J'attends de lire quelques retex?

Je reviens au quota GDrive:
Le message d’erreur `"rateLimitExceeded"` indique que GDrive est saturé!!!

"quota_limit_value": "12000",
"quota_limit": "defaultPerMinutePerProject"

- 12 000 demandes/minute pour ta synchro unidirectionnelle (checklist, lupload, lavérif.)
du NAS vers GDrive

Il est logique que mon test avec peu de fichiers de ~20 Mo passent sous le seuil de tolérance alors que ton dossier de plusieurs centaines de milliers de fichiers entraîne ce dépassement!

La lenteur est causée par le volume élevé de fichiers (la cause entraine la conséquence), la vérif. de chaque fichier côté NAS puis la synchro


??? La je fais lamoue:confused: je bute sur l'issue concluante de ta synchro, Bon WE :unsure::coffee:
 
Oui, @reinett j'ai fait la màj, pensant qu'elle contiendrait la résolution de mon problème, ce qui fut le cas.
Nous sommes lundi, il est 10:18: progression de la 1ère synchro = 46% (depuis vendredi midi).
Je précise que nous sommes sur la fibre, avec un débit montant de 750-950 Mbps.
Et que, si toutefois ça change quoi que ce soit, j'ai branché les 2 câbles ethernet à l'arrière du NAS.
J'espère que la synchro suivante sera plus rapide, mais je le vérifierai et viendrai l'écrire ici.

Edit :
01/07 08:00 : 57,84% (à ce stade: 54 563 fichiers)
 
Dernière édition:
Bonjour

En cas d'échec?

iDEE2/Alternative A l'app Sync&Backup sous UGOS?

Je créerai un nouveau #post pour ne pas squatter celui ci!

Suite aux déboires de la synchro NAS vers GDrive comprenant beaucoup de fichiers, j'ai l'idée de tester autre chose sous Windows?

... déjà en test dans mon p'tit coin!

1/Mettre de coté Sync&Backup momentanément! pour
2/Tester l'app WinCSP sous Windows (également compatible avec la synchro bidirectionnelle) pour remplacer provisoirement l'app Sync&Backup sous UGOS?

Comme Filezilla plus limité, WinCSP peut gérer le NAS via FTP sécurisé (Synchroniser le NAS distant via FTPS dans les deux sens!)

PLUS/
l'app 'open source' WinSCP sous Win11x64 offre:
- la connexion sécurisée FTPS (Win vers le NAS distant dans les deux sens),
- la synchro bidirectionnelle manuelle,
- le contrôle des transferts (j'ai testé l'option vitesse, non testé les autres options)
- l'automatisation possible via un script (voir avec synchronize both)

App vraiment stable, aucun plantage pour l'instant, fonction Résume implémentée permet de reprendre un transfert de fichier interrompu sans tout recommencer depuis le début (test en cours avec divers fichiers, connexion instable cause canicule... etc ?)

MOINS/
- pas de planification... pas top pour un PRO
- manque la surveillance continue,
- pas de gestion des conflits!

Bon sujet A suivre 🍎
 
Dernière édition:
Bonjour,

Petite mise à jour :
Jeudi 03/07 à 08:43 : synchronisation à 97,66 % (depuis vendredi 27/06 12:57)
Onglet Journaux : 1545 pages
Articles totaux : 77 231
Les taux de transfert qui s'affichent en haut de la fenêtre de l'appel UGREEN NAS sont ridiculement bas : au mieux, j'observe des pointes à quelques centaines de KB/s (alors que ma connexion fibre, mesurée avec Speedtest, indique : 885 MB/s et 933 MB/s).

J'ai par ailleurs de plus largement surestimé le nombre de fichiers à synchroniser (suite à un affichage de cette valeur pendant une précédente tentative avec Onedrive).
Je viens de vérifier précisément le contenu du NAS pour lequel je demande la synchronisation :
101,47 Go
82 614 fichiers (et non quelques centaines de milliers, quand je croyais en avoir autour de 250 000, au moment de mes premiers posts)
9 325 dossiers
Je ne comprends donc pas que cela soit aussi long.
Heureusement que je ne compte pas sur une vraie synchro en temps réel (comme à l'époque où j'utilisais Google Drive directement pour partager les fichiers avec mon équipe en temps réel)... cela serait parfaitement impraticable !! Imaginez un peu : il faudrait une semaine pour qu'un fichier créé sur mon PC soit rendu disponible pour mon équipe !
Il s'agit ici pour moi en réalité d'effectuer une sauvegarde hebdomadaire, mais s'il faut une semaine pour la réaliser, c'est quand même assez hallucinant. Je suis à peu près certaine que Ugreen peut faire mieux que ça avec son application Cloud Drives, je retourne donc ouvrir un nouveau ticket pour leur faire mon rapport et leur partager mon étonnement.
Comme précédemment, je vous communiquerai le résultat de mes échanges.

Bonne journée !
 
  • J'aime
Réactions: EVO
vendredi 04/07 10h04: 99,99%

réponse du support :
Regarding the issue with Google Drive via the Cloud Drives app, our team is already aware of the problem caused by exceeding the Google Drive API limits, and they are actively working on a fix.

We truly appreciate your patience and understanding as we work to resolve this.
Cliquez pour agrandir...
Donc la mise à jour de l'OS n'a pas réellement résolu le problème.
Là où la synchronisation était parfaitement impossible jusqu'en début de semaine dernière, elle est redevenue possible, mais ça marchotte à peine.

Bon.
Et bien j'attendrai.
En attendant j'essaie de sécuriser mes fichiers avec ça quand même, dans la mesure où ça fait partie de ma stratégie de sauvegarde 3-2-1.

Affaire à suivre ...
 
FlodAriege a dit:
Donc la mise à jour de l'OS n'a pas réellement résolu le problème.
Là où la synchronisation était parfaitement impossible jusqu'en début de semaine dernière, elle est redevenue possible, mais ça marchotte à peine.
Cliquez pour agrandir...

Bonjour ;)

Cela signifie qu'un goulot d’étranglement logiciel ou une mauvaise gestion du protocole réseau côté NAS ou l'app Cloud Drives?

J'ai trouvé pour le protocole OAuth 2.0 + l'API Google Drive ICI CLIC

developers.google.com

Utiliser OAuth 2.0 pour accéder aux API Google | Google Account Authorization | Google for Developers

Use the OAuth 2.0 protocol for authentication and authorization.
developers.google.com developers.google.com

Le goulot d’étranglement logiciel: je suspecte en 1er l’app Cloud Drives puis UGOS Debian 12 qui limite la vitesse de transfert, même si ta connexion au Net est véloce.

Ce blocage est causé par la saturation des ressources du NAS (CPU ou mémoire trop sollicités pendant la synchro de milliers de fichiers).

Même avec une fibre Speedy Gonzales, les fichiers ne se synchronisent pas correctement, car le bug persiste malgré la màj!

Dans ma marmite suis en train de tester une alternative qui s'appelle FTPs WinCSP en test!

Y a-t- il 1 informaticien dans la salle? J'avoue être dépassé par ce problème de synchro! Bye 🍎
 
Bonjour @reinett
Je pratique WinSCP pour mon site internet, mais j'avoue n'avoir aucune idée de la façon dont je pourrais l'utiliser pour transvaser mes fichiers sur Google Drive.
Après, je peux toujours lancer manuellement, une fois par semaine, le téléversement de mon gros dossier vers Google Drive (c'est infiniment plus rapide que la synchro)... MAIS Cloud Drives est complètement idiot (ou alors c'est moi qui le suis en passant à côté d'un paramètre) car il duplique les fichiers. Je ne sais même pas comment il y arrive, mais il aligne les fichiers portant strictement le même nom (pas de -1 ou de conflict1 comme lors d'une précédente expérience).
Je peux m'assurer de ne pas perdre mes fichiers, mais je vais rapidement saturer mon Google Drive.

Bon, à part ça, la synchro a fini par se terminer, après être longuement restée bloquée sur 99,99%.
Là, je lis :
Succès partiel.
Echec de la synchronisation de 30 fichiers (pour ce que j'en ai vu c'était des fichiers qui devaient être ouverts au moment de la synchro, rien de grave).
Je vais les téléverser a mano, et voilà.
Ce qui est dommage, c'est qu'il n'y ait aucun bouton ou lien actif au droit de chaque fichier en échec pour relancer le téléversement...
J'en suis réduite à faire une capture d'écran pour me rappeler de la liste des fichiers à retrouver. Pas glop.

Et puis je vais attendre que UGREEN résolve le problème.

Bon WE :)
 
  • J'aime
Réactions: reinett
Bonjour

Ton retex est intéressant! Suis également touché par ce BUG persistant!!! Je n’ai pas cherché à mettre à jour ni UGOS, ni l’App par peur d’un dysfonctionnement de mon 2B stable et fonctionnel.

En Conclusion :

l'app Cloud Drives reste chez toi donc instable malgré la dernière màj.

A venir? le correctif de l'informaticien de chez UGREEN pourrait régler ce problème? Soyons patients :whistle::coffee:

T'as choisi le téléversement manuel des fichiers restants... Au vu du résultat malgré l'attente interminable : Je comprends que ça va mieux qu'au début?

Concernant l'app WinSCP (j'avais édité un toto l'autre jour pour FileZilla... ICI CLIC Eh bien tu peux t'en servir pour mettre en place cette soluce alternative gratos)

Te confirme que WinSCP sous FTPS fonctionne bien si tu optimises Hihihi :p

Opti1
-désactiver le réglage Optimiser la taille du tampon de la connexion (ce paramètre coché ralentissait dans mon test les transferts)

Va dans
/Onglets
/Sites
/Gestionnaires de sites
sélectionne ta session NAS_DXP2800 FTPS (chez moi)
fenetre
/Login
/Editer
/Paramètres avancées de site
/Connexion
[X] Mode passif
[ ] Optimiser la taille du tampon de la connexion
Pas touche au reste


Opti2
Va dans
/Options
/Préférences
/Transferts
/En arrière -plan
/Nbre maximimal de fichiers : Max 9, j'ai mis 3


WinSCP ne peut pas synchro directement avec GDrive, GD ne prend pas en charge les protocoles de WinSCP SFTP, SCP, FTP, WebDAV, Amazon S3... (c'est écrit au niveau Sesssion/Protocole de l'app WinSCP)

J'ai un bidouille pour contourner cette limitation si cela t'interesse?

Voilà sujet mi-clos pour moi Bon WE 🍎
 

Pièces jointes

  • 2Bwinscp.PNG
    2Bwinscp.PNG
    113.8 KB · Affichages: 3
Dernière édition:
Bonjour,

La 1ère synchro a pris une éternité, certes.
Mais je suis obligée de constater que les synchro suivantes ont fonctionné sans problème. J'ai paramétré le système pour qu'elle se fasse chaque soir à 19h, et la dernière (hier soir, donc), s'est achevée avec succès à 20h28.
✅Donc à ce stade, la solution est valide pour mon besoin (même si elle a été pénible à mettre en œuvre).

Je reviendrai ici quand mon ticket sera clôturé, c'est-à-dire quand les techs UGREEN m'auront annoncé avoir résolu le problème.

@+
 
FlodAriege a dit:
J'ai paramétré le système pour qu'elle se fasse chaque soir à 19h, et la dernière (hier soir, donc), s'est achevée avec succès à 20h28.
Cliquez pour agrandir...
Bonjour,
Donc près de 90 minutes pour un synchroniser un dossier d'un peu plus de 100 Go, répartis dans environ 80000 fichiers si j'ai tout suivi?

Que penser? Qu'il a tout téléversé et pas seulement les fichiers modifiés, ou bien que comparer les fichiers pour déterminer ceux qui ont été modifiés nécessite beaucoup de temps?

Je pose la question car la sauvegarde dans mon GoogleDrive de certains dossiers est une option que j'envisage et que je devrais bientôt explorer.
 
Vous devez vous connecter ou vous enregistrer pour répondre ici.
Haut Bas