All posts tagged cloud

Sauvegarder des données sur un NAS Synology : retour d’expérience

Ce billet vise à explorer quelques-unes des possibilités offertes par Synology pour la sauvegarde de nos précieux fichiers.

Préambule

Après une expérience loupée de « Personnal Cloud » avec le boitier français Lima, je me suis tourné vers des systèmes plus robustes et éprouvés depuis longtemps : les NAS (Network Attached Storage – Serveur de stockage en réseau).

tumblr_o1vztmpRAr1rmbhf9o1_500

Le but premier de cette acquisition était, pour moi, de pouvoir sauvegarder 10 ans de photos sur une plateforme accessible en réseau, proposant une redondance de l’information (au travers du système RAID), offrant une gestion poussée des utilisateurs et fournissant un partage simplifié des contenus et automatisation des processus de sauvegarde.

Je pense qu’aujourd’hui, les producteurs de NAS grand public ont des propositions relativement équivalentes. Je me suis arrêté chez Synolgy pour la qualité de son interface et sa communauté francophone dynamique.

A noter que cet article repose sur l’utilisation d’un NAS 4 baies et d’une 2 baies de milieu de gamme.

A noter également que si l’aventure du stockage à domicile vous intéresse, ne perdez jamais de vu que l’une des grandes limites que vous rencontrerez réside dans le débit de votre connexion internet. En effet, pour tout ce qui se passera au sein de votre domicile, les échanges se feront par le réseau local à une vitesse confortable (entre 10 Mo/s et 40mo/s sur une installation gigabit). Par contre, le débit sortant d’une connexion ADSL dépassera rarement les 140 ko/s (1mo/s pour les heureux possesseurs de la fibre).

Pensez-y si vous avez comme objectif de transférer de gros fichiers vers « l’extérieur » depuis votre NAS.

L’intégration primaire d’un gros volume de données

Lorsque l’on vient d’installer un NAS et que l’on a déjà un gros volume de data que l’on souhaite y intégrer, les choses se compliquent rapidement.

En effet, comme évoqué plus haut, la vitesse relativement basse du réseau local va impacter fortement la durée de rapatriement des fichiers sur le serveur (dans mon cas avec près de 1.5 TO, le temps de copie se compte en jours).

La plupart (tous ?) des boîtiers proposent un port USB permettant de brancher un disque dur / clef usb pour une copie accélérée du contenu. Même si on gagne en vitesse (jusqu’à 100 mo/s réel en usb 3.0), la multiplication des manipulations (remplir le support usb, lancer la copie, vider, re-remplir, …) n’est pas des plus agréables. Pour ma part, j’avais opté pour cette solution. Mais je me suis vite trouvé confronté à des interruptions de copie avec File Station (l’équivalent de l’Explorer / Finder). Sans message d’erreur et sans avoir trouvé de fichier de log explicatif, j’ai rapidement abandonné cette solution. J’aurai pu gérer la copie avec le Terminal, mais à l’époque je n’y ai pas pensé.

J’ai fini par réaliser une copie disque à disque en SATA via ubuntu et les drivers Mdadm et Lm2 (procédure détaillée dans un post du forum synology). En quelques heures le transfert était complet. Un disque RAID ne se lit pas juste en le branchant sur votre ordinateur …

Screen shot 2012-07-30 at 1.16.49 PM

Sauvegarde entre votre périphérique et le NAS : Cloud Station

Alors évidemment il existe de très nombreuses possibilités d’automatisation des processus de sauvegarde : des outils natifs Windows à la Time Machine d’Appel, en passant par SyncBack et autres softs dédiés ou un batch, … le choix est abyssal.

Ici je me limiterai à explorer l’outil que propose Synology : Cloud Station.

02_1_build_your_private_cloud_CloudStation

Cloud station Drive, disponible pour Windows, Linux, Mac et smartphone Android et iPériphériques, propose une synchronisation bidirectionnelle (ou non, c’est au choix et dans le sens que vous voulez), entre le répertoire d’un device (au minimum) et le NAS. La mise à jour des fichiers, leurs ajouts ou leurs suppressions est directement répercutée (dans les limites de votre connexion). On peut imaginer avoir un répertoire qui serait identique sur smartphone, pc Windows et NAS. Peu importe le nombre de clients branchés (dans la limite supportée par le NAS), les changements se propagent rapidement. Je m’en sers pour sauvegarder automatiquement le répertoire qui contient mes photos sur mon ordinateur. Dès que de nouveaux clichés sont importés, la synchronisation débute.

07_1_back_up_your_data_from_pc

Son acolyte, Cloud station backup, quand à lui, propose une optique différente : ici pas de réplication entre devices, juste une sauvegarde en temps réel. Le programme sauvegarde les nouvelles créations de fichiers et de répertoires, leurs modifications, mais pas leur suppression.

Autant les applications sont parfaitement fonctionnelles, autant il existe – de mon point de vue, un problème au niveau du versionning des sauvegardes, et ce sur un point particulier : la place occupée par les versions plus anciennes. Ainsi, chaque fichier stocké sur le NAS, avec le versionning activé, disposera d’une copie d’usage et d’une copie de sauvegarde. Concrètement, vous importez un fichier, il prendra 2 fois son poids. Et cela augmente en fonction du nombre de versions stockées (jusqu’à 32). Embêtant. Ce système permet d’avoir une copie toujours à disposition rapidement, mais est grandement gigavore. Si seulement les versions différentes étaient stockées …

Sauvegarde entre plusieurs NAS : Hyper Backup

Vous avez plusieurs NAS Synology ? Vous êtes un peu parano comme moi ? Peur d’un incendie, d’un vol, d’un dysfonctionnement majeur du NAS ? Envie de sauvegarder un répertoire synchronisé avec Cloud Station drive ?

Hyper Backup est fait pour vous ! On est ici sur un outil s’approchant de Cloud Station Backup pour l’aspect « sauvegardes régulières programmées », mais avec un versionning élégant, construit autour d’une base de données qui n’enregistre que les modifications apportées entre les différentes versions. Un grand gain de place à la clef !

hyper backup

Pour ma part, je sauvegarde avec Hyper Backup le répertoire photo de mon NAS primaire,  sur un second NAS distant.

Comme pour les autres outils Synology utilisant un gestionnaire de versions, il est possible de faire tourner les versions en ne gardant, par exemple, que les plus significatives du mois et de la semaine passée.

hyper backup - synology

Sauvegarde avec des technologies traditionnelles, avec les géants du Cloud « en ligne » et de la sauvegarde « froide »

Reste une dernière possibilité proposée au travers d’Hyper Backup, de Glacier backup et de Cloud Station Cloud : la sauvegarde ou la synchronisation de répertoires chez de très nombreux opérateurs tels qu’Amazon S3 et Glacier, Hubic, DropBox, Google Drive, RackSpace, Microsoft Azure, … ou encore d’utiliser des technologies de transferts plus « traditionnelles » tel que Rsync, Webdav, Ftp, …

cloud sync

Idéal quand l’upload d’une connexion est limité et que l’on veut partager du contenu en toute convivialité en bénéficiant des grands débits des opérateurs internet.

Pour approfondir, avec l’univers Synology, dans les solutions proposées, vous pouvez adosser à vos sauvegardes gestion de groupes, contrôle de la bande passante, chiffrement (avec ralentissement des transferts, sauf processeur matériel dédié), …

 

Images : Synology, Wei-Te Wong, …

Retour d’expérience : Lima le joli boitier français #cloud #meetlima #pioneerkit

En juillet 2013, l’équipe de Cloud guys corporation lance une campagne Kickstarter autour d’une solution nommée LIMA, permettant de mettre en œuvre un cloud personnel (et un peu plus). Leur idée est simple : au lieu d’héberger vos données dans le cloud d’une grande société, hébergez vous-même vos données chez vous. En cette année de traumatisme autour du réseau de surveillance PRISM et des révélations d’Edward Snowden, LIMA rencontre un succès fulgurant. La v0.10 logicielle du projet installée, voici un bref retour d’expérience et quelques notes historiques.

Les origines

A l’origine du projet, on retrouve Séverin Marcombes et Gawen Arab, deux anciens élèves ingénieurs de l’ECE Paris. Le binôme se forme dans un premier temps autour de Forgetbox, une application permettant d’envoyer des fichiers sans limite de taille par Internet. Forgetbox est hébergée en 2012 par LeCamping, puis abandonnée au profit de ce qui deviendra Plug, puis Lima.

« Nous sommes partis d’un constat : beaucoup de gens utilisent quotidiennement deux ordinateurs différents (un portable et un fixe). Or, les technologies actuelles ne nous permettent pas d’avoir les mêmes fichiers sur les deux. Pour nous, il fallait trouver une solution à ce problème. »1

Succès instantané sur Kickstarter

Lancée le 10 juillet 2013, la levée de fonds participative atteint son objectif en … 12 heures, grâce à 12 800 backers ! Ces 69 000 dollars ne seront qu’un premier palier vers le demi-million récolté en 9 jours et les près d’ 1 200 00 $ de la fin de campagne.

Puis l’attente

Comme souvent quand on investit dans un projet, il y a des surprises. Et avec LIMA, la plus forte jusqu’à présent a été l’attente. Avec une production initialement prévue pour débuter en septembre 2013, les bakers devaient recevoir leur précieux boîtier pour Noël de la même année.

Lima-PCB-lower-quality-1024x665

Mais finalement, ce n’est qu’en février 2014 que la production du hardware débuta (véritablement en octobre 2014) et la livraison n’est intervenue qu’en juillet 2015.

Probablement que l’équipe en charge du projet, face aux 17 000 précommandes (sûrement plus après la clôture de la campagne), aux 1,2 millions de dollars levés en ligne et aux 2,5 millions supplémentaires grâce au fond d’investissement Partech Venture, a vu l’opportunité de revoir leur ambitions à la hausse pour proposer un outil encore plus performant. La sécurisation du petit boîtier semble avoir également pris bien plus de temps que prévu.

Il est toujours difficile de quantifier le temps de développement d’une innovation que personne n’a jamais développée auparavant. Nous avons rencontré plusieurs obstacles au cours du développement de notre produit. Aujourd’hui, nous marquons une étape essentielle. La technologie que nous avons développée est prête à être déployée à un grand nombre. Les avancées qu’apporte l’innovation Lima nous projettent loin devant la concurrence — Severin MARCOMBES, CEO de Lima

Au lendemain de la campagne de financement, le projet a connu de nombreux ratés de communication. Les frictions ont le plus souvent tourné autour de l’incapacité de l’équipe à pouvoir annoncer une date de livraison. Ayant pris le projet en cours de route au travers d’une précommande tardive, malgré un flou sur les dates de livraison, j’ai apprécié fortement le rythme hebdomadaire du blog du projet, permettant de suivre l’avancée du projet de façon régulière. Je n’ai pas le souvenir d’avoir eu un tel support sur d’autres projets. Bravo à l’équipe pour ce suivi si régulier.

Il ne manque plus qu’une grande road map prévisionnelle pour l’implémentation des fonctionnalités afin d’avoir un horizon à moyen / long terme.

Awards

CES-Innovation_LimaSur la route, le projet s’est vu décerner 2 awards au CES 2014 dans les catégories Software and Mobile Apps et Computer Accessories. Il a également été remarqué lors du Pulse Contest 2014 (organisé par le constructeur Huawei et l’association La Cuisine du Web) avec un 3ème prix dans la catégorie Objets connectés.

Mais au fait, c’est quoi Lima ?

Lima c’est un boitier grand comme une boite d’allumettes. On le branche d’un coté au réseau avec une prise Ethernet et de l’autre à un disque dur fraichement formaté (ntfs / hfs+).

HDD-1024x559

Sur chacun des devices que l’on souhaite connecter au boîtier, il faut installer une application qui permettra de faire le lien entre le disque et la « machine ».

Dans un premier temps on peut alors concevoir LIMA comme un dropbox/drive/onedrive hébergé à la maison. On se retrouve avec une sorte de répertoire partagé. Lorsque l’on y dépose un fichier, il est presque instantanément visible depuis les autres périphériques qui y sont synchronisés.

01-small

Sous Mac l’utilisateur se retrouve avec une icône sur son bureau l’amenant à accéder au boîtier comme une simple clef USB. Sous Windows, il faut aller faire un tour dans le poste de travail pour l’y retrouver comme un nouveau disque dur. Sous Android et iOs, tout passe par des applications dédiées. Sous Linux, je n’ai pas encore essayé, mais on peut imaginer que ça devrait ressembler à ce qui existe sous Mac.

Capture d’écran 2015-08-21 à 12.23.44

Windows-purple-notification Mac-red-notification-1

Mais LIMA propose d’aller plus loin ! Les développeurs ont conçu une couche d’abstraction logicielle remplaçant directement le système de fichiers virtuel sur Windows, OS X et Linux. Le disque en réseau sera ainsi d’emblée reconnu par les applications installées sur les ordinateurs et se présentera sous la forme d’un espace de stockage unifié.

Relié à ce stockage centralisé (chaque machine disposant de son cache pour y gérer les fichiers accessibles hors ligne / punaisés), le bureau de chaque machine se retrouve être le même. Vous y rajoutez un fichier, il se retrouve virtuellement présent sur l’ensemble des autres machines. Vous le modifiez, les changements sont répercutés sur les autres machines connectées.

Lima collecte les fichiers existants dans les appareils qui lui sont associés et les copie automatiquement au sein du disque qui est au chaud chez vous. Les appareils utilisent alors cet espace de stockage comme mémoire de référence.

Pioneer-v-unif-A Pioneer-v-unif-loupe

Par exemple le disque branché à votre LIMA fait 4TO. Vous unifiez vos périphériques, vous travaillez sur des machines qui ont le même bureau et partagent le même espace virtuel de 4TO.

Notre objectif est de faire disparaitre les frustrations et les inefficacités qui résultent de l’éparpillement des fichiers sur différents appareils“, détaille Séverin Marcombes.2

Niveau sécurité, côté disque dur c’est clef AES et encryptage RSA 2048. Côté transfert, c’est TLS qui est à l’œuvre.

Coté licences logicielles, du libre et du moins libre.

fonctions lima

Unboxing – installation v0.10

Alors après les promesses (liste des fonctions annoncée pour le pioneer kit), que donne LIMA quand on l’a entre les mains ?

LIMA a beaucoup changé en termes de design depuis les premières images de la campagne de crowdfunding, tout comme l’ensemble des éléments de communication. Plus soigné, plus léché, plus mature. L’effet Wahou opère dès le déballage et se poursuit avec les interfaces d’installation.

2015 - lima - lima - 53343 - 17 août 20152015 - lima - lima - 53345 - 17 août 2015

Le packaging est à cette image, et en plus une surprise attend l’acheteur : une paire d’écouteurs au style sympa.

Une autre surprise attend également le baker non attentif : il n’y pas 2 mais 3 prises sur le boitier. Et oui, les visuels s’étaient bien gardés de l’afficher, le petit capable d’alimentation tout encombrant du boîtier.

2015 - lima - lima - 53353 - 17 août 2015IMG_20150821_123412

Une fois branché, l’installation s’est déroulée sans embuche pour ma part. D’une agréable facilité sur OsX et Windows10, un peu plus chaotique sur Android. En effet, il faut installer une première app de tracking qui permet d’installer LIMA. Ça manque un peu d’explications à ce sujet.

Ci-dessous quelques images du processus d’installation.

Sur Windows 10, pour le moment, ni la visionneuse, ni l’application métro « Photo » n’arrivent à lire les photos déposées sur mon LIMA, contrairement à paint, photoshop, picasa, …

Sur Mac, rien à signaler. Une belle icone s’affiche sur le bureau.

Sur Android, l’application a tendance à crasher de temps à autre, mais sinon elle fait le job : elle donne accès aux fichiers présents sur LIMA et permet la synchronisation des photos prises avec le smartphone. Par contre je n’ai rien vu pour déposer d’autres fichiers sur l’espace de stockage.

La question des usages

La question de l’usage est vraiment centrale sur LIMA. En effet, bien que le soft qui fait tourner le système soit encore jeune (on est en Beta test), on peut se poser la question de l’efficacité d’une telle solution au quotidien.

Personnellement, j’ai craqué pour ce produit pour son côté « mon petit cloud à la maison », clef en main. L’approche était originale, le design sympa, l’expérience motivante, mais les plus bricoleurs auraient pu se contenter d’une Pirate Box. En effet, je n’ai pas pour le moment l’utilité de la fonction d’unification (mais c’est en utilisant que les usages viennent, alors qui sait …), d’autant que je ne suis pas prêt à unifier l’ensemble de mes machines avant d’avoir essayé sur des environnements de test. En attendant de lancer les VM, j’en resterai à la simple fonctionnalité « Dropbox-like ».

9

C’est probablement un biais au niveau des attentes des backers. Évidemment je n’ai pas lu tous les tweets au sujet de LIMA, ni tous les commentaires, mais un certain nombre d’usages semblent avoir le même penchant que moi : un Google Drive à la maison.

La limite technique du débit de votre connexion

Alors que tout se passe bien dans l’environnement de couverture de votre box internet (aka quand l’on est connecté au réseau wifi de la box sur laquelle est branché le LIMA), le confort d’utilisation s’effondre rapidement dès que vous sortez de l’espace où est rangé le boîtier. Et oui, vous avez sûrement dû vous dire comme moi « Mais j’ai pas 10 mo d’upload sur ma connexion ». Et ça risque très rapidement d’être LE problème.

Screen-Shot-2015-08-17-at-18.52.41-1024x524

Mis à part avoir une fibre, le commun des mortels sera à domicile avec quelque chose de l’ordre des 100ko en sortie. Autant dire que si vous n’avez pas préchargé avant de sortir de chez vous la dernière vidéo de vacances, ce n’est pas dans les transports en commun que vous allez pouvoir la lire …

Du coup sur mon smartphone, j’ai régulièrement des messages du type « fichier non trouvé », lorsque le téléchargement du fichier est trop long (et ça donne parfois des crashs).

The+speed+of+your+gif+is+too+damn+high+the_1e36b7_5008497

La question du multi compte

Dans cette v0.10, le multi compte n’existe pas. C’est pour le moment un manque fort, surtout au sein d’un même foyer/structure/entreprise. Un espace de stockage individuel et un commun seraient les bienvenus ! Sans savoir précisément ce que l’on aura, l’équipe indique que ça arrivera … un jour.

La question du partage

Dans un cycle également d’échange de fichiers, pour le moment il n’y a aucune solution pour partager les fichiers présents dans votre cloud personnel. Dommage … (mais imaginons la bande passante nécessaire pour envoyer les 100 photos de la dernière soirée à X personnes …).

La question du long terme

La question de la pérennité des données est également à l’épreuve. En effet, pas de système RAID derrière votre LIMA. Vous l’avez déjà peut être expérimenté, mais un disque dur n’a pas une durée de vie infinie. Il arrive parfois que le « tic tic » de la mort intervienne acheminant vos données vers le néant3. On peut imaginer qu’un disque USB, non ventilé et utilisé intensivement, résistera un peu moins au temps.

Heureusement, il reste la possibilité de mettre en place un système basé sur 2 LIMA, donc 2 disques durs qui fonctionnent ensemble de façon synchronisée (enfin la fonction arrive très prochainement). Mais on en revient à la question de la bande passante nécessaire pour synchroniser les périphériques (sans oublier la question de la consommation d’un disque USB branché h24 même en mode veille).

Conclusion sur la v0.10

LIMA est un projet jeune, qui a sûrement connu le succès trop tôt. Dans le feu de l’action, les choix technologiques ont évolué, la communication a parfois eu des accrocs et l’équipe, à taille humaine, a dû apprendre sur le tas.

Aujourd’hui LIMA déballé et son logiciel en v0.10 installé, quoi en penser ? Un peu de déception. Oui c’est beau, oui ça fonctionne dans les grandes lignes pour la fonction dropboxe-like à domicile, mais le choc de la mobilité vient nous rappeler à l’ordre : la vitesse de connexion sera probablement un facteur clef dans l’adoption au quotidien de la solution. Et encore, en France nous avons la chance d’avoir des offres ADSL / THD illimité en volume de data contrairement à de nombreux pays, même européens.

Sans multi users et partage avec l’extérieur, LIMA risque de finir comme un simple stockage à domicile, malgré son potentiel immense.

En effet, la possibilité d’avoir des environnements unifiés sur plusieurs machines est un avantage certain dans de nombreux cas (travail sur plusieurs machines, sessions de formation, ..), tout comme la possibilité de faire du versionning de documents et de la « collaboration » autour d’un fichier ou d’un dossier. Une version web est également annoncée !

Aujourd’hui, à moins d’activer l’unification des données entre périphériques, LIMA ressemble à une grosse clef USB en ligne, dont l’accès se limite à vous et à vos périphériques (ce qui n’est déjà pas mal ^^).

Nous n’en sommes en sommes qu’à la v0.10, il faudra sûrement du temps pour voir LIMA devenir réellement utile au quotidien. En complément des billets hebdomadaires et des mises à jour qui devraient prendre ce rythme, une road map prévisionnelle permettrait de rassurer une partie de la communauté.

Ce qui est rassurant cependant, c’est que le boîtier en lui-même fonctionne parfaitement. Il ne s’agit maintenant, en grande partie, « que » d’implémenter de nouvelles fonctionnalités sur les logiciels présents sur les différentes machines. Et ça, ça laisse beaucoup d’espoir ! Donnons du temps à ce beau projet français.

Toujours plus loin : lima ultra – novembre 2016

J’ai finalement abandonné Lima après quelques semaines d’utilisation. Trop lent, peu fiable, pas d’unification, crashs sur l’application Android …

Niveau logiciel, Lima semble s’être stabilisé, bien qu’au vu d’un certain nombre de commentaires, de nombreux problèmes persistes.

Et soudainement, en ce mois de novembre 2016, sortie du brouillard numérique, une nouvelle version du boitier Lima arrive, portant le nom d’Ultra (après ça sera Mega, Giga,… ?). La seule promesse ici faite : plus de rapidité. 40 fois plus ! Quid de la stabilité du logiciel et des fonctionnalités avancées ? Cette fois ci je n’irai pas à l’aventure : pas d’acquisition de ce nouveau device en vu pour moi.

lima-ultra

Je vais continuer à me concentrer sur mes NAS Synology. Et quoi que l’on en dise, ce n’est pas plus compliqué à installer 🙂

La vidéo de lancement me rappel une belle chanson des internets (où l’un des seuls arguments est la vitesse) :

  1.   Source : digitalforallnow.com
  2. source : http://www.gouvernement.fr/lima-est-une-start-up-100-francaise
  3. http://www.tomsguide.fr/actualite/disque-dur,39376.html