rsync, ou les joies de la mise à jour pour assistés

windu.2b — Mon, 29 Oct 2007 22:28:00 +0100

Depuis un petit moment que ça me travaillait, j'ai envie pris le temps de faire un (petit) script Shell pour automatiser la mise à jour des chansons sur mon baladeur.
Le problème était le suivant : il m'arrive parfois de remarquer que certains de mes fichiers musicaux sont mal "taggués" voire pas du tout ! Après une modification des tags ID3 du fichier, il m'arrivait souvent d'oublier de mettre à jour la copie dudit fichier qui se trouve sur mon baladeur, tout simplement parce qu'il m'aurait fallu vérifier si, oui ou non, ce fichier s'y trouvait (mon baladeur ne contient en effet pas tous mes fichiers musicaux).
D'où mon problème : comment synchroniser les fichiers musicaux en local sur mon ordinateur avec ceux (et seulement ceux-là) présents sur mon baladeur ?

La réponse : rsync bien sûr !

Cette petite application Unix (elle existe pour Linux, Mac OS X, BSD... mais pas pour Windows, du moins à ma connaissance) permet à la base de faire des sauvegardes incrémentielles. C'est à dire qu'au lieu de recopier bêtement la totalité des fichiers, rsync va être capable de détecter les fichiers qui auront été modifiés ^[1].
Voici donc la solution :
rsync -rvlptoDh --progress --existing --modify-window=1 source/ destination/

Décortiquons tout ceci, voulez-vous ?

-r : Ceci dit à rsync de copier les répertoires récursivement.
-v : Cette option augmente la quantité d'information que vous obtenez lors du transfert. Par défaut, rsync travaille silencieusement. Avec un -v, rsync vous indique quels sont les fichiers actuellement transmis et affiche un bref résumé à la fin. Avec deux drapeaux -v, rsync vous informe des fichiers ignorés et affiche un résumé avec légèrement plus d'information à la fin. Plus de deux drapeaux -v ne devraient être utilisés que pour déboguer rsync.
-l : Lorsque des liens symboliques sont rencontrés, ils sont recréés à la destination.
-p : Cette option entraîne la mise à jour des permissions distantes pour qu'elles soient identiques aux permissions locales. Sans cette option, tous les fichiers existants (y compris les fichiers mis à jour) gardent leur permissions actuelles, tandis que les nouveaux fichiers reçoivent des permissions basées sur les permissions du fichier source mais masquées par le masque utilisateur du récepteur (ce comportement est identique aux autres utilitaires de copie de fichier, tel que cp).
-t : Ceci dit à rsync de transférer les dates de modifications avec les fichiers et de les mettre à jour sur le système distant. Notez que si cette option n'est pas utilisée, l'optimisation qui consiste à exclure les fichiers qui n'ont pas été modifiés ne peut pas être efficace ; en d'autres termes, un -t ou -a absent va faire que le prochain transfert se ferra comme s'il utilisait -I, ce qui implique que tous les fichiers seront mis à jour (même si l'algorithme rsync rendra l'opération relativement efficace si les fichiers n'ont pas été modifiés, vous avez tout intérêt à utiliser -t).
-o : Cette option dit à rsync de mettre le propriétaire du fichier de destination identique à celui du fichier source. Sur la plupart des systèmes, uniquement le super-utilisateur peut fixer le propriétaire des fichiers. Par défaut, la conservation est effectuée selon le nom mais lorsque cela ne fonctionne pas, rsync utilise comme alternative le numéro ID. Référez-vous à l'option\ --numeric-ids pour plus de détail.
- h : affiche les valeurs numériques sous un format lisible "humainement".
--progress : Cette option demande à rsync d'afficher des informations montrant la progression des transferts. Ceci donne à un utilisateur qui s'ennuie quelque chose à regarder. Implique l'option --verbose lorsqu'elle n'a pas déjà été spécifiée.
--existing : met à jour uniquement les fichiers qui existent déjà
--modify-window=NUM : compare les dates avec une précision moins fine
source/ : désigne le répertoire servant de départ
destination/ : désigne le répertoire dans lequel les fichiers doivent être copiés

Tout ceci est bien beau, mais concrètement ?

Concrètement, cela va lister tous les fichiers contenus dans source/ et pour chacun d'eux, vérifier si un fichier portant le même nom se trouve dans destination/ et, le cas échéant, contrôler les dates de dernière modification. Si le fichier dans source/ est plus récent, alors il sera recopié vers derstination/
À noter que l'option --existing est très importante ! C'est elle qui limite le traitement aux fichiers déjà existants dans destination/ (sans ça, rsync copiera tous les fichiers présents dans source/).
Autre point important : l'option --modify-window=NUM permet de comparer les dates de dernière modification avec une moindre précision. en effet, le système de fichiers FAT a une précision de seulement 2s, ce qui n'est pas le cas des systèmes de fichiers comme ext3 (précision à 1s). Avec cette option, on peut ainsi contourner le problème (qui pourrait faire croire qu'un fichier dans destination/ est moins récent alors qu'il a juste une mauvaise précision sur l'heure de dernière modification).

Voilà, pour le moment tout ceci fonctionne parfaitement. Je ferai sans doute un prochain billet pour préciser comment automatiser tout ceci (soit via un cron, soit lors du montage de la partition du baladeur).

Notes

[1] soit en se basant sur leurs tailles respectives, soit sur la date de dernière édition voire les 2, cela dépendra des options qui lui auront été passées en paramètre.

Bla Bla Blog - synchronisation

rsync, ou les joies de la mise à jour pour assistés

La réponse : rsync bien sûr !

Tout ceci est bien beau, mais concrètement ?

Notes