Reconstruction de certains éléments avec Peertube (réduction taille des backups)

PeerTube
1

Bonjour à tous,

Je me demandais s’il existe une procédure ou option dans PeerTube qu’on peut lancer pour reconstruire certains éléments (ou voir si c’est utile).

Je m’explique, sur certaines petites instances devoir faire un backup de l’ensemble des éléments peut être un casse tête, surtout vu le volume. Et je ne parle pas uniquement des vidéos, mais du nombre de thumbnail créé par exemple qui prennent énormément de place (et cet espace occupé peut être énorme en fonction du système de fichier choisi : NTFS / EXT4 / ZFS etc).

J’avais déjà suggéré sur GitHub la séparation des vidéos de redondance de celle de l’instance pour les mêmes raisons de backup des petites instances.

L’idée ici est de backup la vidéo d’origine, les comptes et les thumbnail d’origine (il faudrait donc séparer les thumbnails locaux de ceux des autres instances). Cela réduit le poids des backups pour les petites instances.

Le but après un crash est de restaurer la base de donnée, les vidéos locaux et les thumbnails locaux, puis après restauration reconstruire les autres définitions des vidéos locaux et de récupérer les thumbnails externes depuis les autres instances.

Voilà en gros l’idée (qui peut être améliorer). A voir si c’est pertinent, le but étant de réduire la taille des backups, mais en contrepartie la restauration sera plus longue et plus couteuse en ressources (CPU, bande passante, accès disque).

Cordialement,

2

Hello,

Non désolé il n’existe pas de telle procédure. Mais je suis étonné que tu dises que les miniatures prennent beaucoup de place. À l’heure actuelle, ça devrait rester en dessous de 1Go, ce qui pour une plateforme de vidéos est acceptable.

Pour ne stocker que la vidéo d’origine c’est une bonne idée. Je t’invite à créer une issue pour qu’on crée un script de backup/restore (le restore lancerait les jobs de transcoding par exemple).

3

J’avais énormément de chose en cache sur mon ancienne instance, les miniatures des vidéos et compagnie qui prends beaucoup de place au bout d’un moment (mon instance follow l’ensemble des autres).

Avec des miliers de fichiers de ce type provenant des miniatures de vidéo, d’avatar et autre, ça commence à prendre du volume au bout d’un moment, d’où la question.

Faire de la vidéo prend beaucoup d’espace, voilà pourquoi j’essaye de trouver des idées pour réduire la taille de backup, quitte à refaire chauffer le CPU et la bande passante en cas de restauration.

Dès que j’ai le temps (ce qui n’est pas garantis vu mon délais de réponse), j’vais voir pour poster une issue pour un script de backup. C’est vrai que ça peux être intéressant d’avoir un moyen facile de backup et surtout restore une instance (je pense que certains admins ont déjà fait leur tambouille dans leur coin, mais ça pourrait aider les petits instances dans la gestion sans se prendre la tête).