Exposer un système de fichiers en tant que service compatible Amazon S3

Stephen C

Exposer un système de fichiers en tant que service compatible Amazon S3


Je recherche un logiciel open source pouvant être utilisé pour exposer une arborescence de système de fichiers en tant que service avec une API compatible S3 (sous-ensemble).

J’ai besoin de quelque chose qui permette au logiciel (c’est-à-dire GenomeSpace qui a la capacité client S3) de lire et d’écrire à distance des fichiers à partir du système de fichiers de mon serveur comme si mon serveur était un serveur S3 à part entière.

La redondance, etc. n’est pas une exigence. Ce n’est pas un stockage d’objets complet: il fait simplement ressembler les fichiers et les répertoires au stockage d’objets pour un client S3 exécuté sur une autre machine (probablement dans le même centre de données).

J’aurais dû mentionner que mon serveur exécutera une certaine saveur de Linux.

Izzy ♦

Pourrait être utile d’ajouter quelques détails: si « logiciel » (prêt à l’emploi), quel OS? Si bibliothèque (que je retiens de votre mention « API compatible »), quel langage de programmation?

Nemo

Internet Archive a une interface S3, vous pouvez peut-être emprunter une partie de leur code (une grande partie est dans GitHub).

Réponses


 Jonathan Eunice

Si vous souhaitez créer un service privé de type S3 sur votre système de données / fichiers, vous avez besoin d’une pile logicielle telle qu’Eucalyptus qui implémente un ensemble de services de type AWS au sommet de votre infrastructure privée.

Le composant spécifique d’eucalyptus dont vous auriez besoin est appelé «morse».


 Jonathan Eunice

Vous pouvez essayer s3fs pour Linux, ou éventuellement wins3fs pour Windows (bien que sa dernière mise à jour soit toujours ancienne).

Il existe également des alternatives commerciales comme ExpanDrive , mais celles-ci ne répondent pas à vos critères « open source ».

Je vous conseille de tester avec soin la solution que vous choisissez. J’ai utilisé des approches ouvertes et propriétaires de «S3 en tant que système de fichiers» et je n’ai jamais été satisfait de leur fiabilité. Essayer de coupler ce qui est fondamentalement une ressource distante à latence élevée avec un système logiciel (le système de fichiers) qui attend une ressource très locale à faible latence – eh bien, les deux ne correspondent souvent pas très bien. J’ai découvert que je pouvais copier des fichiers magnifiquement de et vers S3 … puis quelques minutes plus tard, lorsque j’essaie de copier plus de fichiers, la connexion est en quelque sorte rompue. Il s’agit d’un environnement avec des connexions réseau à 50 Mbps, dans lequel des logiciels comme ssh et scp n’ont aucun problème. D’après mon expérience, essayer de traiter S3 comme un système de fichiers semblait être l’approche la plus simple et la plus infaillible … mais en pratique, cela n’a souvent pas fonctionné de manière robuste, et j’ai passé plus de temps à redémarrer ma connexion au système de fichiers S3 qu’à valait. Depuis, je suis passé à des outils en ligne de commande comme s3cmd qui ne subissent pas les mêmes abandons. YMMV.

Stephen C

Vous avez mal compris mes exigences. Je ne veux pas que S3 ressemble à un système de fichiers. Je veux que le système de fichiers ressemble à S3

 

#de, #en, Amazon, compatible, Exposer, fichiers, que, S3, Service, système, tant, un

 

elle.fr

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *