amazon web services - costo - Backup: Amazon S3 o Glacier-tanti piccoli file?




s3 transition to glacier (3)

Sto cercando di capire il complicato modello di prezzi di Amazon Glacier. Non voglio memorizzare una grande quantità di dati, alcuni GB dicono 10. Spero di non scaricare mai i file e se ho bisogno di farlo non mi interessa quanto tempo ci vuole.

C'è un costo per file che carico? È più economico comprimere un sacco di piccoli file e caricarli in pochi blocchi o se 10.000 dicono che le immagini non contano? (non è possibile ottenere una risposta corretta durante la ricerca)

Sono in grado di richiedere il download di un intero archivio / secchio o è file per file?


Meglio usare pochi file più grandi di molti di quelli piccoli

Ci sono due approcci per inserire i file in Amazon Glacier. Puoi interagire direttamente con i depositi o utilizzare S3 come frontend.

Sto usando S3 (e Amazon Management Console) in modo che io possa vedere il contenuto dell'archivio e allo stesso tempo archiviarlo a basso costo a Glacier.

Questo approccio ha uno svantaggio: poiché l'archiviazione di qualsiasi informazione in Glacier ha alcuni dati generali (che paghi anche tu), allora c'è logicamente un punto di pareggio. Prima della riduzione del prezzo 2014-04 ho fatto un calcolo e la dimensione critica è di circa 16 kB, la memorizzazione di file più piccoli in Glacier (utilizzando AWS S3 come frontend) era più costosa che tenerla solo su S3. Con la riduzione del prezzo per lo stoccaggio S3 (il ghiacciaio non è cambiato) il punto di pareggio è andato ancora più in alto.

Immagino che, anche senza S3 come frontend, la situazione sarà simile, anche se un po 'più amichevole per i file più piccoli.


Dal 21 novembre 2016, Amazon ha aggiornato la politica dei tier gratuiti per i recuperi dei ghiacciai e ha aggiornato la politica del "5% della media mensile di archiviazione" in favore di un piatto di 10 GB gratuiti al mese. Tuttavia, se la tua politica di recupero è stata impostata prima di quel giorno, allora sei ancora sulla politica "5%" e le altre risposte qui si applicano ancora a te.

Se la tua politica di recupero è stata impostata dopo il 21 novembre 2016 e sei nei panni dell'OP:

Archivia solo 10 GB, quindi puoi recuperare tutti i tuoi dati gratuitamente una volta al mese utilizzando i retrieval standard. Non farebbe differenza se tutte le 10.000 foto sono compresse in un unico file zip o meno (per i recuperi).

L'unica variabile in questo scenario è il numero di richieste di caricamento. 10.000 richieste al prezzo di $ 0,05 per 1.000 sono solo $ 0,50 e questa è una tassa una tantum per il tuo caso specifico.

Maggiori informazioni sui prezzi alle FAQ di AWS Glacier

AGGIORNARE:

Glacier docs consiglia di utilizzare il caricamento multipart per file superiori a 100 MB.

Sono arrivato a questa conclusione in modo indipendente dopo un paio di timeout quando ho provato a caricare un file da 8 GB.


So che questo è un po 'vecchio, ma potresti ancora trovare la mia risposta utile (spero). L'altra risposta è basata su S3 che non era la tua domanda, credo.

Ghiacciaio è inteso per l'accesso ai file rari. Avendo questo in mente ti puniscono se hai bisogno di recuperare più file contemporaneamente. Nel tuo caso particolare suggerirei di caricare 10.000 file separati invece di dire 100 file ZIP con 100 file ciascuno. La ragione è molto semplice. Glacier ti consente di scaricare gratuitamente solo il 5% dell'archivio totale ed è ripartito su base giornaliera. Quindi, se, per esempio, hai bisogno di scaricare 10 foto che hai scattato durante un fine settimana, sarai in grado di ottenere quelle 10 foto gratis se sono distribuite nel vault. D'altra parte, se hai un file ZIP con 100 foto all'interno, sarai obbligato a scaricare lo zip che probabilmente sarà più del 5% dell'archivio totale, il che significa che pagherai alcune commissioni per il recupero.

L'unica ragione per cui è opportuno caricare meno file è evitare richieste di upload elevate (10.000 file di solito significano 10.000 richieste). Le richieste vengono addebitate $ 0,05 per 1000. Queste tasse sono molto più basse delle tariffe di recupero (tenendo conto dei limiti imposti), per questo consiglio sempre di caricare file separati. Naturalmente puoi comprimere i file che hanno senso essere insieme.

I costi di recupero sono molto complessi in Amazon Glacier. Hanno una buona spiegazione qui: http://aws.amazon.com/glacier/faqs/#How_much_data_can_I_retrieve_for_free Ma anche lì dovrai prestare attenzione ai calcoli per avere un'idea chiara di come vengono fatturati i costi.

Riguardo a questa domanda: Sono in grado di richiedere il download di un intero archivio / secchio o è file per file?

Le richieste sono file per file, sebbene sia possibile selezionare molti file contemporaneamente e scaricarli del tutto.

Decidere se usare S3 o Glacier dipende in realtà dalle tue necessità di accesso ai file. Se avrai bisogno di accedere ai tuoi file, allora Glacier è la tua risposta. In caso contrario, S3 da 10 GB può ancora essere economico ed essere più flessibile di Glacier. Nel mio caso trovo che le foto di famiglia siano una cosa molto preziosa. Ecco perché ho un backup di 100 GB sul ghiacciaio con tutte le foto di famiglia. Non intendo accedervi a meno che non ci sia una specie di disastro a casa. In tal caso, penso che non mi dispiacerebbe il costo del recupero se questo mi ha salvato qualcosa a cui tengo davvero. Ma sono solo io.