amazon s3 - एक संपूर्ण एस 3 बाल्टी डाउनलोड कर रहा है?




amazon-s3 amazon-web-services (13)

एडब्ल्यूएस सीएलआई

एडब्ल्यूएस सीएलआई के लिए दस्तावेज़ीकरण

एडब्ल्यूएस ने हाल ही में अपने कमांड लाइन टूल्स जारी किए हैं। यह बोटो की तरह बहुत काम करता है और sudo easy_install awscli या sudo pip install awscli का उपयोग करके स्थापित किया जा सकता है

एक बार स्थापित हो जाने पर, आप बस चला सकते हैं:

कमान :

aws s3 sync s3://mybucket .

आउटपुट :

download: s3://mybucket/test.txt to test.txt
download: s3://mybucket/test2.txt to test2.txt

यह आपकी सभी फाइलें (एक तरफा सिंक) डाउनलोड करेगा। यह आपकी वर्तमान निर्देशिका में किसी भी मौजूदा फाइल को तब तक नहीं हटाएगा (जब तक कि आप --delete निर्दिष्ट नहीं करते ), और यह S3 पर किसी भी फ़ाइल को परिवर्तित या हटा नहीं देगा।

आप एस 3 बाल्टी को एस 3 बाल्टी भी कर सकते हैं, या एस 3 बाल्टी सिंक के लिए स्थानीय भी कर सकते हैं।

दस्तावेज़ीकरण और अन्य उदाहरण देखें:

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

मैंने देखा कि एडब्ल्यूएस प्रबंधन कंसोल से एक संपूर्ण एस 3 बाल्टी डाउनलोड करने का विकल्प प्रतीत नहीं होता है।

क्या मेरी बाल्टी में से किसी एक में सबकुछ पकड़ने का कोई आसान तरीका है? मैं रूट फ़ोल्डर को सार्वजनिक बनाने के बारे में सोच रहा था, इसे सभी को पकड़ने के लिए wget का उपयोग करके, और फिर इसे फिर से निजी बनाना लेकिन मुझे नहीं पता कि कोई आसान तरीका है या नहीं।


  1. विंडोज उपयोगकर्ता को इस लिंक से S3EXPLORER डाउनलोड करने की आवश्यकता है जिसमें इंस्टॉलेशन निर्देश भी हैं: - http://s3browser.com/download.aspx

  2. फिर आपको s3explorer में गुप्तकी, accesskey और क्षेत्र जैसे AWS प्रमाण-पत्र प्रदान करते हैं, इस लिंक में s3explorer के लिए कॉन्फ़िगरेशन निर्देश शामिल है: प्रतिलिपि पेस्ट लिंक ब्रॉवर में: s3browser.com/s3browser-first-run.aspx

  3. अब आपकी सभी एस 3 बाल्टी s3explorer के बाएं पैनल पर दिखाई देगी।

  4. बस बाल्टी का चयन करें, और बाएं कोने पर बाल्टी मेनू पर क्लिक करें, फिर मेनू से विकल्प में सभी फ़ाइलों को डाउनलोड करें का चयन करें। नीचे इसके लिए स्क्रीनशॉट है:

बाल्टी चयन स्क्रीन

  1. फिर किसी विशेष स्थान पर बाल्टी डाउनलोड करने के लिए फ़ोल्डर ब्राउज़ करें

  2. ठीक क्लिक करें और आपका डाउनलोड शुरू हो जाएगा।


aws सिंक एकदम सही समाधान है। यह दो तरीकों से नहीं करता .. यह स्रोत से गंतव्य तक एक तरीका है। इसके अलावा, यदि आपके पास बाल्टी में बहुत सी चीजें हैं तो पहले एस 3 एंडपॉइंट बनाने का अच्छा विचार होगा ताकि डाउनलोड तेज हो जाए (क्योंकि डाउनलोड इंटरनेट के माध्यम से नहीं होता है लेकिन इंट्रानेट के माध्यम से होता है) और कोई शुल्क नहीं


आप अपनी बाल्टी डाउनलोड करने के लिए s3cmd का उपयोग कर सकते हैं।

s3cmd --configure
s3cmd sync s3://bucketnamehere/folder /destination/folder

अद्यतन करें

एक और उपकरण है जिसे आप Rclone नामक उपयोग कर सकते हैं। नीचे Rclone दस्तावेज़ में एक कोड नमूना है।

rclone sync /home/local/directory remote:bucket

आपके पास ऐसा करने के लिए मूल रूप से कई विकल्प हैं, लेकिन सबसे अच्छा एडब्ल्यूएस सीएलआई का उपयोग कर रहा है

यहाँ एक walkthrough है

  • चरण 1

अपनी मशीन में एडब्ल्यूएस सीएलआई डाउनलोड और इंस्टॉल करें

एमएसआई इंस्टॉलर (विंडोज) का उपयोग कर एडब्ल्यूएस सीएलआई स्थापित करें

बंडल इंस्टॉलर (लिनक्स, ओएस एक्स, या यूनिक्स) का उपयोग करके एडब्ल्यूएस सीएलआई स्थापित करें

  • चरण 2

एडब्ल्यूएस सीएलआई कॉन्फ़िगर करें

सुनिश्चित करें कि आप वैध पहुंच कुंजी और गुप्त कुंजी इनपुट करते हैं जिसे आपने खाता बनाया था जब आपने प्राप्त किया था

  • चरण 3

निम्न आदेश के साथ s3 बाल्टी सिंक करें

aws s3 sync s3://yourbucket /local/path

निम्न डेटा के साथ उपरोक्त आदेश बदलें

yourbucket >> अपनी एस 3 बाल्टी जिसे आप डाउनलोड करना चाहते हैं

/ स्थानीय / पथ >> अपने स्थानीय सिस्टम में पथ जहां आप सभी फाइलें डाउनलोड करना चाहते हैं

उम्मीद है की यह मदद करेगा!


एक और विकल्प जो कुछ ओएसएक्स उपयोगकर्ताओं की मदद कर सकता है, संचारित है । यह एक FTP प्रोग्राम है जो आपको अपनी एस 3 फाइलों से कनेक्ट करने देता है। और इसमें किसी भी ftp या s3 स्टोरेज को खोजक में फ़ोल्डर के रूप में माउंट करने का विकल्प है। लेकिन यह केवल सीमित समय के लिए है।


मैंने अमेज़ॅन एस 3 डेटा को स्थानीय मशीन पर कॉपी करने के लिए कुछ अलग-अलग तरीकों का उपयोग किया है, जिसमें एस 3 सीएमडी शामिल है, और अब तक साइबरडक सबसे आसान है। आपको बस इतना करना है कि आप अपने अमेज़ॅन प्रमाण-पत्र दर्ज करें और अपनी बाल्टी / फ़ोल्डरों / फ़ाइलों को डाउनलोड / अपलोड / सिंक करने के लिए सरल इंटरफ़ेस का उपयोग करें।


मैंने एस 3 के लिए थोड़ा सा विकास किया है और मुझे पूरी बाल्टी डाउनलोड करने का एक आसान तरीका नहीं मिला है। यदि आप जावा में कोड करना चाहते हैं तो jets3t lib को बाल्टी की सूची बनाने के लिए उपयोग करना आसान है और उन्हें डाउनलोड करने के लिए उस सूची में पुनरावृत्त करना आसान है।

http://jets3t.s3.amazonaws.com/downloads.html

पहले एडब्ल्यूएस प्रबंधन कंसुल से एक सार्वजनिक निजी कुंजी सेट प्राप्त करें ताकि आप एक S3service ऑब्जेक्ट बना सकें ...

AWSCredentials awsCredentials = new AWSCredentials(YourAccessKey, YourAwsSecretKey);
s3Service = new RestS3Service(awsCredentials);

फिर अपने बाल्टी वस्तुओं की एक सरणी प्राप्त करें ...

S3Object[] objects = s3Service.listObjects(YourBucketNameString);

अंत में, इस कोड के साथ एक समय में वस्तुओं को डाउनलोड करने के लिए उस सरणी पर फिर से चलाएं ...

S3Object obj = s3Service.getObject(bucket, fileName);
            file = obj.getDataInputStream();

मैंने कनेक्शन कोड को थ्रेडसेफ सिंगलटन में रखा है। स्पष्ट कारणों के लिए आवश्यक प्रयास / पकड़ वाक्यविन्यास छोड़ा गया है।

यदि आप पाइथन में कोड चाहते हैं तो आप इसके बजाय बोटो का उपयोग कर सकते हैं।

BucketExplorer के आसपास देखने के बाद पीएस जो आप चाहते हैं वह करो। https://forums.aws.amazon.com/thread.jspa?messageID=248429


यदि आप विजुअल स्टूडियो का उपयोग करते हैं, तो http://aws.amazon.com/visualstudio/ डाउनलोड करें

स्थापित करने के बाद, विजुअल स्टूडियो पर जाएं - एडब्ल्यूएस एक्सप्लोरर - एस 3 - आपकी बाल्टी - डबल क्लिक करें

विंडो में आप सभी फाइलों का चयन करने में सक्षम होंगे। राइट क्लिक करें और फाइलें डाउनलोड करें।


यदि आपके पास केवल फाइलें हैं (कोई उपनिर्देशिका नहीं) एक त्वरित समाधान सभी फ़ाइलों का चयन करना है (पहले पर click , Shift+click अंतिम पर Shift+click ) और Enter या right click और Open चयन करें। अधिकांश डेटा फ़ाइलों के लिए यह उन्हें सीधे आपके कंप्यूटर पर डाउनलोड करेगा।


विंडोज़ में, इसके लिए मेरा पसंदीदा जीयूआई उपकरण एस 3 के लिए क्लाउडबेरी एक्सप्लोरर है। http://www.cloudberrylab.com/free-amazon-s3-explorer-cloudfront-IAM.aspx । एक काफी पॉलिश फ़ाइल एक्सप्लोरर, ftp- जैसे इंटरफ़ेस है।



एडब्ल्यूएस एस 3 सीएलआई का उपयोग करके डाउनलोड करने के लिए:

aws s3 cp s3://WholeBucket LocalFolder --recursive
aws s3 cp s3://Bucket/Folder LocalFolder --recursive

कोड का उपयोग करके डाउनलोड करने के लिए, एडब्ल्यूएस एसडीके का प्रयोग करें।

जीयूआई का उपयोग करके डाउनलोड करने के लिए, साइबरडक का प्रयोग करें।

आशा करता हूँ की ये काम करेगा.. :)







amazon-web-services