hadoop - हूओप गेमेरेगेज़ को एक और मशीन



storage pipe (1)

यह वास्तव में आपको क्या चाहिए:

hadoop fs -cat /user/hduser/Job-output/* | ssh [email protected] "cat >mergedOutput.txt"

fs -cat अनुक्रम में सभी फाइलों को पढ़ाएगा और उन्हें stdout पर आउटपुट कर देगा।

ssh उन्हें दूरस्थ मशीन पर एक फ़ाइल में पास कर देगा (ध्यान दें कि scp stdin को इनपुट के रूप में स्वीकार नहीं करेगा)

क्या hadoop dfs -getmerge कमांड के आउटपुट को किसी अन्य मशीन पर आउटपुट करना संभव है?

इसका कारण यह है कि मेरे स्थानीय मशीन में कोई पर्याप्त जगह नहीं है नौकरी का उत्पादन 100 जीबी है और मेरा स्थानीय भंडारण 60 जीबी है

एक अन्य संभावित कारण यह हो सकता है कि मैं किसी अन्य मशीन में आउटपुट को किसी अन्य मशीन में स्थानीय रूप से संसाधित करना चाहता हूं और मैं इसे दो बार (एचडीएफएस-> लोकल एफएस -> रिमोट मशीन) स्थानांतरित नहीं करना चाहता। मैं बस (एचडीएफएस -> रिमोट मशीन) चाहता हूं।

मैं किस प्रकार के scp काम करता है, जैसे की तलाश कर रहा हूं:

hadoop dfs -getmerge /user/hduser/Job-output [email protected]:/home/user/

वैकल्पिक रूप से, मैं एक दूरस्थ होस्ट से एचडीएफएस डेटा को अपनी स्थानीय मशीन से प्राप्त करना चाहूंगा।

इस अवसर पर यूनिक्स पाइपलाइन का इस्तेमाल किया जा सकता है?

उन लोगों के लिए जो हौप से परिचित नहीं हैं, मैं सिर्फ एक दूरदराज के मशीन पर एक निर्देशिका के साथ इस आदेश में एक स्थानीय डीआईआर पैरामीटर ( /user/hduser/Job-output ) को बदलने का एक तरीका तलाश रहा हूं।





remote-access