hadoop एचडीएफएस में फाइलों को पुन: व्यवस्थित करें



hive (1)

पहले, आपको उप निर्देशिका अंदर / foo बनाने की आवश्यकता है इस आदेश के लिए निम्न आदेश का उपयोग करें

$ hdfs dfs -mkdir / foo / prefix1

यह / उपू में एक उप निर्देशिका बना देगा अगर आप prefix1 के भीतर और अधिक उपनिर्देशिका बनाना चाहते हैं तो यह उसी आदेश को अद्यतन पथ संरचना के साथ फिर से उपयोग करें। यदि आप Hadoop (1.x) के पुराने संस्करण का उपयोग कर रहे हैं,

अब आप निम्न आदेश का उपयोग करके / foo से / foo / prefix1 फ़ाइलों को स्थानांतरित कर सकते हैं.यहाँ newfilename कोई भी नाम हो सकता है जिसे आप अपनी फ़ाइल में देना चाहते हैं।

$ hdfs dfs -mv / foo / filename / foo / prefix1 / newfilename

आशा है कि यह आपकी क्वेरी का उत्तर दें

मुझे एक हाइव जॉब द्वारा लिखे गए फाइलों को स्थानांतरित करने की आवश्यकता है जो इस तरह दिखते हैं

/foo/0000_0
/foo/0000_1
/bar/0000_0

एक फ़ाइल संरचना में जो इस तरह दिखता है

/foo/prefix1/prefix2-0000_0
/foo/prefix1/prefix2-0000_1
/bar/prefix1/prefix2-0000_0

क्लस्टर से बाहर निकलने से पहले (s3distcp का उपयोग करके) मैं hadoop एफएस के आसपास देख रहा हूँ, लेकिन मुझे कुछ ऐसा नहीं मिल सकता है जो मुझे यह करने देगा। मैं फ़ाइल से फाइल का नाम बदलना नहीं चाहता।





hive