hadoop हडोप नामनोड: असफलता का एकल बिंदु




mapreduce hdfs (4)

बड़े हडोप क्लस्टर में हजारों डेटा नोड्स और एक नाम नोड होता है। विफलता की संभावना मशीन गिनती के साथ रैखिक रूप से ऊपर जाती है (बाकी सब बराबर होती है)। तो यदि हैडोप डेटा नोड विफलताओं का सामना नहीं करता है तो यह स्केल नहीं करेगा। चूंकि अभी भी एक ही नाम नोड सिंगल प्वाइंट ऑफ असफलता (एसपीओएफ) है, लेकिन विफलता की संभावना अभी भी कम है।

यह दुखद बात है, फेसबुक के बारे में बीकेकेब्रैड का जवाब नोड नाम के लिए विफलता क्षमता जोड़ना सही है।

हडोप वास्तुकला में नामनोड विफलता का एक बिंदु है।

बड़े हडोप क्लस्टर वाले लोग इस समस्या का सामना कैसे करते हैं?

क्या कोई उद्योग-स्वीकृत समाधान है जिसने अच्छी तरह से काम किया है जिसमें प्राथमिक व्यक्ति विफल होने पर एक माध्यमिक नामनोड लेता है?


हडूप में नमनोड अब एक एसपीओफ़ नहीं है। अधिक के लिए here


याहू में अलग-अलग क्लस्टर आकारों पर कॉन्फ़िगरेशन सेटिंग्स के लिए कुछ अनुशंसाएं हैं जो नाम में नाम विफलता को विफल करने के लिए हैं। उदाहरण के लिए:

हैडोप क्लस्टर में विफलता का एक बिंदु नाम नोड है। जबकि किसी भी अन्य मशीन (अंतःस्थापित या स्थायी रूप से) के नुकसान के परिणामस्वरूप डेटा हानि नहीं होती है, क्लस्टर अनुपलब्धता में नाम नोड हानि परिणाम। नाम नोड डेटा का स्थायी नुकसान क्लस्टर के एचडीएफएस को अक्षम करने में सक्षम करेगा।

इसलिए, नाम कॉन्फ़िगरेशन मेटाडेटा का बैक अप लेने के लिए इस कॉन्फ़िगरेशन में एक और कदम उठाया जाना चाहिए

फेसबुक अपने डेटा गोदामों के लिए हैडोप के एक tweaked संस्करण का उपयोग करता है ; इसमें कुछ अनुकूलन हैं जो नाम नोड विश्वसनीयता पर ध्यान केंद्रित करते हैं। इसके अतिरिक्त AvatarNode पर उपलब्ध पैच के लिए, फेसबुक विशेष रूप से प्राथमिक और माध्यमिक नाम AvatarNode बीच स्विचिंग के लिए AvatarNode का उपयोग करता प्रतीत होता है। ध्रुबा बोर्थकुर के ब्लॉग में कई अन्य प्रविष्टियां शामिल हैं जो नाम नोड में विफलता के एक बिंदु के रूप में और अंतर्दृष्टि प्रदान करती हैं।

संपादित करें: NameNode में फेसबुक के सुधारों के बारे में और जानकारी


हनोप 2.x रिलीज के साथ नामनोड की उच्च उपलब्धता पेश की गई है।

इसे दो तरीकों से हासिल किया जा सकता है - एनएफएस और क्यूजेएम के साथ

लेकिन कोरम जर्नल मैनेजर (क्यूजेएम ) के साथ उच्च उपलब्धता विकल्प पसंद है।

एक विशिष्ट एचए क्लस्टर में, दो अलग मशीनों को नाम नोड्स के रूप में कॉन्फ़िगर किया जाता है। किसी भी समय, नाम नोड्स में से एक सक्रिय स्थिति में है, और दूसरा स्टैंडबाय स्थिति में है। सक्रिय नाम नोड क्लस्टर में सभी क्लाइंट ऑपरेशंस के लिए ज़िम्मेदार है, जबकि स्टैंडबाय बस दास के रूप में कार्य कर रहा है, यदि आवश्यक हो तो तेज़ विफलता प्रदान करने के लिए पर्याप्त राज्य बनाए रखना।

एसई सवालों के नीचे एक नज़र डालें, जो पूर्ण विफलता प्रक्रिया बताती है।

माध्यमिक नाम नोडोप 2.x में माध्यमिक नाम और उच्च उपलब्धता

हाडोप नामनोड फेलओवर प्रक्रिया कैसे काम करती है?