partitioning काफ्का: क्या जुकीपर को जरूरी है?




apache-zookeeper producer-consumer (4)

काफ्का में, मैं केवल एक ही ब्रोकर, एकल विषय और एकल विभाजन का उपयोग करना चाहता हूं जिसमें एक निर्माता और एकाधिक उपभोक्ता हैं (प्रत्येक उपभोक्ता को ब्रोकर से डेटा की अपनी प्रति प्राप्त हो रही है)। यह देखते हुए, मैं ज़ुकीपर का उपयोग करने के ऊपरी हिस्से को नहीं चाहता; क्या मैं केवल ब्रोकर का उपयोग नहीं कर सकता? एक जुकीपर क्यों होना चाहिए?


कफका ज़ुकीपर का उपयोग करने के लिए बनाया गया है। उस से कोई भाग नहीं रहा है।

काफ्का एक वितरित प्रणाली है और कफका क्लस्टर नोड्स की स्थिति को ट्रैक करने के लिए जुकीपर का उपयोग करती है। यह काफ्का विषयों, विभाजन आदि का भी ट्रैक रखता है।

आपके प्रश्न को देखते हुए, ऐसा लगता है कि आपको कफका की आवश्यकता नहीं है। आप किसी भी एप्लिकेशन का उपयोग कर सकते हैं जो पब-सब का समर्थन करता है जैसे Redis , खरगोश एमक्यू या Pub-nub जैसे होस्टेड समाधान।


आईएमएचओ जुकीपर एक उपर नहीं है लेकिन आपके जीवन को बहुत आसान बनाता है।

यह मूल रूप से क्लस्टर में विभिन्न नोड्स के बीच समन्वय बनाए रखने के लिए उपयोग किया जाता है। काफ्का के लिए सबसे महत्वपूर्ण चीजों में से एक यह है कि यह समय-समय पर ऑफसेट को प्रतिबद्ध करने के लिए ज़ूकीपर का उपयोग करता है ताकि नोड विफलता के मामले में यह पहले किए गए ऑफसेट से फिर से शुरू हो सके (कल्पना करें कि आप इसे स्वयं ही इस पर ध्यान दें)।

जुकीपर भी कई अन्य उद्देश्यों की सेवा के लिए एक महत्वपूर्ण भूमिका निभाता है, जैसे लीडर डिटेक्शन, कॉन्फ़िगरेशन मैनेजमेंट, सिंक्रनाइज़ेशन, यह पता लगाना कि जब कोई नया नोड क्लस्टर में शामिल होता है या छोड़ देता है, इत्यादि।

भविष्य काफ्का रिलीज ज़ूकीपर निर्भरता को हटाने की योजना बना रहा है लेकिन अभी तक यह इसका एक अभिन्न अंग है।

यहां उनके अक्सर पूछे जाने वाले प्रश्न पृष्ठ से ली गई कुछ पंक्तियां दी गई हैं:

एक बार जब ज़ुकीपर कोरम डाउन हो जाए, तो दलाल के परिणामस्वरूप खराब स्थिति हो सकती है और आम तौर पर ग्राहक अनुरोधों को पूरा नहीं कर सका आदि। हालांकि जब ज़ुकीपर कोरम ठीक हो जाता है, तब काफ्का दलालों को सामान्य स्थिति में फिर से शुरू करने में सक्षम होना चाहिए, फिर भी कुछ कोने के मामले हैं वे इसे सामान्य रूप से वापस लाने के लिए नहीं कर सकते हैं और एक कठिन हत्या और वसूली की आवश्यकता है। इसलिए यह आपके ज़ूकीपर क्लस्टर की बारीकी से निगरानी करने और इसे प्रावधान करने की अनुशंसा की जाती है ताकि यह निष्पादक हो।

अधिक जानकारी के लिए here जांचें


हां, कफका चलाने के लिए जुकीपर की आवश्यकता है। कफका से शुरू करना प्रलेखन:

चरण 2: सर्वर प्रारंभ करें

काफ्का ज़ूकीपर का उपयोग करता है, इसलिए यदि आपके पास पहले से कोई नहीं है तो आपको पहले एक ज़ूकीपर सर्वर शुरू करने की आवश्यकता है। आप त्वरित और गंदे सिंगल-नोड ज़ूकीपर उदाहरण प्राप्त करने के लिए कफका के साथ पैक की गई सुविधा स्क्रिप्ट का उपयोग कर सकते हैं।

क्यों, बहुत पहले लोगों ने पाया कि आपको एक वितरित प्रणाली में कार्यों, राज्य प्रबंधन, विन्यास आदि को समन्वयित करने का कोई तरीका होना चाहिए। कुछ परियोजनाओं ने अपने स्वयं के तंत्र बनाए हैं (एक मोंगोडीबी शेर्ड क्लस्टर में कॉन्फ़िगरेशन सर्वर के बारे में सोचें, या एक लोचदार खोज समूह में मास्टर नोड)। अन्य ने जुकीपर का एक सामान्य उद्देश्य वितरित प्रक्रिया समन्वय प्रणाली के रूप में लाभ उठाने का चयन किया है। तो कफका, तूफान, एचबीएएस, सोलरक्लाउड का प्रबंधन करने और समन्वय में मदद करने के लिए ज्यूकीपर के कुछ उपयोगों का नाम देने के लिए।

काफ्का एक वितरित प्रणाली है और इसे ज़ूकीपर का उपयोग करने के लिए बनाया गया है। तथ्य यह है कि आप काफ्का की किसी भी वितरित विशेषताओं का उपयोग नहीं कर रहे हैं, यह नहीं बदलता कि यह कैसे बनाया गया था। किसी भी घटना में जुकीपर का उपयोग करने से ज्यादा ओवरहेड नहीं होना चाहिए। एक बड़ा सवाल यह है कि आप इस विशेष डिजाइन पैटर्न का उपयोग क्यों करेंगे - कफका का एक एकल ब्रोकर कार्यान्वयन बहु-ब्रोकर क्लस्टर की सभी विश्वसनीयता सुविधाओं पर स्केल करने की क्षमता के साथ चूक जाता है।


Jocko ज़ुकीपर निर्भरता और एकल द्विआधारी स्थापित किए बिना कफका का गोलांग कार्यान्वयन है