apache spark - श्रमिकों, कार्यकर्ताओं के उदाहरण, और निष्पादकों के बीच संबंध क्या है?




apache-spark apache-spark-standalone (3)

अन्य महान उत्तरों के विस्तार में, मैं कुछ छवियों के साथ वर्णन करना चाहता हूं।

स्पार्क स्टैंडअलोन मोड में, मास्टर नोड और वर्कर नोड्स हैं।

यदि हम स्टैंडअलोन मोड के लिए एक ही स्थान पर मास्टर और श्रमिक दोनों का प्रतिनिधित्व करते हैं।

यदि आप स्पार्क यार्न के साथ कैसे काम करते हैं, इस बारे में उत्सुक हैं? इस पोस्ट

1. क्या 2 कार्यकर्ता उदाहरण का अर्थ है एक कार्यकर्ता नोड 2 कार्यकर्ता प्रक्रियाओं के साथ?

आम तौर पर हम कर्मचारी कार्यकर्ता को गुलाम के रूप में कहते हैं क्योंकि यह स्पार्क कार्यों / नौकरियों को निष्पादित करने की प्रक्रिया है । नोड (भौतिक या वर्चुअल मशीन) और कार्यकर्ता के लिए सुझाए गए मैपिंग,

1 Node = 1 Worker process

2. क्या प्रत्येक कार्यकर्ता के उदाहरण में विशिष्ट एप्लिकेशन (जो भंडारण, कार्य का प्रबंधन करता है) के लिए एक निष्पादक होता है या एक कार्यकर्ता नोड में एक निष्पादक होता है?

हां, एक कर्मचारी नोड में कई निष्पादक (प्रक्रियाएं) हो सकती हैं यदि इसमें पर्याप्त CPU, मेमोरी और स्टोरेज है

दिए गए चित्र में वर्कर नोड की जांच करें।

बीटीडब्ल्यू, किसी दिए गए बिंदु पर एक कार्यकर्ता नोड में निष्पादकों की संख्या पूरी तरह से क्लस्टर पर कार्य भार और नोड की क्षमता पर निर्भर करती है ताकि कितने निष्पादक चल सकें

3. क्या कोई फ्लो चार्ट समझाता है कि स्पार्क रनटाइम कैसा होता है?

यदि हम किसी प्रोग्राम के लिए किसी भी संसाधन प्रबंधक पर स्पार्क संभावित से निष्पादन देखते हैं, जो दो rdd s में शामिल होता है और कुछ ऑपरेशन को reduce करता है तो filter

HIH

स्पार्क स्टैंडअलोन मोड में , मास्टर और वर्कर नोड्स हैं।

यहां कुछ प्रश्न दिए गए हैं:

  1. क्या 2 कार्यकर्ता उदाहरण का अर्थ है एक कार्यकर्ता नोड 2 कार्यकर्ता प्रक्रियाओं के साथ?
  2. क्या प्रत्येक कार्यकर्ता उदाहरण में विशिष्ट एप्लिकेशन (जो भंडारण, कार्य का प्रबंधन करता है) के लिए एक निष्पादक धारण करता है या एक कार्यकर्ता नोड में एक निष्पादक होता है?
  3. क्या कोई प्रवाह चार्ट समझाता है कि स्पार्क रनटाइम, जैसे शब्द गणना?

जैसा कि लैन कह रहा था, कई कार्यकर्ता उदाहरणों का उपयोग केवल स्टैंडअलोन मोड में प्रासंगिक है। दो कारण हैं कि आप कई उदाहरण क्यों प्राप्त करना चाहते हैं: (1) कचरा रोकता है कलेक्टर बड़े JVMs के लिए थ्रूपुट को नुकसान पहुंचा सकता है (2) 32 जीबी का ढेर आकार संपीड़ित ओउप्स का उपयोग नहीं कर सकता

एकाधिक कार्यकर्ता उदाहरणों को सेट अप करने के तरीके के बारे में और पढ़ें।


मैं स्पार्क क्लस्टर डॉक्स को पहले पढ़ने का सुझाव देता हूं, लेकिन इससे भी अधिक यह क्लौडेरा ब्लॉग पोस्ट इन तरीकों को समझाता है।

आपका पहला प्रश्न इस बात पर निर्भर करता है कि आप 'उदाहरण' से क्या मतलब रखते हैं। एक नोड एक मशीन है, और प्रति मशीन एक से अधिक कार्यकर्ता चलाने का कोई अच्छा कारण नहीं है। तो दो कार्यकर्ता नोड्स आमतौर पर दो मशीनों का मतलब है, प्रत्येक स्पार्क कार्यकर्ता।

कई अनुप्रयोगों के लिए श्रमिक कई निष्पादक हैं। एक आवेदन में कई श्रमिकों पर निष्पादक हैं।

आपका तीसरा सवाल स्पष्ट नहीं है।







apache-spark-standalone