apache spark - एडब्ल्यूएस ईएमआर पर स्पार्क यूआई




apache-spark amazon-emr (2)

ईएमआर पर चिंगारी को यार्न के लिए कॉन्फ़िगर किया गया है, इस प्रकार स्पार्क यूआई यार्न रिसोर्स मैनेजर ( http://spark.apache.org/docs/latest/monitoring.html ) द्वारा प्रदत्त आवेदन यूआरएल द्वारा उपलब्ध है। तो सबसे आसान तरीका यह है कि एसओसीएस के साथ एसओसीएस के साथ अपने ब्राउज़र को एसएसएच द्वारा खोला गया एएमआर कंसोल से खोलें संसाधन प्रबंधक खोलें और चलने वाले एप्लिकेशन के दावे को दिए गए एप्लिकेशन मास्टर यूआरएल पर क्लिक करें। स्पार्क हिस्ट्री सर्वर डिफ़ॉल्ट पोर्ट 18080 पर उपलब्ध है।

Http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-web-interfaces.html पर ईएमआर के साथ मोजे का उदाहरण।

मैं ईएमआर कंसोल ड्रॉपडाउन के जरिये स्पार्क (1.3.1) के साथ एक एडब्ल्यूएस ईएमआर क्लस्टर चला रहा हूं। स्पार्क चालू है और डेटा प्रोसेसिंग है लेकिन मुझे यह पता लगाने की कोशिश है कि कौन सा पोर्ट WebUI को सौंपा गया है मैंने दोनों 4040 और 8080 के पोर्ट को अग्रेषित करने की कोशिश की है, जिसमें कोई कनेक्शन नहीं है। मैं इतना आगे भेज रहा हूँ

ssh -i ~/KEY.pem -L 8080:localhost:8080 [email protected]_DNS

1) स्पार्क वेबयूआई के असाइन किए गए पोर्ट क्या है? 2) मैं कैसे स्पार्क वेबयूआई चल रहा है?


ईएमआर डॉक्स पर सुझाए गए अनुसार सॉक्स के साथ ब्राउज़र सेटअप से निपटना नहीं चाहते हैं तो यह एक विकल्प है।

  1. स्पार्क यूआई चलने वाली मशीन के लिए पोर्ट फॉरवर्डिंग के साथ मास्टर नोड में एक एसएसएन सुरंग खोलें

    ssh -i path/to/aws.pem  -L 4040:SPARK_UI_NODE_URL:4040 [email protected]_URL
    

    MASTER_URL (प्रश्न में ईएमआरडीएनएसएस) मास्टर नोड का यूआरएल है जिसे आप क्लस्टर के लिए ईएमआर प्रबंधन कंसोल पेज से प्राप्त कर सकते हैं

    स्पीडर_यूआई_एनओडी_यूआरएल stderr लॉग के शीर्ष के पास देखा जा सकता है लॉग लाइन कुछ ऐसा दिखेगी:

    16/04/28 21:24:46 INFO SparkUI: Started SparkUI at http://10.2.5.197:4040
    
  2. अपने ब्राउज़र को स्थानीय होस्ट पर पॉइंट करें: 4040

ईएमआर 4.6 रनिंग स्पार्क 2.6.1 पर यह कोशिश की