hive स्पार्क थ्रिफ्ट सर्वर के माध्यम से कस्टम यूडीएफ कैसे पहुंचें?



user-defined-functions amazon-emr (0)

मैं ईएमआर पर स्पार्क थ्रिफ्ट सर्वर चला रहा हूँ मैं स्पार्क थ्रिफ्ट सर्वर को शुरू कर रहा हूं:

  sudo -u spark /usr/lib/spark/sbin/start-thriftserver.sh --queue interactive.thrift --jars /opt/lib/custom-udfs.jar

ध्यान दें कि मेरे पास ग्राहक यूडीएफ जार है और मैं इसे थ्रिफ्ट सर्वर वर्गपथ में जोड़ना चाहता हूं, इसलिए मैंने ऊपर दिए गए कमांड में --jars /opt/lib/custom-udfs.jar जोड़ा।

एक बार जब मैं अपने ईएमआर में हूं, तो मैंने स्पार्क थ्रिफ्ट सर्वर से जुड़ने के लिए निम्नलिखित को जारी किया।

beeline -u jdbc:hive2://localhost:10000/default

तब मैं शो डेटाबेस जैसे कमांड जारी करने में सक्षम था। लेकिन मैं कस्टम UDF का उपयोग कैसे करूं? मुझे थिफ्ट सर्वर स्टार्टअप स्क्रिप्ट में --जर्स विकल्प जोड़कर सोचा था, जो कि साथ ही उपयोग करने के लिए हाइव संसाधन के जार को जोड़ देगा।

एकमात्र तरीका है कि मैं कस्टम यूडीएफ का उपयोग कर सकता हूँ अब हाइड संसाधन के लिए ग्राहक यूडीएफ जार जोड़कर

add jar /opt/lib/custom-udfs.jar

फिर यूडीएफ का निर्माण

प्रश्न: क्या स्पार्क सत्र के लिए हर बार जार को जोड़ने के बिना कस्टम यूडीएफ जार को स्वत: कॉन्फ़िगर करने का कोई तरीका है?

धन्यवाद!