hadoop - हाइव का उपयोग करते हुए "बहुत से फ़ेच-असफलता"



mapreduce hive (1)

मैं 3 नोड्स के हाउप क्लस्टर के खिलाफ एक हाइव क्वेरी चला रहा हूं। और मुझे एक त्रुटि मिल रही है, जो कहती है "बहुत सारे असफलताएं" मेरा हाइव क्वेरी है:

  insert overwrite table tablename1 partition(namep)
  select id,name,substring(name,5,2) as namep from tablename2;

कि क्वेरी चलाने के लिए कोशिश कर रहा है। मैं जो सब करना चाहता हूं वह टैब्लेनाम 2 से टैब्लेनाम 1 के लिए डेटा ट्रांसफर है। किसी भी मदद की सराहना की है


यह विभिन्न हैलोप कॉन्फ़िगरेशन समस्याओं के कारण हो सकता है। विशेष रूप से देखने के लिए यहां एक दंपति है:

  • DNS समस्या: अपने /etc/hosts जांच करें
  • Reducer के लिए मैपर साइड पर पर्याप्त http थ्रेड्स नहीं हैं

कुछ सुझाए गए फ़िक्स (क्लाउडेरा समस्या निवारण से)

  • निर्धारित mapred.reduce.slowstart.completed.maps = 0.80
  • tasktracker.http.threads = 80
  • mapred.reduce.parallel.copies = sqrt (node count) but in any case >= 10

यहां अधिक विवरणों के लिए समस्या निवारण का लिंक है

http://www.slideshare.net/cloudera/hadoop-troubleshooting-101-kate-ting-cloudera