hadoop हाइव का उपयोग करते हुए "बहुत से फ़ेच-असफलता"



mapreduce hive (1)

यह विभिन्न हैलोप कॉन्फ़िगरेशन समस्याओं के कारण हो सकता है। विशेष रूप से देखने के लिए यहां एक दंपति है:

  • DNS समस्या: अपने /etc/hosts जांच करें
  • Reducer के लिए मैपर साइड पर पर्याप्त http थ्रेड्स नहीं हैं

कुछ सुझाए गए फ़िक्स (क्लाउडेरा समस्या निवारण से)

  • निर्धारित mapred.reduce.slowstart.completed.maps = 0.80
  • tasktracker.http.threads = 80
  • mapred.reduce.parallel.copies = sqrt (node count) but in any case >= 10

यहां अधिक विवरणों के लिए समस्या निवारण का लिंक है

http://www.slideshare.net/cloudera/hadoop-troubleshooting-101-kate-ting-cloudera

मैं 3 नोड्स के हाउप क्लस्टर के खिलाफ एक हाइव क्वेरी चला रहा हूं। और मुझे एक त्रुटि मिल रही है, जो कहती है "बहुत सारे असफलताएं" मेरा हाइव क्वेरी है:

  insert overwrite table tablename1 partition(namep)
  select id,name,substring(name,5,2) as namep from tablename2;

कि क्वेरी चलाने के लिए कोशिश कर रहा है। मैं जो सब करना चाहता हूं वह टैब्लेनाम 2 से टैब्लेनाम 1 के लिए डेटा ट्रांसफर है। किसी भी मदद की सराहना की है