apache spark - स्पार्क एसक्यूएल 2.1.0-टेबल xxx बनाओ के रूप में चुनिए*yyy को कभी-कभी त्रुटि मिलती है



apache-spark hive (0)

स्पार्क एसक्यूएल थ्रविफ्ट जेडीबीसी / ओडीबीसी सर्वर का इस्तेमाल करते हुए, मुझे अजीब बग मिला है। ज्यादातर समय, इस तरह की प्रश्न हमेशा काम करेंगे:

create table xxx as select * from yyy

सीमांत रूप से एकाधिक टोकरी बयान में ठीक काम करेगा। लेकिन वसंत jdbcTemplate साथ, कोई फर्क नहीं पड़ता jdbcTemplate , या datasource.getConnection और createStatement इन 2 कथन निष्पादित करने के बाद, दूसरा बनाएँ कथन चुपचाप विफल हो जाएगा

और जब यह असफल हो जाता है, तो कोई और नहीं create as select का काम होगा। Jdbc ड्राइवर के लिए, यह देता है: unCategorizedException । बीलीलाइन वर्बोस मोड के लिए, यह java.lang.reflect.InvocationTargetException(state=,code=0)

और कोई बात नहीं मैं कैसे कोशिश करता हूं, इस प्रकार का स्टेटमेंट हमेशा चुपचाप में विफल रहता है, स्पार्क यूआई में, कोई असफल लॉग, कोई गलती लॉग नहीं।

सबसे अजीब बात है, यह केवल create table xx as select ... प्रभावित करेगा create table xx as select ... विवरण, अन्य स्पार्क / हाइव एसक्यूएल काम करता है जैसे कुछ भी नहीं होता है

यह थ्रस्ट जेडीबीसी / ओडीबीसी सर्वर को पुनरारंभ करने के बाद ही गायब हो जाएगा, और अगली बार तक सामान्य व्यवहार करेगी।

मैं hadoop 2.6.5 , hive 2.1.1 , और spark 2.1.0 का प्रयोग कर रहा हूं, धागा क्लस्टर में बचत सर्वर चल रहा है। कोई भी यह मदद कर सकता है? या क्या मुझे अधिक विवरण, लॉग देना चाहिए?

2.1.1 चिंगारी के उन्नयन के बाद, मुझे और अधिक त्रुटि विवरण मिलते हैं, जो यहां सूची है: स्पार्क SQL 2.1.1 बचत सर्वर - लक्षित करने के लिए स्रोत hdfs को स्थानांतरित करने में असमर्थ





apache-spark-sql