apache spark - write - 스파크 SQL 2.1.0-select xyyyyyyyyyyyy 가끔 테이블에 xxx를 생성한다.



what is apache spark (0)

스파크 SQL 쓰리 피 JDBC / ODBC 서버를 사용하여, 나는 이상한 버그가있어. 대부분 이와 같은 쿼리는 항상 작동합니다.

create table xxx as select * from yyy

Beeline에서 여러 상자 문이 제대로 작동합니다. 하지만 스프링 org.springframework.jdbc.datasource.SimpleDriverDataSource 사용하면 jdbcTemplate , datasource.getConnection 및 createStatement를 사용하여 상관없이 두 번째 명령문을 실행해도 두 번째 create 문은 자동으로 실패합니다.

그리고 그것이 실패 할 때, 더 이상 create as select 이 작동하지 않습니다. jdbc 드라이버의 경우 unCategorizedException 제공합니다. beeline verbose 모드의 경우 java.lang.reflect.InvocationTargetException(state=,code=0)

그리고 아무리 노력해도이 종류의 작성 문은 항상 자동으로 실패합니다. 스파크 UI에는 오류 로그가없고 오류 로그가 없습니다.

가장 이상한 점은 create table xx as select ... 에만 영향을 미칠 것이며 다른 스파크 / 하이브 SQL은 아무 일도 일어나지 않는 것처럼 작동한다는 것입니다.

저축 JDBC / ODBC 서버를 다시 시작한 후에 만 ​​사라지고 다음 번에 정상적으로 작동합니다.

나는 hive 2.1.1 와 함께 hadoop 2.6.5 사용하고, spark 2.1.0 하여 원사 클러스터에서 실행되는 서버를 절약합니다. 누구든지 이걸 도울 수 있니? 아니면 세부 사항이나 로그를 제공해야합니까?

spark 2.1.1로 업그레이드 한 후 여기에 나열된 오류 정보가 더 있습니다. Spark sql 2.1.1 thrift server - 대상으로 소스 hdfs를 이동할 수 없습니다.





apache-spark-sql