mysql - write - Dans Apache Spark 2.0.0, est-il possible de récupérer une requête à partir d'une base de données externe(plutôt que de récupérer la totalité de la table)?

spark sql example (1)

Comme dans 1.x, vous pouvez passer une sous-requête valide comme argument dbtable par exemple:

...
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")
...

En utilisant pyspark:

from pyspark.sql import SparkSession

spark = SparkSession\
    .builder\
    .appName("spark play")\
    .getOrCreate()    

df = spark.read\
    .format("jdbc")\
    .option("url", "jdbc:mysql://localhost:port")\
    .option("dbtable", "schema.tablename")\
    .option("user", "username")\
    .option("password", "password")\
    .load()

Plutôt que d'aller chercher "schema.tablename", je préférerais saisir le jeu de résultats d'une requête.