hadoop - Script Pig pour lire la table Cassandra



apache-pig thrift (0)

Essayer d'écrire un script Pig qui va extraire des données d'une table Cassandra. Le script Pig ressemble à ceci:

REGISTER ./cassandra-all-2.0.8.39.jar
REGISTER ./datastax-agent-4.1.4-standalone.jar
REGISTER ./cassandra-driver-core-2.0.2.1.jar
REGISTER ./apache-cassandra-thrift-2.0.12.jar

A = LOAD 'cql://username:password/mykeyspace/mycolumnfamily' 
    USING org.apache.cassandra.hadoop.pig.CqlStorage() 
    AS (user_id:long, fname:chararray, last_update_date:chararray, lname:chararray); 
DUMP A;

Je continue à recevoir le message suivant:

java.lang.NoSuchMethodError: org.apache.cassandra.thrift.ITransportFactory.supportedOptions () Ljava / util / Set

Jusqu'à présent, j'ai essayé la version suivante de ' cassandra- thrift .jar': 2.0.8.39, 2.0.12, 2.1.2. Aucun d'eux n'a aidé.

Remarque: Les variables d'environnement suivantes ont été définies en dehors de ce script:

export PIG_INITIAL_ADDRESS=machine-name
export PIG_RPC_PORT=9160
export PIG_PARTITIONER=org.apache.cassandra.dht.Murmur3Partitioner

Aucune suggestion?





datastax