python - गुण: 'DataFrame' ऑब्जेक्ट में कोई विशेषता 'मैप' नहीं है



apache-spark pyspark (1)

आप किसी डेटाफ़्रेम को map नहीं कर सकते हैं, लेकिन आप spark_df.rdd.map() RDD में बदल सकते हैं और spark_df.rdd.map() करके मैप कर spark_df.rdd.map() । स्पार्क 2.0 से पहले, spark_df.map , spark_df.rdd.map() । स्पार्क 2.0 के साथ, आपको पहले स्पष्ट रूप से .rdd कॉल करना होगा।

मैं नीचे दिए गए कोड का उपयोग करके स्पार्क डेटा फ़्रेम को परिवर्तित करना चाहता था:

from pyspark.mllib.clustering import KMeans
spark_df = sqlContext.createDataFrame(pandas_df)
rdd = spark_df.map(lambda data: Vectors.dense([float(c) for c in data]))
model = KMeans.train(rdd, 2, maxIterations=10, runs=30, initializationMode="random")

विस्तृत त्रुटि संदेश है:

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-11-a19a1763d3ac> in <module>()
      1 from pyspark.mllib.clustering import KMeans
      2 spark_df = sqlContext.createDataFrame(pandas_df)
----> 3 rdd = spark_df.map(lambda data: Vectors.dense([float(c) for c in data]))
      4 model = KMeans.train(rdd, 2, maxIterations=10, runs=30, initializationMode="random")

/home/edamame/spark/spark-2.0.0-bin-hadoop2.6/python/pyspark/sql/dataframe.pyc in __getattr__(self, name)
    842         if name not in self.columns:
    843             raise AttributeError(
--> 844                 "'%s' object has no attribute '%s'" % (self.__class__.__name__, name))
    845         jc = self._jdf.apply(name)
    846         return Column(jc)

AttributeError: 'DataFrame' object has no attribute 'map'

क्या किसी को पता है कि मैंने यहां क्या गलत किया? धन्यवाद!





apache-spark-mllib