apache-spark 504

  1. Apache Spark против Apache Storm
  2. В чем разница между Apache Spark и Apache Flink?
  3. Задача не сериализуема: java.io.NotSerializableException при вызове функции закрытие только для классов не объектов
  4. В чем разница между кешем и упорством?
  5. Разница между DataFrame (в Spark 2.0, то есть DataSet [Row]) и RDD в Spark
  6. Spark java.lang.OutOfMemoryError: пространство кучи Java
  7. В чем разница между map и flatMap и хорошим вариантом использования для каждого?
  8. Как читать несколько текстовых файлов в одном RDD?
  9. Apache Spark: количество ядер по сравнению с количеством исполнителей
  10. Что такое рабочие, исполнители, ядра в Spark Standalone cluster?
  11. Эффективность искры для Scala vs Python
  12. (Почему) нам нужно вызвать кеш или сохранить на RDD
  13. Spark - repartition () vs coalesce ()
  14. Как изменить типы столбцов в DataFrame Spark SQL?
  15. Как сохранить пользовательские объекты в наборе данных?
  16. Как отключить регистрацию INFO в Spark?
  17. Как остановить отображение сообщений INFO на искровой консоли?
  18. Как распечатать содержимое RDD?
  19. Добавить банки в Spark Job - spark-submit
  20. Как преобразовать объект rdd в dataframe в искру
  21. Как определить разбиение DataFrame?
  22. Как установить память Apache Spark Executor
  23. Apache Spark: map vs mapPartitions?
  24. Как показать полное содержимое столбца в фреймворке Spark?
  25. импорт pyspark в оболочке python
  26. Как предотвратить java.lang.OutOfMemoryError: пространство PermGen при компиляции Scala?
  27. Как выбрать первую строку каждой группы?
  28. Как настроить Spark на Windows?
  29. Spark - загрузить CSV-файл как DataFrame?
  30. Как загрузить локальный файл в sc.textFile вместо HDFS
  31. Как стадии разбиваются на задачи в Spark?
  32. Ошибки при использовании OFF_HEAP Storage с Spark 1.4.0 и Tachyon 0.6.4
  33. Как переписать выходной каталог в искру
  34. Как сортировать по столбцу в порядке убывания в Spark SQL?
  35. Как добавить новый столбец в Spark DataFrame (используя PySpark)?
  36. Как изменить имена столбцов dataframe в pyspark?
  37. как сделать saveAsTextFile НЕ разделить вывод на несколько файлов?
  38. Запись одного CSV-файла с использованием spark-csv
  39. Как передать параметр -D или переменную среды в Spark?
  40. Что означает «Stage Skipped» в веб-интерфейсе Apache Spark?


  41. Искра - ошибка «Главный URL должен быть установлен в вашей конфигурации» при отправке приложения
  42. Переименование имен столбцов DataFrame в Spark Scala
  43. Какой тип кластера я должен выбрать для Spark?
  44. Как работает HashPartitioner?
  45. Запись на несколько выходов с помощью ключа Spark - одно искровое задание
  46. Загрузить CSV-файл с помощью Spark
  47. Почему спам не работает с org.apache.spark.shuffle.MetadataFetchFailedException: Отсутствует местоположение вывода для перетасовки 0 в режиме спекуляции?
  48. Какова взаимосвязь между работниками, рабочими экземплярами и исполнителями?
  49. Что означают цифры на индикаторе выполнения в искровой оболочке?
  50. Как добавить постоянный столбец в Spark DataFrame?