hadoop - tutoriel - spark



Quelles sont les meilleures pratiques de Hadoop pour la gestion des exceptions dans Mapper ou Reducer? (1)

Vous voulez comprendre les meilleures pratiques pour gérer les exceptions dans Mapper / Reducer.

Option 1: Ne pas essayer / rattraper et laisser la tâche échouer et MR réessayera la tâche qui finira par terminer le travail. La propriété mapreduce.map/reduce.maxattempts joue le rôle ici.

Option 2: Utilisez les compteurs pour enregistrer le nombre d'échecs dans le bloc catch. Et en fonction d'une certaine valeur de seuil de ces erreurs soit tuer le travail ou simplement utiliser les compteurs pour afficher le nombre d'enregistrements ayant échoué.

Toutes les (autres) pratiques communes / standard pour gérer les exceptions dans map-reduce?


Les options 1 et 2 énumérées sont quelques-unes des façons dont nous traitons notre projet. S'il vous plaît jeter un oeil ici . Il énumère quelques options supplémentaires