[c#] Hadoop en el servidor de Windows


0 Answers

Si bien no es la respuesta que quizás quiera escuchar, recomiendo encarecidamente readaptar las máquinas como, por ejemplo, servidores Linux, y ejecutar Hadoop allí. Se beneficiará con los tutoriales y la experiencia y las pruebas realizadas en esa plataforma, y ​​se perderá el tiempo resolviendo problemas comerciales en lugar de problemas operativos.

Sin embargo, aún puede escribir sus trabajos en C #. Como Hadoop admite la implementación de "transmisión", puede escribir sus trabajos en cualquier idioma. Con Mono Framework, debería poder tomar casi cualquier código .NET escrito en la plataforma Windows y simplemente ejecutar el mismo binario en Linux.

También puede acceder a HDFS desde Windows con bastante facilidad, aunque no recomiendo ejecutar los servicios de Hadoop en Windows, sin duda puede ejecutar el cliente DFS desde la plataforma de Windows para copiar archivos dentro y fuera del sistema de archivos distribuidos.

Para enviar y monitorear trabajos, creo que está principalmente solo ... No creo que haya buenos sistemas de propósito general desarrollados para la administración de trabajos de Hadoop.

Question

Estoy pensando en usar hadoop para procesar archivos de texto grandes en mis servidores Windows 2003 existentes (alrededor de 10 máquinas de cuatro núcleos con 16 gb de RAM)

Las preguntas son:

  1. ¿Hay algún buen tutorial sobre cómo configurar un clúster hadoop en Windows?

  2. ¿Qué son los requerimientos? java + cygwin + sshd? ¿Algo más?

  3. HDFS, ¿funciona bien en Windows?

  4. Me gustaría usar hadoop en el modo de transmisión. ¿Algún consejo, herramienta o truco para desarrollar mis propios mapper / reducrs en c #?

  5. ¿Qué usas para enviar y monitorear los trabajos?

Gracias






Related