maven - मेवेन आर्टिफैक्ट आईडी हैड 2.0 के लिए थाउप-कोर




hadoop ant hadoop2 (4)

इस लिंक से मेवेन निर्भरता प्राप्त की जा सकती है जहां तक ​​होओप-कोर निर्भरताएं होती हैं, हदीप-कोर हाउप 1. एक्स के लिए नाम था और बस संस्करण को 2.X का नाम बदलने से सहायता नहीं करता इसके अलावा हदीप 1. एक्स निर्भरता का उपयोग करते हुए एक हौउप 2.एक्स प्रोजेक्ट में एक त्रुटि जैसे देता है

द्वारा कारण: org.apache.hadoop.ipc.RemoteException: सर्वर आईपीसी संस्करण 9 क्लाइंट संस्करण 4 के साथ संचार नहीं कर सकता

इस प्रकार इसका सुझाव है कि इसका इस्तेमाल न करें। मैं अपने हौप में निम्नलिखित निर्भरताओं का उपयोग कर रहा हूं

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.7.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-core</artifactId>
    <version>2.7.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
    <version>2.7.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-common</artifactId>
    <version>2.7.1</version>
</dependency>
<dependency>

आप इन की कोशिश कर सकते हैं।

मैं अपने आवेदन को 1.0.3 से थाउप 2.2.0 में माइग्रेट कर रहा हूं और मेवेन बिल्ड को निर्भरता के रूप में चिह्नित किया था। चूंकि हौप-कोर 2.2.2 के लिए मौजूद नहीं है। मैं इसे थाउप-क्लाइंट और हाउप-कॉमन के साथ बदलने की कोशिश की, लेकिन मुझे अभी भी ant.filter के लिए यह त्रुटि मिल रही है। क्या कोई सुझाव दे सकता है कि किस आर्टिस्ट का इस्तेमाल करना है?

previous config :
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>1.0.3</version>
</dependency>

New Config:

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.2.0</version>
</dependency>

त्रुटि:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project event: Compilation failure: Compilation failure:

[ERROR] /opt/teamcity/buildAgent/work/c670ebea1992ec2f/event/src/main/java/com/intel/event/EventContext.java:[27,36] package org.apache.tools.ant.filters does not exist

[ERROR] /opt/teamcity/buildAgent/work/c670ebea1992ec2f/event/src/main/java/com/intel/event/EventContext.java:[27,36] package org.apache.tools.ant.filters does not exist

[ERROR] /opt/teamcity/buildAgent/work/c670ebea1992ec2f/event/src/main/java/com/intel/event/EventContext.java:[180,59] cannot find symbol

[ERROR] symbol: class StringInputStream

[ERROR] location: class com.intel.event.EventContext

हम मुख्य रूप से हमारे आवेदन के लिए एचडीएफएस एपीआई पर निर्भर करते हैं। जब हम हूओप 2.X में चले गए, हम आश्वस्त हो गए थे कि निर्भरता में परिवर्तन। हम एक समय में एक निर्भरता जोड़ने शुरू कर दिया। आज हम निम्नलिखित मुख्य पुस्तकालयों पर निर्भर हैं

hadoop-annotations-2.2.0
hadoop-auth-2.2.0
hadoop-common-2.2.0
hadoop-hdfs-2.2.0
hadoop-mapreduce-client-core-2.2.0

इन के अलावा हम परीक्षण पुस्तकालयों पर भी निर्भर हैं। अपनी आवश्यकताओं के आधार पर, आप हौप-एचडीएफएस और हौप-मैपरेड्यूच-क्लाइंट को हौप-कॉमन के साथ-साथ निर्भरता में शामिल करना चाह सकते हैं।


इन कलाकृतियों के साथ प्रयास करें, मेरे नमूना प्रोजेक्ट वर्डकाउंट पर शब्द ठीक

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.2.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>1.2.1</version>
</dependency>

हाइव 0.14 के रूप में, सीएसवी सर्डी हाइव इंस्टॉल का एक मानक हिस्सा है

ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'

(देखें: https://cwiki.apache.org/confluence/display/Hive/CSV+Serde )







maven hadoop ant hadoop2