Terraform 0.11

google_dataflow_job




terraform

google_dataflow_job

डेटाफ्लो पर एक नौकरी बनाता है, जो कि Google कंप्यूट इंजन पर चल रहे अपाचे बीम का कार्यान्वयन है। अधिक जानकारी के लिए बीम और Dataflow लिए आधिकारिक दस्तावेज देखें।

उदाहरण उपयोग

resource "google_dataflow_job" "big_data_job" {
    name = "dataflow-job"
    template_gcs_path = "gs://my-bucket/templates/template_file"
    temp_gcs_location = "gs://my-bucket/tmp_dir"
    parameters {
        foo = "bar"
        baz = "qux"
    }
}

"नष्ट" / "लागू करें" पर ध्यान दें

डाटाफ्लो जॉब्स के कई प्रकार हैं। कुछ डेटाफ्लो जॉब्स लगातार चलते हैं, एक जीसीएस बाल्टी (जैसे) से नया डेटा प्राप्त करना और लगातार डेटा आउटपुट करना। कुछ नौकरियां डेटा की एक निर्धारित मात्रा को संसाधित करती हैं और फिर समाप्त हो जाती हैं। प्रोग्रामिंग त्रुटियों या अन्य मुद्दों के कारण चलने के दौरान सभी नौकरियां विफल हो सकती हैं। इस तरह, डेटाफ़्लो जॉब्स अधिकांश अन्य टेराफ़ॉर्म / Google संसाधनों से अलग हैं।

डेटाफ़्लो संसाधन को 'मौजूदा' माना जाता है, जबकि यह एक गैर-स्थिति में है। यदि यह एक टर्मिनल स्थिति (जैसे 'FAILED', 'COMPLETE', 'CANCELED') तक पहुँच जाता है, तो इसे अगले 'apply' पर फिर से बनाया जाएगा। यह उन नौकरियों के लिए अपेक्षित है जो लगातार चलती हैं, लेकिन उन उपयोगकर्ताओं को आश्चर्यचकित कर सकती हैं जो इस संसाधन का उपयोग अन्य प्रकार के डेटाफ़्लो नौकरियों के लिए करते हैं।

एक डाटाफ्लो जॉब जो 'नष्ट' है, "रद्द" या "सूखा" हो सकता है। यदि "रद्द" किया जाता है, तो नौकरी समाप्त हो जाती है - कोई भी डेटा लिखा रहता है जहां वह है, लेकिन कोई नया डेटा संसाधित नहीं किया जाएगा। यदि "सूखा" जाता है, तो कोई नया डेटा पाइपलाइन में प्रवेश नहीं करेगा, लेकिन वर्तमान में पाइपलाइन में मौजूद कोई भी डेटा संसाधित हो जाएगा। डिफ़ॉल्ट "रद्द" है, लेकिन यदि कोई उपयोगकर्ता on_delete को कॉन्फ़िगरेशन में "drain" सेट करता है, तो आपको अपने terraform destroy होने के लंबे इंतजार का अनुभव हो सकता है।

तर्क संदर्भ

निम्नलिखित तर्क समर्थित हैं:

  • name - (आवश्यक) संसाधन के लिए एक अनूठा नाम, डेटाफ्लो द्वारा आवश्यक।
  • template_gcs_path - (आवश्यक) डेटा प्रवाह नौकरी टेम्पलेट के लिए GCS पथ।
  • temp_gcs_location - (आवश्यक) अपने अस्थायी डेटा को डंप करने के लिए डेटाफ़्लो जॉब के लिए GCS पर एक temp_gcs_location योग्य स्थान।
  • parameters - (वैकल्पिक) कुंजी / मान जोड़े को डाटाफ्लो जॉब में पास किया जाएगा (जैसा कि टेम्प्लेट में उपयोग किया गया है)।
  • max_workers - (वैकल्पिक) काम पर काम करने की अनुमति कार्यकर्ताओं की संख्या। अतिरिक्त लागत पर अधिक श्रमिक प्रसंस्करण गति में सुधार कर सकते हैं।
  • on_delete - (वैकल्पिक) "नाली" या "रद्द" में से एक। terraform destroy दौरान विलोपन के व्यवहार को निर्दिष्ट करता है। नोट के ऊपर देखें
  • project - (वैकल्पिक) वह परियोजना जिसमें संसाधन होता है। यदि यह प्रदान नहीं किया जाता है, तो प्रदाता परियोजना का उपयोग किया जाता है।
  • zone - (वैकल्पिक) वह ज़ोन जिसमें बनाई गई नौकरी चलनी चाहिए। यदि यह प्रदान नहीं किया जाता है, तो प्रदाता क्षेत्र का उपयोग किया जाता है।

संदर्भ संदर्भित करता है