distributed computing - बड़े पैमाने पर वितरित प्रणालियों में लॉग फाइलें




distributed-computing hpc (2)

सबसे पहले, एनटीपी का उपयोग करके सिस्टम में सभी घड़ियों को सिंक्रनाइज़ करें।

दूसरा, यदि आप किसी एकल स्थान (जैसे यूडीपी एपेन्डर का उल्लेख करते हैं) में लॉग संग्रह कर रहे हैं तो यह सुनिश्चित कर लें कि वास्तव में लॉग्स के लिए पर्याप्त जानकारी है। मैं कम से कम उस सर्वर को शामिल करेगा जिसमें लॉग उत्पन्न होता है, यह हुआ समय और संदेश। यदि कोई प्रकार का लेनदेन आईडी, या नौकरी आईडी प्रकार की अवधारणा है, तो उसमें भी शामिल करें

चूंकि आपने एक यूडीपी अपैडर का उल्लेख किया है I अनुमान लगा रहा है कि आप log4j (या उसके एक भाई बहन) का प्रयोग कर रहे हैं। Log4j में एमडीसी वर्ग है जो प्रसंस्करण थ्रेड के माध्यम से अतिरिक्त जानकारी को पारित करने की अनुमति देता है। यह अतिरिक्त जानकारी में से कुछ इकट्ठा करने में सहायता कर सकता है और इसे पास कर सकता है।

मैं ग्रिड और एचपीसी स्पेस में बहुत काम करता हूं और हमारे पास जो सबसे बड़ी चुनौतियों में से एक है, जो सैकड़ों (या कुछ मामलों में हजारों) सर्वरों में वितरित की गई है, वे लॉग फाइल का विश्लेषण कर रहे हैं।

वर्तमान में लॉग इन फ़ाइलों को प्रत्येक ब्लेड पर स्थानीय रूप से डिस्क पर लिखा जाता है, लेकिन हम उदाहरण के लिए यूडीपी अपैडर के उपयोग से लॉगिंग जानकारी को प्रकाशित करने और केंद्र में इकट्ठा करने पर भी विचार कर सकते हैं।

यह देखते हुए कि यथासंभव वास्तविक समय के करीब में समस्याओं की पहचान करने में सक्षम होना, हमें क्या करना चाहिए?


क्या आप अपाचे का उपयोग कर रहे हैं? यदि ऐसा है तो आप mod_log_spread पर एक नजर डाल सकते हैं हालांकि आपके पास इसे बनाए रखने योग्य बनाने के लिए बहुत अधिक बुनियादी संरचना हो सकती है। दूसरा विकल्प "लॉगिंग" या "मैट्रिकस्टिंग" को अपने लॉग संदेशों को देखने और उन फीड्स को सब्सक्राइब करने वाले समर्पित लॉगिंग सर्वर को देखने और उन्हें संगम करना है