frameworks - क्या कोई डेटा गोदाम चौखटे है?




reporting data-warehouse (5)

मुझे लगता है कि आपको पहले Kimball और Inmon की जांच करनी चाहिए और देखें कि क्या आप किसी विशेष तरीके से अपने डेटा गोदाम से संपर्क करना चाहते हैं। किमबॉल, विशेष रूप से, गोदाम के मॉडलिंग और निर्माण के लिए एक बहुत अच्छा ढांचा तैयार करता है।

मेरे पास बहुत सारे mysql डेटा हैं जो मुझे रिपोर्ट से उत्पन्न करने की आवश्यकता है I यह ज्यादातर ऐतिहासिक डेटा है, इसलिए इसे बहुत ज्यादा नहीं बदला जाएगा, लेकिन इसका वजन 20-30 गीगाबाइट पर होता है और यह बढ़ने की संभावना है। मेरे पास वर्तमान में php स्क्रिप्ट का संग्रह है जो कुछ जटिल प्रश्नों और आउटपुट सीएसवी और एक्सेल फ़ाइलों को करेंगे। मैं बुकमार्क क्वेरीज़ के साथ phpMyAdmin का भी उपयोग करता हूं। मैं पैरामीटरों को बदलने के लिए मैन्युअल रूप से उन्हें संपादित करता हूं डेटा की मात्रा बढ़ रही है और उन लोगों की संख्या भी है जो इसे तक पहुंचने की आवश्यकता है, इसलिए भी बढ़ रहा है, इसलिए मैं इस स्थिति को सुधारने का समय बना रहा हूं।

मैंने दूसरे दिन डेटा भंडारण के बारे में पढ़ना शुरू किया और ऐसा लगता है कि यह एक ऐसा क्षेत्र है जो मुझे करने की जरुरत है। मैंने कुछ अच्छे लेख पढ़ा है और एक किताब पर भी इंतजार कर रहा हूं। मुझे लगता है कि मैं इस पर संभाल कर रहा हूं कि सिस्टम के ये प्रकार क्या करते हैं और क्या संभव है।

मेरे डेटा के लिए एक रिपोर्टिंग सिस्टम बनाना हमेशा एक निश्चित सूची पर रहा है, लेकिन हाल ही में जब तक मुझे लगा कि यह एक बहुत आला प्रोग्रामिंग उद्यम होगा चूंकि अब मुझे पता है कि डेटा वेयरहाउसिंग एक सामान्य बात है, मुझे लगता है कि विकास में आसानी के लिए उपलब्ध किसी प्रकार की रिपोर्टिंग / वेयरहाउसिंग फ्रेम होना चाहिए। मैं ख़ुशी से इंटरफेस और लिपियों को समय-समय पर लिखने और ईमेल रिपोर्ट्स और पसंद की तरह लिखना छोड़ देता हूं और प्रश्नों को लिखने और संबंधों को स्थापित करने के लिए छड़ी करता हूं।

मैं ज्यादातर दीपक आदमी हूं, लेकिन मैं भाषाओं या प्लेटफॉर्म स्विचिंग से ऊपर नहीं हूं। मुझे सिर्फ एक और मजबूत समाधान की आवश्यकता है क्योंकि मेरी एक स्क्रिप्ट्स अच्छी तरह से स्केल नहीं करती।

तो शुरू करने के लिए एक अच्छी जगह कहां है?


यह थोड़ी देर में अपडेट नहीं किया गया है लेकिन एक्टवेयरवेयर वाला एक अच्छा डाटा वेयरहाउसिंग / ईटीएल रूबी पैकेज है।

लेकिन मैं पेंटाहो उत्पादों जैसे निक के दूसरे उत्तर में पूछता हूं। यह आसानी से आपके पास डेटा की मात्रा को संभाल कर लेना चाहिए और आपको अपने डेटा को टुकड़े करना और पासा देने के लिए अधिक तरीके प्रदान कर सकता है, जितना कि आपने कभी कल्पना नहीं की थी।


मैं {बजट, व्यवसाय उपयोगिता फ़ंक्शन, समय सीमा} स्पेक्ट्रम पर कुछ बिंदुओं पर चर्चा करूंगा। सुविधा के लिए, आइए, वास्तुकला अवधारणा का पालन करें, जिस पर आपने लिंक किया था

WikipediaDataWarehouseArticle

  • परिचालन डेटाबेस परत
    डेटा गोदाम के लिए स्रोत डेटा - केवल एक स्थान में डेटा रखरखाव के लिए सामान्यीकृत

  • डेटा एक्सेस परत
    आपके स्रोत डेटा को आपके सूचनागत पहुंच परत में परिवर्तित करना
    ईटीएल टूल्स इन लेयर में वेयरहाउस गिरावट में निकालने, परिणत करना, डेटा लोड करना।

  • सूचना पहुंच परत
    • रिपोर्ट-सुविधा डेटा संरचना
    डेटा यहां बनाए नहीं है यह केवल आपके स्रोत डेटा का एक प्रतिबिंब है
    इसलिए, denormalized संरचनाओं (डुप्लिकेट, लेकिन व्यवस्थित रूप से व्युत्पन्न डेटा युक्त)
    आम तौर पर यहां सबसे प्रभावी होते हैं
    • रिपोर्टिंग टूल्स
    आप वास्तव में अपने उपयोगकर्ताओं को डेटा तक पहुंचने की अनुमति कैसे देते हैं
    • पूर्व डिब्बाबंद रिपोर्ट (सरल)
    • अधिक गतिशील टुकड़ा-और-पासा प्रवेश विधियां

डेटा को रिपोर्ट करने और विश्लेषण करने के लिए रिपोर्टिंग और विश्लेषण और उपकरण के लिए पहुंचाए गए डेटा
इस परत में आना और डिजाइन पद्धति के बारे में इनॉन-किमबॉल अंतर,
विकिपीडिया लेख में बाद में चर्चा की, इस परत के साथ क्या करना है

  • मेटाडेटा परत (स्वचालन, संगठन, आदि की सुविधा प्रदान करता है)

अपना रोल करें (कम अंत)
बहुत कम आउट-ऑफ-जेब लागत के लिए, केवल denormalized संरचनाओं की आवश्यकता को पहचानना उन लोगों को खरीद सकते हैं जो इसे कुछ क्षमता का उपयोग नहीं कर रहे हैं

बॉलगेम में जाओ (कुछ आउटले आवश्यक हैं)
आपको बल्लेबाज़ी से एक प्लेटफॉर्म की सभी कार्यक्षमता का उपयोग करने की आवश्यकता नहीं है।
आईएमओ, हालांकि, आप एक मंच पर रहना चाहते हैं जिसे आप जानना चाहते हैं, और अत्यधिक प्रतिस्पर्धी और समेकित द्विपक्षीय वातावरण में, जो चार उद्यम मेगा विक्रेताओं (मेरी राय) में से एक है,

  • माइक्रोसॉफ्ट (हमारे 110 कर्मचारी फर्म का मंच)
  • एसएपी
  • आकाशवाणी
  • आईबीएम

BiMarketStateArticle

मेरी फर्म इस स्तर पर है, एसक्यूएल सर्वर इंटीग्रेशन सर्विसेज (एसएसआईएस) और ओपन सोर्स के कुछ वैकल्पिक उपयोग की पेशकश की कुछ ईटीएल क्षमता का उपयोग करते हुए, लेकिन प्रैक्टिस लाइसेंस में "डेटा एक्सेस लेयर" में एक Talend उत्पाद की आवश्यकता होती है, (मूल SQL सर्वर डेटाबेस में पूरी तरह से कार्यान्वित किया गया है), और एसक्यूएल सर्वर रिपोर्टिंग सर्विसेज (एसएसआरएस) को बड़े पैमाने पर स्वचालित करने के लिए (आपके कौशल के आधार पर) पूर्व-निर्दिष्ट रिपोर्टों का उत्पादन ध्यान दें कि एक एसएसआरएस "रिपोर्ट" केवल एक (स्केलेबल) एक्सएमएल कॉन्फ़िगरेशन / विनिर्देश है जो एसएसआरएस इंजन के माध्यम से रनटाइम पर गाया जाता है। एक्सेल फ़ाइल में निर्यात जैसे विकल्प सरल विकल्प हैं I

गंभीर प्रतिबद्धता (कुछ महत्वपूर्ण मानव प्रतिबद्धता की आवश्यकता है)
ऊपर सूचना कि हम अभी तक डेटा खनन / गतिशील टुकड़ा करने की क्रिया / SQL सर्वर विश्लेषण सेवाओं की dicing क्षमताओं का उपयोग करने के लिए है हम उस पर काम कर रहे हैं, लेकिन अब "डेटा एक्सेस लेयर" में हमारे डेटा की सफाई की गुणवत्ता में सुधार लाने पर ध्यान केंद्रित किया गया है।

मुझे आशा है कि यह आपकी मदद करता है कि आप कहां शुरू करना चाहते हैं


किमबॉल डेटा वेयरहाउसिंग के लिए सरल तरीका है

हम डेटा को चारों ओर ले जाने के लिए इन्फॉर्मेटिका का उपयोग करते हैं, लेकिन यह डीडब्लू चीजों को डिफ़ॉल्ट रूप से अनुक्रमित नहीं करता।
मुझे व्हेर्सस्क लाल के विचार, एक डीडब्ल्यू उपकरण के रूप में और एक ईटीएल उपकरण की आवश्यकता को हटाने के लिए एमएस एसक्यूएल के लिंक्ड सर्वर का प्रयोग करना पसंद है।


आप वर्तमान में प्राप्त कर सकते हैं सर्वश्रेष्ठ फ्रेमवर्क एंकर मॉडलिंग है
यह सामान्य रूप से जटिल लग सकता है क्योंकि इसकी सामान्य संरचना और डेटा को इतिहास बनाने में अंतर्निहित क्षमता है।
इसके अलावा मॉडलिंग तकनीक ईआरडी से काफी अलग है।
लेकिन आप एसक्यूएल कोड के साथ अंत में सभी डीबी ऑब्जेक्ट्स उत्पन्न करने के लिए 3 एनएफ़ दृश्यों सहित और:

  • ट्रिगर्स द्वारा नियंत्रित डालने / अपडेट करें
  • इतिहास में किसी बिंदु / श्रेणी की क्वेरी करें
  • आप आवेदन डेवलपर्स 6NF एंकर मॉडल अंतर्निहित नहीं देखेंगे।

प्रौद्योगिकी खुली sourced है और इस समय अपराजेय है।

यदि आपके पास कोई प्रश्न होगा, तो आप उस टैग एंकर-मॉडलिंग पर पूछ सकते हैं।