हुआवेई ने बड़े मॉडलों के युग में नए एआई स्टोरेज उत्पादों की घोषणा की

[चीन, शेन्ज़ेन, 14 जुलाई, 2023] आज, हुआवेई ने बड़े पैमाने के मॉडल के युग के लिए अपने नए एआई स्टोरेज समाधान का अनावरण किया, जो बुनियादी मॉडल प्रशिक्षण, उद्योग-विशिष्ट मॉडल प्रशिक्षण और खंडित परिदृश्यों में अनुमान के लिए इष्टतम भंडारण समाधान प्रदान करता है। नई एआई क्षमताओं को उजागर करना।

बड़े पैमाने पर मॉडल अनुप्रयोगों के विकास और कार्यान्वयन में, उद्यमों को चार प्रमुख चुनौतियों का सामना करना पड़ता है:

सबसे पहले, डेटा तैयार करने के लिए आवश्यक समय लंबा है, डेटा स्रोत बिखरे हुए हैं, और एकत्रीकरण धीमा है, सैकड़ों टेराबाइट्स डेटा को प्रीप्रोसेस करने में लगभग 10 दिन लगते हैं। दूसरे, बड़े पैमाने पर टेक्स्ट और छवि डेटासेट वाले मल्टी-मोडल बड़े मॉडल के लिए, बड़ी छोटी फ़ाइलों के लिए वर्तमान लोडिंग गति 100 एमबी/एस से कम है, जिसके परिणामस्वरूप प्रशिक्षण सेट लोडिंग के लिए कम दक्षता होती है। तीसरा, अस्थिर प्रशिक्षण प्लेटफार्मों के साथ-साथ बड़े मॉडलों के लिए बार-बार पैरामीटर समायोजन, लगभग हर 2 दिनों में प्रशिक्षण में रुकावट का कारण बनता है, जिससे चेकपॉइंट तंत्र को प्रशिक्षण फिर से शुरू करने की आवश्यकता होती है, जिसमें पुनर्प्राप्ति में एक दिन लगता है। अंत में, बड़े मॉडलों के लिए उच्च कार्यान्वयन सीमाएँ, जटिल सिस्टम सेटअप, संसाधन शेड्यूलिंग चुनौतियाँ, और GPU संसाधन उपयोग अक्सर 40% से कम होता है।

हुआवेई बड़े पैमाने के मॉडल के युग में एआई विकास की प्रवृत्ति के साथ जुड़ रही है, विभिन्न उद्योगों और परिदृश्यों के लिए तैयार समाधान पेश कर रही है। यह ओसियनस्टोर ए310 डीप लर्निंग डेटा लेक स्टोरेज और फ्यूजनक्यूब ए3000 ट्रेनिंग/इंफरेंस सुपर-कन्वर्ज्ड उपकरण पेश करता है। ओशनस्टोर ए310 डीप लर्निंग डेटा लेक स्टोरेज बुनियादी और उद्योग-स्तर के बड़े मॉडल डेटा लेक परिदृश्यों को लक्षित करता है, डेटा एकत्रीकरण, प्रीप्रोसेसिंग से लेकर मॉडल प्रशिक्षण और अनुमान अनुप्रयोगों तक व्यापक एआई डेटा प्रबंधन प्राप्त करता है। ओशनस्टोर A310, एकल 5U रैक में, उद्योग की अग्रणी 400GB/s बैंडविड्थ और 12 मिलियन IOPS तक का समर्थन करता है, 4096 नोड्स तक रैखिक स्केलेबिलिटी के साथ, निर्बाध क्रॉस-प्रोटोकॉल संचार को सक्षम करता है। ग्लोबल फाइल सिस्टम (जीएफएस) डेटा एकत्रीकरण प्रक्रियाओं को सुव्यवस्थित करते हुए, क्षेत्रों में बुद्धिमान डेटा बुनाई की सुविधा प्रदान करता है। नियर-स्टोरेज कंप्यूटिंग नियर-डेटा प्रीप्रोसेसिंग का एहसास कराती है, डेटा मूवमेंट को कम करती है और प्रीप्रोसेसिंग दक्षता में 30% सुधार करती है।

उद्योग-स्तरीय बड़े मॉडल प्रशिक्षण/अनुमान परिदृश्यों के लिए डिज़ाइन किया गया फ़्यूज़नक्यूब A3000 प्रशिक्षण/अनुमान सुपर-कन्वर्ज्ड उपकरण, अरबों मापदंडों वाले मॉडलों से जुड़े अनुप्रयोगों को पूरा करता है। यह ओशनस्टोर ए300 उच्च-प्रदर्शन भंडारण नोड्स, प्रशिक्षण/अनुमान नोड्स, स्विचिंग उपकरण, एआई प्लेटफॉर्म सॉफ्टवेयर और प्रबंधन और संचालन सॉफ्टवेयर को एकीकृत करता है, जो बड़े मॉडल भागीदारों को वन-स्टॉप डिलीवरी के लिए प्लग-एंड-प्ले परिनियोजन अनुभव प्रदान करता है। उपयोग के लिए तैयार, इसे 2 घंटे के भीतर तैनात किया जा सकता है। विभिन्न मॉडल पैमाने की आवश्यकताओं से मेल खाने के लिए प्रशिक्षण/अनुमान और भंडारण नोड्स दोनों को स्वतंत्र रूप से और क्षैतिज रूप से विस्तारित किया जा सकता है। इस बीच, FusionCube A3000 GPU साझा करने के लिए कई मॉडल प्रशिक्षण और अनुमान कार्यों को सक्षम करने के लिए उच्च-प्रदर्शन वाले कंटेनरों का उपयोग करता है, जिससे संसाधन उपयोग 40% से बढ़कर 70% से अधिक हो जाता है। FusionCube A3000 दो लचीले बिजनेस मॉडल का समर्थन करता है: Huawei Ascend वन-स्टॉप सॉल्यूशन और ओपन कंप्यूटिंग, नेटवर्किंग और AI प्लेटफॉर्म सॉफ्टवेयर के साथ थर्ड-पार्टी पार्टनर वन-स्टॉप सॉल्यूशन।

हुआवेई के डेटा स्टोरेज प्रोडक्ट लाइन के अध्यक्ष झोउ यूफेंग ने कहा, “बड़े पैमाने के मॉडल के युग में, डेटा एआई इंटेलिजेंस की ऊंचाई निर्धारित करता है। डेटा के वाहक के रूप में, डेटा भंडारण एआई बड़े पैमाने के मॉडल के लिए प्रमुख बुनियादी ढांचा बन जाता है। हुआवेई डेटा स्टोरेज नवाचार करना जारी रखेगा, एआई बड़े मॉडल के युग के लिए विविध समाधान और उत्पाद प्रदान करेगा, उद्योगों की एक विस्तृत श्रृंखला में एआई सशक्तीकरण को चलाने के लिए भागीदारों के साथ सहयोग करेगा।