IBM تبني أكبر محرك بيانات على الإطلاق

يتم إنشاء مستودع بيانات أكبر بعشر مرات تقريبًا من أي مستودع تم إنشاؤه من قبل بواسطة باحثين في مختبر أبحاث Almaden ، بكاليفورنيا التابع لشركة IBM. محرك 120 بيتابايت - أي 120 مليون غيغابايت - يتكون من 200000 محرك أقراص ثابت تقليدي يعمل معًا. من المتوقع أن تخزن حاوية البيانات العملاقة حوالي تريليون ملف ويجب أن توفر المساحة اللازمة للسماح بمحاكاة أكثر قوة للأنظمة المعقدة ، مثل تلك المستخدمة في نمذجة الطقس والمناخ.

يمكن أن يحتوي محرك الأقراص الذي تبلغ سعته 120 بيتابايت على 24 مليار ملف MP3 نموذجي بحجم 5 ميغا بايت أو يبتلع بشكل مريح 60 نسخة من أكبر نسخة احتياطية للويب ، وهي 150 مليار صفحة تشكل أرشيف الإنترنت آلة WayBack .

هل جوجل متاح في الصين

مجموعة تخزين البيانات في IBM Almaden تعمل على تطوير نظام تخزين حطم الرقم القياسي لعميل لم يذكر اسمه يحتاج إلى كمبيوتر عملاق جديد لإجراء عمليات محاكاة مفصلة لظواهر العالم الحقيقي. ومع ذلك ، فإن التقنيات الجديدة التي تم تطويرها لبناء مثل هذا المستودع الكبير يمكن أن تتيح أنظمة مماثلة للحوسبة التجارية الأكثر تقليدية ، كما يقول بروس هيلسبيرج ، مدير أبحاث التخزين في شركة IBM وقائد المشروع.



نظام 120 بيتابايت هذا في الهامش المجنون الآن ، ولكن في غضون سنوات قليلة قد تكون جميع أنظمة الحوسبة السحابية مثله ، كما يقول هيلسبيرج. مجرد تتبع الأسماء والأنواع والسمات الأخرى للملفات المخزنة في النظام ستستهلك حوالي 2 بيتابايت من سعتها.

يقول ستيف كونواي ، نائب رئيس الأبحاث في شركة التحليل IDC المتخصصة في الحوسبة عالية الأداء (HPC) ، إن مستودع IBM أكبر بكثير من أنظمة التخزين السابقة. يقول إن مجموعة تخزين بسعة 120 بيتابايت ستكون بسهولة أكبر مصفوفة واجهتها. يبلغ حجم أكبر المصفوفات المتوفرة اليوم حوالي 15 بيتابايت. تشمل مشكلات الحوسبة الفائقة التي يمكن أن تستفيد من المزيد من تخزين البيانات التنبؤات الجوية ، والمعالجة الزلزالية في صناعة البترول ، والدراسات الجزيئية للجينومات أو البروتينات ، كما يقول كونواي.

طور مهندسو شركة IBM سلسلة من تقنيات الأجهزة والبرامج الجديدة لتمكين مثل هذا الارتفاع الكبير في سعة تخزين البيانات. كان العثور على طريقة للجمع بكفاءة بين آلاف محركات الأقراص الثابتة التي تم إنشاء النظام منها أحد التحديات. كما هو الحال في معظم مراكز البيانات ، توجد محركات الأقراص في أدراج أفقية مكدسة داخل رفوف طويلة. ومع ذلك ، كان على باحثي شركة IBM أن يجعلوا تلك الأجهزة أوسع بكثير من المعتاد لتناسب عددًا أكبر من الأقراص في منطقة أصغر. يجب تبريد الأقراص بالمياه المتداولة بدلاً من المراوح القياسية.

يقول هيلسبيرج إن الإخفاقات الحتمية التي تحدث بانتظام في مثل هذه المجموعة الكبيرة من الأقراص تمثل تحديًا رئيسيًا آخر. تستخدم IBM التكتيك القياسي لتخزين نسخ متعددة من البيانات على أقراص مختلفة ، لكنها تستخدم تحسينات جديدة تسمح للحاسوب العملاق بمواصلة العمل بأقصى سرعة تقريبًا حتى عند تعطل محرك الأقراص.

المشاركات الملونة شارع المشاركة

عندما يموت قرص منفرد ، يسحب النظام البيانات من محركات الأقراص الأخرى ويكتبها على القرص البديل ببطء ، حتى يتمكن الكمبيوتر العملاق من مواصلة العمل. في حالة حدوث المزيد من حالات الفشل بين محركات الأقراص القريبة ، يتم تسريع عملية إعادة البناء لتجنب احتمال حدوث فشل آخر ومحو بعض البيانات بشكل دائم. يقول هيلسبيرج إن النتيجة هي نظام يجب ألا يفقد أي بيانات لمليون سنة دون تقديم أي تنازلات بشأن الأداء.

يستفيد النظام الجديد أيضًا من نظام الملفات المعروف باسم GPFS الذي تم تطويره في IBM Almaden لتمكين أجهزة الكمبيوتر العملاقة من الوصول إلى البيانات بشكل أسرع. ينشر الملفات الفردية عبر أقراص متعددة بحيث يمكن قراءة العديد من أجزاء الملف أو كتابتها في نفس الوقت. يمكّن GPFS أيضًا نظامًا كبيرًا لتتبع العديد من ملفاته دون إجراء مسح مضني عبر كل منها. في الشهر الماضي ، استخدم فريق من شركة IBM GPFS لفهرسة 10 مليارات ملف في 43 دقيقة ، محطمًا الرقم القياسي السابق بمليار ملف تم مسحها ضوئيًا في ثلاث ساعات.

إن تحسينات البرامج مثل تلك التي يتم تطويرها من أجل GPFS واستعادة القرص ضرورية لتمكين محركات البيانات العملاقة ، كما يقول هيلزبرج ، لأنه لكي تكون عملية ، يجب ألا تصبح أكبر فحسب ، بل يجب أن تكون أسرع أيضًا. لم تصبح الأقراص الصلبة أسرع أو أكثر موثوقية بما يتناسب مع متطلبات المزيد من التخزين ، لذلك يجب أن تعوض البرامج الفارق.

يوافق كونواي من IDC على أن الوصول الأسرع إلى أنظمة تخزين البيانات الأكبر أصبح أمرًا حاسمًا للحوسبة الفائقة - على الرغم من أن أجهزة الكمبيوتر العملاقة غالبًا ما تتم مقارنتها علنًا بسرعات معالجها ، كما هو الحال مع قائمة TOP500 العالمية المستخدمة لتحديد حقوق المفاخرة الدولية. أصبحت محركات الأقراص الكبيرة مهمة لأن عمليات المحاكاة تزداد حجمًا ويتم معالجة العديد من المشكلات باستخدام ما يسمى بالطرق التكرارية ، حيث يتم تشغيل المحاكاة آلاف المرات ومقارنة النتائج ، كما يقول كونواي. Checkpointing ، وهو أسلوب يحفظ فيه الكمبيوتر العملاق لقطات من عمله في حالة عدم اكتمال المهمة بنجاح ، وهو أمر شائع أيضًا. أنتجت هذه الاتجاهات انفجارًا في البيانات في مجتمع HPC ، كما يقول كونواي.

يخفي

التقنيات الفعلية

فئة

غير مصنف

تكنولوجيا

التكنولوجيا الحيوية

سياسة التكنولوجيا

تغير المناخ

البشر والتكنولوجيا

وادي السيليكون

الحوسبة

مجلة Mit News

الذكاء الاصطناعي

الفراغ

المدن الذكية

بلوكشين

قصة مميزة

الملف الشخصي للخريجين

اتصال الخريجين

ميزة أخبار معهد ماساتشوستس للتكنولوجيا

1865

وجهة نظري

77 Mass Ave

قابل المؤلف

ملامح في الكرم

شوهد في الحرم الجامعي

خطابات الخريجين

أخبار

انتخابات 2020

فهرس With

تحت القبه

خرطوم الحريق

مؤشر With

قصص لانهائية

مشروع تكنولوجيا الوباء

من الرئيس

غلاف القصه

معرض الصور

موصى به