پیش نیازهای سخت افزاری راه اندازی هدوپ

حتی اگر در سایت رسمی شرکت آپاچی که مالک و صاحب امتیاز پروژه هدوپ است جستجو کنید چیزی با عنوان "حداقل های سخت افزاری" در آن پیدا نمی کنید. چرا؟ به تعریف هدوپ دقت کنید:"هدوپ یک چهارچوب نرم افزاری است که ساز و کار پردازش و ذخیره سازی حجم بزرگی از داده ها را برای کامپیوترهایی با سخت افزارهای معمولی فراهم می کند". نتیجه ای که می توان گرفت این است که هدوپ هیچ حداقل سخت افزاری برای اجرا نیاز ندارد و هر نوع سخت افزاری که بتواند حداقل یکی از سیستم عامل های راجع را میزبانی کند،هدوپ نیز توانایی اجرا و کار بر روی آنرا دارد.

برای اینکه من این موضوع را در عمل امتحان کنم بر روی یک Raspberry Pi که دارای پردازنده ای با توان 700 مگاهرتز و حافظه RAM ای برابر 512 مگابایت بود ، بسته عمومی هدوپ را نصب کردم و به درستی توانستم آنرا به عنوان یک گره به کلاستر اضافه کنم.

برای نگاه دقیق تر به این موضوع باید از شرکت آپاچی فاصله بگیریم و به سراغ شرکت های فعالی که سرویس های پردازشی و تحلیل داده ها با استفاده از چهارچوب هدوپ را فراهم می کنند مراجعه کنیم. شرکت Hortonworks یکی از این شرکت ها می باشد. حداقل های سخت افزاری که این شرکت برای استفاده کارا و قابل قبول پیشنهاد می کند به صورت زیر است(دقت کنید که تمامی موارد زیر به صورت توصیه می باشد و الزاما به معنی نیاز اولیه برای راه اندازی نیست):

گره اصلی(Master Node)

ظرفیت ذخیره سازی

برای سرویس دهنده های NameNode پیشنهاد می شود که از یک سرویس دهنده اولیه یا Primary و یک سرویس دهنده ثانویه یا Secondry استفاده شود.به دلیل اینکه برنامه ها و Task ها می بایست در فضای ایزوله ای از سرویس دهنده اولیه قرار داشته باشند و اینکه گره های ثانویه بیشتر در معرض تعمیرات و نگه داری قرار میگیرند. هر دوی سرویس دهنده ها می بایست فضای ذخیره سازی قابل اطمینانی برخوردار باشند.(مکانیزم RAID پیشنهاد می شود).

گره اصلی نیازمند چهار هارد مجزا بصورت محلی و یا شبکه ای می باشد که هر کدام می تواند ظرفیتی حداقل یک ترابایت داشته باشد.

حافظه RAM

مقدار ظرفیت RAM موردنیاز برای گره اصلی بستگی به تعداد اشیاء(فایل ها و بلوکهای تکثیر) در فایل سیستم دارد. 64 گیگابایت رم تقریبا می تواند 100 میلیون فایل را پشتیبانی کند.

پردازنده

پیشنهاد می شود که تعداد پردازنده ها به گونه ای انتخاب شود که 16 و یا 24 هسته  پردازشی را برای کنترل ترافیک پیغام دهی فراهم کند.

ترافیک شبکه

میزان 10 گیگابایت ترافیک برای ارتباطات شبکه ای قابل قبول است.

گره فرعی(Slave Node)

ظرفیت ذخیره سازی

برای کاربرد عمومی از هدوپ تعداد 12 درایو هارد در هر سرویس دهنده پیشنهاد می شود. ظرفیت استاندارد برای محیط تولید برابر 2 ترابایت در هر هارد است یعنی 12 عدد هارد 2 ترابایتی. بهینه ترین هماهنگی بین کارایی و هزینه را عموما هاردهایی با سرعت 7200 دور در دقیقه SATA دارند.

حافظه RAM

با توجه به تعداد هسته های پردازنده گره فرعی می تواند به صورت استاندارد دارای 24 تا 48 گیگابایت باشد.

پردازنده

با توجه به الگوی میزان کار پردازشی که دارید ما پیشنهاد می کنیم که از یک پردازنده ای با کلاک متوسط استفاده کنید. برای کلاسترهای بزرگ نیز حداقل دو پردازنده 4 هسته ای پیشنهاد می شود.

ترافیک شبکه

میزان ترافیک متوسط و قابل قبول برای گره های فرعی میزان 20 گیگابایت می باشد.

از سرورهای ما برای اجرای پروژه های داده های کلان خود بدون اینکه درگیر پیچیدگی نصب شوید استفاده کنید. برای سفارش اینجا را کلیک کنید.
ما حتی می توانیم کلاستر و سرورهای هدوپ را برای شما ایجاد کنیم. برای درخواست راه اندازی اینجا را کلیک کنید.
اگر نیاز به مشاوره و یا کلاس آموزشی داشتید به اینجا مراجعه کنید.

لیست نظرات

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *