نحوه نصب هدوپ (Single Node)

سیستم عامل: همه سیستم عامل ها

نوع نصب: Single Node Cluster (نصب به صورت Multi-Node)

برای نصب هدوپ راه های گوناگونی وجود دارد. با توجه به سطح آشنایی شما با فریم ورک هدوپ می تواند این فرآیند آسان و یا سخت باشد ولی نگران نباشید ما تمامی مراحل را شرح می دهیم.

بسته عمومی هدوپ یا Hadoop Common

بسته عمومی هدوپ که از سایت رسمی به صورت بسته رسمی هدوپ قابل دریافت است و همینطور در صفحه اصلی این سایت به صورت مستقیم قرار گرفته است شامل پروژه ها و سرویس های HDFS یا سیستم فایل توزیع شده هدوپ،YARN  یا زمان بند وظایف و مدیر کلاستر،MapReduce یا سیستم پردازش موازی داده های عظیم و همچنین فایل اجرایی hadoop می باشد که برای پیکربندی کلی هدوپ می باشد. به دلیل اینکه هدوپ به زبان جاوا نوشته شده است نسخه های مختلف برای سیستم عامل های مختلف وجود ندارد و یک بسته می تواند با استفاده از JRE بر روی تمامی سیستم عامل ها اجرا شود.

مراحل  نصب عادی بسته عمومی

  1. قبل از هر چیز مطمئن شوید که JRE یا Java Runtime Environment را بر روی سیستم خود نصب کرده اید. می توانید با اجرای دستور java –version در محیط خط فرمان از نصب بودن این برنامه مطمئن شوید.
  2. بسته عمومی هدوپ را از سایت رسمی یا از طریق همین وب سایت دانلود و فایل ها را استخراج نمایید. (توجه: اگر در سیستم عامل لینوکس هستید مطمئن شوید فایل ها را در مکانی استخراج کرده اید که دسترسی مدیر را دارا می باشد و همینطور قابلیت اجرا را به فایل هاعمال کرده اید. به همین جهت پیشنهاد می شود بسته را در پوشه Home خود استخراج کنید.)
  3. پس از استخراج به پوشه موردنظر رفته و وارد پوشه bin شوید. در اینجا فایل ها و پروژه هایی که در بالا توضیح داده شد را مشاهده می کنید.
  4. در اینجا با مراجعه به خط فرمان سیستم عامل خود و تغییر پوشه جاری به پوشه ای که استخراج کردید و همینطور پوشه bin ، می تواند با اجرای هر دستور مثل hadoop ، hadoop fs شروع به کار با هدوپ کنید.

نصب آسان

برای نصب آسان هدوپ نیاز به دانلود بسته عمومی و دارا بودن  JRE ندارید ولی پیش نیازهای زیر را می بایست دارا باشید:

  • حداقل یک گیگابایت حافظه رم (پیشنهاد شده: 2 گیگابایت حافظه رم)
  • توانایی دانلود بسته های اینترنتی با حجم بالا
  • آشنایی با نرم افزارهای مجازی سازی نظیر VMware و VirtualBox

اگر سه شرط بالا را دارا می باشید به خواندن ادامه دهید.

بسته های آماده هدوپ را شرکت های مختلفی چه به صورت بسته کامل و چه به صورت گزینشی ارائه می کنند. این شرکت ها عبارتند است از:

  • IBM
  • Cloudera
  • Hortonworks

هر کدام از این شرکت ها بسته های آماده ای را به صورت رایگان فراهم می کنند که هرچند دارای حجم بالایی هستند ولی می توانند توسط نرم افزارهای مجازی سازی به صورت مستقل اجرا شوند و همچنین این بسته ها عموما دارای امکانات بالاتری نسبت به بسته عمومی هدوپ است. این بسته های آماده حتی شامل واسط های مدیریتی گرافیکی است که توانایی کار با هدوپ را آسانتر می کند. نکته دیگر این است که این بسته ها شامل زیرپروژه های بیشتری نسبت به بسته عمومی می باشند.

برای استفاده از این بسته ها کافی است به لینک های زیر مراجعه کنید و بسته مربوط به نرم افزار مجازی سازی خود را بارگیری نمایید و اجرا کنید:

 

از سرورهای ما برای اجرای پروژه های داده های کلان خود بدون اینکه درگیر پیچیدگی نصب شوید استفاده کنید. برای سفارش اینجا را کلیک کنید.
ما حتی می توانیم کلاستر و سرورهای هدوپ را برای شما ایجاد کنیم. برای درخواست راه اندازی اینجا را کلیک کنید.
اگر نیاز به مشاوره و یا کلاس آموزشی داشتید به اینجا مراجعه کنید.

لیست نظرات

  1. سلام آقای رنجیر

    من شما رو در جلسه ۵ شنبه ۱۷ اردیبهشت توی مپس دیدم و فرصت نشد با شما صحبت کنم البته نمیدونستم شما این سایت رو دارید و هدوپ کار کرده اید امروز دیدم . من برای یکی از پروژهامون نزدیک به ۲ ماه با هدوپ سروکله زدم و تونستم آپاچی ناچ با هدوپ  روی ۵تا نود کلاستر  و نتایجو روی سالر ایندکس کنم الان هدوپم خوب کار میکنه ولی میخوام سرعتش افزایش بدم و بیهنه تر کنم تجربه ای در این زمینه دارید به من کمک کنید

    با تشکر  

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *