معرفی و شروع کار با Apache Oozie

همانطور که می دانید زمان بند وظایف قلب تپنده سیستم عامل است ، Oozie نیز یکی از ارکان اساسی هدوپ می باشد که بدون آن اجرا و پردازش عملیات محاسباتی و استفاده از توان پردازشی غیر ممکن خواهد بود. Oozie زمان بندی وظایف را در هدوپ بر عهده دارد.

اگر بخواهید عملیات MapReduce انجام دهید می بایست به Oozie مراجعه کنید. Oozie پس از دریافت اطلاعات مربوط به هر عملیات آنرا زمان بندی و اجرا می کند و در نهایت گزارش عملیات را تولید می کند. کار اصلی Oozie اجرای عملیات MapReduce و Pig است ولی می توان از آن برای اجرای وظایف مربوط به  SSH ، Email ، HTTP و … هم استفاده کرد.
 

پس از نصب Oozie ، واسط گرافیکی تحت وب آن در آدرس زیر قرار میگیرد(دقت کنید که برای استفاده از این واسط می بایست در هنگام نصب Oozie کتابخانه ExtJS را هم نصب کرده باشید) :

http://myserver:11000/oozie

با مراجعه به این آدرس می توان از تاریخچه وظایف قبلی مطلع شد و همچنین گزارشات مربوط به وظایف نیز در این بخش قایل مشاهده است.

برای شروع کار ما یک فایل اجرایی برنامه Mapreduce خود را میخواهیم به Oozie دهیم تا آنرا اجرا کند.

 با دستور زیر این کار را انجام می دهیم:

oozie job -oozie http://myserver:11000/oozie -config examples/apps/map-reduce/job.properties -run

نکات:

  • هر عملیات Mapreduce که میخواهد در هدوپ با استفاده از زمان بند Oozie اجرا شود می بایست دارای ۲ فایل workflow.xml و job.properties در کنار فایل های اجرایی برنامه باشد.
  • قبل از اجرای کد بالا می بایست فایل job.properties با یک ویرایشگر متن باز شود و آدرس های NameNode و jobTracker در آن قرار گیرد.

پس از اجرای دستور بالا خروجی تولید می شود که نشانگر کد عملیات ما است که از آن می توان برای گزارش گیری استفاده کرد.

با دستور زیر می توان از نتیجه عملیات با خبر شد:

oozie job -oozie http://myserver:11000/oozie -info 14-20090525161321-oozie-tucu

که 14-20090525161321-oozie-tucu همان کد عملیات ما است.

 

از سرورهای ما برای اجرای پروژه های داده های کلان خود بدون اینکه درگیر پیچیدگی نصب شوید استفاده کنید. برای سفارش اینجا را کلیک کنید.
ما حتی می توانیم کلاستر و سرورهای هدوپ را برای شما ایجاد کنیم. برای درخواست راه اندازی اینجا را کلیک کنید.
اگر نیاز به مشاوره و یا کلاس آموزشی داشتید به اینجا مراجعه کنید.

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *