نصب و راه اندازی Apache Spark -قسمت دوم

برای اجرای Apache Spark در قسمت ترمینال یا Consol دستورات زیر را وارد کنید:

cd spark-1.1.0
./bin/spark-shell

Untitled

بعد از اجرای دستورات وارد محیط شل Scala می‌شویم ، محیط آماده برای اجرای فرامین می باشدالبته شما می‌توانید بجای استفاده از زبان Scala از Python نیز استفاده کنید که در ادامه به آن خواهیم پرداخت.

در این نوشته قصد داریم به مثالهای گوناگون جهت آشنایی بیشتر با Apache Spark بپردازیم ولی در ابتدا اجازه دهید موتور پردازشی خود را مورد آزمایش قرار دهیم تا از صحت نصب آن اطمینان حاصل کنیم و در ادامه با محیط Spark shell application UI آشنا خواهیم شد. برای این کار با اجرای run-example شما مقدار Pi is roughly 3.14634 را در خروجی خواهید دید که درستی اجرای برنامه در اسپارک را به شما نشان می دهد. کد زیر را در Scala Shell خود اجرا کنید:

./bin/run-example SparkPi 10

مثال اول : Accumulate کردن تعدادی عدد و مشاهده خروجی

scala> val accum = sc.accumulator(0)
scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)
scala> accum.value

مثال دوم :محاسبه ضرب کارتیزین بین دو لیست

scala> val x = sc.parallelize(List(1,2,3,4,5))
scala> val y = sc.parallelize(List(6,7,8,9,10))
scala> x.cartesian(y).collect

مثال سوم :برای ذخیره پردازشهای انجام شده از Checkpoint استفاده می‌شود . فایلهای تولید شده از نوع باینری می باشندو می‌توانند بر روی Hdfs یا ناحیه local که در خروجی مسیر آن مشخص است ذخیره شود.

sc.setCheckpointDir("my_directory_name")
val a = sc.parallelize(1 to 4)
a.checkpoint
a.count

اگر شما علاقمندید که روند پردازش اطلاعات خود ، فایلهای ذخیره شده، وضعیت Apache Spark تصب شده را مشاهده کنید می‌توانید با استفاده از IP Address سیستم خود و port شماره ۴۰۴۰ به محیط User Interface آپاچی اسپارک خود دسترسی داشته باشید.در زیر می‌توانید عکس‌های این محیط را مشاهده کنید:

1

اطلاعات Apache Spark در محیط Environment

2

روند اجرای برنامه های اجرا شده در محیط Spark Stages

نویسنده: جمال مکتوبیان

از سرورهای ما برای اجرای پروژه های داده های کلان خود بدون اینکه درگیر پیچیدگی نصب شوید استفاده کنید. برای سفارش اینجا را کلیک کنید.
ما حتی می توانیم کلاستر و سرورهای هدوپ را برای شما ایجاد کنیم. برای درخواست راه اندازی اینجا را کلیک کنید.
اگر نیاز به مشاوره و یا کلاس آموزشی داشتید به اینجا مراجعه کنید.

لیست نظرات

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *