نصب و راه اندازی Apache Spark -قسمت اول

در این مقاله قصد داریم به مراحل نصب Apache Spark مرحله به مرحله بردازیم. برای اجرا کردن Spark در Ubuntu در ابتدا باید از نصب Java بر روی سیستم خود اطمینان حاصل کنیم برای این کار شما می‌توانید از نوشته‌های قبلی ما استفاده کنید.
یا می‌توانید با وارد کردن کدهای زیر جاوا را بر روی ماشین خود نصب کنید:

sudo apt-add-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java7-installer

 برای مطمن شدن از صحت نصب برنامه شما می‌توانید از کد زیر استفاده کنید:

java -version

در مرحله بعدی باید شروع به نصب Scala کنیم،برای این کار در ابتدا باید Scala را  دانلود کنیم .فایل دانلود شده را در این مسیر ذخیره کنید و سپس Unzip نمایید، می‌توانید این مراحل را در زیر دنبال کنید :

wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz
sudo mkdir /usr/local/src/scala
sudo tar xvf scala-2.10.4.tgz -C /usr/local/src/scala

و در ادامه فایل  bashrc را باید ویرایش کنیم . من برای این عمل از ویرایشگر gedit بهره برده ام.

gedit ~/.bashrc

بعد از باز شدن فایل به انتهای آن رفته و مسیرهای زیر را به آن اضافه کنید:

export SCALA_HOME=/usr/local/src/scala/scala-2.10.4
export PATH=$SCALA_HOME/bin:$PATH

در ادامه به دلیل اینکه فایل Bashrc شما تغییر کرده است باید آن را دوباره راه اندازی نمایید:

source ~/.bashrc

برای چک کردن صحت نصب از دستور زیر استفاده کنید:

scala -version

یا شما می‌توانید با تایپ مستقیم Scala به محیط shell این زبان بروید.
در مرحله بعدی باید شروع به نصب Git کنیم که یک ورژن از سیستم های کنترل توزیع شده است که بصورت متن باز و مجانیست ، هدف اصلی از طراحی آن کنترل و در اختیار گرفتن پروژه هایی با مقیاس بالا و کوچک با سرعت بسیار زیاد و مؤثر است .

sudo apt-get install git

در انتها شما نیاز به دانلود Apache Spark دارید :

http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0.tgz
tar xvf spark-1.1.0.tgz

بعد از دانلود و unzip کردن Spark باید عملیات به اصطلاح Build کردن را انجام دهیم تا کدهای ما کامپایل شوند.

cd spark-1.1.0
sbt/sbt assembly

کامپایل کردن کمی زمانبر است ، ولی بعد از کامپایل می‌توانید آن را اجرا کرده و برنامه‌های خود را اجرا و تست کنید.
در قسمت بعدی Apache Spark سعی می‌کنیم با چند مثال قدرت این موتور پردازشی را به شما مخاطبین گرامی نشان دهیم.

نویسنده: جمال مکتوبیان