در این مقاله قصد داریم به مراحل نصب Apache Spark مرحله به مرحله بردازیم. برای اجرا کردن Spark در Ubuntu در ابتدا باید از نصب Java بر روی سیستم خود اطمینان حاصل کنیم برای این کار شما میتوانید از نوشتههای قبلی ما استفاده کنید.
یا میتوانید با وارد کردن کدهای زیر جاوا را بر روی ماشین خود نصب کنید:
sudo apt-add-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java7-installer
برای مطمن شدن از صحت نصب برنامه شما میتوانید از کد زیر استفاده کنید:
java -version
در مرحله بعدی باید شروع به نصب Scala کنیم،برای این کار در ابتدا باید Scala را دانلود کنیم .فایل دانلود شده را در این مسیر ذخیره کنید و سپس Unzip نمایید، میتوانید این مراحل را در زیر دنبال کنید :
wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz sudo mkdir /usr/local/src/scala sudo tar xvf scala-2.10.4.tgz -C /usr/local/src/scala
و در ادامه فایل bashrc را باید ویرایش کنیم . من برای این عمل از ویرایشگر gedit بهره برده ام.
gedit ~/.bashrc
بعد از باز شدن فایل به انتهای آن رفته و مسیرهای زیر را به آن اضافه کنید:
export SCALA_HOME=/usr/local/src/scala/scala-2.10.4 export PATH=$SCALA_HOME/bin:$PATH
در ادامه به دلیل اینکه فایل Bashrc شما تغییر کرده است باید آن را دوباره راه اندازی نمایید:
source ~/.bashrc
برای چک کردن صحت نصب از دستور زیر استفاده کنید:
scala -version
یا شما میتوانید با تایپ مستقیم Scala به محیط shell این زبان بروید.
در مرحله بعدی باید شروع به نصب Git کنیم که یک ورژن از سیستم های کنترل توزیع شده است که بصورت متن باز و مجانیست ، هدف اصلی از طراحی آن کنترل و در اختیار گرفتن پروژه هایی با مقیاس بالا و کوچک با سرعت بسیار زیاد و مؤثر است .
sudo apt-get install git
در انتها شما نیاز به دانلود Apache Spark دارید :
http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0.tgz tar xvf spark-1.1.0.tgz
بعد از دانلود و unzip کردن Spark باید عملیات به اصطلاح Build کردن را انجام دهیم تا کدهای ما کامپایل شوند.
cd spark-1.1.0 sbt/sbt assembly
کامپایل کردن کمی زمانبر است ، ولی بعد از کامپایل میتوانید آن را اجرا کرده و برنامههای خود را اجرا و تست کنید.
در قسمت بعدی Apache Spark سعی میکنیم با چند مثال قدرت این موتور پردازشی را به شما مخاطبین گرامی نشان دهیم.
نویسنده: جمال مکتوبیان
سلام
چرا این خط من اجرا نمیشه
sbt
/sbt
assembly
همه مراحل اوکی هست ولی این یه خط رو میزنم جلوتر نمیره
ایا اول هدوچ باید نصب باشه بعد بیام اسپارک رو نصب کنم یا نه اپارک رو میتونم با یه یوزر دیگه نصب کنم
اگه راهنمایی کنید ممنون میشم
سلام ببخسد قبل نصب اسپارک به جز جاوا باید پایتون و ابونتو نصب باشه ممنون میشم راهنماییم کنین در نصب اسپارک