【Tool】Linux下的Spark安装及使用

来源：六九路网

【Tool】Linux下的Spark安装及使⽤

1. 确保⾃⼰的电脑安装了JAVA Development Kit JDK, ⽤来编译Java应⽤, 如 , , . 这⾥是我们安装Spark的⽀持环境.　查看⾃⼰是否安装了JDK: java -version

　这⾥我已经安装了所以显⽰的是JDK的版本信息, 如果没有安装则显⽰\"The program java can be found in the following packages\"

2. 安装好Java环境之后可以在Spark官⽹上下载⾃⼰要的Spark版本: 　下载之后解压缩: tar -xf spark-***-bin-hadoop**.tgz(对应着你下载的版本号)3. 更新profile⽂件: sudo vi ~/etc/profile 在后⾯加⼊:　

SPARK_HOME=/home/vincent/Downloads/spark

#（解压后的包所在的路径, 这⾥我将解压后的Spark重新命名为spark了）PATH=$PATH:${SPARK_HOME}/bin

4. 进⼊spark安装位置, 然后进⼊spark中的 bin ⽂件夹运⾏: ./bin/spark-shell 运⾏scala

运⾏: ./bin/pyspark (python)

5. 调整⽇志级别控制输出的信息量:

在conf⽬录下将log4j.properties.template 复制为 log4j.properties, 然后找到 log4j.rootCategory = INFO, console

将INFO改为WARN (也可以设置为其他级别)

之后再打开shell输⼊信息量会减少.

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文