1. 安装VMware---------workstation

https://jingyan.baidu.com/article/3ea51489a339f952e71bba57.html

参考链接，一直下一步，到这个界面安装结束

1. 在虚拟机内安装ubuntu系统

 

下一步

下一步，浏览找到iso系统文件

下一步，自己随意填写用户名和密码

 

下一步，设置虚拟机名称和虚拟机在磁盘中的位置

 

下一步，依据实际设置cpu核心数

下一步，依据需要设置内存容量

下一步，默认用nat模式，虚拟机主机共享网卡

下一步，默认设置

下一步，默认设置

下一步，默认设置，创建新虚拟机

下一步，依据实际情况设置虚拟机磁盘容量

下一步，默认设置

下一步

点击完成，开始启动虚拟机，并安装ubuntu系统

整个过程20分钟左右

出现此界面，ubuntu安装完成

1. 设置xshell连接虚拟机

首先打开一个shell终端

 

查看本机的ip地址，之后

 设置root用户的密码，之后安装ssh

打开xshell（需先下载安装好），新建会话

写入对应你虚拟机的ip

以及用户名密码

下一步，接受并保存

然后通过xshell连接到虚拟机

 

 

1. 安装高级工具

https://jingyan.baidu.com/article/bad08e1ef759f209c85121de.html

1. 安装java

首先把jdk文件拖到虚拟机中

找到文件

 

将压缩文件jdk、hadoop、spark移动到指定位置

 

解压文件

修改文件夹的用户组

之后添加系统变量，首先安装vim编辑器

配置环境变量

输入 sudo vim /etc/profile-----打开后在最下方添加以下内容

输入 source /etc/profile 使修改后的文件生效

出现上面的界面，就说明java安装成功

 

1. 配置无密码登陆

输入 ssh-keygen -t rsa 之后连续四个回车

输入cd ~/.ssh/ 进入到.ssh文件夹下，然后追加公钥到公共文件

输入cat id_rsa.pub >> authorized_keys

输入ssh localhost 出现下面界面，说明免密码登陆设置完成

1. 安装hadoop

首先移动到指定位置，比如/opt，解压hadoop压缩包，再找到hadoop2.6.5/etc/hadoop文件夹，hadoop所有配置文件都在这个文件夹

①首先配置hadoop-env.sh，修改JAVA_HOME路径。

②配置core-site.xml文件，添加以下内容。

③配置hdfs-site.xml文件前首先建立文件夹

之后编辑hdfs-site.xml并添加以下内容

 

④配置mapred-env.sh ,添加

⑤首先复制一份文件，命名为mapred-site.xml，之后配置

编辑mapred-site.xml，并添加

⑥配置yarn-site.xml,添加

⑦配置环境变量sudo vim /etc/profile， 添加

⑧格式化

先打开hadoop安装路径下的bin路径，再运行格式化

输入 ./hdfs namenode -format

⑨启动集群

打开上级目录，打开sbin目录

 

在sbin目录下，先启动HDFS文件系统

查看进程

再启动yarn

下载数据集---输入以下命令

wget http://labfile.oss.aliyuncs.com/courses/832/weblog_entries.txt

在hdfs中创建一个文件夹（-p表示逐级创建）

查看是否创建成功

将下载好的文件从本地上传到集群

查看是否上传成功

打印文件内容

1. 安装scala

安装方法与jdk类似，首先将scala文件移动到虚拟机，之后解压，再将解压后的路径添加到环境变量中即可。

1. 安装spark

①安装spark1.6.3和spark2.3方法相同

首先移动文件到指定位置，比如/opt，解压Spark压缩包，再找到spark-1.6.3-bin-hadoop2.6/conf文件夹

Spark配置文件都在这个文件夹

在修改配置文件之前，查看文件夹权限

修改用户组

修改文件夹权限

之后开始修改配置文件，进入到conf文件夹

输入cp spark-env.sh.template spark-env.sh

复制spark-env.sh.template文件并改名为spark-env.sh

编辑spark-env.sh文件，添加以下内容

配置完成后，进入到${SPARK_HOME}/sbin目录

输入start-all.sh启动spark进程，并输入jps查看

 

之后进入到${SPARK_HOME}/bin目录

输入pyspark命令，出现此画面说明正常启动

 

 

10.安装anaconda

命令行输入 bash  Anaconda3-5.0.1-Linux-x86_64.sh  -p  /opt/anaconda3  -u

之后配置环境变量

添加以下内容

11.安装mysql

apt-get install mysql-server

如果中途要求设置root用户密码，输入你自己密码即可

安装过程大概5-10分钟

安装mysql客户端

apt-get install mysql-client

之后启动

Mysql -u root -p

 

 转载至链接:https://my.oschina.net/u/3902915/blog/1921870