VMware
- 安装VMware---------workstation
https://jingyan.baidu.com/article/3ea51489a339f952e71bba57.html
参考链接,一直下一步,到这个界面安装结束
- 在虚拟机内安装ubuntu系统
下一步
下一步,浏览找到iso系统文件
下一步,自己随意填写用户名和密码
下一步,设置虚拟机名称和虚拟机在磁盘中的位置
下一步,依据实际设置cpu核心数
下一步,依据需要设置内存容量
下一步,默认用nat模式,虚拟机主机共享网卡
下一步,默认设置
下一步,默认设置
下一步,默认设置,创建新虚拟机
下一步,依据实际情况设置虚拟机磁盘容量
下一步,默认设置
下一步
点击完成,开始启动虚拟机,并安装ubuntu系统
整个过程20分钟左右
出现此界面,ubuntu安装完成
- 设置xshell连接虚拟机
首先打开一个shell终端
查看本机的ip地址,之后
设置root用户的密码,之后安装ssh
打开xshell(需先下载安装好),新建会话
写入对应你虚拟机的ip
以及用户名密码
下一步,接受并保存
然后通过xshell连接到虚拟机
- 安装高级工具
https://jingyan.baidu.com/article/bad08e1ef759f209c85121de.html
- 安装java
首先把jdk文件拖到虚拟机中
找到文件
将压缩文件jdk、hadoop、spark移动到指定位置
解压文件
修改文件夹的用户组
之后添加系统变量,首先安装vim编辑器
配置环境变量
输入 sudo vim /etc/profile-----打开后在最下方添加以下内容
输入 source /etc/profile 使修改后的文件生效
出现上面的界面,就说明java安装成功
- 配置无密码登陆
输入 ssh-keygen -t rsa 之后连续四个回车
输入cd ~/.ssh/ 进入到.ssh文件夹下,然后追加公钥到公共文件
输入cat id_rsa.pub >> authorized_keys
输入ssh localhost 出现下面界面,说明免密码登陆设置完成
- 安装hadoop
首先移动到指定位置,比如/opt,解压hadoop压缩包,再找到hadoop2.6.5/etc/hadoop文件夹,hadoop所有配置文件都在这个文件夹
①首先配置hadoop-env.sh,修改JAVA_HOME路径。
②配置core-site.xml文件,添加以下内容。
③配置hdfs-site.xml文件前首先建立文件夹
之后编辑hdfs-site.xml并添加以下内容
④配置mapred-env.sh ,添加
⑤首先复制一份文件,命名为mapred-site.xml,之后配置
编辑mapred-site.xml,并添加
⑥配置yarn-site.xml,添加
⑦配置环境变量sudo vim /etc/profile, 添加
⑧格式化
先打开hadoop安装路径下的bin路径,再运行格式化
输入 ./hdfs namenode -format
⑨启动集群
打开上级目录,打开sbin目录
在sbin目录下,先启动HDFS文件系统
查看进程
再启动yarn
下载数据集---输入以下命令
wget http://labfile.oss.aliyuncs.com/courses/832/weblog_entries.txt
在hdfs中创建一个文件夹(-p表示逐级创建)
查看是否创建成功
将下载好的文件从本地上传到集群
查看是否上传成功
打印文件内容
- 安装scala
安装方法与jdk类似,首先将scala文件移动到虚拟机,之后解压,再将解压后的路径添加到环境变量中即可。
- 安装spark
①安装spark1.6.3和spark2.3方法相同
首先移动文件到指定位置,比如/opt,解压Spark压缩包,再找到spark-1.6.3-bin-hadoop2.6/conf文件夹
Spark配置文件都在这个文件夹
在修改配置文件之前,查看文件夹权限
修改用户组
修改文件夹权限
之后开始修改配置文件,进入到conf文件夹
输入cp spark-env.sh.template spark-env.sh
复制spark-env.sh.template文件并改名为spark-env.sh
编辑spark-env.sh文件,添加以下内容
配置完成后,进入到${SPARK_HOME}/sbin目录
输入start-all.sh启动spark进程,并输入jps查看
之后进入到${SPARK_HOME}/bin目录
输入pyspark命令,出现此画面说明正常启动
10.安装anaconda
命令行输入 bash Anaconda3-5.0.1-Linux-x86_64.sh -p /opt/anaconda3 -u
之后配置环境变量
添加以下内容
11.安装mysql
apt-get install mysql-server
如果中途要求设置root用户密码,输入你自己密码即可
安装过程大概5-10分钟
安装mysql客户端
apt-get install mysql-client
之后启动
Mysql -u root -p
0条评论