作业要求来源:
1.安装Linux,MySql
(1)安装前准备
新建ubuntu
命名
分配内存
(二)安装
安装界面
准备安装,点击继续
点击其它选项,然后点击继续
点击“新建分区表”按钮
512m作为交换空间(最好不超过4g),剩余空间作为过载点“/”的EXT4日志文件系统
点击完成后继续
设置用户名和密码,点击继续
安装完成,重启
(三)安装MySql
更新软件源
安装mysql
启动和关闭mysql服务器
确认是否成功
进入mysql shell界面
2.windows 与 虚拟机互传文件
安装VMware tools
启动vmware workstation软件,运行ubuntu虚拟操作系统,登陆进入ubuntu桌面。选择“虚拟机”->“安装vmware tools”VMware tools
双击桌面的“vmware tools”,打开vmware tools安装介质。右键选择vmwaretools的gz压缩包,选择“提取到....”.,这里选择的提取到位置为桌面。
进入桌面,右键选择刚才提取的文件夹,选择“在终端打开”,打开ubuntu系统终端。
在终端的命令窗口当中,输入sudo ./vmware-install.pl命令。输入用户密码回车开始安装。出现第一个画面时,选择“y”回车
安装完成
重启电脑,重新进入,安装vmware tools即生效。鼠标和复制粘贴就生效了,windows 与 虚拟机可以互传文件
3.安装Hadoop
还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件,课件:
提取文件:hadoop-2.7.1.tar.gz
链接:
提取码: 2thj
(1)解压
复制hadoop-2.7.1到/usr/local 重命名为hadoop
(2)创建hadoop用户
首先打开ctrl+alt+t打开终端窗口,输入如下命令创建新用户
接着使用如下命令设置密码,可简单设置为hadoop,按提示输入两次密码
可为hadoop用户增加管理员权限,方便部署,避免一些比较棘手的权限问题
最后注销当前用户,返回登陆界面。在登陆界面中选择刚创建的hadoop用户进行登陆
(3)更新apt
用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口,执行如下命令
(4)安装SSH、配置SSH无密码登陆
Ubuntu默认已安装SSH client,此外还需要安装SSH server
安装后,可以使用如下命令登陆本机
配置无密码登陆
查看是否安装成功
(5)安装java环境
Linux终端中输入下面命令打开当前登陆用户的环境变量配置文件.bashrc或者用文本编辑器
让环境变量立刻生效并检验
进入下一步之前,再次确保:
(6)安装hadoop 2
解压及修改文件夹名与权限
修改文件夹权限
老师的博客
复制配置文件代码。
(一)运行单机模式
运行grep
运行成功
注意,hadoop默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将./output删除
(二)hadoop伪分布式配置
修改配置文件
core-site.xml
hdfs-site.xml
文件配置完成后,执行 NameNode 的格式化
开启NameNode和DataNode
通过jps命令判断是否成功
(三)运行hadoop伪分布式实例
1.在 HDFS 中创建用户目录
2.创建目录 input,其对应的绝对路径就是 /user/hadoop/input
3.将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中
4.查看文件列表
5.伪分布式运行 MapReduce 作业
运行结果
将运行结果取回到本地
关闭hadoop
注意
下次启动 hadoop 时,无需进行 NameNode 的初始化,只需要运行 ./sbin/start-dfs.sh 开启 NameNode 和 DataNode 守护进程就可以