i Hadoop-2.6.0+Zookeeper-3.4.6+Spark-1.5.0+Hbase-1.1.2+Hive-1.2.0集群搭建-Hadoop-电子人社区 -
电子人物联网官网
登录 | 立即注册 | 找回密码

电子人社区

 找回密码
 立即注册

Hadoop

今日 : 0|主题 : 1384|排名 : 275 
发帖 回复 收藏
设置
返回列表
发新帖
发回帖
打印 上一主题 下一主题

Hadoop-2.6.0+Zookeeper-3.4.6+Spark-1.5.0+Hbase-1.1.2+Hive-1.2.0集群搭建

发表于 2016-4-2 08:15:44 | 505470 只看该作者 回帖奖励 |倒序浏览 |阅读模式

[复制链接]
发表于 2016-4-2 08:15:44 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
电子人社区网讯： 前言

　　本博客目的在于跟大家分享大数据平台搭建过程，是笔者半年的结晶。在大数据搭建过程中,希望能给大家提过一些帮助，这也是本博客的价值所在。  

博客内容分为将五个部分，具体如下：
　　第一部分  集群平台搭建

第二部分  SSH登录和JDK安装

第三部分 Hadoop-2.6.0+zookeeper-3.4.6集群搭建

第四部分 Spark集群搭建

第五部分 Hive集群搭建

第六部分 Hbase 集群搭建
　　以下是本集群所需要的软件，大家可按需要进行下载：

Ubuntu14.04

VMware Workstation 12 Pro for Linux

Hadoop-2.6.0  

jdk-7u80-linux-x64.gz

Zookeeper-3.4.6

Spark-1.5.0

Hbase-1.1.2

Hive-1.2.0

                                              第一部分 Ubuntu物理机和虚拟机搭建

　　集群框架，采用一台物理机和两台虚拟机。在PC机上用easyBCD方式安装Win和Ubuntu双系统。

一.安装easyBCD

1.下载

网址：http://172.28.0.26/cache/4/02/crsky.com/f5eedf182f9ae67bdd575d0feaf80406/EasyBCD-v2.2.zip

2.设置引导

安装好easyBCD，打开并点击添加新条目–>安装–>NeoGrub–>配置，如图所示：



点击配置后，会跳出menu.lst文件，删除文件里面的所有内容，并复制以下内容到文件内：

title Install Ubuntu
root (hd0,1)
kernel (hd0,1)/vmlinuz.efi boot=casper iso-scan/filename=/ubuntu-14.04-desktop-amd64.iso ro quiet splash locale=zh_CN.UTF-8
initrd (hd0,1)/initrd.lz
　　注：如果Win操作系统有系统保留分区，则root处为1，即root(hd0,1)；如果没有则为0,即root(hd0,0)。
　　二.安装Ubuntu
　　将buntu-14.04-desktop-amd64.iso文件拷贝到C盘。用解压软件打开，在casper文件下有两个文件：initrd.lz、vmlinuz.efi，将它们复制到C盘。
　　接下来重启PC,在引导界面选择NeoGrub，进入安装界面后，ctril+alt+t打开终端命令，输入以下命令需要使用的命令取消光盘驱动器挂载：

sudo umount -l /isodevice
　　三.Ubuntu相关配置
　　1.打开软件中心更改软件更新源，一般选择国内的网易。
　　2.列举本地更新

sudo apt-get update
　　3.安装可用更新


sudo apt-get upgrade
　　4.修改root用户登录


sudo gedit /usr/share/lightdm/lightdm.conf.d/50-ubuntu.conf
　　添加


[SeatDefaults]
greeter-session=unity-greeter
user-session=ubuntu
greeter-show-manual-login=true
allow-guest=false  
　　5.设置 root用户密码，,并输入root用户的密码


sudo passwd root  
　　6.卸载防火墙


ufw disable   //关闭
sudo apt-get remove  ufw   //卸载
sudo ufw status   //查看
　　7.安装ssh

安装ssh-server


sudo apt-get install openssh-server
　　安装ssh-client


sudo apt-get install openssh-client
验证：
ps -e | grep ssh
450 ??00:00:00 sshd  //如果出现这个,则安装成功
重启ssh：
/etc/init.d/ssh restart
　　四.安装Ubuntu虚拟机
　　1.下载VMware Workstation 12 Pro for Linux
网址：http://www.vmware.com/cn/products/workstation/workstation-evaluation

密钥：

5A02H-AU243-TZJ49-GTC7K-3C61N
　　2.安装VMware

使用以下命令安装VMware，”/home/huai/桌面/“为我在Ubuntu下文件路径名，大家可跟据自己的做更改。

sudo chmod +x /home/huai/桌面/VMware-Workstation-Full-12.0.0-2985596.x86_64.bundle
sudo /home/huai/桌面/VMware-Workstation-Full-12.0.0-2985596.x86_64.bundle
　　3.安装虚拟机
　　注：虚拟机用户名要与物理机的用户名保持一致，如笔者的三台集群的用户名都是“huai”。
　　用VMware安装虚拟机，采用典型方式安装，操作过程很简单，就不在这叙述了，大家可另行百度。对于刚安装好Ubuntu虚拟机，是可以联网的。按照上面Ubuntu物理机的相关配置对虚拟机Ubuntu进行同样操作。
　　配置好虚拟机,关闭虚拟机和VMware。复制安装的虚拟机文件，构成两台虚拟机。
　　4.修改主机名
　　因为笔者搭建此集群是为了学习spark,故将三台集群主机名命为spark01、spark02和spark03。其中，park01为物理机，充当主节点。spark02和spark03为两台虚拟机的主机名。
　　修改物理机主机名,使用以下命令将主机名改为spark01:


sudo gedit /etc/hostname
　　修改虚拟机主机名：同上,分别修改为spark02和spark03。
　　五.修改IP
　　集群IP分别设为


192.168.8.101, 192.168.8.102, 192.168.8.103
　　1.设置虚拟机IP模式

    虚拟机网卡设置为host-only模式(具体操作，请百度)

　　2.设置spark02的IP
　　通过界面设置IP


系统设置-->网络-->选项 -->IPv4设置--> method选择为manual--> 点击add按钮--添加
IP：192.168.8.102 子网掩码：255.255.255.0 网关：192.168.1.1--> apply
　　3.设置spark03的IP
　　通过同样的方式把spark03的IP设置为：192.168.8.103
　　4.设置物理机spark01的IP
　　给物理机设置静态IP有点麻烦，因为在学校用的是内网，根据网上很多方法设置后，都无法再上网了。以下这种方式是网上比较常见的修改方式，但是不好使，只作参考，修改方式如下：

1）一种令人不愉快的方式

打开：
sudo gedit /etc/network/interfaces
添加：
auto eth0
iface eth0 inet static  
address 192.168.8.101  
netmask 255.255.255.0  
gateway 192.168.8.1  
　　设置DNS域名解析：

打开：
sudo gedit /etc/resolv.conf
添加：
search nwu.edu.cn
nameserver 202.117.96.5
nameserver 202.117.96.10
nameserver 127.0.1.1
打开：
sudo gedit /etc/resolvconf/resolv.conf.d/tail
添加：
search nwu.edu.cn
nameserver 202.117.96.5
nameserver 202.117.96.10
nameserver 127.0.1.1
重启networking命令：
sudo /etc/init.d/networking restart
sudo /etc/init.d/resolvconf restart

　　笔者自己找到了两种方式设置一个固定的IP，简单且容易实现，关键在百度上都找不到。一种是采用桥接,第二种是绑定
　　2）采用桥接

1.点击桌面右上角网络图标栏中的"编辑连接",网络连接中选中"桥接",点击"添加";
2.对跳转出来选择连接类型窗口,选择"虚拟--桥接",点击"新建",
3.在桥接--桥接连接(c)处,点击"添加",选择"以太网",点击新建,在设备MAC地址(D)处.选择"eth0",并"保存"
4.点击IPv4设置,方法处选择为"手动",>点击"添加"设置IP为：192.168.8.101 子网掩码：255.255.255.0 网关：192.168.1.1,"保存"
　　3）采用绑定


采用绑定的方式与桥接方式操作一样，就是在操作2中，选择“虚拟--绑定”，其他操作一样。
　　六.修改主机名和IP的映射关系
　　整个集群的主机名和IP的映射关系的内容设置是一样的，分别在三台机子上操作以下命令：


sudo  gedit  /etc/hosts
添加:
192.168.8.101   spark01   
192.168.8.102   spark02
192.168.8.103   spark03
　　七.重启

关闭两台虚拟机，并重启Ubuntu物理机

                                         第二部分  SSH登录和JDK安装

　　一.SSH登录配置
　　本集群的用户名为”huai”,集群尽量用统一的用户名,用不同的ssh登录时,还要进行一些其他操作，很麻烦。
　　1.在物理机spark01上,使用以下命令,四个回车，并cd到相关目录，操作如下：


huai@spark01:~$ ssh-keygen -t rsa
huai@spark01:~$ cd /home/huai/.ssh
huai@spark01:~/.ssh$ ls
id_rsa  id_rsa.pub
　　生成两个文件：id_rsa（私钥）、id_rsa.pub（公钥）
　　2.对两台虚拟机进行同样操作(如上)
　　3.将虚拟机的id_rsa.pub（公钥）传到spark01,”huai”是我集群的用户名,”huai”应改为你自己设定的用户名。分别在spark02和spark03进行以下操作：


scp id_rsa.pub huai@spark01:/home/huai/.ssh/id_rsa.pub.spark02
scp id_rsa.pub huai@spark01:/home/huai/.ssh/id_rsa.pub.spark03
　　4.在物理机上，按以下操作：


huai@spark01:~$ cd /home/huai/.ssh
huai@spark01:~/.ssh$ ls
id_rsa.pub       id_rsa.pub.spark03
id_rsa           id_rsa.pub.spark02
　　将公钥导入到综合authorized_keys文件中，在目录huai@spark01:~/.ssh$下使用导入命令：


cat id_rsa.pub >> authorized_keys
cat id_rsa.pub.spark02 >> authorized_keys
cat id_rsa.pub.spark03 >> authorized_keys
　　5.将spark01上的authorized_keys复制到spark02和spark03的/home/huai/.ssh/目录下


scp authorized_keys huai@spark02:/home/huai/.ssh/authorized_keys
scp authorized_keys huai@spark03:/home/huai/.ssh/authorized_keys
　　6.ssh常见错误修改
因为笔者的已经配置好,具体错误就没法再重现了。不过只要按以下操作之后,保证不会再有错误。

　　

1）：


sudo gedit /etc/ssh/sshd_config
　　打开文件后，注释”PermitRootLogin without-password”,使用”#”注释
并在其下面添加: PermitRootLogin yes
　　2）：


打开:
sudo  gedit /etc/ssh/ssh_config
添加：
StrictHostKeyChecking no
UserKnownHostsFile /dev/null
　　3）：

如果有Agent admitted failure to sign using the key错误抛出，执行以下命令即可：

ssh-add
　　4）：
如果ssh登录时,在known_hosts报出警告,后面显示一个数字,使用以下命令将其删除,比如显示数字”8”.


sed -i 8d /home/huai/.ssh/known_hosts
　　7.分别在每台上进行以下ssh登录,使用”exit”退出


ssh spark01
ssh spark02
ssh spark03
　　二.安装JDK
　　1.下载jdk，6和8不做考虑，8不支持，6版本太低，下载地址如下：
　　http://download.oracle.com/otn-pub/java/jdk/7u80-b15/jdk-7u80-linux-x64.tar.gz
　　2.安装
　　创建java文件夹：


sudo mkdir /usr/java
　　解压


sudo tar -zxvf /home/huai/桌面/jdk-7u80-linux-x64.gz -C /usr/java/
　　修改文件权限


sudo chmod -R 777 /usr/java/   
　　3.修改环境变量
因为笔者集群已经搭建好了,为了让大家不要经常修改环境变量,笔者在此处把所有安装包的环境变量都列出来,供大家参考。


操作：
sudo gedit /etc/profile
在文件最后添加：
export JAVA_HOME=/usr/java/jdk1.7.0_80
export JRE_HOME=/usr/java/jdk1.7.0_80/jre
export SCALA_HOME=/spark/scala-2.11.6
export SPARK_HOME=/spark/spark-1.5.0
export HADOOP_HOME=/spark/hadoop-2.6.0
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
export HIVE_HOME=/spark/hive-1.2.0
export IDEA_HOME=/usr/idea/idea-IC-141.178.9
export HBASE_HOME=/spark/hbase-1.1.2
export ZOOKEEPER_HOME=/spark/zookeeper-3.4.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$IDEA_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin
　　刷新


source /etc/profile
　　4.验证

使用命令java -version，如果出现java version “1.7.0_80”,则安装成功
　　5.设置jdk默认

如果Ubuntu上已经安装过openjdk纳闷需要设置默认jdk。若以上验证成功,可以跳过设置默认jdk。依次操作以下命令：


sudo update-alternatives --install /usr/bin/java java /usr/java/jdk1.7.0_80/bin/java 300  
sudo update-alternatives --install /usr/bin/javac javac /usr/java/jdk1.7.0_80/bin/javac 300  
sudo update-alternatives --install /usr/bin/jar jar /usr/java/jdk1.7.0_80/bin/jar 300
sudo update-alternatives --install /usr/bin/javah javah /usr/java/jdk1.7.0_80/bin/javah 300   
sudo update-alternatives --install /usr/bin/javap javap /usr/java/jdk1.7.0_80/bin/javap 300
sudo update-alternatives --config java  

        第三部分 Hadoop-2.6.0+zookeeper-3.4.6集群搭建

　　

一.集群规划


　　文字描述：本集群仅有三台机子：spark01、spark02和spark03。三台都安装hadoop-2.6.0,zookeeper-3.4.6。spark01和spark02共运行了两个namenode，两个datanode运行spark02和spark03上。
　　二.zooekeeper配置
　　1.建立spark文件夹


sudo mkdir /spark
修改权限：
sudo chmod -R 777 /spark
　　2.解压


sudo tar -zxvf /home/huai/桌面/zookeeper-3.4.6.tar.gz -C /spark/
　　3.修改zoo.cfg文件


cd /spark/zookeeper-3.4.6/conf/
mv zoo_sample.cfg zoo.cfg

　　4.配置zoo.cfg


gedit zoo.cfg
修改：
dataDir=/spark/zookeeper-3.4.6/tmp
添加：
dataLogDir=/spark/zookeeper-3.4.6/logs
在最后添加：
server.1=spark01:2888:3888
server.2=spark02:2888:3888
server.3=spark03:2888:3888
保存退出
　　5.建立文件夹


mkdir /spark/zookeeper-3.4.6/tmp
mkdir /spark/zookeeper-3.4.6/logs
　　6.设置myid
在5）中建立的tmp文件夹下创建一个空文件，并在其中写入”1“。


创建文件：
touch myid
写入"1":
gedit myid
　　7.修改环境变量
　　虽然前面已经把所有的环境变量都设置好了,但这个步骤是环境配置必须的操作，所以在此处重复一遍


打开：
sudo  gedit /etc/profile
添加：
export ZOOKEEPER_HOME=/spark/zookeeper-3.4.6
export PATH=:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
刷新：
source /etc/profile
　　8.将配置好的zookeeper拷贝到其他节点


scp -r /spark/zookeeper-3.4.6/ huai@spark02:/spark/
scp -r /spark/zookeeper-3.4.6/ huai@spark03:/spark/
　　9.修改虚拟机的myid


执行：
cd /spark/zookeeper-3.4.6/tmp
打开：
gedit myid
其中：
在spark02 中写入"2"
在spark03 中写入"3"
　　10.修改虚拟机的环境变量

按7中的操作分别修改虚拟机spark02和spark03的环境变量。
　　三.搭建hadoop集群

1.下载hadoop

网址：http://mirror.bit.edu.cn/apache/hadoop/core/

2.解压


sudo tar -zxvf /home/huai/桌面/hadoop-2.6.0.tar.gz -C /spark  
修改权限：
sudo chmod -R 777 /spark
　　3.配置hadoop环境文件
　　注:在操作hadoop-env.sh,注释以下内容


#export HADOOP_OPTS="$HADOOP_OPTS -
Djava.net.preferIPv4Stack=true"

cd到配置文件目录下：
cd  /spark/hadoop-2.6.0/etc/hadoop/
依次操作:
gedit hadoop-env.sh
gedit yarn-env.sh
gedit mapred-env.sh
依次添加:
export JAVA_HOME=/usr/java/jdk1.7.0_80
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
依次保存退出
　　按以下操作依次修改hadoop其它配置文件，可以直接复制到配置文件。相关文件属性以及细节，可以查阅其他资料。
　　4.gedit core-site.xml



fs.defaultFS
hdfs://ns1


hadoop.tmp.dir
/spark/hadoop-2.6.0/tmp


ha.zookeeper.quorum    spark01:2181,spark02:2181,spark03:2181


　　5.gedit hdfs-site.xml




dfs.nameservices
ns1


dfs.ha.namenodes.ns1
nn1,nn2


dfs.namenode.rpc-address.ns1.nn1
spark01:9000


dfs.namenode.http-address.ns1.nn1
spark01:50070


dfs.namenode.rpc-address.ns1.nn2
spark02:9000


dfs.namenode.http-address.ns1.nn2
spark02:50070


dfs.namenode.shared.edits.dir  qjournal://spark01:8485;spark02:8485;spark03:8485/ns1


dfs.journalnode.edits.dir
/spark/hadoop-2.6.0/journal


dfs.ha.automatic-failover.enabled
true


dfs.client.failover.proxy.provider.ns1
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider


dfs.ha.fencing.methods

sshfence
shell(/bin/true)



dfs.ha.fencing.ssh.private-key-files
/home/huai/.ssh/id_rsa


dfs.ha.fencing.ssh.connect-timeout
30000


　　6.mv mapred-site.xml.template  mapred-site.xml
gedit mapred-site.xml




mapreduce.framework.name
yarn

   
　　7.gedit  yarn-site.xml




yarn.resourcemanager.ha.enabled
true


yarn.resourcemanager.cluster-id
yrc


yarn.resourcemanager.ha.rm-ids
rm1,rm2


yarn.resourcemanager.hostname.rm1
spark01


yarn.resourcemanager.hostname.rm2
spark02


yarn.resourcemanager.zk-address
spark01:2181,spark02:2181,spark03:2181


yarn.nodemanager.aux-services
mapreduce_shuffle

            
　　8.gedit slaves


spark02
spark03
　　10.复制到其他节点


scp -r /spark/hadoop-2.6.0 huai@spark02:/spark
scp -r /spark/hadoop-2.6.0 huai@spark03:/spark
　　11.修改环境变量,可略过


打开：
sudo gedit /etc/profile
添加：
export HADOOP_HOME=/spark/hadoop-2.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
刷新：
source /etc/profile     
　　12.验证

输入以下命令，如果出现hadoop对应的版本，则hadoop配置成功。


hadoop version
　　三.集群启动（严格按照下面的步骤）
　　1.启动zookeeper集群（分别在spark01、spark02、spark03上启动zk）


cd /spark/zookeeper-3.4.6/bin/
./zkServer.sh start
查看状态：一个leader，两个follower
zkServer.sh status
　　2.启动journalnode（分别在spark01、spark02、spark03上启动journalnode）


在三台机子上执行：
cd /spark/hadoop-2.6.0/sbin
hadoop-daemon.sh start journalnode

　　运行jps命令检验，spark01、spark02、spark03上多了JournalNode进程
　　3.格式化HDFS
在主节点spark01上执行命令


hdfs namenode -format
　　格式化成功会生成tmp文件,其路径为core-site.xml中的hadoop.tmp.dir配置路径
　　4.将tmp拷到其他节点

注意tmp的路径：


scp -r tmp   huai@spark02:/spark/hadoop-2.6.0/
scp -r tmp   huai@spark03:/spark/hadoop-2.6.0/

　　5.格式化ZK


在spark01上执行：
hdfs zkfc -formatZK
　　6.启动HDFS


在spark01上执行：
start-dfs.sh

　　7.启动YARN.resourcemanager


start-yarn.sh
　　8.验证  

通过以下IP用浏览器访问，一个处于active,一个处于standby，说明集群启动成功。


http://192.168.8.101:50070
NameNode 'spark01:9000' (active)
http://192.168.8.102:50070
NameNode 'spark02:9000' (standby)
　　9.验证HDFS HA


向hdfs上传一个文件：
hadoop fs -put /etc/profile /profile
hadoop fs -ls /

kill掉active的NameNode
kill -9
访问：http://192.168.8.101:50070 无法打开
访问:http://192.168.8.102:50070
NameNode 'spark02:9000' (active)

执行：
hadoop fs -ls /
-rw-r--r--   3 root supergroup      1926 2015-05-024 15:36 /profile

手动启动挂掉的那个NameNode，在spark01上执行
hadoop-daemon.sh start namenode
访问：http://192.168.8.101:50070
显示：NameNode 'spark01:9000' (standby)
删除上传文件：
hadoop fs -rm -r /profile
　　到这，hadoop集群相当于已经成功搭建，剩下的就是要搭建基于hadoop的其他组件，如spark,hive,hbase。相信通过自学搭建hadoop集群的人儿，一定受了不少折腾。作为不是技术大牛的人儿，唯有屡败屡战，才能祭奠内心那份对技术的热血澎湃。

                                        第四部分 Spark集群搭建

　　因为spark 源代码是使用Scala语言，所以需要安装Scala环境。

一.安装 Scala

1.下载

网址：http://www.scala-lang.org/download/

2.解压


sudo tar -zxf  sudo tar -zxvf /home/huai/桌面/scala-2.11.6.tgz  -C /spark
　　3.修改环境变量


打开：
sudo gedit /etc/profile
添加：
export SCALA_HOME=/spark/scala-2.11.6
export PATH=PATH:$SCALA_HOME/bin
刷新：
source /etc/profile
　　4.显示版本


huai@spark01:~$ scala -version
Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL


  • 测试
    输入”scala”命令，进入scala交互界面


huai@spark01:~$ scala
scala> 8*8
res0: Int = 64
　　6.将scala复制到其他节点


scp -r /spark/scala-2.11.6/ huai@spark02:/spark/
scp -r /spark/scala-2.11.6/ huai@spark03:/spark/
　　7.重复  3修改其他节点的环境变量
　　二.spark集群搭建

1.下载

网址：http://mirror.bit.edu.cn/apache/spark/
　　2.解压


tar -zxf   /home/huai/桌面/spark-1.5.0-bin-hadoop2.6.tgz -C /spark
　　3.文件名修改为：spark-1.5.0


mv /spark/spark-1.5.0-bin-hadoop2.6  spark-1.5.0
　　4.修改环境变量


打开：
sudo gedit  /etc/profile
添加：
export SPARK_HOME=/spark/spark-1.5.0
export PATH=PATH:$SPARK_HOME/bin
刷新：
source /etc/profile  
　　5.配置spark-env.sh


进入spark的conf目录：
cd /spark/spark-1.5.0/conf/
mv  spark-env.sh.template spark-env.sh
打开：
sudo gedit  spark-env.sh
添加：
export JAVA_HOME=/usr/java/jdk1.7.0_80
export SCALA_HOME=/spark/scala-2.11.6
export SPARK_MASTER_IP=192.168.8.101
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/spark/hadoop-2.6.0/etc/hadoop
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
　　6.配置slaves


在spark的conf目录下：
mv slaves.template slaves
打开：
sudo gedit  slaves
添加：
spark01
spark02
spark03     
　　7.把spark复制到其他节点


scp -r spark-1.5.0 huai@spark02:/spark/
scp -r spark-1.5.0 huai@spark03:/spark/

　　8.修改虚拟阶环境变量


sudo gedit /etc/profile
添加：
export SPARK_HOME=/spark/spark-1.5.0
export PATH=PATH:$SPARK_HOME/bin
export SCALA_HOME=/spark/scala-2.11.6
export PATH=PATH:$SCALA_HOME/bin
刷新：
source /etc/profile
　　三.启动集群

1.启动zookeeper


在每台运行：
zkServer.sh start
　　2.启动hadoop集群，在hadoop的sbin目录下执行：


start-all.sh
　　3.启动spark集群


/spark/spark-1.5.0/bin$./start-all.sh
　　5.Web管理界面


http://192.168.8.101:8080/
　　Spark有好几个模块，如SparkSQL,Graphx,MLlib。因为Mapreduce处理速率不如Spark快，Spark将成为Mapreduce的替代品。对于Spark，我主要学习了机器学习MLlib和SparkSQL。如果你对大数据感兴趣，那么建议好好研究一下Spark。

                                 第五部分 Hive集群搭建

　　一.概述
hive安装可分为四部分:


1)安装mysql
2)配置 Metastore
3)配置HiveClient
4)配置hiveserver
　　搭建分布:mysql,Metastore安装配置在主节点spark01上, HiveClient客户端安装在spark02上。注：HiveClient客户端也可以不配置。
　　三.安装mysql

mysql只需在物理机spark01上安装，Ubuntu软件中心下载安装mysql服务器
　　1.配置mysql


运行：
/usr/bin/mysql_secure_installation
输入密码：
删除匿名用户:
Remove anonymous users? [Y/n] Y
允许用户远程连接:
Disallow root login remotely? [Y/n]n
移除test数据库:
Remove test database and access to it? [Y/n] Y
　　2.登陆mysql


  mysql -u root -p
　　3.建立hive数据库,并对其授权,注’huai’为你设立的登录密码


mysql>create database hive;
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'huai' WITH GRANT OPTION;
mysql>FLUSH PRIVILEGES;

　　4.修改hive数据库字符

一定要修改，不然hive建表时会报错。


mysql>alter database hive character set latin1
　　5.修改允许远程登录mysql


sudo gedit /etc/mysql/my.cnf
注释：
#bind-address=127.0.0.1
　　三.安装Hive

1.下载

网址：http://mirrors.cnnic.cn/apache/hive/

2.解压


sudo tar -zxvf /home/huai/桌面apache-hive-1.2.0.tar.gz -C /spark/
文件名修改为hive-1.2.0
mv apache-hive-1.2.0   hive-1.2.0
　　3.修改配置文件名
在hive-1.2.0/conf下


mv hive-default.xml.template hive-site.xml
mv  hive-log4j.properties.template hive-log4j.properties
mv  hive-exec-log4j.properties.template  hive-exec-log4j.properties
mv hive-env.sh.template   hive-env.sh
　　4.gedit  hive-env.sh


export HADOOP_HOME=/spark/hadoop-2.6.0
export HIVE_CONF_DIR=/spark/hive-1.2.0/conf
　　5.gedit hive-log4j.properties

添加


hive.log.dir=/spark/hive-1.2.0/logs
　　6.新建logs文件


mkdir /spark/hive-1.2.0/logs
　　7.gedit hive-site.xml
删除所有内容,添加如下内容.注意配置文件中的’huai’为mysql登录密码,记得修改




hive.metastore.warehouse.dir
hdfs://ns1/hive/warehouse


hive.exec.scratchdir
hdfs://ns1/hive/scratchdir


hive.querylog.location
/spark/hive-1.2.0/logs


javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionUserName
root


javax.jdo.option.ConnectionPassword
huai


hive.zookeeper.quorum
spark01,spark02,spark03


　　8.配置环境变量


打开：
sudo gedit /etc/profile
添加：
export　HIVE_HOME=/spark/hive-1.2.0
export PATH=:$HIVE_HOME/bin
刷新：
source /etc/profile

　　9.在hive/lib下有个jline的jar，将hadoop内的这个jar包换成一致的，否则会启动hive会报错。
　　10.hive和mysq安装完成后，将mysql-connector-java-5.1.25-bin.jar连接jar拷贝到hive-1.2.0/lib目录下，在hive-1.2.0/bin下，运行：


./hive
　　11.访问 http://192.168.8.101:50070
查看hadoop文件系统,多了个hive文件,证明安装成功。

12.修改hive文件权限


hadoop fs -chmod -R 777 /hive
　　四.配置hiveserver
　　gedit hive-site.xml
添加:



hive.server2.thrift.min.worker.threads
1
Minimum number of Thrift worker threads


hive.server2.thrift.max.worker.threads
100


hive.server2.thrift.port
10000


hive.server2.thrift.bind.host
spark01

　　五.Hive客户端配置

1.将hive从Master节点(spark01)拷贝到Slave节点(spark02)上


scp -r /spark/hive-1.2.0  huai@spark02:/spark/
　　2.配置Metastore的连接信息
在hive-1.2.0/conf下


gedit hive-site.xml
添加：

hive.metastore.uris
thrift://spark01:9083

　　3.修改环境变量


sudo gedit /etc/profile
export HIVE_HOME=/spark/hive-1.2.0
export PATH=:$HIVE_HOME/bin
source /etc/profile

                                       第五部分 Hbase集群搭建

　　一.配置hbase

1.下载

网址：http://mirrors.hust.edu.cn/apache/hbase/

2.解压


tar -zxf  /home/huai/桌面/hbase-1.1.2.tgz -C /spark
　　使用外部zk,配置hbase集群
　　3.gedit hbase-env.sh


export JAVA_HOME=/usr/java/jdk1.7.0_80
export HBASE_MANAGES_ZK=false
export HBASE_PID_DIR=/spark/hbase-1.1.2/pids
export HBASE_CLASSPATH=/spark/hadoop-2.6.0/etc/hadoop
export HBASE_HOME=/spark/hbase-1.1.2

　　3.gedit  hbase-site.xml




hbase.tmp.dir
/spark/hbase-1.1.2/tmp


hbase.rootdir
hdfs://ns1/hbase


hbase.cluster.distributed
true


zookeeper.session.timeout
120000


hbase.zookeeper.property.tickTime
6000


hbase.zookeeper.property.clientPort
2181


hbase.zookeeper.quorum
spark01,spark02,spark03


hbase.zookeeper.property.dataDir
/spark/zookeeper-3.4.6/tmp


dfs.replication
2


hbase.master.maxclockskew
180000


　　4.gedit regionservers


spark02
spark03
　　5.把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
　　6.拷贝hbase到其他节点


scp -r /spark/hbase-1.1.0  huai@spark02:/spark/
scp -r /spark/hbase-1.1.0  huai@spark03:/spark/
　　7.修改环境变量


sudo gedit /etc/profile
export HBASE_HOME=/spark/hbase-1.1.0
export PATH=$HBASE_HOME/bin:$PATH
source /etc/profile
　　8.将配置好的hbase拷贝到每一个节点并同步时间和修改环境变量
　　二.启动hbase

1.启动zk


zkServer.sh start
　　2.启动hadoop集群


start-dfs.sh
　　3.启动hbase，在主节点上hbase-1.1.0/bin运行


start-hbase.sh
　　3.通过浏览器访问hbase  Web页面
HMaster　Web页面


http://192.168.8.101:16010
　　HRegionServer Web页面


http://192.168.8.101:16030
　　4.shell　验证
进入hbase bin目录下：


huai@spark01:/spark/hbase-1.1.0/bin$ ./hbase shell
　　1）使用list验证:


hbase(main):001:0> list
TABLE                                                                           
user                                                                           
1 row(s) in 1.4940 seconds
=> ["user"]
     hbase(main):002:0>
　　2） 建表验证


create 'user','name','sex'
　　如果list和建表都没出现错误的话,就意味着Hbase 安装成功
　　三.搭建错误排除
　　1.当Hbase shell时出现这样的错误


SLF4J: Found binding in [jar:file:/usr/local/hbase-1.1.0/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class
　　这是因为hadoop和hbase的slf4j-log4j12 jar包冲突,将HBase中的slf4j-log4j12-1.7.5移除

2.Hbase运行要在hadoop非安全模式下使用,使用以下命令查看hadoop安全模式和退出安全模式.


hdfs dfsadmin -safemode get      //查看
hdfs dfsadmin -safemode leave    //退出
　　3.安装失败后,要删除hadoop文件系统下的Hbase文件,使用命令


hadoop fs -rm -r -f /hbase
　　4.这是最关键的。hosts文件中localhost的IP为127.0.0.1,如果有127.0.1.1的话,要将其改为127.0.0.1,以下是笔者hosts文件中的内容:
　　sudo gedit /etc/hosts


127.0.0.1 localhost
192.168.8.101    spark01   
192.168.8.102    spark02
192.168.8.103    spark03
#The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

　　注:spark01,spark02,spark03为集群主机名
　　5.修改hbase文件目录权限


hadoop fs -chmod -R 777 /hbase  
　　6.如果你多次安装过不同版本的hbase且使用外部zookeeper,记得清理zookeeper中Hbase中文件,笔者就是因为这个问题,苦苦折磨了一周.
　　关闭hbase,在zookeeper的bin目录运行zkCli.sh

终端最后显示:


WATCHER::
WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0]
　　按以下操作删除Hbase


[zk: localhost:2181(CONNECTED) 1] ls /
[hbase, hadoop-ha, yarn-leader-election, zookeeper]
　　如果有hbase则进行下一步


[zk: localhost:2181(CONNECTED) 2] rmr /Hbase
　　重启hbase


start-hbase.sh
　　7.单独启动HMaster，Hregionserve命令


hbase-daemon.sh  start regionserver
hbase-daemon.sh  stop master
hbase-daemon.sh  start  regionserver
hbase-daemon.sh  stop  regionserver
　　四.hbase安装总结
　　1.Hbase与hadoop有版本兼容要求,一般的解决方式都是把Hbase中与hadoop相关的jar包,替换成hadoop版本的jar包。

2.集群时间记得要同步,同步方式界面操作调整时区和格式。

3.安装会因为环境不同,而出现不同的错误,但整个安装过程应该有这样的心态:屡败屡战,经折腾。
　　作者后言：
满纸荒唐言，一把辛酸泪。都云作者痴，谁解其中味。第一篇博客到此结束，如果你看到，集群也配到这，证明你配置成功了，恭喜你了。由于是第一次写博客，加上学习时间也比较紧，文章或多或少有些瑕疵，还望见谅。
来源：CSDN

 

                                                   转载请注明：电子人社区

博客, 价值, 软件

相关帖子
回复

举报

0条回复
跳转到指定楼层
返回列表

发表回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|电子人物联网  

Copyright 2013 最新最精彩-社区论坛 版权所有 All Rights Reserved.

QQ|电子人物联网  

GMT+8, 2024-4-28 15:50 , Processed in 0.108644 second(s), 36 queries.

快速回复 返回顶部 返回列表