怎么安装hdfs、hbase和opentsdb

这篇文章主要讲解了“怎么安装hdfs、hbase和opentsdb”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么安装hdfs、hbase和opentsdb”吧!

网站建设哪家好,找创新互联公司!专注于网页设计、网站建设、微信开发、小程序设计、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了通城免费建站欢迎大家使用!


系统准备:CentOS6.5

  1. 配置静态IP,修改hostname

使用ifconfig查看当前网卡MAC地址与名称。假定网卡名称为eth0,MAC地址为33:44:55:66:77:88 编辑/etc/sysconfig/network-scripts/ifcfg-eth0:

DEVICE="eth0"
BOOTPROTO="none"
ONBOOT="yes"
HWADDR="33:44:55:66:77:88"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
IPADDR="192.168.1.110"

重启network服务:service network restart 修改hostname:编辑/etc/sysconfig/network文件,将hostname一项修改为自己的hostname,需重启生效

  1. 时间同步。使用ntp同步时间后,可以使用如下命令写入硬件时间:hwclock --systohc -u

  2. 关闭防火墙,并禁止防火墙开机启动:

service iptables stop
chkconfig iptables off
  1. 创建hadoop用户和组

groupadd hadoop
useradd -g hadoop hadoop
  1. 调整hadoop用户的系统limits限制:编辑/etc/security/limits.conf文件,在后面添加:

hadoop     -   nofile  32768
hadoop     -   nproc   32000

hadoop用户下,使用命令ulimit -a查看改动情况。

  1. 修改机器的/etc/hosts文件。在其中列出所有机器的IP地址与机器hostname,以及127.0.0.1 localhost,然后同步到所有机器上。

  2. 配置机器相互间hadoop用户的无密码访问

切换至hadoop用户,进入该用户主文件夹下的.ssh文件夹下(没有则创建) 运行命令ssh-keygen -t dsa -P '',确认,生成id_dsaid_dsa.pub文件 将id_dsa.pub文件改名,以便所有机器之间相互区别 将所有机器上的.pub文件使用cat追加到文件authorized_keys文件中,并修改该文件权限:chmod 600 authorized_keysauthorized_keys同步至所有机器上hadoop用户主目录下的.ssh文件夹下

  1. 所有机器安装jdk,使用yum安装,注意相同版本


安装hadoop

  1. 下载hadoop 2.2.0版本,解压至目录/usr/local/hadoop,该目录即为HADOOP_HOME

  2. 修改HADOOP_HOME下的etc/hadoop/hadoop-env.sh,修改其中的变量JAVA_HOME到正确位置

  3. 修改HADOOP_HOME下的etc/hadoop/core-site.xml文件,在之间加入配置。核心配置如下:


   
       fs.defaultFS
       hdfs://namenode节点主机名:9000
   

   
       hadoop.tmp.dir
       hadoop临时文件夹存放路径
   
  1. 修改HADOOP_HOME下的etc/hadoop/hdfs-site.xml文件,在之间加入配置。核心配置如下:


   
       dfs.datanode.data.dir
       hadoop临时文件夹存放路径/dfs/data
   

   
       dfs.namenode.name.dir
       hadoop临时文件夹存放路径/dfs/name
   

   
       dfs.replication
       3
   
  1. 修改HADOOP_HOME下的masters文件夹,写入master主机名,每个一行

  2. 修改HADOOP_HOME下的slaves文件夹,写入slaves主机名,每个一行

  3. /usr/local/hadoop/bin/usr/local/hadoop/sbin加入系统路径

  4. 使用scp/usr/local/hadoop文件夹所有内容同步至所有机器中,并注意所有机器中临时文件夹的可访问性

  5. 初始化namenodehadoop namenode -format

  6. 启动hdfsstart-dfs.sh,访问http://namenode节点主机名:50070查看结果


安装Hbase

  1. 下载hbase 0.98.5,解压至目录/usr/local/hbase

  2. 修改hbase目录下conf/hbase-env.sh文件,修改变量JAVA_HOME,将变量HBASE_MANAGES_ZK修改为true

  3. 修改conf/core-site.xml文件,核心配置如下:


   
       hbase.rootdir
       hdfs://namenode节点主机名:9000/hbase
   

   
       hbase.cluster.distributed
       true
   

   
       hbase.master
       master节点主机名:60000
   

   
       hbase.zookeeper.quorum
       启动zookeeper服务的主机列表,有多个用逗号隔开
   

   
       hbase.zookeeper.property.dataDir
       zookeeper临时文件存放目录
   
  1. 修改conf/regionservers文件,其中列出要启动regionserver的主机名

  2. hbase目录下bin目录加入系统路径中

  3. 使用scphbase目录同步至所有机器中,确保临时文件夹的可访问性

  4. 启动hbase:在主节点上start-hbase.sh,访问http://master节点主机名:60010查看结果


安装openTSDB

  1. 确保机器中安装了gnuplot

  2. 下载openTSDB的rpm安装包,直接装入机器中

  3. 修改/etc/opentsdb/opentsdb.conf文件,修改如下三项:

tsd.http.cachedir = opentsdb临时文件存放位置 
tsd.http.staticroot = /usr/share/opentsdb/static/
tsd.storage.hbase.zk_quorum = 运行zookeeper机器的IP地址
  1. hbase正常运行下,运行脚本env COMPRESSION=NONE HBASE_HOME=path/to/hbase /usr/share/opentsdb/tools/create_table.sh创建表

  2. 启动tsdb:tsdb tsd,浏览器访问当前主机的4242端口,查看结果

  3. 运行命令tsdb mkmetric proc.loadavg.1m proc.loadavg.5m创建两个metric,用来测试

  4. 运行如下脚本持续向数据库中写入数据,在4242监控窗口上找到相应metric,查看测试结果

#!/bin/bash
set -e
while true; do
  awk -v now=`date +%s` -v host=psyDebian \
  '{ print "put proc.loadavg.1m " now " " $1 " host=" host;
     print "put proc.loadavg.5m " now " " $2 " host=" host }' /proc/loadavg
  sleep 2
done | nc -w 4 192.168.1.106 4242

感谢各位的阅读,以上就是“怎么安装hdfs、hbase和opentsdb”的内容了,经过本文的学习后,相信大家对怎么安装hdfs、hbase和opentsdb这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


网站名称:怎么安装hdfs、hbase和opentsdb
地址分享:http://scyanting.com/article/pddcde.html