hadoop与hbase的伪分布式代码测试环境的搭建

前言

献给想学习MapReduce和HBase却不知道怎么做的小伙伴们，说实话，你学习这些东西只看书那简直痴人说梦，所以，一个测试环境必不可少。

安装包下载

hadoop的安装与配置

我的hadoop的安装路径是/usr/local/hadoop
将hadoop解压并配置环境变量sudo gedit /etc/profile,添加如下内容：

#HADOOP VARIABLES START
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END

运行source /etc/profile，使环境变量生效。（写这么细好烦）。
配置文件的路径都在/usr/local/hadoop/etc/hadoop/

配置core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
        <!-- 注意建立tmp文件夹-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

配置jdk路径

修改hadoop-env.sh,yarn-env.sh,mapred -env.sh的JAVA_HOME为自己的jdk安装路径

配置hadf

配置hdfs-site.xml

<configuration>
   <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--注意建立这两个目录-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

配置yarn

配置yarn-site.xml

<configuration>
        <!--这里是你本机的host-->
    <property>
　　      <name>yarn.resourcemanager.hostname</name>
　　      <value>youth</value>
    </property>

    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property>   
</configuration>

配置mapred

配置mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

到了这里所有的配置都已经完成了，进入/usr/local/hadoop/bin执行./hadoop namenode -format,之后进入/usr/local/hadoop/sbin，执行./start-all.sh,如图：

图一

执行jps，如图二，发现namenode和datanode都起来了说明hadoop安装与配置完成

图二

Hbase安装

安装路径/usr/local/hbase
进入/usr/local/hbase/bin
执行./start-hbase.sh,如图三

图三

然后执行./habse shell

图四

结束语

入门不易，且行且珍惜。

全部频道