本文共 3297 字，大约阅读时间需要 10 分钟。

Hadoop环境搭建与HBase配置指南

环境搭建

搭建好开发环境是HBase项目的第一步。以下是我们为您准备的详细环境配置方案。

Hadoop集群

在我们的HBase项目中，需要一个分布式的Hadoop集群。我们推荐以下组件版本：

• Hadoop版本：3.1.1
  • Hadoop集群数：2-3台节点
  • Hadoop应用：Hadoop Yarn及支持的服务（如Hdfs、Hdfs.High Accuracy、Hdfsfuse）

Zookeeper单机

为避免HBase配置过于复杂，我们选择使用单机版Zookeeper进行_tests。以下是Zookeeper配置注意事项：

• Zookeeper版本：3.5.6
  • 下载地址：从Apache官方镜像站点下载，确保使用与HBase兼容的版本。
• 配置文件：

  tickTime=2000
  initLimit=10
  syncLimit=5
  dataDir=/opt/module/zk/data
  clientPort=2181

• 用户管理：在操作系统中创建专用用户codingce，并赋予必要的权限。

启动与管理Zookeeper

• 启动Zookeeper：

  ./zkServer.sh start

• 查看状态：

  ./zkServer.sh status

• 停止Zookeeper：

  ./zkServer.sh stop

• 重启Zookeeper：

  ./zkServer.sh restart

• 连接测试：

  ./zkCli.sh -server 127.0.0.1:2181

Hbase配置

1. 环境变量

确保在开发环境中设置正确的环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0_221
export HADOOP_HOME=/opt/module/hadoop-3.1.1
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.6
export PATH:$PATH:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin

2. Hbase配置文件（hbase-site.xml）

   
  
    
    
     
      hbase.rootdir
     
    
     
      hdfs://hadoop102:8020/hbase
     
  
    
  
    
    
     
      hbase.cluster.distributed
     
    
     
      true
     
  
    
  
    
    
     
      hbase.unsafe.stream.capability.enforce
     
    
     
      false
     
  
    
  
    
    
     
      hbase.master.port
     
    
     
      16000
     
  
    
  
    
    
     
      hbase.zookeeper.quorum
     
    
     
      127.0.0.1:2181
     
  
    
  
    
    
     
      hbase.zookeeper.property.dataDir
     
    
     
      /opt/module/zk/data
     
  
    
   

3. 创建逻辑连接

为了简化HBase操作，我们将HBase配置文件软链接到Hadoop配置目录：

ln -s /opt/module/hadoop-3.1.1/etc/hadoop/core-site.xml /opt/module/hbase-2.2.7/conf/core-site.xml
ln -s /opt/module/hadoop-3.1.1/etc/hadoop/hdfs-site.xml /opt/module/hbase-2.2.7/conf/hdfs-site.xml

4. 启动Hbase

bin/start-hbase.sh

Java操作

Maven项目配置

以下是我们推荐使用的项目依赖管理方式：

   
  
    
    
     
      org.apache.hbase
     
    
     
      hbase-client
     
    
     
      1.4.2
     
  
    
  
    
    
     
      org.apache.hbase
     
    
     
      hbase-server
     
    
     
      1.4.2
     
  
    
  
    
    
     
      org.apache.hadoop
     
    
     
      hadoop-client
     
    
     
      3.1.1
     
  
    
  
    
    
     
      junit
     
    
     
      junit
     
    
     
      4.13.1
     
  
    
  
    
    
     
      org.slf4j
     
    
     
      slf4j-log4j12
     
    
     
      1.7.30
     
  
    
   

业务封装

我们为您提供了一组通用的业务操作代码：

public class TestApi_2 {
  public static void main(String[] args) throws IOException {
    dropTable("codingce:student");
    createTable("user", "info");
    getAllRows("codingce:student");
  }
  // 条件详见下方方法注释
}

细节操作请参考以下方法：

public static void addRowData(String tableName, String rowKey, String columnFamily, String column, String value) throws IOException {
  // 代码逻辑详细见上述类中addRowData方法
}

public static void getAllRows(String tableName) throws IOException {
  // 代码逻辑详细见上述类中getAllRows方法
}

public static void createTable(String tableName, String... columnFamily) throws IOException {
  // 代码逻辑详细见上述类中createTable方法
}

public static void dropTable(String tableName) throws IOException {
  // 代码逻辑详细见上述类中dropTable方法
}

项目地址

目前项目处于迁移中，已更改至Gitee平台。如需获取更多代码和文档，请访问：

• 项目地址

今天碰到的坑

安装过程中遇到各类问题，以下是解决方法：

• Zookeeper安装失败：请确保zkServer.sh脚本可执行权限正确。
• HBase连接问题：请确保Zookeeper服务已经启动，并且客户端能够连接到正确的端口。
• 权限问题：操作时请切换至正确的用户账号进行操作，确保权限配置合理。

如有其他问题，请随时在社区留言或访问我们的官方文档进行查阅。

转载地址：http://dipgz.baihongyu.com/