已复制
全屏展示
复制代码
登录 注册

HBase Shell 命令使用总结


yuziyue
· 9 min read

一. 概要说明

  • HBase的名字的来源于Hadoop database，即hadoop数据库，不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，而且它是基于列的而不是基于行的模式。
  • HBase shell是HBase的一套命令行工具，类似传统数据中的sql概念，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，如果配置了HBase的环境变量，只要在shell中执行hbase shell就可以进入命令行界面。

二. HBase表结构

hbase表结构

2.1 行键Row Key

与NOSQL数据库们一样，Row Key是用来检索记录的主键。访问HBase table中的行只有三种方式：通过单个Row Key访问、通过Row Key的range、通过全表扫描。Row Key行键可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，Row Key保存为字节数组。存储时，数据按照Row Key的字典序排序存储。

不论一次读写多少列，行的一次读写都是原子操作，这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。HBase不支持条件查询和order by等查询。

2.2 列族Column Family

hbase表中的每个列，都归属与某个列族。列族是表schema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history ，courses:math 都属于courses 这个列族。访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以浏览基本数据、一些应用则只允许浏览部分数据。

2.3 时间戳 Timestamp

HBase中通过 row 和 column 确定的为一个存贮单元称为 cell。每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由 hbase 在数据写入时自动赋值，此时时间戳是精确到毫秒的系统当前时间，时间戳也可以由客户端显示赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个 cell 中，不同版本的数据按照时间倒序排序，最新的数据排在最前面。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本，比如最近七天。

2.4 单元 Cell

Cell是由 {row key, column, version}  唯一确定的单元。Cell中的数据是没有类型的，全部是字节码形式存贮。

cell：单元格，由五元组（row，column，timestamp，type，value）组成的结构，其中type表示Put/Delete这样的操作类型，timestamp代表这个cell的版本。这个结构在数据库中实际是以KV结构存储的，其中（row，column，timestamp，type）是K，value字段对应KV结构的V。

三. 常用操作

示例数据

上表是一张学生成绩单，其中，uid 是行键，grade 是一个特殊列族，只有一列并且没有名字（列族下面的列是可以没有名字的），course 是一个列族，由 3 个列组成（Chinese、math 和 english)。用户可以根据需要在 course 中建立更多的列，如 computing、physics 等。同理info列族下面有username、age两个列。

3.1 普通操作

# 查询服务器状态
hbase(main):002:0>status
1activemaster,0backupmasters,3servers,0dead,50.6667averageload
Took0.4686seconds

# 查询版本号
hbase(main):003:0>version
2.0.2.3.1.4.0-315,r,FriAug2305:15:48UTC2019
Took0.0004seconds

3.2 DDL操作

DDL操作主要用来定义、修改和查询表的数据库模式。

# 创建一个表，注意：列族只能在首次创建表的时候确定，不能后期新增列族
hbase(main):004:0>create 'student','grade','course','info'

# 列出所有表
hbase(main):005:0>list

# 获取表的描述
hbase(main):010:0>describe 'student'

# 删除一个列族
hbase(main):011:0>alter 'student',{NAME=>'info',METHOD=>'delete'}

# 禁用启用表
hbase(main):018:0>enable 'student'
hbase(main):013:0>disable 'student'
hbase(main):017:0>is_enabled 'student'

# 删除表
hbase(main):013:0>disable 'student'
hbase(main):013:0>drop 'student'
hbase(main):002:0>exists 'student'

3.3 DML操作

DML操作主要用来对表的数据进行添加、修改、获取、删除和查询。

# 创建表格，列族里边可以自由添加子列。如果列族下没有子列，则只加“:”即可。
hbase(main):017:0>create 'student','grade','course','info'

# 插入数据
put 'student','20191024','grade:','1'
put 'student','20191024','course:Chinese','90'
put 'student','20191024','course:math','85'
put 'student','20191024','course:english','85'
put 'student','20191024','info:username','Jim'
put 'student','20191024','info:age','23'
put 'student','20191025','grade:','2'
put 'student','20191025','course:Chinese','97'
put 'student','20191025','course:math','100'
put 'student','20191025','course:english','92'
put 'student','20191025','info:username','Tom'
put 'student','20191025','info:age','19'

# 获取指定行。
get 'student','20191024'

# 获取指定行的指定列族。
get 'student','20191024','course'

# 获取指定行的指定列族指定列。
get 'student','20191024','course','course:english'

# 根据时间戳获取。同一个值有不同的版本，可以据不同的时间戳获取不同版本的数据。
get 'student','20191024',{COLUMN=>'course:Chinese',TIMESTAMP=>1571920764551}

# 全表扫描。
scan 'student'

# 为了限制返回的结果，用户可以指定一些修饰词，如TIMERANGE、FILTER、LIMIT、STARTROW、STOPROW、TIMESTAMP、MAXLENGTH或COLUMN。
# 只获取english的成绩。
scan 'student',{COLUMN=>'course:english'}

# 统计表的总行数
count 'student'

# 更新一条记录，更新一条记录也就是重新赋值一遍。
put 'student','20191024','course:Chinese','99'

# 删除指定行
deleteall 'student','20191024'

# 删除指定行的指定列
delete 'student','20191024','info:age'

# 清空整张表，会删除所有的region，只保留一个，慎用！！！
truncate 'student'

删除表的所有行的数据，只能使用api的方式。

	/**
     * 删除指定表的所有行数据
     */
    public static void deleteAllRows() throws Exception {
        HashSet<String> willBeDeleted = new HashSet<String>() {{
            add("bitmap_attribute");
            add("wide_userprofile");
        }};
        
        HBaseClient hBaseClient = new HBaseClient(HbaseConfigs.createHBaseConfig());
        Admin admin = hBaseClient.conn.getAdmin();
        HTableDescriptor[] tableDescriptor = admin.listTables();

        for (HTableDescriptor tableDesc : tableDescriptor) {
            String tableName = tableDesc.getNameAsString();
            if (willBeDeleted.contains(tableName)) {
                Table table = hBaseClient.conn.getTable(TableName.valueOf(tableName));
                List<Delete> deleteList = new ArrayList<Delete>();
                Scan scan = new Scan();
                ResultScanner scanner = table.getScanner(scan);
                for (Result r : scanner) {
                    deleteList.add(new Delete(r.getRow()));
                }
                scanner.close();
                try {
                    table.delete(deleteList);
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }

四. 查询数据用法

4.1 get

get 用于获取指定的行，而且返回的内容只包含一行。get后面跟着表名和row key，在后面可以跟一个字典来控制这一行中的指定列或者指定版本。

# 获取指定行。如果某些列有多版本，默认取最新的版本。
get 'student','20191024'

# 获取指定行的指定列族。
get 'student','20191024','course'

# 获取指定行的指定列族的指定列，方法一。
get 'student','20191024','course:english'

# 获取指定行的指定列族的指定列，方法二。
get 'student','20191024','course','course:english'

# 获取指定行的指定列族的指定列的指定时间戳版本。
get 'student','20191024',{COLUMN=>'course:english',TIMESTAMP=>1571970726273}

4.2 scan

scan 用于扫描表中的数据。

# scan。获取所有行
scan 'student'

# LIMIT。获取指定的行数。或许的scan中都可以加入限制条件LIMIT
scan 'student',{LIMIT=>1}

# COLUMNS。获取所有行的指定一个列族、多个列族
scan 'student',{COLUMNS=>'course'}
scan 'student',{COLUMNS=>['course','info']}

# COLUMNS。获取所有行的指定一列、多列。
scan 'student',{COLUMNS=>'course:english'}
scan 'student',{COLUMNS=>['course:english','course:math']}

# TIMERANGE。查找指定时间范围
scan 'student',{TIMERANGE=>[1,1571971201798]}

# STARTROW ENDROW。行键的字典排序范围，比如'10'小于'2'。包括STARTROW本身，不包括ENDROW本身
scan 'student',{STARTROW=>'20191024',ENDROW=>'20191025'}

# FILTER。行键前缀过滤。
scan 'student',{FILTER=>"PrefixFilter('20191024')"}

# FILTER。行键字符串包含过滤器
scan 'student',{FILTER=>"RowFilter(=,'substring:25')"}

# FILTER。行键正则匹配过滤器
scan 'student',{FILTER => "RowFilter(=, 'regexstring:.*24$')"}

# FILTER。列名前缀过滤器
scan 'student',{FILTER=>"ColumnPrefixFilter('e')"}

# FILTER。多个列名前缀过滤器
scan 'student',{FILTER=>"MultipleColumnPrefixFilter('e','m')"}

# FILTER。列值过滤器，需要导入类。获取info:username等于Jim的列。
importorg.apache.hadoop.hbase.filter.SingleColumnValueFilter
importorg.apache.hadoop.hbase.filter.CompareFilter
scan'student',{FILTER=>SingleColumnValueFilter.new(
    Bytes.toBytes('info'),                    #列族
    Bytes.toBytes('username'),                #字段
    CompareFilter::CompareOp.valueOf('EQUAL'),#比较运算符
    Bytes.toBytes('Jim'))                     #值
}

(1)比较运算符
    EQUAL 相等
    GREATER 大于
    GREATER_OR_EQUAL 大于等于
    LESS 小于
    LESS_OR_EQUAL 小于等于
    NOT_EQUAL 不等于


(2)比较器
    BinaryComparator 匹配完整字节数组
    BinaryPrefixComparator 匹配字节数组前缀
    RegexStringComparator 正则表达式匹配
    SubstringComparator 子串匹配

# FILTER。组合过滤器，多个过滤器可以通过ANDOR连接进行组合过滤。表示列名以e或者m开头，并且英文的分数中包含了9的列。
scan 'student', {FILTER => "(MultipleColumnPrefixFilter('e','m')) AND (SingleColumnValueFilter('course','english',=,'substring:9'))"}

参考资料

🔗
阅读原文：https://yuchaoshui.com/aac11df/
上一篇

Flink 侧流输出完整示例

对数据流进行标记，在下游通过 getSideOutput 取已经标记过的数据流处理。 DataStream streamOdd = mainStream.getSideOutput(oddTag); DataStream streamEven = mainStream.getSideOutput(evenTag); DataStream streamNotNumber = mainStream.getSideOutput(notNumberTag);
下一篇

Hbase JAVA API 接口使用

下面是常用的 HBase 的交互方式，本文以 Java API 为例，给出常用场景的使用方法。 根据 hbase 的版本，添加相同版本的 hbase-client 客户端。将安装Hbase的配置文件hbase-site.xml拷贝到src/main/resources/目录下，如果需要打包然后在其他服务器上跑的话，将该配置文件放置在classpath下即可。

文章推荐

到底什么是ChatGPT的函数调用function calling

function calling 这个词一听还以为是 GPT 帮我去调用函数，实际上并不是这样。 使用场景 我们在和 GPT 聊天的过程中，可能会涉及一些特定的问题，比如在聊天时，我突然问 GPT ：北京今天天气怎么样？ 很显然 GPT 是不知道实时的天气的，那怎么办呢，用...

· 3 min read

OpenAI ChatGPT总结上下

一. 总结聊天标题 * 在用户发起一次聊天后总结对话标题 { "messages": [ { "role": "user", "content": "Python中，两个字典如何合并到一个字典里面" }, { "role": "assistant", "content": "在Python中，你可以使用`update()`。。。这两种方法都可以将两个字典合并到一个字典中。" }, { "role": "user", "content": "使用6到7个字直接返回这句话的简要主题，...

· 6 min read

Gradio如何获取客户端信息

原始app.py应用 我编写了一个简单Gradio应用，代码如下（server_app.py）： import gradio as gr def gradio_submit_fn(arg1, arg2): return f"arg1:...

· 4 min read

Airflow删除taskinstance实例

Airflow删除taskinstance实例，当Airflow运行很久后（或者你有分钟级别的dag），你会发现无法打开 task instances页面，那是因为 task instances 数量太多了，需要手动删除过去无用的task instances，Airflow提供了api来实现，将其加入定时任务每天删除就行，最后不要手动操作数据库。...

· 1 min read

openai API 接口 ChatGPT 提示词优化

openai API 接口 ChatGPT 提示词优化，给出更清晰更具体的提示词，使用分隔符delimiters，避免用户输入的变量中包含了不可预测的提示词，所以最好将用户的输入用分隔符包裹着，返回结构化数据：html、 Markdown、 json 等。...

· 5 min read

NVIDIA显卡驱动、cuda、cudnn概念梳理

一. 显卡驱动 很简单，显卡驱动是告诉系统如何调用显卡这个硬件。通常指NVIDIA Driver，一个驱动软件。下载地址：https://www.nvidia.com/Download/index.aspx CUDA（见后文） 有两个主要的 API，分别是runtime API 和 driver API。...

· 7 min read