基于HBase的工业大数据存储实战现场总线分类概述

随着工业4.0时代的到来，工业互联网和企业的智能化、信息化都将不断推进，传统的工业实时数据库和关系数据库已经难以完全胜任工业大数据的存储，以HBase为代表的NoSQL数据库正在蓬勃发展，其完全分布式特征、高性能、多副本和灵活的动态扩展等特点，使得HBase在工业大数据的存储上拥有强大的优势，打破了流程工业生产中的数据壁垒效应的瓶颈，可以促进工业生产水平和生产管理水平的提高。本篇文章，就来给大家介绍HBase数据库及格创东智相关实战案例。

了解HBase

HBase是一个高可靠性、高性能、面向列、可伸缩的大型分布式存储系统。它利用Column-Family（列族）的概念，将每一行中的所有列分组成一个或多个独立处理的小块，这样可以极大地提升查询速度。与传统关系型数据库不同，HBASE不支持复杂的事务操作，但它提供了低延迟、高吞吐量以及对大量结构化数据进行快速查找能力，是处理海量结构化数据的一种非常好的选择。

使用场景

搜索引擎：搜索引擎需要高速索引大量文档，而这些文档可能包含很多字段，每个字段可能有不同的值。这种场景下，如果使用传统关系型数据库会导致表变得非常庞大，不仅占用大量内存，而且查询效率也会很低。而使用NoSQL类似于Cassandra或者MongoDB这样的非关系型数据库，因为它们是面向列族设计，可以有效减少冗余并且提高读写性能。

日志分析：对于日志分析来说，由于日志文件通常包含时间戳，我们可以根据时间戳作为主键来快速检索历史记录。这一点在传统RDBMS中比较困难，因为即使是最快的事务处理系统，也无法像专门用于这个目的的大规模分布式文件系统那样高效地访问超大的记录集。

社交网络：社交网络网站经常需要按照用户ID或其他属性来查询用户信息，比如朋友列表。在这种情况下，用一个简单而又高效的人人图（graph）模型更合适，而不是依赖于复杂事务性的RDBMS。

电子商务应用程序：

订单跟踪

客户行为追踪

产品推荐

内容管理系统(CMS)

视频分享网站

云计算服务提供者

游戏服务器

实时消息处理

数据仓库

11-15条目待添加...

配置示例

配置表格名为glass，并开启MOB功能：

create 'glass', {NAME=>'c', IS_MOB=>true, MOB_THRESHOLD=>2048}

插入方法：

Put put = new Put(groupId.getBytes());

put.addColumn(CF_DEFAULT.getBytes(), glassId1.getBytes(), feature1.getBytes());

put.addColumn(CF_DEFAULT.getBytes(), glassId2.getBytes(), feature2.GetBytes());

...

table.put(put);

获取方法：

Get get = new Get(groupId.getByt)

Result result = table.get(get);

List<Cell> cells = result.getColumnCells(CF_DEFAULT);

for (Cell cell : cells) {

String glassId = Bytes.toString(cell.getRowArray()[cell.getPosition()]);

byte[] featureData = cell.getValue();

// 处理featureData，即获取特征值。

}

通过上面的配置与插入方法，我们就能实现对面板组id进行快速查找，同时也能够支持小文件存储，如图片等，从而解决了原有的MySQL+OSS方案的问题。此外,Hbase还具有良好的扩展性，无论是横向还是纵向，都能轻松应对业务增长带来的挑战。