现场总线技术十种详解其用途与应用

随着工业4.0时代的到来，工业互联网和企业的智能化、信息化都将不断推进，传统的工业实时数据库和关系数据库已经难以完全胜任工业大数据的存储，以HBase为代表的NoSQL数据库正在蓬勃发展，其完全分布式特征、高性能、多副本和灵活的动态扩展等特点，使得HBase在工业大数据的存储上拥有强大的优势，打破了流程工业生产中的数据壁垒效应的瓶颈，可以促进工业生产水平和生产管理水平的大幅提高。本期格物汇，就来给大家介绍HBase数据库及格创东智相关实战案例。

了解HBase

HBase是一个高可靠性、高性能、面向列、可伸缩的大型分布式存储系统。它利用普通PC服务器组成集群，并支持海量表结构，即使是超大规模表也能快速访问。作为Google Bigtable的一个开源实现，但与Bigtable有很多不同之处，如使用不同的文件系统（HDFS替换GFS）以及不同的处理框架（MapReduce）。

与传统关系型数据库相比,HBASE具有以下优势：

线性扩展：可以根据需要增加或减少节点。

数据持久性：通过复制机制确保数据安全。

查询速度快：通过Zookeeper协调服务提高查询效率。

HBase实战案例

为了更好地展示在人工智能领域如何应用HBASE，我们将以某半导体显示企业为案例，分析格创东智大数据团队是如何设计一个快速查找面板特征系统。

案例背景

该公司业务场景中包含大量面板相关特征，每张面板数据约为3.2k字节，这些面板被分组，每个面板属于一个组。组与面的分布如下：

43%左右的组含有1张面板;

47%左右的组含有2~9张面板;

剩余的小部分组可能包含10~10000张以上面的每一类情况下，都需要根据group id查找该group下的所有face，以及根据group id + face id查找某个具体face。

原方案分析

之前由于业务量较小，主要依赖MySQL+OSS进行存储。在这个方案中，有两个表：group表和glass表。其中glass_id对应于group_id，而feature则是二进制格式base64后的真实特征值。这意味着对于同一Group内不同FaceID所对应的大量行记录，在MySQL中实际上是重复存储了许多次相同或者几乎相同类型的一条记录。

HBase解决方案

为了克服原有方案的问题，大数据团队决定采用基于HBASE解决方案：

动态列：利用其支持万亿行百万列功能，将原本属于同一条但因为大小限制无法合并到单行中的内容整合起来。

多版本控制：支持所有修改历史记录，使得任何时候都能回溯到过去某个时间点上的状态。

MOB(Medium-SizedObject)功能：针对小文件(如图片,视频,文档等)，提供低延迟读写能力，同时保证强一致性检索能力，对于高速扩展至关重要。

因此，他们创建了名为glass 的表，并且打开MOB功能：

create 'glass', {NAME=>'c', IS_MOB=>true, MOB_THRESHOLD=>2048}

这样做允许我们直接在单独的一行中包含来自各种FaceID的小文件，这极大地简化了查询操作，因为现在只需从单独的一行获取所有相关信息而不是扫描整个MySQL库并进一步从OSS检索这些特征。此外，由于使用的是对象存储云服务，所以尽管增加了一层抽象，但总体成本仍然保持在最优状态。此外，它还提供了前缀查找、过滤器以及其他高级搜索功能，从而显著提升了整个查询过程效率。此外，它不仅适用于访问频率低的情况，而且对于高并发场景也有更好的表现，而成本方面，则按流量计费请求次数，因此特别适合那些预算有限但希望享受高吞吐量环境的人们。如果你想要了解更多关于这个项目背后技术细节，请继续阅读我们的深度报告，其中详细讨论了这个项目如何运用无数种方法来最大限度降低成本同时提升性能，让我们一起探索这片未知领土，看看未来会发生什么吧！