IT技术面试技巧|大数据专业技术hbase布隆过滤器
发布时间:2024-07-07 08:11:49 点击:
随着科技的不断发展,大数据已成为人们生活和工作中的一个重要组成部分,数据不仅是现代社会的宝贵资源,而且还是推动经济发展、促进科技创新的关键因素。因此,大数据领域的职业机会正逐渐增多,但同时也面临着诸多挑战,北京八维教育培训学校今天将和大家探讨大数据专业技术中hbase布隆过滤器,希望能够帮助到每一名学子。

1. 布隆过滤器的存储在哪?
对于hbase而言,当我们选择采用布隆过滤器之后,HBase会在生成StoreFile(HFile)时包含一份布隆过滤器结构的数据,称其为MetaBlock;MetaBlock与DataBlock(真实的KeyValue数据)一起由LRUBlockCache维护。
cell较小的不适用布隆过滤器;
按行读,更新数据量大,范围广(多列),用row;

2. 协处理器
observe:通过钩子函数,做一些预处理和后处理;类似于 RDBMS 中的触发器,主要在服务端工作,主要有三种
regionObserve:处理数据修改数据;如:创建二级索引
maserObserve:管理DDL类型操作
WALObserve:提供针对WAL的钩子函数
endpoint:类似于 RDBMS 中的存储过程,主要在服务端工作,可以实现 min、max、avg、sum、distinct、group by 等功能


