八维教育IT培训学校

八维教育IT培训学校七大校区

首页 > 新闻资讯 > >

IT技术面试技巧|大数据专业技术hbase布隆过滤器

发布时间:2024-07-07 08:11:49 点击:

  随着科技的不断发展,大数据已成为人们生活和工作中的一个重要组成部分,数据不仅是现代社会的宝贵资源,而且还是推动经济发展、促进科技创新的关键因素。因此,大数据领域的职业机会正逐渐增多,但同时也面临着诸多挑战,北京八维教育培训学校今天将和大家探讨大数据专业技术中hbase布隆过滤器,希望能够帮助到每一名学子。
大数据专业技术hbase布隆过滤器

  1. 布隆过滤器的存储在哪?

  对于hbase而言,当我们选择采用布隆过滤器之后,HBase会在生成StoreFile(HFile)时包含一份布隆过滤器结构的数据,称其为MetaBlock;MetaBlock与DataBlock(真实的KeyValue数据)一起由LRUBlockCache维护。

  cell较小的不适用布隆过滤器;

  按行读,更新数据量大,范围广(多列),用row;
大数据专业技术hbase布隆过滤器

  2. 协处理器

  observe:通过钩子函数,做一些预处理和后处理;类似于 RDBMS 中的触发器,主要在服务端工作,主要有三种

  regionObserve:处理数据修改数据;如:创建二级索引

  maserObserve:管理DDL类型操作

  WALObserve:提供针对WAL的钩子函数

  endpoint:类似于 RDBMS 中的存储过程,主要在服务端工作,可以实现 min、max、avg、sum、distinct、group by 等功能
大数据专业技术hbase布隆过滤器