Tag Archives | hbase

Problems found in hbase-0.20.1 by static scan

todo:对其中典型bug的解释。包括规则rule的解释。? ?

在09年底在对开发的代码进行有限的白盒测试的时候,使用静态代码扫描工具就着依赖使用的hbase(当时0.20.0版本)的代码进行代码扫描。本身直接扫描的report结果内容很多,有些是style和bad practice这样的改善型的,但是也有挺多的通过在代码中确认属于真实bug的。尤其是有些非常低级的bug出现在RegionServer这种非常核心的class里。筛选出来通过team在US的一个同事Andrew Purtell提交了HBASE-1916到。

感觉那个时候Hbase的品质,至少是从代码这个角度看,真的是有挺多可以吐槽的。想起来有这样一个bug(HBASE-1968)发现也不是很难,问题的reproduct也很容易,就是向Hbase提交的put中包含了一个不存在的 column family[......]

阅读全文

Tags: , , , , ,

Comments { 0 }

HBASE-1968 ISSUE Report

整理资料的时候发现笔记本里outlook标红的几封邮件,归档下。不涉及team的legal和copyright的。描述了定位调查和汇报HBASE-1968的过程。只记得但是发现认为是个很低级的bug。在邮件中再看下才详细了解了下。

 

 

—————————————————–START——————————————————————————

Hi Andrew,

Thanks for your information.

Best regards

-Forrest

—–Original Message—–

From: Andrew Purtell[......]

阅读全文

Tags: , , ,

Comments { 1 }

Try WhiteBox Testing in Our Projec

工作中给所在team和其他几个team的的同事们做的一个实践的sharing。

sharing 的slides:Try WhiteBox Testing in Our Project

一个参考文档:WhiteBox

关于这次sharing

只是给小组share一下我们最近做了这样一件事情,最终的效果怎么样现在还有待检验,所以经验的东西并不是很多,在开始阶段开效果还不错,所以鼓励大家也可以再自己的项目中勇敢的尝试一下。ETP的课程告诉我们,相比于Black Box testing, whitebox testing 是相对要expensive的。从技术调查,和流程方面。技术调查上,我们通过调查一些静态代码扫描工具来帮助我们提高代码review的效率。在流程上,会通过一定的手段来分析这些工具的report,结对的来review代码。

本来不着重介绍语言太相关的东西[......]

阅读全文

Tags: , , ,

Comments { 1 }

【Hbase代码笔记】Put

记录HBase 进行一个Put的过程。

1. Client端通过HTable发起Put操作

2. Htable的flushCommits方法使用服务端的连接 来处理提交。和Hadoop Cilent的提交是完全一样的思路

Htable在通过自身的writeBuffer缓存后,会刷新提交

3. Htable 通过HConnection(其实是TableServers类型) 类型的connection发起提交。在Hbase构造时候

4. TableServers类的processBatchOfRows

5[......]

阅读全文

Tags: , , ,

Comments { 0 }

【HBase代码笔记】获取Region信息

通过表名和Row获取Region获取Region

 

根据table名和row获取region信息

TableServers#locateRegion(final byte [] tableName,????? final byte [] row, boolean useCache)

 

HRegionLocation locateRegionInMeta(final byte [] parentTable,????? final byte [] tableName, final byte [] row, boolean useCache)

其实是一存放metadata的regionserver

HRegionInterface getHRegionConnection(

??????? HServerAddr[......]

阅读全文

Tags: ,

Comments { 0 }