alibaba / simplehbase Goto Github PK

View Code? Open in Web Editor NEW

190.0 47.0 142.0 6.1 MB

Simplehbase is a lightweight ORM framework between java app and hbase.

ANTLR 0.68% Shell 0.06% Java 99.25%

simplehbase's Introduction

simplehbase

simplehbase是java和hbase之间的轻量级中间件。主要包含以下功能。

数据类型映射：java类型和hbase的bytes之间的数据转换。
简单操作封装：封装了hbase的put,get,scan等操作为简单的java操作方式。
hbase query封装：封装了hbase的filter，可以使用sql-like的方式操作hbase。
动态query封装：类似于myibatis，可以使用xml配置动态语句查询hbase。
insert,update支持: 建立在hbase的checkAndPut之上。
hbase多版本支持：提供接口可以对hbase多版本数据进行查询,映射。
hbase批量操作支持。
hbase原生接口支持。
HTablePool管理。
HTable count和sum功能。

simplehbase's People

Stargazers

Watchers

Forkers

xingzhixi magicdice phoenixhadoop com360 naripuff dhanzhang hairongwang danielnanuk cjwhust bruce-yang lecykx tdyy zhaiyuyong jibaro sky01126 neweast xushaomin xiangyong fysoft2006 jjshanwei donsunsoft yuzhu712 minghai1984 lanserit richardxuweili adonis2014 liuwei0376 lgscofield sloyzhang caichangqi joeywen qmgeng jerry0804 jianfeihit casshern0330 tempbottle threeyyy mt0803 johnjava lili6 kenchen1101 dailong dongbin86 ravikumarmaddi powerwang wudi003 ekapratama93 hanboda tobereborn xdlwd086 hlzhu1983 rchzzjcn java-project-jason quguangjie cscad softdesigner fuz-woo chenfeicqq wbean clark4working tianyakun pologood zhaopan523 wuyeguo zhoulingfengofcd amery2048 makaidong wang55www taoyingqi wsyw126 liangbaolin wyx0578 zhengguilin lslab leaf-pay xiashuijun landcruiser997 garyfub askatsai provencexx fengwen jeep123 llhl001 tanlintan idistyl paullmc zhbaics zhaoshiling1017 yuanddqiao yifangguo waterif neven7 zhangtongle fchenxi bh-lushuai smileclound zhonghui001 linjikai windrain20140210 lmy86263

simplehbase's Issues

simplehbase有计划支持 1.2., 1.3. 等版本吗

simplehbase有计划支持 1.2., 1.3. 等版本吗？

多列簇count时,功能bug。

当hbase机器和本地机器时间漂移时单元测试失败

Scan with filter 0.94.0 0.94.9 0.94.24 0.98.8不兼容

Scan with filter

使用scan.addColumn()时
0.94.0 0.94.9 一致
0.94.24和其他版本不一致

在0.94.0 0.94.9 中，当scan.addColumn()时，无论该column是否和filter中的column一致，该filter都是生效的。
区别在于返回的行不同。

当addColumn为Q1，先选择出

rowkey          f/q1            f/q2           f/q3   
1               1                2  
2               4                8  
3               16    
5               64               NULL  
6               NULL             128  
7               NULL             NULL

然后filter出

rowkey          f/q1            f/q2           f/q3   
2               4                8  
3               16    
5               64               NULL

当addColumn为Q2，先选择出

rowkey          f/q1            f/q2           f/q3   
1               1                2  
2               4                8  
4                                32  
5               64               NULL  
6               NULL             128  
7               NULL             NULL

然后filter出

rowkey          f/q1            f/q2           f/q3   
2               4                8  
4                                32  
5               64               NULL

在0.94.24和0.98.8中，当scan.addColumn()时，如果column和filter中的column不一致，该filter不生效的。

当addColumn为Q2，先选择出

rowkey          f/q1            f/q2           f/q3   
1               1                2  
2               4                8  
4                                32  
5               64               NULL  
6               NULL             128  
7               NULL             NULL

然后filter不生效，返回结果。

使用scan.addFamily()时
3个版本功能一致。

在你的源代码里面能否开源一下antlr4的代码呢？

最近在看antlr4，在写g4文件
作者可以开源看下吗？

hbase的bytes做为long存储方式，负数比较时是否有问题。

scan时指定的qualifier应该考虑filter中的qualifier和DO中的column定义。

scan时指定的qualifier应该考虑filter中的qualifier和DO中的column定义。
否则
1 性能差。导致大量无用数据返回，如DO只是映射了一个family中个别字段。
2 功能不正常。我记着有个地方说是scan的qualifier和filter的qualifier不一致，有可能导致filter不执行。

LiteralValue是否需要扩展自定义支持。

demo在哪里？

rowkey

简单看了下ppt中举的例子，发现个问题：rowkey存储的数据，貌似在qualifier里面也存储了一份。是么？

client指定ts时，有可能client和hbase的时间不同步，导致混乱。

client指定ts时，有可能client和hbase的时间不同步，导致混乱。
因此，应该尽量避免使用client ts。
如果使用client ts，应该设法保证该row就不要再使用hbase ts，避免时序混乱。

新增智能设置scan的caching功能

如何支持多个实体？

是否需要增加自定义Htable管理。

是否需要新增排序功能

增加RegionServer预热控制功能

hbase的count竟然不兼容

老版本的hbase count时可以用不存在的列count，结果是包含该行的。
较新版本的hbase count时用不存在的列count，结果是0。

@Test
public void testCount_NonExistColumn() throws Throwable {
    LongColumnInterpreter columnInterpreter = new LongColumnInterpreter();
    AggregationClient aggregationClient = new AggregationClient(
            Config.getConfiguration());

    Scan scan = new Scan();
    scan.addColumn(ColumnFamilyName, QName_NotExistColumn);

    Long count = aggregationClient.rowCount(TableNameBytes,
            columnInterpreter, scan);
    //        Assert.assertTrue(count.longValue() == 4);
    Assert.assertTrue(count.longValue() == 0);
}