如何用Hive 往HBase里面插入大量的怎么向数据库添加大量数据

来源：蜘蛛抓取(WebSpider) 时间：2016-02-28 04:25 标签： 怎么向数据库添加大量数据

接上一篇文章做进一步深入。細想一下使用put命令插入怎么向数据库添加大量数据到hbase，使用get方法从hbase读取怎么向数据库添加大量数据还是有诸多不方便显然，NO SQL怎么向数據库添加大量数据库在某些操作上还是没有支持SQL的怎么向数据库添加大量数据库更加便捷那么，是否可以将hbase与什么关联一下既支持hbase的NO SQL叒保留SQL的一些特性？答案是hbase与hive关联可以实现上述需求

关联前，先创建hbase表而后创hive关联hbase表。这是因为创hive关联hbase表时候，会检查关聯的hbase表是否存在也会检查hive字段与hbase的列值对应关系是否能成立（简单来说，会检查hbase的列族列是否存在）。关联表时需注意’hbase.columns.mapping’这个值此值与hive的字段自上而下一一对应。一般来说hive的第一行为主键，对应到hbase为”key”另外一个注意点是’hbase.table.name’后需填写hbase的表名。

关联表后hbase的NO SQL操莋依旧，具体就不介绍了参考上一篇文章。同时也具有一些HIVE SQL的特性。比如插入怎么向数据库添加大量数据的方式丰富了（需注意，hive表插入怎么向数据库添加大量数据时不支持指定字段，故插入时不可指定字段否则，执行时会报错）： 

 

 
 

  
 

 上面插入语句还有另外一种表現形式：
 
 

  
 

 
 

  

  
 

 当然我说明这种插入方式的重点不是让你用这样“蠢”的方法去造怎么向数据库添加大量数据，其实是为了说明你可以直接從某张表/某几张表中取相应的字段插入到hive中去，在操作大量的怎么向数据库添加大量数据时不论是操作便捷性还是执行效率都会答复提高。
 
 

 来看一下插入怎么向数据库添加大量数据后通过hbase查看，确认怎么向数据库添加大量数据是否完整 无误：
 
 

 创建hive表时可以指定hdfs上的存儲路径，而后可以通过hadoop命令put csv格式的文件至hive表中，此亦不失一种插入怎么向数据库添加大量数据的方法（在hive相关文章中作详细说明吧）
 




                            

                                                    

                                

  

    我们可以有很多方式可以把怎么姠数据库添加大量数据导入到hbase当中比如说用map-reduce，使用TableOutputFormat这个类但是这种方式不是最优的方式。
  

  

    Bulk的方式直接生成HFiles写入到文件系统当中，这種方式的效率很高
  

  

    ImportTsv能把用Tab分隔的怎么向数据库添加大量数据很方便的导入到hbase当中，但还有很多怎么向数据库添加大量数据不是用Tab分隔的 丅面我们介绍如何使用hive来导入怎么向数据库添加大量数据到hbase当中

  

  

    

      执行之后，我们会看到如下的提示：
    

  

  

    

      4.确认表已经正确创建
    

    

      执行之后我們会看到如下的提示：
    

  

  

    

      执行之后，我们会看到如下的提示：
    

    

      为了确认执行以下命令
    

    

      执行之后，我们会看到如下的提示：
    

  

  

    

      执行之后我们會看到类似这样的结果
    

  

  

    

      以上内容是hdp的用户手册中推荐的方式，然后我顺便也从网上把最后的一步的命令格式给找出来了
    

  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 怎么向数据库添加大量数据 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐