博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
sparkstreaming写入hbase表中总结
阅读量:6602 次
发布时间:2019-06-24

本文共 1361 字,大约阅读时间需要 4 分钟。

执行spark代码插入数据到hbase表中去的时候,遇到的错误

1. 缺少hadoop-mapreduce-client-core-2.5.1.jar包

错误:java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf

2. 缺少hbase-protocol-1.3.1.jar包

错误:java.lang.ClassNotFoundException: org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$BlockingInterface

3. 缺少metrics-core-2.2.0.jar的包

终端出现该错误:com.google.protobuf.ServiceException: java.lang.NoClassDefFoundError: com/yammer/metrics/core/Gauge

4. 需要的jar包

hadoop-mapreduce-client-core-2.5.1.jar        //org.apache.hadoop.mapred.JobConfhbase-client-1.3.1.jarhbase-common-1.3.1.jarhbase-server-1.3.1.jar                        //主要针对操作hbasehbase-protocol-1.3.1.jar                      //org.apache.hadoop.hbase.protobuf.generated.MasterProtoskafka-clients-1.0.0.jarkafka_2.11-1.0.0.jar                          //主要针对于操作Kafkaspark-core_2.11-2.1.1.jarspark-streaming_2.11-2.1.1.jarspark-streaming-kafka-0-10_2.11-2.1.1.jar     //主要针对于操作sparkstreamingzkclient-0.10.jarzookeeper-3.4.10.jar                          //主要针对于操作zookeeperFlumeKafkaToHbase.jar                         //自定义jar包

5. 执行

/home/spark/bin/spark-submit \--master local[2] \--driver-class-path /usr/local/hbase/lib/metrics-core-2.2.0.jar \--class com..FlumeKafkaToHbase \--executor-memory 4G \--total-executor-cores 2 \FlumeKafkaToHbase.jar

 

转载于:https://www.cnblogs.com/654wangzai321/p/10996387.html

你可能感兴趣的文章
eclipse 的小技巧
查看>>
频率域滤波
查看>>
图片存储类型的种类、特点、区别
查看>>
GETTING UP AND RUNNING WITH NODE.JS, EXPRESS, JADE, AND MONGODB
查看>>
求二叉树第K层节点的个数
查看>>
关于cocos2d-x面试的问题
查看>>
MySQLs数据库建外键时自动跑到缩影处,真奇怪
查看>>
static关键字
查看>>
js 合并多个对象 Object.assign
查看>>
Java 反射机制
查看>>
Unity 碰撞检测中碰撞器与触发器的区别
查看>>
Elasticsearch配置文件说明
查看>>
路由表的构成
查看>>
初识java
查看>>
temporary Object and destructor
查看>>
xcode - 移动手势
查看>>
本地上jar命令
查看>>
细说浏览器特性检测(1)-jQuery1.4添加部分
查看>>
古中国数学家的计算力真是惊人
查看>>
XMl各种格式转换功能代码
查看>>