烘焙,c5驾照-金博宝188app|下载

运转环境

Eclipse+马斯洛需求层次理论Spark+Elsticsearch+Java

中心代码

选用ES与Spark官方供给的jar进行数据读取:

final Map conf洪发直播室_map = this.Conf2Map(conf);
String s叉车rc_index3dhentai_nam烘焙,c5驾照-金博宝188app|下载e = conf_map.get("src.index.name");
String src_type_n蜡笔小新图片ame = conf_map.get("src.type.name");
JavaPairRDD> srcRDD = JavaEsSpark.esRDD(sc,钻石文娱src_index_name + "/" + src_type_name);
/**
* 轮询处理每条烘焙,c5驾照-金博宝188app|下载数据 成果放在邳list中
**/
srcRDD.foreach(new VoidF香港天气预报15天unction>>() {
// Spark分布式回调函数
// 把json结构彻底转化为map结构
@Override
public void call(Tuple2> entity) th一片冰心在玉壶rows Exception {
Map line_map = entity._2();
/**
* 在这里添加对每条数据处理逻辑
* 例如检索ES烘焙,c5驾照-金博宝188app|下载,对指定字段的转化、格式化、交融等。
*
*/
// TODO

System.out.println(TimeUtil.getTime() + L秋叶原ineUtil._Line() + "uuid=" + line_map.get("uuid") + ", line=" + line_map);
}
});
}
}

反常提示

[2019-05-0烘焙,c5驾照-金博宝188app|下载5 11:18:45 562 ERROR] [671:main] [Logging.李光地sc蜂胶ala:95] - Error initializing SparkContext.

org.apache.spark.SparkException: A masuccessster URL must be se烘焙,c5驾照-金博宝188app|下载t in your configuration

at org.apache.spthreadark.SparkContext.(SparkContext.scala:401)

at org.apache.spark.api.java.JavaSparkContext.(JavaSparkCont弓箭ext.scala:59)

at common.elasticsearch.examplese.Elasticsear旱组词chTest.main(ElasticsearchTest.java:122)

[2019-05-05 11:18:45 603 INFO ] [741:main] [Logging.scala:58] - Successfully stopped SparkContext

Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration

at org.apache.spark.SparkContext.(SparkContext.scala:401)

at org.apa章宝颖che.spark.api.java.JavaSparkContext.(JavaSparkContext摩卡.scala:59)

at common.elasticsearch.examplese.ElasticsearchTest.main(Elastics烘焙,c5驾照-金博宝188app|下载earchTest.java:122)

原因剖析

提示没有指定master的url,传递给spark的master url能够有如下几种:

  1. local 本地单线程
  2. local[K] 本地多线姐夫程(指定K个内核)
  3. local[*] 本地多线程(指定一切可用内核)
  4. spark:烘焙,c5驾照-金博宝188app|下载//HOST:PORT 连接到指定的 Spark standalone cluster master,需求指定端口。
  5. mesos://HOST:PORT 连接到指定的 Mesos 集群,需求指定端口。

解决方法

在eclipse中->run as ->run configurations 下,添加如下图:

再次发动进程,即可正确履行。如下图:

转载原创文章请注明,转载自金博宝188app|下载,原文地址:http://www.com1com2com3.com/articles/526.html

上一篇:励志歌曲,农业银行信用卡-金博宝188app|下载

下一篇:夕阳,阿西吧-金博宝188app|下载