编程那点事

2019-04-02 18:00:03 阅读(5901)

idea开发，maven编译的时候发现报错：程序包不存在如上图所示，easypoi是我在lib目录下自己添加的jar包。但我们在错误代码下又能进到该类的classes文件，就是编译通不过。要解决程序包不存在的问题的话只需要在pom文件下新增如下代码即可<plugin>              &nbs...

2019-04-02 12:00:50 阅读(1934)

Spark 2.0的一个重大的特点就是搭载了最新的第二代tungsten引擎。第二代tungsten引擎吸取了现代编译器以及并行数据库的一些重要的思想，并且应用在了spark的运行机制中。其中一个核心的思想，就是在运行时动态地生成代码，在这些自动动态生成的代码中，可以将所有的操作都打包到一个函数中，这样就可以避免多次virtual function call，而且还...

2019-04-01 22:00:09 阅读(2512)

Spark Core&Spark SQLAPIdataframe与dataset统一，dataframe只是dataset[Row]的类型别名SparkSession：统一SQLContext和HiveContext，新的上下文入口为SparkSession开发的一种新的流式调用的configuration apiaccumulator功能增强：便捷api、web ui支持、性能更高dataset的增强聚合apiSQL支持sql 2003标准支持ansi-sql和hive ql的sql pars...

2019-04-01 18:00:24 阅读(3370)

avg、sum、max、min、count、countDistinctcollect_list、collect_setcollect_list，就是将一个分组内，指定字段的值都收集到一起，不去重collect_set，同上，但是唯一的区别是，会去重都用于将同一个分组内的指定字段的值串起来，变成一个数组，常用于行转列Scala代码package cn.study.spark2 import org.apache.spark.sql.SparkS...

2019-04-01 12:00:24 阅读(2404)

大商创多用户商城2.7.3.3版本版本主要进行了以下的bug修复1、新增一键补单功能，已生成账单的遗漏订单，一键重新生成新的账单2、优化后台审核提现3、优化后台编辑商品重量输入文本框仅支持输入数字4、优化后台删除商品操作5、优化后台点击查看待审核账单数量显示问题6、优化会员注册手机号码号段校验7、修复首页可视化模块选择二级分类不显示8...

2019-04-01 12:00:07 阅读(2321)

typed操作coalesce、repartition都是用来重新定义分区的区别在于：coalesce，只能用于减少分区数量，而且可以选择不发生shufflerepartiton，可以增加分区，也可以减少分区，必须会发生shuffle，相当于是进行了一次重分区操作distinct、dropDuplicates都是用来进行去重的，区别在哪儿呢？distinct，是根据每一条数据，进行完整内容的比对和去重...

2019-03-31 22:00:42 阅读(1786)

action操作collect、count、first、foreach、reduce、show、takeScala代码示例package cn.study.spark2 import org.apache.spark.sql.SparkSession /**  * action操作详解  *   * collect、count、first、foreach、reduce、show、take  *   */ object ActionOperation&n...

2019-03-31 18:00:48 阅读(2212)

需求：只统计年龄在20岁以上的员工根据部门名称和员工性别为粒度来进行统计统计出每个部门分性别的平均薪资和年龄Scala代码示例package cn.study.spark2 import org.apache.spark.sql.SparkSession /**  * 计算部门的平均薪资和年龄  *   * 需求：  * 1、只统计年龄在20岁以上的员工...

2019-03-31 12:00:58 阅读(2093)

SparkSQLSparkSQLSpark SQL是Spark的一个模块，主要用于处理结构化的数据。与基础的Spark RDD API不同的是，Spark SQL的接口会向提供更多的信息，包括数据结构以及要执行的计算操作等。在Spark SQL内部，会使用这些信息执行一些额外的优化。使用Spark SQL有两种方式，包括SQL语句以及Dataset API。但是在计算的时候，无论你是用哪种接口去进行...

2019-03-30 12:00:19 阅读(2342)

mapval scoreMap = Map("leo" -> 90, "jack" -> 60, "tom" -> 70) val names = List("leo", "jack", "tom") names.map(scoreMap(_))flatmapval scoreMap = Map(&qu...