编程那点事

2019-04-02 22:00:53 阅读(5433)

整体的项目结构是这样的，A项目是一个web项目，B项目也是一个web项目，B依赖于A项目，我们在maven编译的时候也报错：xxx程序包不存在但是我们又能进到所谓的不存在的程序包里面。是因为有些IDE没法很智能的做到，直接去引用war里头的class，这个时候我们在打包war的时候，就要打包class的资源。解决方法如下A项目的pom文件<plugin> &nb...

2019-04-02 22:00:27 阅读(3172)

深入剖析Spark 2.x的第二代tungsten引擎原理之前，先看一下当前的Spark的工作原理。我们可以通过一个SQL来举例，这个SQL扫描了单个表，然后对属性等于指定值的记录进行汇总计数。SQL语句如下：select count(*) from store_sales where ss_item_sk=1000要执行这个查询，Spark 1.x会使用一种最流行、最经典的查询求值...

2019-04-02 18:00:32 阅读(2359)

Spark Streaming应该说是将离线计算操作和流式计算操作统一起来的大数据计算框架之一。从Spark 0.7开始引入的Spark Streaming，为开发人员提供了很多有用的特性：一次且仅一次的语义支持、容错性、强一致性保证、高吞吐量。但是实际上在真正工业界的流式计算项目中，并不仅仅只是需要一个流式计算引擎。这些项目实际上需要深度地使用批处理计...

2019-04-02 18:00:03 阅读(6311)

idea开发，maven编译的时候发现报错：程序包不存在如上图所示，easypoi是我在lib目录下自己添加的jar包。但我们在错误代码下又能进到该类的classes文件，就是编译通不过。要解决程序包不存在的问题的话只需要在pom文件下新增如下代码即可<plugin>              &nbs...

2019-04-02 12:00:50 阅读(2227)

Spark 2.0的一个重大的特点就是搭载了最新的第二代tungsten引擎。第二代tungsten引擎吸取了现代编译器以及并行数据库的一些重要的思想，并且应用在了spark的运行机制中。其中一个核心的思想，就是在运行时动态地生成代码，在这些自动动态生成的代码中，可以将所有的操作都打包到一个函数中，这样就可以避免多次virtual function call，而且还...

2019-04-01 22:00:09 阅读(2786)

Spark Core&Spark SQLAPIdataframe与dataset统一，dataframe只是dataset[Row]的类型别名SparkSession：统一SQLContext和HiveContext，新的上下文入口为SparkSession开发的一种新的流式调用的configuration apiaccumulator功能增强：便捷api、web ui支持、性能更高dataset的增强聚合apiSQL支持sql 2003标准支持ansi-sql和hive ql的sql pars...

2019-04-01 18:00:24 阅读(3694)

avg、sum、max、min、count、countDistinctcollect_list、collect_setcollect_list，就是将一个分组内，指定字段的值都收集到一起，不去重collect_set，同上，但是唯一的区别是，会去重都用于将同一个分组内的指定字段的值串起来，变成一个数组，常用于行转列Scala代码package cn.study.spark2 import org.apache.spark.sql.SparkS...

2019-04-01 12:00:24 阅读(2741)

大商创多用户商城2.7.3.3版本版本主要进行了以下的bug修复1、新增一键补单功能，已生成账单的遗漏订单，一键重新生成新的账单2、优化后台审核提现3、优化后台编辑商品重量输入文本框仅支持输入数字4、优化后台删除商品操作5、优化后台点击查看待审核账单数量显示问题6、优化会员注册手机号码号段校验7、修复首页可视化模块选择二级分类不显示8...

2019-04-01 12:00:07 阅读(2638)

typed操作coalesce、repartition都是用来重新定义分区的区别在于：coalesce，只能用于减少分区数量，而且可以选择不发生shufflerepartiton，可以增加分区，也可以减少分区，必须会发生shuffle，相当于是进行了一次重分区操作distinct、dropDuplicates都是用来进行去重的，区别在哪儿呢？distinct，是根据每一条数据，进行完整内容的比对和去重...

2019-03-31 22:00:42 阅读(2112)

action操作collect、count、first、foreach、reduce、show、takeScala代码示例package cn.study.spark2 import org.apache.spark.sql.SparkSession /**  * action操作详解  *   * collect、count、first、foreach、reduce、show、take  *   */ object ActionOperation&n...