编程那点事

2019-04-03 22:00:25 阅读(2031)

Spark 1.0版本开始，推出了Spark SQL。其实最早使用的，都是Hadoop自己的Hive查询引擎；但是后来Spark提供了Shark；再后来Shark被淘汰，推出了Spark SQL。Shark的性能比Hive就要高出一个数量级，而Spark SQL的性能又比Shark高出一个数量级。最早来说，Hive的诞生，主要是因为要让那些不熟悉Java，无法深入进行MapReduce编程的数据分析师，能够...

2019-04-03 18:00:33 阅读(39492)

首先我们需要下载内网穿透工具frp的，下载地址是：https://github.com/fatedier/frp/releases目前最新的是0.25.3，frp_0.25.3_windows_amd64.zip用于64位的服务器，frp_0.25.3_windows_386.zip用于32位的服务器，当然如果你的服务器配置很低，可能还是会用到32位版本的。下载完后，我们解压，把文件中的frps.exe和frps.ini拷贝至服务器C盘的f...

2019-04-03 12:55:21 阅读(61037)

之前我们讲了frp在windows服务器下的配置，本课程我们讲下客户端frpc的配置，c就是client了。我们之前已经完成了frp的下载，不会下载的看我们之前的文章：Windows服务器端内网穿透工具frps安装及使用教程首先，我们把frpc.exe和frpc.ini拷贝至c盘，目录结构如下图所示，当然你拷贝至其他盘也是一样的，看个人喜好了。修改frpc.ini文件，[commo...

2019-04-03 12:00:45 阅读(1938)

TeamViewer现在是越来越严格，本来是想买他的服务的，但是感觉太贵了，每年要1000多。而且最近我的TeamViewer打开一直提示：未就绪，请检查你的连接，我估计是ip是被封了。于是找到了frp，1000多我可以买个阿里云服务器了，平常做做远程连接，还能部署部署自己的网站博客等。frp 是一个可用于内网穿透的高性能的反向代理应用，支持 tcp, udp, ...

2019-04-03 12:00:41 阅读(2578)

Spark 2.x与1.x对比Spark 1.x：Spark Core（RDD）、Spark SQL（SQL+Dataframe+Dataset）、Spark Streaming、Spark MLlib、Spark GraphxSpark 2.x：Spark Core（RDD）、Spark SQL（ANSI-SQL+Subquery+Dataframe/Dataset）、Spark Streaming、Structured Streaming、Spark MLlib（Dataframe/Dataset）、Spark Graphx、Second Generation Tungste...

2019-04-03 12:00:18 阅读(3314)

whole-stage code generation要对Spark进行性能优化，一个思路就是在运行时动态生成代码，以避免使用Volcano模型，转而使用性能更高的代码方式。要实现上述目的，就引出了Spark第二代Tungsten引擎的新技术，whole-stage code generation。通过该技术，SQL语句编译后的operator-treee中，每个operator执行时就不是自己来执行逻辑了，而是通过wh...

2019-04-02 22:00:53 阅读(4587)

整体的项目结构是这样的，A项目是一个web项目，B项目也是一个web项目，B依赖于A项目，我们在maven编译的时候也报错：xxx程序包不存在但是我们又能进到所谓的不存在的程序包里面。是因为有些IDE没法很智能的做到，直接去引用war里头的class，这个时候我们在打包war的时候，就要打包class的资源。解决方法如下A项目的pom文件<plugin> &nb...

2019-04-02 22:00:27 阅读(2697)

深入剖析Spark 2.x的第二代tungsten引擎原理之前，先看一下当前的Spark的工作原理。我们可以通过一个SQL来举例，这个SQL扫描了单个表，然后对属性等于指定值的记录进行汇总计数。SQL语句如下：select count(*) from store_sales where ss_item_sk=1000要执行这个查询，Spark 1.x会使用一种最流行、最经典的查询求值...

2019-04-02 18:00:32 阅读(1995)

Spark Streaming应该说是将离线计算操作和流式计算操作统一起来的大数据计算框架之一。从Spark 0.7开始引入的Spark Streaming，为开发人员提供了很多有用的特性：一次且仅一次的语义支持、容错性、强一致性保证、高吞吐量。但是实际上在真正工业界的流式计算项目中，并不仅仅只是需要一个流式计算引擎。这些项目实际上需要深度地使用批处理计...

2019-04-02 18:00:03 阅读(5882)

idea开发，maven编译的时候发现报错：程序包不存在如上图所示，easypoi是我在lib目录下自己添加的jar包。但我们在错误代码下又能进到该类的classes文件，就是编译通不过。要解决程序包不存在的问题的话只需要在pom文件下新增如下代码即可<plugin>              &nbs...