编程那点事
大商创如何重置或修改会员密码？
本文介绍如何修改或重置大商创会员的密码，具体步骤如下1、首先我们来到会员的列表页面，依次单击【平台】→【会员】→【会员列表】，比如我们需要修改“ecmoban”这个会员，我们再单击【查看】2、在【编辑会员账号】页...
输入DStream之Kafka数据源实战（基于Direct的方式）
基于Direct的方式这种新的不基于Receiver的直接方式，是在Spark 1.3中引入的，从而能够确保更加健壮的机制。替代掉使用Receiver来接收数据后，这种方式会周期性地查询Kafka，来获得每个topic+partition的最新的offse...
输入DStream之Kafka数据源实战（基于Receiver的方式）
基于Receiver的方式这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那...
输入DStream之基础数据源以及基于HDFS的实时wordcount程序
Socket：之前的wordcount例子，已经演示过了，StreamingContext.socketTextStream()HDFS文件基于HDFS文件的实时计算，其实就是，监控一个HDFS目录，只要其中有新文件出现，就实时处理。相当于处理实时的文件流。stre...
输入DStream和Receiver详解原理介绍
输入DStream代表了来自数据源的输入数据流。在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。除了文件数据流之外，所有的输入DStream都...
StreamingContext详解
有两种创建StreamingContext的方式：val conf = new SparkConf().setAppName(appName).setMaster(master);val ssc = new StreamingContext(conf, Seconds(1));Streami...
实时wordcount程序开发
安装nc工具：yum install nc如果遇到错误nc: Protocol not available，是因为版本太高删除原来的ncyum erase nc下载较低版本的nc的.rpm文件wget http://vault.centos.org/6.3/os/i386/Packages/nc-1....
SparkStreaming简介
大数据实时计算介绍Spark Streaming，其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架。它的底层，其实，也是基于我们之前讲解的Spark Core的。基本的计算模型，还是基于内存的大数据实时计算模型。而...
综合案例：新闻网站关键指标离线统计
新闻网站关键指标离线统计背景新闻网站版块新闻页面新用户注册用户跳出需求分析每天每个页面的PV：PV是Page View，是指一个页面被所有用户访问次数的总和，页面被访问一次就被记录1次PV每天每个页面的UV：UV是User V...
SparkSQLCLI命令行使用
Spark SQL CLI是一个很方便的工具，可以用来在本地模式下运行Hive的元数据服务，并且通过命令行执行针对Hive的SQL查询。但是要注意的是，Spark SQL CLI是不能与Thrift JDBC server进行通信的。如果要启动Spark SQL C...
