编程那点事
大商创如何修改或重置admin管理员密码
这篇文章的前提是，你还记得原大商创管理员的密码，登陆到商城系统后台的前提下操作的。修改大商创admin管理员密码的入口有2个。1、在商城系统的后台，把鼠标移至admin的头像上，会出现一个下拉菜单，菜单里面有个【修改密码】选项，在这里你可以很方便 修改密码2、依次点击【平台】→【权限】→【管理员列表】→【编辑】最后，至于怎么修改或...
大商创小程序前端源码
大商创也有小程序了，但是大商创小程序前端源码只是简单了满足了购物的功能，比如其他附带的功能比如批发啊、入驻之类的都没有在小程序前端实现，下面就由编程入门简单的截几张大商创小程序的页面。1、首先是小程序的个人中心页面，我们需要先点“授权登录”才可以进行下面的操作2、下面是小程序的首页截图3、下面是小程序前端的分类页面，几...
flume安装
安装flume下载flume解压到/usr/local目录下重命名为mv apache-flume-1.5.0-cdh5.3.6-bin flume配置环境变量修改配置文件vi conf/flume-conf.properties#agent1表示代理名称agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1#配置source1agent1.sources.source1.type=spooldir agent1.sources.source1.spoolDir=/us...
大商创二次开发提示非法入口。 必须登录才能完成操作。
今天，在做大商创的二次开发，客户需要在注册的时候新增一些信息，比如新增一些图片上传、下拉框的选择等。为了方便后期的维护，因此所有页面都是新增的，我在user.php下新增了user_register的act，在前台访问的时候报错了，具体如下非法入口。必须登录才能完成操作。后来仔细翻了下user.php的代码，发现只要在$not_login_arr和$ui_arr下添加...
大商创商家入驻“我要入驻”、“入驻进度查询”按钮消失问题解决
今天，有使用大商创商城系统的用户向我反映，在商家入驻页面merchants.php，之前的“我要入驻”和“入驻进度查询”按钮突然消失了。正常情况下的入驻页面如下图所示，有个快捷入口的。首先想到的是是不是后台设置了关闭入驻功能，于是来到系统设置 → 商店设置 → 显示设置，只找到了2个关于入驻方面的设置：入驻申请必填功能是否需要开启、入...
性能调优
数据接收并行度调优通过网络接收数据时（比如Kafka、Flume），会将数据反序列化，并存储在Spark的内存中。如果数据接收称为系统的瓶颈，那么可以考虑并行化数据接收。每一个输入DStream都会在某个Worker的Executor上启动一个Receiver，该Receiver接收一个数据流。因此可以通过创建多个输入DStream，并且配置它们接收数据源不同的分区数据，达...
容错机制以及事务语义详解
容错机制的背景要理解Spark Streaming提供的容错机制，先回忆一下Spark RDD的基础容错语义：RDD，Ressilient Distributed Dataset，是不可变的、确定的、可重新计算的、分布式的数据集。每个RDD都会记住确定好的计算操作的血缘关系，（val lines = sc.textFile(hdfs file); val words = lines.flatMap(); val pairs = words.map(); val wordCo...
部署、升级和监控应用程序
部署应用程序有一个集群资源管理器，比如standalone模式下的Spark集群，Yarn模式下的Yarn集群等。打包应用程序为一个jar包，课程中一直都有演示。为executor配置充足的内存，因为Receiver接受到的数据，是要存储在Executor的内存中的，所以Executor必须配置足够的内存来保存接受到的数据。要注意的是，如果你要执行窗口长度为10分钟的窗口操作...
Checkpoint机制
概述每一个Spark Streaming应用，正常来说，都是要7 * 24小时运转的，这就是实时计算程序的特点。因为要持续不断的对数据进行计算。因此，对实时计算应用的要求，应该是必须要能够对与应用程序逻辑无关的失败，进行容错。如果要实现这个目标，Spark Streaming程序就必须将足够的信息checkpoint到容错的存储系统上，从而让它能够从失败中进行恢...
缓存、持久化机制
与RDD类似，Spark Streaming也可以让开发人员手动控制，将数据流中的数据持久化到内存中。对DStream调用persist()方法，就可以让Spark Streaming自动将该数据流中的所有产生的RDD，都持久化到内存中。如果要对一个DStream多次执行操作，那么，对DStream持久化是非常有用的。因为多次操作，可以共享使用内存中的一份缓存数据。对于基于窗口的操...
