编程那点事
使用PPT画系统架构图
最近，在做一个商城系统方面的视频教程，其中需要画商城的系统架构，网上有很多软件教人怎么画系统架构图，比如UIDesigner、Visio等。但是本人的电脑上并没有安装，于是用PPT画了个电商系统的系统架构图，具体操作如...
技术文章
电商行业的几种模式
B2B企业到企业，商家到商家，典型代表：阿里巴巴、慧聪网。B2C电子商务网站由三个基本部分组成：1、为顾客提供在线购物场所的商场网站;2、负责为客户所购商品进行配送的配送系统;3、负责顾客身份的确认及货款结算的...
电商行业的技术特点
技术新技术范围广分布式分布式：一件事情，拆开来做一个业务分拆多个子业务，分成不同的工程，部署在不同的服务器上高并发、集群、负载均衡、高可用并发量特别大集群：同样的事情，大家一起做，集群是个物理形态，同...
高阶技术之自定义Receiver
spark streaming可以从任何数据源来接收数据，哪怕是除了它内置支持的数据源以外的其他数据源（比如flume、kafka、socket等）。如果我们想要从spark streaming没有内置支持的数据源中接收实时数据，那么我们需要自己...
接收flume实时数据流
flume风格的基于push的方式Flume被设计为可以在agent之间推送数据，而不一定是从agent将数据传输到sink中。在这种方式下，Spark Streaming需要启动一个作为Avro Agent的Receiver，来让flume可以推送数据过来。下面是...
大商创独立IM客服系统和第三方IM客服系统（云旺IM、美洽客服）的优劣对比
自建的商城系统，比如大商创商城系统，客服一直是一个头疼的问题，比如，云旺IM，它可以在pc和wap端使用，但是在微商城和小程序里面，云旺im又没法使用。美洽客服的话只能在wap端使用，但是这样客服系统就没法同步了...
大商创如何修改或重置admin管理员密码
这篇文章的前提是，你还记得原大商创管理员的密码，登陆到商城系统后台的前提下操作的。修改大商创admin管理员密码的入口有2个。1、在商城系统的后台，把鼠标移至admin的头像上，会出现一个下拉菜单，菜单里面有个【...
大商创小程序前端源码
大商创也有小程序了，但是大商创小程序前端源码只是简单了满足了购物的功能，比如其他附带的功能比如批发啊、入驻之类的都没有在小程序前端实现，下面就由编程入门简单的截几张大商创小程序的页面。1、首先是小程序...
flume安装
安装flume下载flume解压到/usr/local目录下重命名为mv apache-flume-1.5.0-cdh5.3.6-bin flume配置环境变量修改配置文件vi conf/flume-conf.properties#agent1表示代理名称agent1.sources=source1 agent1.sink...
大商创二次开发提示非法入口。 必须登录才能完成操作。
今天，在做大商创的二次开发，客户需要在注册的时候新增一些信息，比如新增一些图片上传、下拉框的选择等。为了方便后期的维护，因此所有页面都是新增的，我在user.php下新增了user_register的act，在前台访问的时候...
大商创商家入驻“我要入驻”、“入驻进度查询”按钮消失问题解决
今天，有使用大商创商城系统的用户向我反映，在商家入驻页面merchants.php，之前的“我要入驻”和“入驻进度查询”按钮突然消失了。正常情况下的入驻页面如下图所示，有个快捷入口的。首先想到的是是不是后台设置了关闭...
大商创搜索结果不准确原因分析
最近，有使用大商创商城系统的客户跟我说，大商创的搜索结果不准确啊，于是来到了大商创的search.php页面看代码，也找到了所谓的搜索结果不准确的原因。首先大商创的搜索原理是，利用scws把关键词进行了中文分词，比...
人人商城开店版、分销版、商家版、VIP尊享版、企业开源版5个版本的区别
人人商城目前有5个版本，很多人可能都被这5个版本搞乱了吧，下面就由编程入门为大家解释下5个版本的区别，首先从包含的功能上来说他们5个版本分别开店版>分销版>商家版>VIP尊享版>企业开源版。下面，我...
性能调优
数据接收并行度调优通过网络接收数据时（比如Kafka、Flume），会将数据反序列化，并存储在Spark的内存中。如果数据接收称为系统的瓶颈，那么可以考虑并行化数据接收。每一个输入DStream都会在某个Worker的Executor上...
容错机制以及事务语义详解
容错机制的背景要理解Spark Streaming提供的容错机制，先回忆一下Spark RDD的基础容错语义：RDD，Ressilient Distributed Dataset，是不可变的、确定的、可重新计算的、分布式的数据集。每个RDD都会记住确定好的计算...
部署、升级和监控应用程序
部署应用程序有一个集群资源管理器，比如standalone模式下的Spark集群，Yarn模式下的Yarn集群等。打包应用程序为一个jar包，课程中一直都有演示。为executor配置充足的内存，因为Receiver接受到的数据，是要存储在Ex...
Checkpoint机制
概述每一个Spark Streaming应用，正常来说，都是要7 * 24小时运转的，这就是实时计算程序的特点。因为要持续不断的对数据进行计算。因此，对实时计算应用的要求，应该是必须要能够对与应用程序逻辑无关的失败，进行...
缓存、持久化机制
与RDD类似，Spark Streaming也可以让开发人员手动控制，将数据流中的数据持久化到内存中。对DStream调用persist()方法，就可以让Spark Streaming自动将该数据流中的所有产生的RDD，都持久化到内存中。如果要对一个DS...
Stream的output操作以及foreachRDD详解
output操作OutputMeaningprint打印每个batch中的前10个元素，主要用于测试，或者是不需要执行什么output操作时，用于简单触发一下job。saveAsTextFile(prefix, [suffix])将每个batch的数据保存到文件中。每个batch的...
window滑动窗口以及热点搜索词滑动统计案例实战
Spark Streaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据，会被聚合起来执行计算操作，然后生成的RDD，会作为window DStream的一个RDD。比如下图...
