Navi.Soft31.任务管理器(定时同步+数据搜集)

本文版权归搜狐和作者吴双本人共同所有 转载和爬虫请声明原文地址
www.cnblogs.com/tdws

1系列简介

一.写在前方

ZK是一个连忙的分布式协调服务,高可用的分布式管理协调框架。
朋友推荐一本书《从paxos到zookeeper》,对自家帮忙的确很大。 

1.1功能简述

在诸多的软件分类中,有几类的软件不是很要紧,但也很要紧。它们有的是每隔一段时间需要执行一些任务的软件,我们叫它定时类软件;还有一种软件是采访网页中的数据,我们叫它收集类软件。

本产品是任务管理器,包括上述2种软件

一齐服务,可以依照安排好的小运间隔执行任务。能够每隔一段时间,也可以在某个时刻点实施

采集服务,可以收集指定页面的数目,用于大数据解析。可遵照网址直接采访,也可以可视化采集(如:天猫中本人的订单,就是急需登录才能募集)

二.集群配置和踩坑

java安装和环境变量配置可以参考 http://www.cnblogs.com/tdws/p/4096300.html 

1 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz   下载
2  
3 tar -zxvf zookeeper-3.4.10.tar.gz   解压
4  
5 mv zookeeper-3.4.10 /usr/local  剪切
6  
7 mv zookeeper-3.4.10/ zookeeper 重命名

下面修改配置文件命名

1 cd /usr/local/zookeeper/conf
2 mv zoo_sample.cfg zoo.cfg

布局一共没几行 。指定安排中的 
dataDir

dataDir=/usr/local/zookeeper/data

自行mkdir创建data文件夹。

在配备文件末尾 配置集群
我是单台机械伪集群 七个节点

1 server.1=your_ip:20881:30881
2 server.2=your_ip:20882:30882
3 server.3=your_ip:20883:30883

在data文件夹中创建文件myid
来做一个标识

nano myid 在文书中填写0
并且保留。需要注意的是刚刚大家的zookeeper文件夹是不选拔的,仅看成我们copy新节点的原本。

接下去复制三份zk

1 cp -r zookeeper/ zookeeper1
2 cp -r zookeeper/ zookeeper2
3 cp -r zookeeper/ zookeeper3

 

图片 1

独家修改三台节点 其datadir
将路径指定到温馨节点之下

个别修改其端口号和myid,是逐一zoo.conf
配置的中间port 设置分别为2181 2182 2183

各样myid内容分别为1 2 3

下面 去三个zk bin目录下 执行zkServer.sh
start

图片 2

 

第一次 出错

Error contacting service. It is probably
not running.

哎 检查好多少个钟头ZK配置文件
试了十三种艺术,
结果在此以前JAVA_HOME不小心配置错了,我是yum安装的jdk。

 

第二次 出错与解决

后来又出一次错误 是自己stop zk所有节点之后
再度启航起不来 首先 jps命令 然后看到进程id和QuorumPeerMain

把Quorumpeermain的进程kill -9杀死

 

第三次
我丢雷楼某! 这一个真是麻烦了

一经接纳阿里云ECS
专有网络+弹性公网IP

相似无法从来在ECS实例的顺序例绑定和应用弹性公网IP地址。因为那个公网IP地址在ECS之外。所以我开了颇具的端口,根本没有用,最终动用0.0.0.0解决问题。

1 server.1=0.0.0.0:20881:30881
2 server.2=0.0.0.0:20882:30882
3 server.3=0.0.0.0:20883:30883

图片 3

图片 4

1.2运作环境

.NET Framework 4.0

三.采取和小结

读书ZK一段时间,原生API比较难以使用,一般采纳zkClient(dubbo依赖于此)和curator框架来操作ZK相比容易。 其非凡应用场景包括以下几点:

1.多少发布与订阅

   
ZK在dubbo中作为注册中央的角色,服务方和调用方都在此间登记。举例来验证,我公布了一个dubbo
service,消费者webapp引用这些服务

 <dubbo:service interface="com.s2s.service.ItemService" ref="itemServiceImpl"/>   发布的服务

 <dubbo:reference interface="com.s2s.service.ItemService" id="itemService"/>     引用服务(将使用RPC调用)

  接下去去服务器上查看数据节点,

图片 5

可以观望根目录上有dubbo节点,dubbo下有com.s2s.service.Item瑟维斯(Service),
其节点下又有consumers和providers等。

图片 6图片 7

服务提供者启动时向/dubbo/com.s2s.service.Item瑟维斯(Service)(Service)/providers目录下写入URL

劳动消费者启动时订阅/dubbo/com.s2s.service.Item瑟维斯(Service)(Service)/providers目录下的URL。
并且向/dubbo/com.s2s.service.Item瑟维斯(Service)/consumers目录下写入自己的URL 

监察主题启动时订阅/dubbo/com.s2s.service.ItemService/目录下的享有提供者和买主URL。

故而dubbo监控中央,查看到顾客和服务提供者

图片 8

图片 9

2.载荷均衡

3.命名服务

4.分布式通告和协调

5.集群管制与Master选举

6.分布式锁

    有成千上万人用它做分布式锁
然而做法相比底层。临时节点是在两回对话内立竿见影,保证了出现相当时,锁能得以释放。比如client1
做分布式操作 这他创设一个暂时节点 然后去做一些别样数据操作 做完操作后,
再去把临时节点移除。这时c2才能去操作。假如有10个客户端
要操作同一个数量,可是那多少个数目,有六个复制的本子
在不同的DB当中(当然值是同一)。

本条时候 分布式锁的效益就是同步操作。客户端1 操作 这条数据,
这就去zk立刻 就create个节点 代表占用了这条数据,这时候客户端2
并发操作那条数据 先去zk上get一下这些节点,get到的话
可以等待一下,等客户端1 释放掉后,去重新create一下攻克数据。

7.分布式队列

正文首假诺安装配置,分布式理论的读书依旧相比好,接下去将会持续享受实践中的收获。

1.3行使方法

双击软件图标,打开登录页面,验证成功后弹出如图1-1所示

图片 10

图1-1

1.4出品亮点

l 定时模块,任务项目包括:间隔时间和岁月点

l 采集模块,协理可视化采集和非可视化采集

l 完善的日记模块协理问题的定势和化解

2齐声服务

2.1配备同步项

图片 11

设若定义好同步项,这些共同项可保留至内存中,也得以储存在数据库中。用于定义有怎么着任务需要定时执行

2.2运转同步项

图片 12

如上图所示

1,
记录同步项的起初和终止时间,定时执行次数,还有配备项,如:间隔时间,时间点等

2, 最上面的日记用于出口同步项的操作结果

2.3定时邮件

是指程序每间隔一定时间,向系统管理员发送邮件。以文告管理员系统运行如常

2.4安排采集项

是采集模块范围,下一些详细描述

3数码收集

3.1主界面

图片 13

图3-1

如上图所示

1.
本产品早已嵌入多少个采访模板,如:网易、糗事百科、Tmall网和1688(需登录后可视化采集)

2.
当选某个采集模板,点击:创造,相当于成立了这多少个模板的一个实例(可同时创设多个)

  1. 再选中某个实例,点击:开端。实现采集数据
3.2成立实例

图片 14

3.3开首收集

图片 15

如上图所示

点击起始后,实现数量收集

3.4收集结果

图片 16

3.5可视化采集

图片 17

假如可视化采集,点击:起始的时候,会活动弹出可视化采集页面(注:有的需要登录)

3.5.1调试

图片 18

l 取分页数:是指获取有多少分页,如下图所示

图片 19

l 采集当页:是指只采集当前页数据,如下图所示

图片 20

l 下一页:是指当前页采集完成后,间接触及:下一页按钮,实现页面翻转

3.5.2登录帐户

是指登录的帐户和密码,可平昔复制。当然,需要提前部署好才行

3.5.3采集

采集是指利用调试中的情势,实现对富有页面的募集。步骤如下

a. 先取得有稍许分页

b. 循环从第1页开首搜集

c. 当前页采集成功后,再触发下一页按钮,采集第2页,直至所有页面均采集完成

3.6组件化开发

图片 21

无论可视化采集,如故非可视化采集。均已落实组件化开发。如:采集页面唯有一个,不同的采集模板,只需传入不同的参数即可兑现

4FAQ

4.1FAQ1

问:若360安然无恙警卫开启时,会弹出是否允许此程序运行,如图8-1所示

图片 22

图8-1

答:选取:一直允许运行(参预白名单)

4.2FAQ2

问:可视化采集页面中的浏览器控件用的是哪位?

答:可视化采集控件接纳的是微信自带的WebBrowser控件,在Win7或Win10连串中,它需要修改注册,来确保使用的IE内核与系统的IE内核保持一致

5后记

对本产品感兴趣的,可以加我微信号(xiyang1011或13867408830)私聊

 

自家的博客即将搬运一头至腾讯云+社区,邀请我们一同入驻:https://cloud.tencent.com/developer/support-plan