Java教程之基于XXL-JOB实现分布式任务调度的实现

背景

笔者以前在电商公司,我们需要在8月18号做大促活动,我们会提前一天给所有的用户推送活动信息,且需要根据用户画像生成不同的推送内容。

当时我们总共有80万用户左右。

经测试,通过Spring Task和分布式锁,单台机器同时开启5个线程,执行时间需要27个小时左右,即便开10个线程,需要14个小时左右,显然执行时间过长。

解决方案

当时个推服务部署节点有3台,在每年大促期间可动态扩容,其余的机器资源没有充分利用起来。

要想短时间内完成推送,那么就得想办法让每台机器各自分一部分用户数据去执行,这样效率可提高原来的N倍。

那么就需要分布式任务去执行,核心思想如下图:

Java教程之基于XXL-JOB实现分布式任务调度的实现

经过调研现有的开源的分布式任务调度框架,决定在elastic-job和xxl-job中选一个

Elastic Job是当当网开源一个分布式调度解决方案,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成;定位为轻量级无中心化解决方案,使用 jar 包的形式提供分布式任务的协调服务。支持分布式调度协调、弹性扩容缩容、失效转移、错过执行作业重触发、并行调度、自诊断和修复等等功能特性。

XXL-Job官网是大众点评发布的分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。

更倾向于选择XXL-JOB:

轻量级,支持通过Web页面对任务进行动态CRUD操作,操作简单只依赖数据库作为集群注册中心,接入开发简单,不需要ZK高可用、解耦、高性能、监控报警、分片、重试、故障转移团队持续开发,社区活跃支持后台直接查看每个任务执行实时日志具体实现在项目中集成xxl-job客户端<dependency> <groupId>com.xuxueli</groupId> <artifactId>xxl-job-core</artifactId> <version>2.2.0</version> </dependency>在配置文件中配置xxl-job信息xxl: job: accessToken: admin: addresses: http://xxl部署IP地址:8080/xxl-job-admin executor: appname: vm-service address: ip: port: 9989 logretentiondays: 30新增XxlJobConfig.javapackage com.itheima.config; import com.xxl.job.core.executor.impl.XxlJobSpringExecutor; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; / * xxl-job config * * @author xuxueli 2017-04-28 */ @Configuration @Slf4j public class XxlJobConfig { @Value(“${xxl.job.admin.addresses}“) private String adminAddresses; @Value(“${xxl.job.accessToken}“) private String accessToken; @Value(“${xxl.job.executor.appname}“) private String appname; @Value(“${xxl.job.executor.address}“) private String address; @Value(“${xxl.job.executor.ip}“) private String ip; @Value(“${xxl.job.executor.port}“) private int port; // @Value(“${xxl.job.executor.logpath}”) // private String logPath; @Value(“${xxl.job.executor.logretentiondays}“) private int logRetentionDays; @Bean public XxlJobSpringExecutor xxlJobExecutor() { log.info(“>>>>>>>>>>> xxl-job config init.”); XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor(); xxlJobSpringExecutor.setAdminAddresses(adminAddresses); xxlJobSpringExecutor.setAppname(appname); xxlJobSpringExecutor.setAddress(address); xxlJobSpringExecutor.setIp(ip); xxlJobSpringExecutor.setPort(port); xxlJobSpringExecutor.setAccessToken(accessToken); //xxlJobSpringExecutor.setLogPath(logPath); xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays); return xxlJobSpringExecutor; } }在xxl-job中新增执行器

注册方式选自动注册,这样方便动态扩容

Java教程之基于XXL-JOB实现分布式任务调度的实现
创建任务

路由策略选择分片广播

Java教程之基于XXL-JOB实现分布式任务调度的实现
代码部分

在任务代码获取推送用户时,根据当前的分片及分片总数对用户ID取余,这样我们就可以在每个分片节点,获取不一样的数据。id值越连续,分片则越均匀。

ShardingUtil.ShardingVO shardingVo = ShardingUtil.getShardingVo(); int numbers = shardingVo.getTotal(); //分片总数 int index = shardingVo.getIndex(); //当前分片索引

假设分片总数为3,当前节点获取到的分片索引为0,那么查询推送用户SQL如下:

SELECT user_id FROM `user_info` WHERE MOD(user_id,3)=0

注意:我们在实际代码中,分片总数和当前分片索引是以参数的形式传给查询的SQL语句的。

如上,即可完成分布式任务。

总结

在某些定时任务需要处理大量数据的情况下,我们可以通过引入分布式任务框架xxl-job,充分利用机器资源,将需要处理的数据均匀的分配到不同的机器上去执行,提高任务执行效率。

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:Java教程之基于XXL-JOB实现分布式任务调度的实现 https://www.dachanpin.com/a/cyfx/11897.html

赞 (0)
Java教程之教你更优雅的写法处理null检查
上一篇 2023-05-12 03:54:45
午评:科技股走强 创业板指高开高走涨近2%
下一篇 2023-05-12 03:55:48

相关推荐

  • 四项举措助职工创业创新

    组建创业创新导师团指导创新。选聘百名具有创业创新经验的优秀企业家加入创业创新导师团,精选50名劳模典型组成劳模志愿服务队,宣讲创业事迹,分享创业感悟,通过“点对点”指导帮助有创业意愿的人实现创业梦想。 宿迁网讯 今年以来,宿迁市总工会自加压力,开拓思维,努力从四个方面积极搭建创业创新平台,为服务大众创业、万众创新注入了活力。 兴办“众创空间”服务创业。通过市…

    创业分享 2023-05-22
  • 中国电信计划投入10亿元推动大学生创新创业

    原标题:中国电信计划投入10亿元推动大学生创新创业 9月14日,在中国电信天翼智能生态博览会上,由团中央学校部、全国学联秘书处主办,中国电信集团有限公司承办的2018年“创青春”全国大学生创业大赛“智慧校园”主题赛正式启动。同时,中国电信发布了“全国大学生创新创业扶植计划”,未来三年,将投入10亿元支持大学生创新创业。 大赛以“智慧校园”为主题,旨在为大学生…

    2023-05-16
  • 同济大学王倩 蔡三发:我国创新创业教育发展历程及未来思考

    一、创新创业教育的起源和内涵 [3] 王革,刘乔斐.高等学校一种新的教育理念——《中国大学创新创业教育发展报告》述评[J].中国高教研究, 2009(9):56-57. 附表 2 代表性院校创新创业教育模式 [5]黎青青,王珍珍.创新创业教育综述:内涵、模式、问题与解决路径[J].创新与创业教育,2019,10(01):14-18. 四、我国创新创业教育未来…

    创业分享 2023-05-13
  • 想要创业经营没有顾虑?加盟百袖时尚女装让你轻松经营

    对于创业这条路一直都是一条艰辛与漫长的道路,很多的人都曾在这条道路上付出过汗水与泪水,不断的付出与投入只是为了能够取得成功,为了能够让创业者能够在最大程度上取得成功,百袖女装总部结合自己多年的运营,管理经验帮加盟商制作属于适合自己的运作方案,让即使是完全没有开店经验的创业者也能打造成服装业的行家,加上总部提出的人性化退换货机制,彻底消除加盟商的后顾之忧,让其…

    2023-05-15
  • 天津理工大学学子“创青春”创业大赛斩获5金

      在本次比赛中,来自全市30余所高校的400余件作品入围市级评审,102件作品进入终审决赛。天津理工大学7个项目成功入围,内容涵盖农林畜牧食品、材料、信息技术电子商务、文化创意、服务咨询等门类。   一直以来,天津理工大学高度重视大学生科技创新创业教育。该校在全市范围内率先设立的大学生科技专项基金,迄今已资助创新创业项目8000余项。每年5000余名学生踊…

    创业分享 2023-05-31

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息