
标签:
austin项目核心功能:统一的接口发送各种类型消息,对消息生命周期全链路追踪。
项目出现意义:只要公司内有发送消息的需求,都应该要有类似austin的项目,对各类消息进行统一发送处理。这有利于对功能的收拢,以及提高业务需求开发的效率。
austin项目核心流程:austin-api接收到发送消息请求,直接将请求进MQ。austin-handler消费MQ消息后由各类消息的Handler进行发送处理。
Question :为什么发个消息需要MQ?
Answer:发送消息实际上是调用各个服务提供的API,假设某消息的服务超时,austin-api如果是直接调用服务,那存在超时风险,拖垮整个接口性能。MQ在这是为了做异步和解耦,并且在一定程度上抗住业务流量。
Question:能简单说下接入层做了什么事吗?
Answer:
Question:austin-stream和austin-datahouse的作用?
Answer:austin-handler在发送消息的过程中会做些通用业务处理以及发送消息,这个过程会产生大量的日志数据。日志数据会被收集至MQ,由austin-stream流式处理模块进行消费并最后将数据写入至austin-datahouse
Question:austin-admin和austin-web和austin-cron的作用?
Answer:autsin-admin是austin项目的前端项目,可通过它实现对管理消息以及查看消息下发的情况,而austin-web则是提供相关的接口给到austin-admin进行调用(austin项目是前后端分离的)
业务方可操作austin-admin管理后台调用austin-web创建定时发送消息,austin-cron就承载着定时任务处理的工作。
使用姿势
目前引用的中间件教程的安装姿势均基于Centos 7.6(完全部署所有的服务,大概8G内存),austin项目强依赖MySQL/Redis/Kafka/apollo,弱依赖prometheus/graylog/flink/xxl-job。
1、austin使用的MySQL版本5.7x。如果目前使用的MySQL版本8.0,注意改变pom.xml所依赖的版本
2、填写application.properties中austin-database对应的ip/port/username/password信息
3、执行sql文件夹下的austin.sql创建对应的表以及插入测试数据
4、填写application.properties中austin-kafka对应的ip/port信息
5、填写application.properties中austin-redis对应的ip/port信息
6、检查apollo的app.id/apollo.bootstrap.namespaces,检查创建的消息队列topic:austin.business.topic.name
7、以上配置信息都在application.properties文件中修改。
8、由于使用了Apollo且我是在云服务器上安装的,我这边会直接跳过metaserver服务发现,在AustinApplication需要配置对应的apollo地址(注意端口!)
9、发送渠道账号的信息都配置在apollo,配置的示例参照com.java3y.austin.support.utils#getAccount中的注释
10、调用http接口com.java3y.austin.web.controller#send给自己发一条短信或者邮件感受
curl -XPOST "127.0.0.1:8080/send" -H 'Content-Type: application/json' -d '{"code":"send","messageParam":{"extra":null,"receiver":"13719333899"},"messageTemplateId":1}'
11、austin前端管理系统部署(一分钟即能打开)
12、正常使用数据管理(查看实时数据链路下发)需要将austin-stream的jar包上传至Flink,根据部署文档启动Flink。在打jar包前需要填写com.java3y.austin.stream.constants.AustinFlinkConstant中的redis和kafka的ip/port(注:日志的topic在application.properties中的austin.business.log.topic.name。如果没有该topic,需要提前创建)
13、正常使用定时任务需要部署xxl-job,根据部署文档启动xxl的调度中心,并在application.properteis中填写 austin-xxl-job-ip和austin-xxl-job-port
14、正常使用分布式日志采集需要部署graylog,根据部署文档启动graylog,并在application.properteis中填写 austin-grayLog-ip
14、正常使用系统监控需要部署promethus和grafana,根据部署文档配置grafana图表
里程碑
Maven+SpringBoot项目搭建
logback日志记录项目运行时信息,引入common/guava/Hutool/Lombok/fastjson/OkHttp工具包
接入腾讯云渠道发送一条短信
使用SpringData JPA将短信发送记录存储至MySQL
使用SpringBoot接入Kafka
利用责任链完成对接入层的请求进行封装(责任链模式)
消费层实现数据隔离(线程池:生产者与消费者模式)
通用去重消息功能(SpringBoot接入Redis并使用pipeline减少网络请求)
配置服务器和docker容器以及SpringBoot应用的监控(prometheus+Grafana+auctuator)
接入分布式配置中心完成 丢失消息、白名单以及账号配置(Apollo分布式配置中心)
邮件渠道接入
日志链路数据追踪 + 注解式打印日志(优雅打印日志以及数据埋点)
接入GrayLog分布式日志收集框架
引入前端低代码平台AMIS搭建后台管理页面
接入分布式定时任务框架定时发送任务(xxl-job定时任务框架),编写上传文件接口并使用LazyPending批处理人群文件数据
接入实时流计算平台(Flink),实时日志数据根据用户维度和消息模板维度清洗至Redis
通过AMIS低代码平台接入echarts图表展示实时聚合后的数据
优雅停机、动态线程池参数配置
企业微信渠道接入
夜间屏蔽次日早晨推送(xxl-job定时任务框架,另类的延时队列)
钉钉渠道接入
单机限流实现
引入单测框架,编写部分单测用例
接入微信服务号渠道(已有pull request代码)
接入微信小程序渠道(已有pull request代码)
接入PUSH渠道
总体架构已完成,持续做基础建设和优化代码

加载全部内容
jdchain 区块链框架系统943KB110人下载京东区块链 JD Chain 是一个企业级的区块链框架系统,具有简洁、易用、可扩展和高性能的特点。 核心实现采用 Java 语言,学习门槛低,运维简便,无缝兼容企业应用IT架构。 这是主项目仓库,主要包括了文档和集成打包的结构,以及多个Git子模块仓库framework, core, explore 等。JD Chain 的目标是实现一个面向企业应用场景的通用区块链框架系统,能够作为企业级基础设施
下载ApacheMaven项目构建工具4.41MB109人下载Apache Maven项目构建工具是一个流行的Java项目构建系统。目前,绝大多数开发人员都把Ant当作Java编程项目的标准构建工具。遗憾的是,Ant的项目管理工具(作为make的替代工具)不能满足绝大多数开发人员的需要。通过检查Ant构建文件,很难发现项目的相关性信息和其它元信息(如开发人员/拥有者、版本或站点主页)。Maven除了以程序构建能力为特色之外,还提供Ant所缺少的高级项目管理工
下载
MaxKey单点登录认证系统 官方版20.59 MB109人下载MaxKey单点登录认证系统 官方版(马克思的钥匙)用户单点登录认证系统(Sigle Sign On System),寓意是最大钥匙,是业界领先的企业级IAM身份管理和身份认证产品,支持OAuth 2.0/OpenID Connect、SAML 2.0、JWT、CAS等标准化的开放协议,提供简单、标准、安全和开放的用户身份管理(IDM)、身份认证(AM)、单点登录(SSO)、RBAC权限管理和资源管理等。这里下载站为您提供MaxKey单点登录认证系统 官方版下载,欢迎您使用这里下载站安装体验!
下载SkyWalking应用性能监控系统4.16MB109人下载SkyWalking 是一款开源的应用性能监控系统,包括指标监控,分布式追踪,分布式系统性能诊断。功能:1、服务,服务实例,端点指标分析2、根本原因分析。在运行时分析代码。阅读Apache SkyWalking:使用性能分析来修复分布式跟踪的盲点。3、服务拓扑图分析4、服务,服务实例和端点依赖关系分析5、检测到慢速服务和端点6、性能优化7、分布式跟踪和上下文传播8、数据库访问指标。检测慢速数据库访
下载bishengjdk-8 毕昇JDK8131.38MB108人下载毕昇JDK 8是华为内部OpenJDK定制版Huawei JDK的开源版本,是一个高性能、可用于生产环境的OpenJDK发行版。Huawei JDK运行在华为内部500多个产品上,积累了大量使用场景和java开发者反馈的问题和诉求,解决了业务实际运行中遇到的多个问题,并在ARM架构上进行了性能优化,毕昇JDK运行在大数据等场景下可以获得更好的性能。毕昇JDK 8与Java SE标准兼容,目前仅支持
下载
kkFileView在线预览 官方版184.50MB107人下载 kkFileView在线预览是一款使用spring boot打造的文件文档在线预览项目解决方案,支持doc、docx、ppt、pptx、xls、xlsx、zip、rar、mp4、mp3以及众多类文本如txt、html、xml、java、properties、sql、js、md、json、conf、ini、vue、php、py、bat、gitignore等文件在线预览。
下载
Jenkins持续集成引擎 正式版17.87 MB107人下载Jenkins持续集成引擎 正式版的前身是Hudson是一个可扩展的持续集成引擎。Jenkins是一款开源CI&CD软件,用于自动化各种任务,包括构建、测试和部署软件。Jenkins支持各种运行方式,可通过系统包、Docker或者通过一个独立的Java程序。这里下载站为您提供Jenkins持续集成引擎 正式版下载,欢迎您使用这里下载站安装体验!
下载Jpom 监控管理系统 正式版1.55MB107人下载Jpom项目监控软件是一款简而轻的低侵入式在线构建、自动部署、日常运维、项目监控软件。Jpom项目监控软件主要功能及特点:1、创建、修改、删除项目、Jar包管理2、实时查看控制台日志、备份日志、删除日志、导出日志3、cpu、ram 监控、导出堆栈信息、查看项目进程端口、服务器状态监控4、多节点管理、多节点自动分发5、实时监控项目状态异常自动报警6、在线构建项目发布项目一键搞定7、多用户管理,用户项
下载LinkWeChat开源系统 免费版8.64MB105人下载LinkWeChat,是一款基于企业微信的开源 SCRM 系统,为企业构建私域流量系统的综合解决方案,能显著提升企业社交运营效率。
下载
ofdrw读写库98.15MB104人下载使用ofdrw读写库可以像写HTML和Word那样简单的编写OFD。根据《GB/T 33190-2016 电子文件存储与交换格式版式文档》标准实现版式文档OFD库(含有书签)。ofdrw读写库项目结构:ofdrw-core OFD核心API,参考《GB/T 33190-2016 电子文件存储与交换格式版式文档》实现的基础数据结构。ofdrw-font 生成OFD字体相关。ofdrw-layout
下载