Code Monkey home page Code Monkey logo

opengoofy / hippo4j Goto Github PK

View Code? Open in Web Editor NEW
5.2K 73.0 1.1K 22.14 MB

📌 异步线程池框架,支持线程池动态变更&监控&报警,无需修改代码轻松引入。Asynchronous thread pool framework, support Thread Pool Dynamic Change & monitoring & Alarm, no need to modify the code easily introduced.

Home Page: https://hippo4j.cn

License: Apache License 2.0

Java 77.01% HTML 0.23% CSS 0.02% Shell 0.13% Batchfile 0.05% Dockerfile 0.05% JavaScript 3.13% Vue 16.31% SCSS 0.60% TypeScript 2.43% Less 0.05%
java thread-pool dynamic monitor dynamic-threadpool resizable blocking-queue springboot rocketmq kafka

hippo4j's Introduction

动态可观测线程池,提高系统运行保障能力

License Build Status

Docker Pulls codecov EN doc

Stargazers Over Time Contributors Over Time
Stargazers over time Contributor over time

开源地址


GitHub:opengoofy/hippo4j

Gitee:opengoofy/hippo4j

For full documentation & more details, visit: Docs

线程池痛点


线程池是一种基于池化**管理线程的工具,使用线程池可以减少创建销毁线程的开销,避免线程过多导致系统资源耗尽。在高并发以及大批量的任务处理场景,线程池的使用是必不可少的。

如果有在项目中实际使用线程池,相信你可能会遇到以下痛点:

  • 线程池随便定义,线程资源过多,造成服务器高负载。

  • 线程池参数不易评估,随着业务的并发提升,业务面临出现故障的风险。

  • 线程池任务执行时间超过平均执行周期,开发人员无法感知。

  • 线程池任务堆积,触发拒绝策略,影响既有业务正常运行。

  • 当业务出现超时、熔断等问题时,因为没有监控,无法确定是不是线程池引起。

  • 原生线程池不支持运行时变量的传递,比如 MDC 上下文遇到线程池就 GG。

  • 无法执行优雅关闭,当项目关闭时,大量正在运行的线程池任务被丢弃。

  • 线程池运行中,任务执行停止,怀疑发生死锁或执行耗时操作,但是无从下手。

什么是 Hippo4j


提供以下功能支持:

  • 全局管控 - 管理应用线程池实例。

  • 动态变更 - 应用运行时动态变更线程池参数,包括但不限于:核心、最大线程数、阻塞队列容量、拒绝策略等。

  • 通知报警 - 内置四种报警通知策略,线程池活跃度、容量水位、拒绝策略以及任务执行时间超长。

  • 数据采集 - 支持多种方式采集线程池数据,包括但不限于:日志、内置采集、Prometheus、InfluxDB、ElasticSearch 等。

  • 运行监控 - 实时查看线程池运行时数据,自定义时间内线程池运行数据图表展示。

  • 功能扩展 - 支持线程池任务传递上下文;项目关闭时,支持等待线程池在指定时间内完成任务。

  • 多种模式 - 内置两种使用模式:依赖配置中心无中间件依赖

  • 容器管理 - Tomcat、Jetty、Undertow 容器线程池运行时查看和线程数变更。

  • 框架适配 - Dubbo、Hystrix、RabbitMQ、RocketMQ 等消费线程池运行时数据查看和线程数变更。

  • 变更审核 - 提供多种用户角色,普通用户变更线程池参数需要 Admin 用户审核方可生效。

  • 动态化插件 - 内置多种线程池插件,支持用户自定义插件以及运行时扩展。

  • 多版本适配 - 经过实际测试,已支持客户端 SpringBoot 1.5.x => 2.7.5 版本(更高版本未测试)。

架构设计


image

快速开始


对于本地演示目的,请参阅 Quick start

演示环境: http://console.hippo4j.cn/index.html

接入登记


更多接入的公司,欢迎在 登记地址 登记,登记仅仅为了产品推广。

联系我


开源不易,右上角点个 Star 鼓励一下吧!

如果大家想要实时关注 Hippo4j 更新的文章以及分享的干货的话,可以关注我的公众号。

使用过程中有任何问题,或者对项目有什么建议,关注公众号回复:加群,和 1000+ 志同道合的朋友交流讨论。

image

深入原理


如果您公司没有使用 Hippo4j 场景的话,我也建议去阅读下项目的底层原理,主要有以下几个原因:

  • 为了提高代码质量以及后续的扩展行为,运用多种设计模式实现高内聚、低耦合。

  • 框架底层依赖 Spring 框架运行,并在源码中大量使用 Spring 相关功能。

  • 运用 JUC 并发包下多种工具保障多线程运行安全,通过实际场景理解并发编程。

  • 借鉴主流开源框架 Nacos、Eureka 实现轻量级配置中心和注册中心功能。

  • 自定义 RPC 框架实现,封装 Netty 完成客户端/服务端网络通信优化。

  • 通过 CheckStyle、Spotless 等插件规范代码编写,保障高质量代码行为和代码样式。

友情链接


  • [ Sa-Token ]:一个轻量级 java 权限认证框架,让鉴权变得简单、优雅!

  • [ HertzBeat ]:易用友好的云监控系统, 无需 Agent, 强大自定义监控能力。

  • [ JavaGuide ]:一份涵盖大部分 Java 程序员所需要掌握的核心知识。

  • [ toBeBetterJavaer ]:一份通俗易懂、风趣幽默的 Java 学习指南。

  • [ Jpom ]:简而轻的低侵入式在线构建、自动部署、日常运维、项目监控软件。

  • [ 12306 ]:完成高仿 12306 用户+抢票+订单+支付服务,帮助学生主打就业的项目。

  • [ CongoMall ]:企业级商城,基于 DDD 领域驱动模型开发,包含商城业务和基础架构。

贡献者


感谢所有为项目作出贡献的开发者。如果有意贡献,参考 good first issue

鸣谢


Hippo4j 社区收到 Jetbrains 多份 Licenses,并已分配项目 活跃开发者,非常感谢 Jetbrains 对开源社区的支持。

JetBrains Logo (Main) logo

hippo4j's People

Contributors

baymax55 avatar bigxin0109 avatar bobowiki avatar createsequence avatar dawanyezhi avatar ddreame avatar dependabot[bot] avatar gdk666 avatar grl-bxy avatar hippo4jbot avatar ishikaibin avatar iwangjie avatar jjiey avatar lucca-suen avatar magestacks avatar maxisvest avatar pirme avatar pizihao avatar pleaseperfunctory avatar road2master avatar shanjianq avatar shining-stars-lk avatar spongebody avatar svamei avatar weihubeats avatar wulangcode avatar xqxyxchy avatar yanrongzhen avatar z-y-hang avatar zhuanghaozhe avatar

Stargazers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

Watchers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

hippo4j's Issues

[Discussion] 是否有必要将报警通知设置为动态更新

目前 Hippo4J 对于报警通知的配置是客户端项目启动的时候拉取一次,客户端运行时,服务端修改报警通知配置不会动态变更客户端。除非服务端修改后,客户端重启

现在是否有必要将这块报警通知配置作为动态更新?

线程池参数能否支持服务节点级别的配置

作者你好,我试用了一下工程发现微服务下多个节点的配置不能差异化,只要一个节点的配置修改,其他节点的配置也会相应改变,后期有规划把配置细化到服务下的不同实例吗

DiscoveryClient bean 冲突

如果在 springcloud 环境下,因为存在 org.springframework.cloud.client.discovery.DiscoveryClient 导致在装配 cn.hippo4j.starter.core.DiscoveryClient 时出现冲突,需要修改为或设置 Bean.value 属性

@Bean
public DiscoveryClient customDiscoveryClient(HttpAgent httpAgent, InstanceInfo instanceInfo) {
    return new DiscoveryClient(httpAgent, instanceInfo);
}

优化订阅动态配置线程池

业务背景:hippo4j starter 在启动时通过 spring 后置处理器,处理动态线程池配置拉取以及配置订阅;为了优化启动速度,采用线程池执行

代码位置:cn.hippo4j.starter.core.DynamicThreadPoolPostProcessor

private final ExecutorService executorService = ThreadPoolBuilder.builder()
        .poolThreadSize(2, 4)
        .keepAliveTime(0L, TimeUnit.MILLISECONDS)
        .workQueue(QueueTypeEnum.ARRAY_BLOCKING_QUEUE, 1)
        .threadFactory("dynamic-threadPool-config")
        .rejected(new ThreadPoolExecutor.DiscardOldestPolicy())
        .build();

优化方案:设置线程池内线程,在指定时间无执行动作后销毁

Hippo 如何验证参数变更实时通知

加入 钉钉群:31764717

  1. 导入 Hippo 初始化 SQL 语句
  2. 启动 dynamic-threadpool-server 模块下 ServerApplication 应用类
  3. 启动 dynamic-threadpool-example 模块下 ExampleApplication 应用类

HTTP Post 调用 http://localhost:6691/v1/cs/configs ,Body 请求体如下:

{
    "ignore": "tenantId、itemId、tpId 代表唯一线程池,请不要修改",
    "tenantId": "prescription",
    "itemId": "dynamic-threadpool-example",
    "tpId": "message-produce",
    "coreSize": 10,
    "maxSize": 15,
    "queueType": 9,
    "capacity": 100,
    "keepAliveTime": 10,
    "rejectedType": 3,
    "isAlarm": 0,
    "capacityAlarm": 80,
    "livenessAlarm": 80
}

更新代码后运行出错

如果更新代码运行出错,大概率是因为项目新增或修改了表结构

目前还在开发阶段,所以没有增量脚本,用户直接使用初始化脚本覆盖即可

初始化 SQL 脚本地址:hippo4j_manager.sql

[Optimize] Spring 上下文无父类时无法通知问题

以下代码可能会导致监听 spring 刷新事件无法执行

@Override
public void onApplicationEvent(ContextRefreshedEvent event) {
    synchronized (ServerHealthCheck.class) {
        if (event.getApplicationContext().getParent() == null) {
            contextInitComplete = true;
        }
    }
}

全局控制 ContextRefreshedEvent 事件只执行一次即可

maven clean install 报错, 使用 maven 3.8.1 版本

Error message :

[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 0.835 s
[INFO] Finished at: 2021-12-03T14:46:32+08:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-gpg-plugin:1.6:sign (default) on project hippo4j-all: Unable to execute gpg command: Error while executing process. Cannot run program "gpg": error=2, No such file or directory -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
zhaojinchao@zhaojinchao的MacBook dynamic-threadpool %

client 如何获取到 server 事件通知

请教一下 server 端 ConfigChangePublisher.notifyConfigChange(new LocalDataChangeEvent(identify, ContentUtil.getGroupKey(configInfo))); 发布了事件,client 怎么获取到事件。
这是2个系统,如果实现交互
client 的 cn.hippo4j.starter.core.ThreadPoolDynamicRefresh#refreshDynamicPool(java.lang.String) 调用的上层是哪里?

关于 DTP(动态线程池)相关文章

大佬们好,

此 Issue 会展示动态线程池(Dynamic-ThreadPool)相关的使用介绍、上线生产文章,并且后续会逐步完善动态线程池项目的相关建设,敬请期待 😊。

如果您有好的意见,也欢迎评论反馈!

[BUG] 客户端启动后第一次修线程池参数错误

描述:客户端启动后,修改其中一个动态线程池的参数,其它线程池也会跟着一起修改

问题原因:因为获取服务端线程池配置时都是通过实例表获取,条件传递不足导致查询错误

讨论:线程池监控指标如何采集上报?

目前我设想数据采集监控指标分两部分:线程池任务执行时间线程池运行时的状态

线程池运行时的状态

  • 当前线程
  • 最大线程
  • 队列容量
  • 队列元素数量
  • 任务总量
  • 拒绝策略执行次数

论点:需要采集上报哪些数据?采集的时间和上报的时间如何定义?

[Optimize] 配置文件设置不启用时,跳过其它必填项校验

设置不启用动态线程池功能时,取消下方字段的必填校验

/**
 * Username.
 */
private String username;

/**
 * Password.
 */
private String password;

/**
 * Server addr
 */
private String serverAddr;

/**
 * Namespace
 */
private String namespace;

/**
 * Item id
 */
private String itemId;

[Task] 支持更多的拒绝策略类型

/**
 * 发生拒绝事件时, 添加新任务并运行最早的任务
 */
public static class RunsOldestTaskPolicy implements RejectedExecutionHandler {

    @Override
    public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
        if (executor.isShutdown()) {
            return;
        }
        BlockingQueue<Runnable> workQueue = executor.getQueue();
        Runnable firstWork = workQueue.poll();
        boolean newTaskAdd = workQueue.offer(r);
        if (firstWork != null) {
            firstWork.run();
        }
        if (!newTaskAdd) {
            executor.execute(r);
        }
    }

}
/**
 * 使用阻塞方法将拒绝任务添加队列, 可保证任务不丢失
 */
public static class SyncPutQueuePolicy implements RejectedExecutionHandler {

    @Override
    public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
        if (executor.isShutdown()) {
            return;
        }
        try {
            executor.getQueue().put(r);
        } catch (InterruptedException e) {
            log.error("Adding Queue task to thread pool failed.", e);
        }
    }

}

[Task] 提供清理无效实例接口

根据现有流程,如果客户端进行关闭时会将服务端线程池实例一同销毁

但是,如果客户端被 kill -9 强制关闭,则不会执行销毁服务端线程池实例

ListableBeanFactory#findAnnotationOnBean SpringBoot 低版本适配

通过 @DynamicThreadPool 注解创建动态线程池使用到通过 springBeanName 获取方法上标记的注解

ListableBeanFactory#findAnnotationOnBean(java.lang.String, java.lang.Class) 该方法在 SpringBoot version 2.2.0.RELEASE 之前使用有点鸡肋,也就获取不到对应的注解

为了适配低版本 SpringBoot,特开发 DynamicThreadPoolAnnotationUtil#findAnnotationOnBean(java.lang.String, java.lang.Class)

具体描述,详情查看类注释

image

具体上下文调用逻辑查看 cn.hippo4j.starter.core.DynamicThreadPoolPostProcessor#postProcessAfterInitialization

Clients information of Hippo4j

谁在使用 Hippo4j

非常感谢社区朋友对 Hippo4j 的关注和支持,我们会持续投入精力开发和维护,支持 Hippo4j 走的更远。

生产环境已接入的公司,欢迎在该 Issue 登记,登记仅仅为了产品推广。

此 Issue 的目的

  • 收集在生产上使用 Hippo4j 的用户
  • 聆听社区内一线开发声音,让 Hippo4j 变得更好
  • 吸引更多的人参与贡献,扩大社区和个人影响力
  • 更多的了解 Hippo4j 的实际使用场景,以方便下一步的规划

登记使用情况的好处

  • 专家服务(积极响应,优先支持,落地方案和场景讨论),帮助大家更高效的落地 Hippo4j
  • 个人影响力构建,Committer 候选人 (登记用户可以获得 1:1 Hippo4j Committer 培养的支持)

期待您能提供

  • 您所在的城市
  • 您所在的公司
  • 您所在公司的官网

示例格式:

  • 地点:北京
  • 组织:xxx 公司
  • 官网:xxxxx.com

另外,可以在官网 采用公司 页面提交 PR,加上 Issue 评论的所在公司。

开始行动,使用 Hippo4j

如果您还对 Hippo4j 的开发和生产上线有问题,欢迎添加微信好友(备注:hippo4j)与我进行联系,邀您入沟通群。

[Optimize] 优化 OKHttp 高版本依赖

Hippo4J 内部 OkHttp 超时调用 API 依赖版本过高,尽量降低依赖或换一种超时实现方式

call.timeout().timeout(readTimeoutMs, TimeUnit.MILLISECONDS);

selectPage方法报错

The method selectPage(E, Wrapper) in the type BaseMapper is not applicable for the arguments (ItemQueryReqDTO, LambdaQueryWrapper)

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.