xuanbo / kettle-web Goto Github PK

View Code? Open in Web Editor NEW

270.0 18.0 113.0 4.08 MB

基于spring boot通过java代码调用kette

Java 100.00%

etl kettle java-api-kettle spring-boot

kettle-web's Introduction

读我

通过Java API调用kettle核心代码，并基于Spring Boot提供简易的Web管理界面。

特点

Java API调用Kettle核心代码
任务并行执行
Web管理任务

更新

2021-08-18

修复失效的 maven 私服，导致编译错误
目前存在问题: database type with plugin id [HIVE2] couldn't be found!

展示

界面用Bootstrap3和jQuery简单撸了下。

dashboard

查看任务执行情况

任务

定义任务（目前需要指定kjb的路径），执行任务

任务历史

查看历史任务，看日志

计划任务

通过定义cron表达式，计划执行任务

已实现

Java API调用Kettle核心代码（基于Kettle 7.1）
- kjb调用ktr
- Shell
- MySQL
- Oracle
- Hive
- JS代码
- Java代码
- Kettle其他功能暂未测试，目前测试覆盖的功能如下
任务并行执行
Web管理任务
- 任务监控dashboard
- 任务组（分组管理）
- 任务（任务定义，比如kjb路径）
- 任务变量（将任务变量传入kjb，可在kjb中、或者ktr中获取到）
- 任务历史（历史任务，任务执行日志）
- 计划任务（定时调度）

暂未实现

Web管理任务
- 任务失败预警
- 任务失败重试
- 更美观、友好的界面
分布式任务执行、节点服务发现

说明

目前线上通过kitchen脚本调用kjb执行，当任务较多，导致资源浪费（每次执行都启动一个JVM实例）。因此，查找资料，通过Java API直接调用执行，并做了一个简易的Web管理，

该系统暂未投入生产使用，有想法的道友不妨在测试环境试试水，或者等发布稳定版。

快速开始

本项目为Spring Boot标准项目，clone到本地修改application.yml中的数据源配置即可。

由于本项目采用JPA，因此会自动建表，只需要创建好数据库。
quartz数据库脚本直接在quartz jar包中获取即可，例如/org/quartz/impl/jdbcjobstore/tables_mysql_innodb.sql
表job_history的log_text字段长度不够，启动后调整为longblob类型

项目结构

Spring Boot标准结构，利于二次开发。

运行

导入IDE，运行main方法
执行mvn clean spring-boot:run
打包mvn package，通过java -jar target/kettle-web-{version}.jar运行

关于开源

不足之处，请轻喷。欢迎志同道合的道友一起完善，谢谢～

kettle-web's People

Contributors

Stargazers

Watchers

Forkers

wongyu 861008761 wangdongxun zycaffe xiaomagor nongfah flybpc yn-soong huazilove troyjj treemyprojects kongfun2018 zsms2 futureliming 8767452 liang0 lijianlin5200 bonc-wzc neo0820 dcmr aloysxiang wittech dingpingwang fendaq liy05 jiyulongxu sunqieng cl1043 grantart yugengguang creasyworld zhp03424 songkailei liukingjia fork-th-org mjzzzzz fhqiwcw fleapx zhaxiaodong9860 github283 touryoog action9981 nimeijian sudj-ll carcoon xfhtsoft ponyfan weihaocomeon sailing2k hnliqiang jtdgw guojingzoe lolo880 adeaven mimori1994 denghuafeng yanjun7914 1076674202 chenzhaoplus jungleworld raysonfang ryp1987 caihailing hucc hztnrzcy dantefung bestjex arraycto windlybobo ycpanda learn-knowlege jalyshen jaychuo lemo418 lilixin666 junjin-lee nanbo99 yuanweigit taisenki jay-tian xddouble michaelfxh re0quiem supiyun imyuyu ghfork minge-b shengjinhui duanmeng8272 washingtin ynzh seraphzxz wangxuebi gspandy wilsoncyf wesurf sssnto simondongji qixianchuan badboyh2o

kettle-web's Issues

kettleConfiguration问题

org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'kettleConfiguration': Invocation of init method failed; nested exception is java.lang.NoClassDefFoundError: com/google/common/util/concurrent/SettableFuture
at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor.postProcessBeforeInitialization(InitDestroyAnnotationBeanPostProcessor.java:160)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.applyBeanPostProcessorsBeforeInitialization(AbstractAutowireCapableBeanFactory.java:416)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1795)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:595)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:517)
at org.springframework.beans.factory.support.AbstractBeanFactory.lambda$doGetBean$0(AbstractBeanFactory.java:323)
at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:222)
at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:321)
at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:202)
at org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:879)
at org.springframework.context.support.AbstractApplicationContext.finishBeanFactoryInitialization(AbstractApplicationContext.java:878)
at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:550)
at org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext.refresh(ServletWebServerApplicationContext.java:141)
at org.springframework.boot.SpringApplication.refresh(SpringApplication.java:747)
at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:397)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:315)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:1226)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:1215)
at com.xinqing.etl.kettleweb.Application.main(Application.java:19)

Error creating bean with name 'kettleConfiguration': Invocation of init method failed; nested exception is java.lang.NoClassDefFoundError: com/google/common/util/concurrent/SettableFuture，请问是什么原因？

请问一下这个任务组有什么用

这是啥报错

Could not transfer artifact pentaho-kettle:kettle-core:pom:7.1.0.0-12 from/to maven-default-http-blocker (http://0.0.0.0/): Blocked mirror for repositories: [aliyun (http://maven.aliyun.com/nexus/content/groups/public/, default, releases+snapshots)]

支持调用数据库资源吗？

database type with plugin id [HIVE2] couldn't be found!这个问题还存在吗？

database type with plugin id [HIVE2] couldn't be found!这个问题还存在吗？
这个应该是kettle的big-data-plugin没有集成进来，怎么解决？

请问 kettle 相关依赖怎么下载

pentaho-kettle:kettle-engine:jar:7.1.0.0-12 was not found in https://maven.aliyun.com/repository/public during a previous attempt. This failure was cached in the local repository and resolution is not reattempted until the update interval of aliyunmaven has elapsed or updates are forced

数据库支持类型有哪些

数据库支持的类型有哪些，版本呢？能支持大数据这类的数据库吗？

项目中怎么没看到库表文件呢

项目无法运行

打包能正常打包，直接run和打包后运行都是在启动banner就停了，是因为什么呢？
没有任何日志

期待您的再次更新，目前好像不支持调度，数据资源库、和文件资源库的脚本，也不支持Ktr单独调度，前端页面也不是很完整。

1、前端页面需要优化升级、不支持修改任务，只支持新增和删除任务操作。
2、不支持调度，数据资源库、和文件资源库的脚本。
3、不支持调度本地Ktr文件，存在想要调度单个转换必须要写一个JOB。
4、没有登录界面、不支持用户管理、大屏运维监控、实时日志、任务超时停止、任务终止杀死后台进程等功能，需要进一步优化升级!!!!!
@xuanbo @YNZH

无法启动

[ERROR] Failed to execute goal org.springframework.boot:spring-boot-maven-plugin:2.2.0.RELEASE:run (default-cli) on project kettle-web: Application finished with exit code: 1 -> [Help 1]

没有数据库脚本文件吗

项目中怎么没看到库表文件呢

日志一直抛如下异常呢：Table 'kettleweb.qrtz_locks' doesn't exist

Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'kettleweb.qrtz_locks' doesn't exist
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at com.mysql.jdbc.Util.handleNewInstance(Util.java:425)
at com.mysql.jdbc.Util.getInstance(Util.java:408)
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:944)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3976)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3912)
at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2530)
at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2683)
at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2486)
at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1858)
at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:1966)
at com.zaxxer.hikari.pool.ProxyPreparedStatement.executeQuery(ProxyPreparedStatement.java:52)
at com.zaxxer.hikari.pool.HikariProxyPreparedStatement.executeQuery(HikariProxyPreparedStatement.java)
at org.quartz.impl.jdbcjobstore.StdRowLockSemaphore.executeSQL(StdRowLockSemaphore.java:123)
... 24 common frames omitted

org.pentaho.di.core 依赖问题

org.pentaho.di.core 这个包时哪个依赖没动代码个依赖，运行就报这个包里很多没有。

log日志错误

两个问题 1、某些日志输出乱码
2、Failure obtaining db row lock "对象名无效" 错误

如图：

我的数据源（database-platform: org.hibernate.dialect.SQLServer2008Dialect）是用SQLServer

你好，请问任务怎么停止呢？我有一个任务一直是正在运行，其他任务再开始的时候都是等待运行，一次只能运行一个任务吗？

请问有关于kettle接口文档之类的东西吗

json分割字符转换失效

您好，支持调度资源库里面的流程么，流程里面包含大数据插件的步骤能执行么

不好意思哈，项目的jar包有点难下，没看到如何评论，只能发个issue提问哈~~

缺少表格kettleweb.qrtz_locks

Caused by: org.quartz.impl.jdbcjobstore.LockException: Failure obtaining db row lock: Table 'kettleweb.qrtz_locks' doesn't exist [See nested exception: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'kettleweb.qrtz_locks' doesn't exist]

请求添加微信

大佬您好，能加个微信不？目前是kettle新手，可以交流一下吗？我的微信号: M0525M

访问找不到这个templates/index.html，想问一下怎么解决？

[dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is jetbrick.io.resource.ResourceNotFoundException: templates/index.html] with root cause
jetbrick.io.resource.ResourceNotFoundException: templates/index.html

编译通不过

repository失效,建议使用官方提供的

建议使用官方提供的

<repository>
            <id>pentaho-public</id>
            <name>Pentaho Public</name>
            <url>https://repo.orl.eng.hitachivantara.com/artifactory/pnt-mvn/</url>
            <releases>
                <enabled>true</enabled>
                <updatePolicy>always</updatePolicy>
            </releases>
            <snapshots>
                <enabled>true</enabled>
                <updatePolicy>always</updatePolicy>
            </snapshots>
</repository>

资源库

你好，请问这个调度的是本地文件资源库是吧

编译不通过

java: 读取XXX\repository\org\mozilla\javascript\1.7.2\javascript-1.7.2.jar时出错; error in opening zip file
java: java.lang.RuntimeException: java.io.IOException: Error reading file C:\software\repository\org\mozilla\javascript\1.7.2\javascript-1.7.2.jar: error in opening zip file
本地仓库有该jar包

StandardFileSystemManager找不到class

morg.springframework.beans.factory.BeanCreationException: Error creating bean with name 'kettleConfiguration': Invocation of init method failed; nested exception is java.lang.NoClassDefFoundError: org/apache/commons/vfs2/impl/StandardFileSystemManager
at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor.postProcessBeforeInitialization(InitDestroyAnnotationBeanPostProcessor.java:160)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.applyBeanPostProcessorsBeforeInitialization(AbstractAutowireCapableBeanFactory.java:416)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1795)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:595)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:517)
at org.springframework.beans.factory.support.AbstractBeanFactory.lambda$doGetBean$0(AbstractBeanFactory.java:323)
at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:222)
at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:321)
at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:202)
at org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:879)
at org.springframework.context.support.AbstractApplicationContext.finishBeanFactoryInitialization(AbstractApplicationContext.java:878)
at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:550)
at org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext.refresh(ServletWebServerApplicationContext.java:141)
at org.springframework.boot.SpringApplication.refresh(SpringApplication.java:747)
at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:397)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:315)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:1226)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:1215)
at com.xinqing.etl.kettleweb.Application.main(Application.java:19)

StandardFileSystemManager一直找不到