本项目计划实现一个简易的分布式流式计算系统
team3090成员
fink-core模块为数据流图建设的探索
flink-verification模块为技术选型验证,请大家将之前验证的代码已经说明文档合并进这个模块 包名为org.team3090.rpc-jars
- 配置文件格式
- 解析配置文件
- 生成json
- 实例化ExecutorClient,BlockManagerMaster
- ExecutorService.BlockManager注册ip host
- Driver.submitJob(//jar传过去)
- ExecutorClient.submitJob
- ExecutorService启动,监听端口
- 实例化ExecutorService.BlockManagerService 并向Driver注册
- 处理ExecutorClient.submitJob请求
- 运行task