Taier

Taier 是一个开源的分布式 DAG 调度系统，专注不同任务的提交和调度。旨在降低 ETL 开发成本，解决任务之间复杂的依赖关系和提交、调度、运维带来的上手成本。

在 Taier 上进行 ETL 开发，不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。

Taier 提供了一个提交、调度、运维、指标信息展示的一站式大数据开发平台。

GitHub Gitee 官方网站 使用文档

技术特性

  • 分布式扩展

  • 可视化 DAG 配置

  • IDE 式开发平台

  • 自定义扩展任务插件

  • 向导、脚本多种模式

  • 上下游依赖调度

  • 支持实时、离线任务

  • 支持对接不同版本的 Hadoop

  • 支持Flink Standalone

  • 对集群环境 0 侵入

  • 多租户多集群隔离

  • 支持 Kerberos 认证

  • 任务多版本支持

  • 自定义参数替换

  • 集群资源实时监控

  • 数据指标实时获取

  • 任务资源限制

效果展示

官方网站

系列文章

  1. Docker 快速部署 Taier 分布式调度系统

开源协议

Taier 源码遵循 Apache-2.0 协议进行分发和使用。