Datax可视化工具Datax-web安装部署指南
本仓库提供了一个资源文件的下载,该资源文件是关于Datax可视化工具Datax-web的安装部署指南。Datax-web是一个基于DataX开发的分布式数据同步工具,旨在通过提供简单易用的操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。
主要功能
- 数据源支持:支持RDBMS、Hive、HBase、ClickHouse、MongoDB等多种数据源。
- 任务管理:用户可通过页面选择数据源即可创建数据同步任务,支持批量创建数据同步任务。
- 实时监控:支持实时查看数据同步进度及日志,并提供终止同步功能。
- 调度管理:集成并二次开发xxl-job,可根据时间、自增主键增量同步数据。
- 集群部署:任务“执行器”支持集群部署,支持执行器多节点路由策略选择。
- 超时控制:支持任务超时控制,任务运行超时将会主动中断任务。
- 失败重试:支持任务失败重试,当任务失败时将会按照预设的失败重试次数主动进行重试。
- 任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行。
安装部署步骤
- 环境准备:
- JDK版本: Java 8(建议1.8.201以上)
- Python版本:Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件)
- 操作系统: MacOS, Windows, Linux
- 数据库版本: Mysql5.7及以上
- Datax-web安装包准备:
- 官方提供的tar包
- 自己本地打包编译
- 开始部署:
- 上传到服务器指定目录并进行解压
- 执行一键安装脚本
- 数据库初始化及配置文件:
- 修改相关配置文件
- 执行相关SQL脚本
使用说明
- 任务创建:通过Web界面选择数据源,创建数据同步任务。
- 任务监控:实时查看任务执行进度及日志,支持终止任务。
- 任务调度:配置定时任务,支持动态修改任务状态、启动/停止任务以及终止运行中任务。
注意事项
- 确保服务器环境满足系统环境要求。
- 安装过程中请仔细阅读提示信息,确保每一步操作正确无误。
- 数据库初始化时,请确保数据库连接信息正确。
通过本指南,您可以轻松完成Datax-web的安装部署,并开始使用其强大的数据同步功能。