Datax可视化工具Dataxweb安装部署指南

2020-11-11

Datax可视化工具Datax-web安装部署指南

本仓库提供了一个资源文件的下载,该资源文件是关于Datax可视化工具Datax-web的安装部署指南。Datax-web是一个基于DataX开发的分布式数据同步工具,旨在通过提供简单易用的操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。

主要功能

  • 数据源支持:支持RDBMS、Hive、HBase、ClickHouse、MongoDB等多种数据源。
  • 任务管理:用户可通过页面选择数据源即可创建数据同步任务,支持批量创建数据同步任务。
  • 实时监控:支持实时查看数据同步进度及日志,并提供终止同步功能。
  • 调度管理:集成并二次开发xxl-job,可根据时间、自增主键增量同步数据。
  • 集群部署:任务“执行器”支持集群部署,支持执行器多节点路由策略选择。
  • 超时控制:支持任务超时控制,任务运行超时将会主动中断任务。
  • 失败重试:支持任务失败重试,当任务失败时将会按照预设的失败重试次数主动进行重试。
  • 任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行。

安装部署步骤

  1. 环境准备
    • JDK版本: Java 8(建议1.8.201以上)
    • Python版本:Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件)
    • 操作系统: MacOS, Windows, Linux
    • 数据库版本: Mysql5.7及以上
  2. Datax-web安装包准备
    • 官方提供的tar包
    • 自己本地打包编译
  3. 开始部署
    • 上传到服务器指定目录并进行解压
    • 执行一键安装脚本
  4. 数据库初始化及配置文件
    • 修改相关配置文件
    • 执行相关SQL脚本

使用说明

  • 任务创建:通过Web界面选择数据源,创建数据同步任务。
  • 任务监控:实时查看任务执行进度及日志,支持终止任务。
  • 任务调度:配置定时任务,支持动态修改任务状态、启动/停止任务以及终止运行中任务。

注意事项

  • 确保服务器环境满足系统环境要求。
  • 安装过程中请仔细阅读提示信息,确保每一步操作正确无误。
  • 数据库初始化时,请确保数据库连接信息正确。

通过本指南,您可以轻松完成Datax-web的安装部署,并开始使用其强大的数据同步功能。

下载链接

Datax可视化工具Datax-web安装部署指南