首页 前端知识 datax安装及批量生成json任务文件,以sqlservrreader和mysqlwriter为例_datax的json文件自动生成

datax安装及批量生成json任务文件,以sqlservrreader和mysqlwriter为例_datax的json文件自动生成

2024-08-08 22:08:58 前端知识 前端哥 535 685 我要收藏

; section名称
[sqlserver]
url = jdbc:sqlserver://hadoop103:1433;DatabaseName=test
username = sa
password = yH5nm57BSkFjmL8rBpRH
table = t_info
column = id,order_date,purchaser,quantity,product_id
where =

;key 只能是小写
[mysql]
url = jdbc:mysql://hadoop102:3306/test?useUnicode=true&characterEncoding=utf-8
username = root
password = 123321
table = t_info
column = id,order_date,purchaser,quantity,product_id
;preSql = delete from t_info WHERE order_date = CURDATE();
preSql =
writeMode = insert

2. 使用python脚本,读取配置文件自动生成datax的json文件config.json

这个json文件即datax的job任务,可以直接运行同步数据

vim generate_json.py

import json
datax_json = {
“job”: {
“content”: [
{
“reader”: {
“name”: “sqlserverreader”,
“parameter”: {
“connection”: [
{
“jdbcUrl”: [],
“table”: []
}
],
“password”: “”,
“username”: “”,
“column”: []
}
},
“writer”: {
“name”: “mysqlwriter”,
“parameter”: {
“column”: [],
“connection”: [
{
“jdbcUrl”: “”,
“table”: []
}
],
“password”: “”,
“preSql”: [],
“session”: [],
“username”: “”,
“writeMode”: “”
}
}
}
],
“setting”: {
“speed”: {
“channel”: “5”
}
}
}
}

def get_config():
import configparser
file = ‘prod\datax.ini’
con = configparser.ConfigParser()
con.read(file, encoding=‘utf-8-sig’)
sections = con.sections()

获取特定section

items_sqlserver = con.items(‘sqlserver’) # 返回结果为元组
config_sqlserver = dict(items_sqlserver)

items_mysql = con.items(‘mysql’) # 返回结果为元组
config_mysql = dict(items_mysql)

key 只能是小写

return {‘config_sqlserver’:config_sqlserver,‘config_mysql’:config_mysql}

if name == ‘main’:
config = get_config()

sqlserver reader

datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘connection’][0][‘jdbcUrl’].append(config[‘config_sqlserver’][‘url’])
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘connection’][0][‘table’].append(config[‘config_sqlserver’][‘table’])
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘password’] = config[‘config_sqlserver’][‘password’]
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘username’] = config[‘config_sqlserver’][‘username’]
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘where’] = config[‘config_sqlserver’][‘where’]
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘column’] = list(config[‘config_sqlserver’][‘column’].split(‘,’))

mysql writer

datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘connection’][0][‘jdbcUrl’] = config[‘config_mysql’][‘url’]
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘connection’][0][‘table’].append(config[‘config_mysql’][‘table’])
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘password’] = config[‘config_mysql’][‘password’]
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘username’] = config[‘config_mysql’][‘username’]
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘preSql’].append(config[‘config_mysql’][‘presql’]) # 配置里面key只能识别为小写
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘writeMode’] = config[‘config_mysql’][‘writemode’]# 配置里面key只能识别为小写
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘column’] = list(config[‘config_mysql’][‘column’].split(‘,’))

with open (‘prod\config.json’, ‘w’) as f:
f.write(json.dumps(datax_json))

print(datax_json)

3. 按照步骤2生成的json文件如下所示:

{
    “job”: {
        “content”: [{
            “reader”: {
                “name”: “sqlserverreader”,
                “parameter”: {
                    “connection”: [{
                        “jdbcUrl”: [“jdbc:sqlserver://hadoop103:1433;DatabaseName=test”],
                        “table”: [“t_info”]
                    }],
                    “password”: “yH5nm57BSkFjmL8rBpRH”,
                    “username”: “sa”,
                    “column”: [“id”, “order_date”, “purchaser”, “quantity”, “product_id”],
                    “where”: “”
                }
            },
            “writer”: {
                “name”: “mysqlwriter”,
                “parameter”: {
                    “column”: [“id”, “order_date”, “purchaser”, “quantity”, “product_id”],
                    “connection”: [{
                        “jdbcUrl”: “jdbc:mysql://hadoop102:3306/test?useUnicode=true&characterEncoding=utf-8”,
                        “table”: [“t_info”]
                    }],
                    “password”: “123321”,
                    “preSql”: [“”],
                    “session”: [],
                    “username”: “root”,
                    “writeMode”: “insert”
                }
            }
        }],
        “setting”: {
            “speed”: {
                “channel”: “5”
            }
        }
    }
}

4.  将3中的json文件放在服务器运行

将json文件放在datax的job目录下,命名为:sqlserver2mysql.json,然后执行以下命令:

python /data/module/datax/bin/datax.py --jvm=“-Xms8G -Xmx8G” /data/module/datax/job/sqlserver2mysql.json

确认没有报错即证明脚本没有问题,可以继续编写批量生成脚本。

2.  批量生成datax的json任务文件

  1. 首先需要批量生成配置文件:datax.ini

分析:其中连接信息一般不会改变,但是库、表可能有所变化,所以需要灵活变动的是以下信息

表名可按需填写,字段名

vim generate_ini.py

待完成…

三、批量执行json job任务

1. 安装服务:yum install crontabs (一般自带)

2. crontab服务操作

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img



既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加V获取:vip1024c (备注Python)
img

最后

不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~

给大家准备的学习资料包括但不限于:

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
img

mage/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA==,size_16,color_FFFFFF,t_70)

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
[外链图片转存中…(img-PcQh7U1z-1712652735857)]

转载请注明出处或者链接地址:https://www.qianduange.cn//article/15072.html
标签
adb
评论
发布的文章

jQuery

2024-01-31 12:01:10

JQuery操作DOM

2024-04-13 23:04:28

jQuery入门(五)Ajax和json

2024-08-16 22:08:14

Aristo jQuery UI 主题教程

2024-08-16 22:08:14

常用js库和框架(echarts)

2024-08-16 22:08:08

ECharts基础配置详解

2024-08-16 22:08:07

大家推荐的文章
会员中心 联系我 留言建议 回顶部
复制成功!