ETL異構數(shù)據(jù)源Datax_日期增量同步_13
2022-09-06 22:35:50

文章目錄

• ??一、全量同步??

• ??1. 增量同步SQL??
• ??2. 構建reader??
• ??3. 構建writer??
• ??4. 字段對應關系映射??
• ??5. 構建json??
• ??6. 選擇同步模板??
• ??7. 查詢最早時間??
• ??8. 修改任務信息??
• ??9. 添加增量參數(shù)??
• ??10. 數(shù)據(jù)清理??
• ??11. 執(zhí)行任務??
• ??12. 查看執(zhí)行日期??
• ??13. 數(shù)據(jù)驗證??
• ??15. 查看同步腳本??

• ??二、基于日期增量同步??

• ??2.1. 新增新數(shù)據(jù)??
• ??2.2. 執(zhí)行數(shù)據(jù)同步??
• ??2.3. 查看日志??
• ??2.4. 查看數(shù)據(jù)庫??
• ??2.5. 日期選取??

一、全量同步

聲明：
以增量方式數(shù)據(jù)同步，第一次是全量同步，從第二次同步開始以第一次同步完成后的時間為開始時間，進行增量同步！
注：咱們添加項目、添加任務模板先用以前的，直接任務構建

1. 增量同步SQL

select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where dt > to_date(${lastTime},'yyyy-mm-dd hh24:mi:ss') and dt <= to_date(${currentTime},'yyyy-mm-dd hh24:mi:ss')

2. 構建reader

構建reader，填寫增量同步SQL

3. 構建writer

4. 字段對應關系映射

5. 構建json

6. 選擇同步模板

基礎模板，可以在執(zhí)行同步前進行任務信息的修改

刷新頁面

7. 查詢最早時間

查詢同步數(shù)據(jù)的最早時間和最晚時間，等會會以最早時間為開始時間進行同步

8. 修改任務信息

9. 添加增量參數(shù)

-DlastTime='%s' -DcurrentTime='%s'

10. 數(shù)據(jù)清理

清空mysql數(shù)據(jù)庫otbs1表的數(shù)據(jù)

11. 執(zhí)行任務

12. 查看執(zhí)行日期

如果不顯示就刷新頁面

13. 數(shù)據(jù)驗證

15. 查看同步腳本

存量同步完成之后，查看同步腳本

從圖中可以看出，以增量形式同步全量第一次完成后，開始時間自動變更成了當前時間，以后增量同步，就會一當前時間作為開始時間繼續(xù)增量同步！

二、基于日期增量同步

查詢數(shù)據(jù)庫目前idno最大值

1048577

2.1. 新增新數(shù)據(jù)

新增3條數(shù)據(jù)

insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048578', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048579', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048580', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');

插入后再次查詢idno最大值

1048580，在以前基礎上堵了3條數(shù)據(jù)。

2.2. 執(zhí)行數(shù)據(jù)同步

如果，這次增量同步的數(shù)量為3條，就說明是增量數(shù)據(jù)同步對吧

2.3. 查看日志

從同步日志可以看出，只同步了3條數(shù)據(jù)

2.4. 查看數(shù)據(jù)庫

多了3條數(shù)據(jù)

2.5. 日期選取

找一個關鍵的業(yè)務日期