低代碼平臺數(shù)據(jù)集成能力——ETL工具（低代碼erp）

現(xiàn)代的企業(yè)做數(shù)字化轉型一定已經(jīng)存在大量的應用和數(shù)據(jù)，作為新一代的開發(fā)工具必須要有數(shù)據(jù)集成能力，這樣才可以整合寶貴的歷史數(shù)據(jù)。江蘇南大先騰信息產(chǎn)業(yè)有限公司-樂扣低代碼平臺 是如何做數(shù)據(jù)整合的呢？

數(shù)據(jù)資源定義

用戶需要在資源管理中配置已有系統(tǒng)的數(shù)據(jù)和服務，包括各種關系數(shù)據(jù)庫、非關系數(shù)據(jù)庫、消息中間件和restful服務。

租戶數(shù)據(jù)資源管理

用戶可以將現(xiàn)有所有業(yè)務系統(tǒng)中的數(shù)據(jù)和服務都配置到這個資源列表中。

定義ETL步驟

用戶可以通過API配置工具來定義ETL的步驟，下圖是以一個交易數(shù)據(jù)匯總整合為例來展示ETL的步驟的。

定義ETL數(shù)據(jù)抽取轉換邏輯

步驟如下：

1. 獲取線上交易數(shù)據(jù)，并對數(shù)據(jù)進行過濾，過濾掉無用的數(shù)據(jù)。
2. 獲取線下交易數(shù)據(jù)，可能和線上交易數(shù)據(jù)不在一個庫中，并先對數(shù)據(jù)進行整理（計算）在進行過濾。
3. 匯總線上和線下交易數(shù)據(jù)。
4. 寫入到目標數(shù)據(jù)庫（數(shù)據(jù)中心）中。

執(zhí)行數(shù)據(jù)轉換

ETL事務一般是在后臺運行的，可以通過定時任務來執(zhí)行也可以通過消息機制來出發(fā)。

ETL事務出發(fā)機制

總結

樂扣低代碼平臺沒有專門設計一個ETL工具而是通過給api接口添加觸發(fā)機制（定時任務或者消息訂閱）來達到ETL的功能。