全鏈路數(shù)據(jù)治理-全域數(shù)據(jù)集成篇

阿里云開發(fā)者“藏經(jīng)閣”單表>>單表等場(chǎng)景下，進(jìn)行實(shí)時(shí)或離線同步的技術(shù)選型與核心能力，并以DataWorks官網(wǎng)：/product/bigdata/ide 6 6 6 8 多庫(kù)多表至多表僅同步整庫(kù)的變化日數(shù)據(jù)集成主站-同步解決方案指定過(guò)濾規(guī)則持續(xù)增量一次性全量周周期性全量同步一次性全量同步按照指定過(guò)濾規(guī)則抽周期性增量同步一次性增量同步分庫(kù)分表至目源端庫(kù)本身是分庫(kù)分按照邏輯表的規(guī)則寫實(shí)時(shí)增全量同步將一個(gè)表中的所有數(shù)周期性全量同步按照指定過(guò)濾規(guī)則抽取一個(gè)表中的部分?jǐn)?shù)周期性增量同步中的數(shù)據(jù)開發(fā)模塊，數(shù)據(jù)集成主站是指l實(shí)時(shí)增全量同步：對(duì)于目標(biāo)端引擎不支持update的引擎（比如1)支持?jǐn)?shù)據(jù)源開發(fā)和生產(chǎn)隔離2)獨(dú)享數(shù)據(jù)集成資源組3)DataWorks運(yùn)維中心-任務(wù)運(yùn)行狀態(tài)監(jiān)控4)DataWorks數(shù)據(jù)質(zhì)量-表數(shù)據(jù)質(zhì)量監(jiān)控5)DataWorks審批中心-數(shù)據(jù)集成審批策略1)監(jiān)控報(bào)警配置 模塊/AnalyticDBfor-√-√-√ApsaraDBforOceanBase--√-√-√√-√-√（polardb-x）--√-√-Elasticsearch-√---√-√-√-√Kafka√√-√-√√------√-√-√--√-√-√-√-√√--√-√√√-√-√√----√-單表/分庫(kù)分表數(shù)據(jù)同步全量/增量數(shù)離線同步通過(guò)配置類似數(shù)據(jù)過(guò)濾功能來(lái)決定同步全量數(shù)據(jù)還是增 模塊/√---√√√-√√√-√√√-ApsaraDBforOceanBase√√--√√--√√--√√√-√√√-√√√-Elasticsearch√√-√√√--GBase8a√√--√√--√√--HBase11xsql-√HBase20xsql√-√√--√√√-√√--√√√-Kafka√√--√√--√√--√√--√√-√-√---√--√---√√--√√√--√--√---√√√-√√-√√---√√√-√√√-√----√--√√--√√--需要根據(jù)神策數(shù)據(jù)存儲(chǔ)類型選擇√--√√√-√√--√√--Vertica√√--1)使用限制直接連通，方案詳情和配置指導(dǎo)請(qǐng)參見下不同阿里云主賬號(hào)場(chǎng)景一：通過(guò)公網(wǎng)訪問(wèn)數(shù)據(jù)庫(kù)場(chǎng)景二：通過(guò)VPC（內(nèi)網(wǎng)）訪問(wèn)數(shù)據(jù)庫(kù)，且數(shù)據(jù)庫(kù)與DataWorks工作空間，同阿里云主賬號(hào)、同地域場(chǎng)景三：通過(guò)VPC（內(nèi)網(wǎng)）訪問(wèn)數(shù)據(jù)庫(kù)，且數(shù)據(jù)庫(kù)與DataWorks工作空間，同阿里云主賬號(hào)、不同地域場(chǎng)景四：通過(guò)VPC（內(nèi)網(wǎng)）同步數(shù)據(jù)庫(kù)數(shù)據(jù)，且數(shù)據(jù)庫(kù)與DataWorks工作空間使用不同阿里云主賬號(hào)場(chǎng)景五：數(shù)據(jù)庫(kù)不在阿里云，在IDC或其他廠商1)網(wǎng)絡(luò)連通解決方案如下：l任務(wù)運(yùn)行在獨(dú)享數(shù)據(jù)集成資源上，日志中會(huì)出現(xiàn)如下信息：runningin1)網(wǎng)絡(luò)連通配置1)創(chuàng)建同步任務(wù)分庫(kù)表至Hologres最佳實(shí)踐分庫(kù)表至Hologres最佳實(shí)踐分庫(kù)表至Hologres最佳實(shí)踐分庫(kù)表至Hologres最佳實(shí)踐分庫(kù)表至Hologres最佳實(shí)踐分庫(kù)表至Hologres最佳實(shí)踐分庫(kù)表至Hologres最佳實(shí)踐分庫(kù)表至Hologres最佳實(shí)踐分庫(kù)表至Hologres最佳實(shí)踐分庫(kù)表至Hologres最佳實(shí)踐1)業(yè)務(wù)訴求MySQL分庫(kù)分表的場(chǎng)景下，上游的表和庫(kù)非常多，都需要同時(shí)寫入一張 同步解決方案暫不支持跨時(shí)區(qū)