打造涵蓋資料湖、資料庫與資料倉儲的整合式資料管理架構

Dataplex是Google此次新推出的整合式資料管理服務，是一個智慧資料網路架構，能將GCP平臺的資料倉儲、資料湖、資料市集和資料庫等，與開源工具結合在 ... 移至主內容 按讚加入iThome粉絲團 文/黃郁芸 | 2021-05-27發表 Google本周於線上舉辦資料雲端高峰會（DataCloudSummit），一口氣推出3項全新的資料運用服務：Dataplex、Datastream和AnalyticsHub，協助企業強化多項資料運用的能力，從分析資料、交換資料到擷取和複製資料。

Google雲端資料庫、資料分析及Looker商業智慧平臺總經理暨副總裁GerritKazmaier在視訊記者會上表示：「必須把資料視為一種能力，可以將所有相關面向整合為一。

」因此，Google此次發布的三項新解決方案利基於自家整合式資料平臺，涵蓋了Google旗下多項資料庫和資料分析產品，要協助企業運用新服務打破資料孤島，在不斷變化的環境中，利用即時資料分析結果，動態地制定和調整決策。

針對企業欲分析散落四處的資料的需求，Google推出了整合式資料管理服務Dataplex，打造了一個智慧資料網路架構，能將自家GCP平臺的資料倉儲服務BigQuery、資料分析服務Dataflow等，與開源工具結合在一起。

圖片來源：Google GoogleCloud資料分析產品管理總監IrinaFarqood表示，企業資料現分散於各處，包含資料倉儲、資料湖、資料市集和資料庫中，還橫跨本地和不同的雲端環境，而每一個儲存環境都有自身一套處理資料的方式，來確保資料的品質、資安和治理。

因此，企業為了進行資料分析，時常需移動、複製資料，並需建立一套追蹤流程，掌握資料的使用狀況，以及資料的使用者。

IrinaFarqood表示，然而，許多時候待追蹤流程啟用時，流程已經不符合使用情境，導致使用者對資料的信任度降低。

通過Dataplex，企業可簡化資料管理作業，不用移動、複製資料，就能大規模的快速整理、保護、整合及分析其數據，縮減原本整合資料所需的時間，且資料科學家和分析師可利用自選工具，來確保資料的一致性。

目前Google釋出的是Dataplex的Beta版，而美國消費者信用報告機構Equifax為第一批採用該服務的企業，已將Dataplex納入核心分析平臺，並建立所有內部分析資料都適用的單一指令控管及管理平臺。

另外，為了讓企業在進行資料分析的工作上，可以獲得即時性數據的分析結果，Google還新推出異動資料擷取（CDC）和複製服務Datastream，企業可以將非Google環境資料庫中的資料串流，即時擷取至GCP平臺服務，像是BigQuery、可於PostgreSQL上執行的CloudSQL、GoogleCloudStorage和CloudSpanner。

圖片來源：Google 而Datastream是一項無伺服器服務，會根據企業的使用狀況自動進行水平擴充，因此，企業不需自行管理基礎設施的容量。

除供企業強化即時性數據分析外，企業也可通過該服務，快速複製資料庫、建立資料工作流，以及建立事件驅動架構。

新服務首先支援的資料庫來源有，甲骨文和MySQL資料庫。

GoogleCloud資料庫工程總經理暨副總裁AndiGutmans表示，未來幾個月內，Google還將持續增加服務支援的資料庫來源，以及資料複製到的目的地。

Datastream目前也是處於Beta版階段，已採用此服務的企業有美國連鎖超市SchnuckMarkets。

隨著企業間資料交換的需求日增，Google此次還推出了全新的資料交換服務AnalyticsHub，供企業在組織內部或是與組織外部，交換資料和分析洞察，且服務支援的交換資源不僅是資料，也可共享動態儀表板和機器學習模型。

圖片來源：Google GoogleCloud資料分析工程總經理暨副總裁DebanjanSaha表示，資料交換不是新功能，BigQuery早已支援跨組織間的資料交換需求，所以，AnalyticsHub聚焦的是資料交換功能的可擴展性。

新服務能協助企業整合多項數據資產，包含Google平臺上的網頁分析、搜尋趨勢等數據，還有新聞訊息、公部門資料等公開數據。

DebanjanSaha也分享近一周企業使用BigQuery資料共享功能的狀況。

根據BigQuery後臺顯示的數據，過去一周，累計有3千家企業使用資料共享功能，並交換了高達200PB的資料，顯見企業對資料交換的需求非常龐大。

新推出的AnalyticsHub目前則處於Beta版階段。

在資料雲端高峰會舉辦期間，Google雲端也發布了多項既有資料庫和數據分析產品的更新消息，包含了繼去年推出支援AWS的BigQueryOmni後，再發布支援微軟Azure的BigQueryOmni的Beta版，而商業智慧平臺Looker則可正式支援Azure，還有，串流分析解服務Dataflow預計在第三季推出Prime版本，將新增自動擴充和正確配置資料工作流等能力。

此外，Google雲端降低了全代管關聯資料庫CloudSpanner的入門價格，調幅達9成。

文⊙黃郁芸 熱門新聞 ApacheLog4j再釋出2.17版，修補DoS漏洞 2021-12-20 WebSocket成Log4j漏洞攻擊新管道，連不對外網路主機也曝險 2021-12-21 東元與旗下東捷資訊遭駭客網路攻擊，部分資訊系統受影響 2021-12-20 新的無檔案惡意程式DarkWatchman以Windows登錄檔作為藏身之處 2021-12-20 微軟呼籲用戶儘快修補11月公布的兩個WindowsAD漏洞 2021-12-21 CISA釋出掃瞄Log4j漏洞工具 2021-12-23 【資安日報】2021年12月20日，Log4Shell出現新的阻斷服務漏洞、勒索軟體Conti鎖定VMwarevCenter發動攻擊 2021-12-20 ApacheHTTPServer軟體也傳2重大漏洞 2021-12-24 Advertisement 2021iThome鐵人賽 專題報導 AWS2022新戰略 臺灣製造！世界第一物件偵測AI Nvidia2022新戰略 臺灣第一輛自駕貨車上路 Line2021AI生產力大改造 更多專題報導