什麼是資料流程？

資料流程是指資料如何在系統中移動，考量因素包括來源、轉換和目的地。明確理解資料流程主要是以支援商務目標的方式來管理資料。

資料流程的重要元件包括：
 

• 資料來源。這些是生成資料的系統和應用程式。範例包括資料庫、物聯網 (IoT) 裝置和交易系統。
  
  
• 資料目的地。這些是取用資料的系統或應用程式。它們可能包括報告工具、客戶關係管理 (CRM) 系統或機器學習模型。
  
  
• 資料轉換。這些程序會改變資料的格式或結構，以與使用目的相容或對分析更有用。這可能包括清理、聚合和編碼資料。
  
  
• 資料流程路徑：這些是資料在元件間移動時遵循的具體路線。資料流程路徑確保資料在正確的時間到達正確的位置。

視覺化資料流程常見的方法是透過資料流程圖表 (DFD)。DFD 描述了資料在不同元件之間的移動，以便更容易理解複雜的系統。使用 DFD 對應資料流程，讓識別瓶頸、低效率和改善時機變得更容易。

資料流程將使用現代混合式結構 (如資料湖存放庫) 成為可能。資料湖存放庫結合資料湖和資料倉儲的優勢，建立統一且可調整的系統，用來管理結構化和非結構化資料。

若要了解什麼是資料湖存放庫，請先檢閱它的前身「資料湖和資料倉儲」，會有所幫助。傳統的資料倉儲是專用來儲存結構化資料，或以行和列來整理資訊，如資料庫或財務報表。資料倉儲非常適合用來支援商業智慧和分析，但它缺乏處理原始非結構化資料 (如影片、影像或記錄) 的靈活性。資料湖則可以使用原始格式儲存非結構化資料，以非常適用於巨量資料和機器學習應用程式。然而，它們缺乏內建的資料結構，可能使查詢和分析資料變得更具挑戰性。

資料湖存放庫結合資料湖的可調整性、靈活儲存，以及資料倉儲的結構化查詢和分析能力，彌補了這個差距。這種結構允許所有資料營運在單一環境中進行。

資料流程在協助資料湖存放庫順利運行方面扮演著重要角色，它支援：
 

• 資料擷取。來自各種來源的未經處理資料 (如 IoT 裝置、交易系統或外部 API) 被輸入到資料湖存放庫中，通常採用原始格式。這個步驟依賴不間斷的資料流程，以確保所有相關資訊在沒有延遲的情況下被擷取。
  
  
• 資料轉換。當資料導入後，資料將經過清理、結構化和擴充處理，以使得適合進行分析。資料流程的路徑支援這些轉換，以高效並正確地處理資料。
  
  
• 資料使用量。轉換後的資料被遞送到商業智慧平台、AI 支援的分析工具，或具視覺效果的儀表板等目的地。這些系統依賴持續的資料流程，提供即時可採取動作的深入解析。
  
  

透過將資料流程管理整合到資料湖存放庫中，組織可以調整營運以適應不斷變化的資料需求，並充分發揮資料的潛力，而不會出現瓶頸或低效。如果沒有它，系統可能面臨延遲、不完整的資料集或分析正確性降低的風險，這些都可能妨礙決策和創新。