什麼是安全性資料湖?

一個架構完善的安全性資料湖架構包含數個關鍵功能，這些功能共同運作，以提供安全性資料的快速搜尋、關聯分析與調查能力:

• 擷取: 透過 API、連接器與代理程式，從多雲端、多平台環境中的不同來源收集資料，例如防火牆、雲端平台、身分式別提供者與端點偵測工具。
• 儲存: 使用像 Delta Parquet 這類開放格式，在雲端原生且可擴展的環境中，以具成本效益的方式儲存資料，以支援讀取時定義結構的彈性與互通性。
• 處理: 支援多種分析引擎，包括 Spark、Kusto 查詢語言 (KQL) 與機器學習，可對單一資料副本執行即時與批次分析。
• 存取: 實作角色型存取控制 (RBAC)、加密與稽核記錄，以保護敏感性資料並支援合規性要求。
• 分析: 套用 AI、使用者和實體行為分析 (UEBA), 網路威脅搜捕，以及自訂儀表板，來發現威脅並以視覺化趨勢。
• 代理式防禦: 透過集中完整的歷史與即時資料，為 AI Agent 與自動化提供支援，以進行進階分析、異常偵測與自主威脅回應。

Microsoft Sentinel 資料湖旨在協助最佳化處理成本、簡化資料管理，並加速在安全性作業中的 AI 採用情況。作為 Microsoft Sentinel 平台 的基礎，它具備雲端原生架構，且專為安全性所打造——可將所有安全性資料整合在一起，以提供更高的可視性、更深入的安全性分析與情境感知。透過提供平價的長期保留，它可協助組織在有效管理其預算的同時強化安全性。

傳統的安全性資訊與事件管理 (SIEM) 系統著重於即時警示、記錄彙總與合規性報告。它們對於立即的威脅偵測與事件回應很有效，尤其是在需要快速掌握現行威脅的環境中。不過，SIEM 經常在擴充性、成本效益和長期資料保留方面遇到挑戰。隨著安全性資料量持續成長——尤其是在混合式和多雲端環境中——許多 SIEM 平台的維護成本愈來愈高，而且在支援深度鑑識調查或進階分析方面也受到限制。

安全性資料湖提供更具彈性且可調整的方法。它們支援讀取時定義結構存取、開放資料格式，以及運算與儲存分離架構。這使它們非常適合用來儲存和分析大量原始、結構化與非結構化的安全性資料。安全性資料湖也非常適合用於 AI 支援的 網路安全分析、網路威脅搜捕，以及長期合規性準備，同時還能降低每 GB 的儲存成本。

認識到兩種方法各有優勢後，許多組織現在採用結合 SIEM 與資料湖功能的混合模式。在這些架構中，SIEM 負責即時警示和作業流程，而安全性資料湖則作為深度分析、歷史調查與可調整資料保留的基礎。這種混合式策略可讓安全性團隊快速回應威脅，同時保有隨時間探索和分析資料的彈性。

並非所有資料平台都是為了安全性用途而建構。了解安全性資料湖、通用資料湖和傳統資料庫之間的差異，可協助您為安全性作業選擇正確的基礎。

• 通用資料湖: 儲存各種類型的企業資料——結構化、半結構化和非結構化資料。這種集中式儲存解決方案通常用於分析、報告和資料科學。它並未針對威脅偵測或鑑識調查等特定安全性需求進行最佳化。
• 安全性資料湖: 專為收集、標準化與分析安全性相關資料而設計，例如來自雲端、內部部署與混合式環境的記錄、警示和遙測資料。與通用資料湖不同，它支援即時威脅偵測、長期調查，以及由 AI 支援的進階分析。它也提供讀取時定義結構的彈性，非常適合動態且持續演變的安全性使用案例。
• 傳統資料庫: 專為結構化、交易型資料而最佳化，並受預先定義的結構描述所限制。雖然傳統資料庫很適合結構化商業應用，但它並非為處理大量非結構化安全性資料所設計，也無法支援現代網路威脅偵測與調查所需的複雜分析工作流程。

安全性資料湖透過提供可調整且彈性的基礎結構，來因應新式安全性挑戰，填補了資料湖與資料庫之間的差距；因此，對於需要分析多元資料來源並迅速回應網路威脅的組織而言，它們更為適合。

遵循這些最佳做法，有助於保護企業聲譽、支援成長，並在管理安全性資料湖時維持合規性。建議動作包含:

• 使用業界標準通訊協定 將靜態和傳輸中的資料加密。這樣即使資料遭到攔截或在未經授權的情況下被存取，內容仍無法讀取且保持安全。
• 使用細緻化的存取控制，例如角色型存取控制 (RBAC)、存取控制清單 (ACL) 與多重要素驗證 (MFA)。這些控制措施有助於落實最低特殊權限存取，並降低 內部威脅 或意外暴露的風險。
• 監控異常存取模式和未經授權的變更。持續監控有助於及早偵測可疑行為，並支援快速事件回應。
• 套用資料分類和標記，以識別敏感性資訊。適當的標記能實現更具針對性的保護，並協助符合處理個人或機密資料的法規要求。
• 提供稽核記錄與版本控制。這些功能支援可追溯性與責任歸屬，使事件調查與維持資料完整性更加容易。
• 定期備份資料並測試災害復原程序。備份可在資料遺失時提供業務持續性，而測試復原計畫可驗證是否已為實際案例做好準備。

符合合規性架構。這些包括國際標準組織 (ISO) 27001、健康保險流通與責任法案 (HIPAA)，以及一般資料保護規定 (GDPR)。遵循已建立的標準，有助於建立與專案關係人的信任，並避免法律或財務上的罰則。

安全性團隊通常很難完整掌握雲端、內部部署和混合式環境中的活動。安全性資料湖會集中來自所有這些來源的資料，以在整個基礎架構中提供統一的可視性。這有助於分析人員更有效地關聯事件、偵測模式並調查事件。

使用傳統 SIEM 儲存數月甚至數年的安全性資料可能成本高昂。安全性資料湖利用雲端原生儲存與開放格式來降低成本，使長期資料保存變得可行。這對鑑識調查、合規性稽核和歷史趨勢分析特別有用。

安全性資料湖支援進階分析，以偵測傳統工具可能遺漏的異常與網路安全性威脅。自訂模型可識別可疑行為、自動化網路威脅搜捕、加快事件回應，並強化 網路安全性 態勢與 資料保護。

GDPR、HIPAA 和 ISO 27001 等法規架構要求組織保留並保護安全性資料。安全性資料湖透過提供安全、可稽核的儲存空間與詳細的存取記錄來滿足這些需求，進而支援強大的 資料安全性 做法與合規性要求。

安全性資料湖專為調整大小所建置。它們能從新的資料來源擷取與分析資料，而不需要重新設計整體解決方案架構。它們也支援讀取時定義結構，並能適應不斷變化的資料格式與使用案例。

在建置或執行安全性資料湖時，組織通常會面臨需要策略性規劃的挑戰，包括:

• 管理大量原始、結構化和非結構化資料。安全性資料湖會收集來自數十個來源的資料，而這些資料很快就可能成長到 PB 等級。如果沒有清楚的資料生命週期策略，很容易失去可視性，或讓分析工具不堪負荷。
• 長期控制雲端儲存與運算成本。無限期儲存所有資料可能會變得非常昂貴。在資料保存原則與預算限制之間取得平衡非常重要，同時也要針對保留哪些資料以及如何處理資料做出明智決策。
• 確保適當的治理、存取控制 和 法規遵循。安全性資料通常包含敏感性資訊。如果沒有強大的治理和存取控制，組織就可能違反 GDPR 或 HIPAA 等隱私權法規。
• 防止設定錯誤和未經授權的存取。設定錯誤的權限或開放式存取設定可能會暴露關鍵資料。定期稽核和自動化檢查有助於降低意外暴露風險的機會。
• 解決在管理開放資料環境與使用 KQL、Spark 等查詢語言方面的技能缺口。安全性團隊可能沒有深入使用巨量資料工具的經驗。訓練和文件是確保分析人員能有效使用平台的關鍵。
• 因應供應商鎖定問題，並提供與現有工具的互通性。有些平台很難移轉資料或與其他系統整合。選擇開放格式與模組化架構，有助於讓組織保有更多彈性與選擇空間。

Microsoft 透過整合彼此協同運作的雲端原生服務，提供一套完整的安全性資料湖方法，以支援可調整且智慧化的安全性作業。核心是 Microsoft Sentinel，它透過統一且專為安全性所設計的安全性資料湖，擴展了傳統 SIEM 的能力，提供深度可視性、進階分析與 AI 就緒的作業功能。

Microsoft Sentinel 可提供快速警示、事件調查和自動化回應，並支援長期保留與進階分析。透過內建的安全性資料湖，組織可擷取大量安全性資料並保留在像 Delta Parquet 這類的開放格式中。

安全性團隊也可以在同一份資料上執行多種分析，消除重複並啟用強大的使用案例，例如長期威脅搜尋、基準建立和實體豐富化。

這個模型同時滿足作業和策略性的安全性需求，結合 SIEM 的即時回應能力，以及新式安全性資料湖的深度、彈性和成本效益。