如何評(píng)估大數(shù)據(jù)安全分析產(chǎn)品？五大要素必不可少！如何評(píng)估大數(shù)據(jù)安全分析產(chǎn)品網(wǎng)絡(luò)犯罪以及其他惡意行為的不斷增加正促使企業(yè)部署更多的安全控制、收集越來(lái)越多的相關(guān)數(shù)據(jù)。

結(jié)果，大數(shù)據(jù)分析方面的進(jìn)展被用于以更寬和更深的分析為目的的安全監(jiān)控中，以保護(hù)昂貴的企業(yè)資源。

大數(shù)據(jù)安全分析技術(shù)融合了大數(shù)據(jù)的可擴(kuò)展性，并將其與Advanced Analytic和安全事件管理系統(tǒng)（ security event and incident management systems，SIEM）結(jié)合起來(lái)。

在不久的將來(lái)，大數(shù)據(jù)安全分析將會(huì)變成像病毒檢測(cè)和漏洞掃描一樣常見。

因此，大數(shù)據(jù)安全分析適用于很多用例，但也不是所有的用例都適用。

考慮一下探測(cè)和阻擋高持續(xù)性威脅（Advanced Persistent Threat，APT）的技術(shù)挑戰(zhàn)。

采用這些技術(shù)的攻擊者或許會(huì)采用慢節(jié)奏的、低可見性的攻擊方式來(lái)避免以避免被探測(cè)到。

傳統(tǒng)的日志和監(jiān)控技術(shù)會(huì)漏過這種類型的攻擊。

攻擊的各步可能發(fā)生在不同的設(shè)備的不同時(shí)間段，而且看起來(lái)是毫無(wú)關(guān)聯(lián)的。

這樣，一個(gè)攻擊者殺招的關(guān)鍵部分可能與正常行為差別不大。

針對(duì)可疑行為的日志和網(wǎng)絡(luò)流掃描有時(shí)也會(huì)漏掉這些東西。

避免遺漏數(shù)據(jù)的一種方法就是收集盡可能多的信息。

這就是大數(shù)據(jù)安全分析平臺(tái)所采用的方法。

正如字面意思所言，該安全分析的方法利用了專門為收集、分析和管理大規(guī)模、高速度數(shù)據(jù)而設(shè)計(jì)的工具。

這些技術(shù)也同樣用于相關(guān)產(chǎn)品，如針對(duì)流視頻用戶的電影推薦系統(tǒng)和為優(yōu)化車隊(duì)的運(yùn)輸效率而設(shè)計(jì)的車輛性能特性分析平臺(tái)等。

此外，這些技術(shù)還可以應(yīng)用于信息安全。

本文重點(diǎn)分析Cybereason、Fortscale、Hawkeye、IBM、LogRhythm、RSA和Splunk等若干大數(shù)據(jù)安全工具供應(yīng)商的最主要的產(chǎn)品特性。

其分析主要依據(jù)實(shí)現(xiàn)這些平臺(tái)所有好處的五大必需要素：?統(tǒng)一的數(shù)據(jù)管理?支持日志、漏洞和流等多種數(shù)據(jù)類型?可擴(kuò)展的數(shù)據(jù)獲取?信息安全相關(guān)的分析工具?合規(guī)報(bào)告

因素1：統(tǒng)一的數(shù)據(jù)管理統(tǒng)一的數(shù)據(jù)管理是一個(gè)大數(shù)據(jù)安全分析系統(tǒng)的基礎(chǔ)，負(fù)責(zé)存儲(chǔ)和查詢企業(yè)數(shù)據(jù)。

由于關(guān)聯(lián)數(shù)據(jù)庫(kù)在擴(kuò)展時(shí)比分布式NoSQL數(shù)據(jù)庫(kù)代價(jià)要高，處理大規(guī)模數(shù)據(jù)通常會(huì)使用Cassandra或Accumulo等這樣的分布式數(shù)據(jù)庫(kù)。

當(dāng)然，這些數(shù)據(jù)庫(kù)也其缺點(diǎn)。

例如，實(shí)現(xiàn)ACID transaction等這些理所當(dāng)然存在的數(shù)據(jù)庫(kù)特征的分布式版本就變得非常困難。

因此，大數(shù)據(jù)安全分析產(chǎn)品背后的數(shù)據(jù)管理平臺(tái)需要在數(shù)據(jù)管理特性和代價(jià)、可擴(kuò)展性之間進(jìn)行權(quán)衡。

數(shù)據(jù)庫(kù)應(yīng)該具備在不阻塞的情況下實(shí)時(shí)寫入新數(shù)據(jù)的能力。

相似的，查詢也要能夠支持針對(duì)流入的安全數(shù)據(jù)的實(shí)時(shí)分析。

由于Hadoop已經(jīng)成為流行的大數(shù)據(jù)管理平臺(tái)和相關(guān)的生態(tài)系統(tǒng)，采用它作基礎(chǔ)的大數(shù)據(jù)安全分析平臺(tái)也很常見。

例如，F(xiàn)ortscale就使用了Cloudera的Hadoop平臺(tái)。

這使得Fortscale平臺(tái)可以隨著集群中新加入節(jié)點(diǎn)的數(shù)量而線性擴(kuò)展。

IBM的QRadar使用了提供數(shù)據(jù)存儲(chǔ)水平擴(kuò)展功能的分布式數(shù)據(jù)管理系統(tǒng)。

在一些情況下，SIEM或許只需要訪問本地?cái)?shù)據(jù)。

但是，在取證分析等情況下，用戶或許需要跨分布式平臺(tái)搜索信息。

IBM的QRadar還集成了一個(gè)能夠跨平臺(tái)或本地檢索的搜索引擎。

同時(shí)，該大數(shù)據(jù)SIEM系統(tǒng)使用的是數(shù)據(jù)節(jié)點(diǎn)，而非存儲(chǔ)域網(wǎng)（SAN）。

這可以幫組減少花費(fèi)和管理復(fù)雜度。

這個(gè)基于數(shù)據(jù)節(jié)點(diǎn)的分布式存儲(chǔ)模型可以擴(kuò)展到P字節(jié)的存儲(chǔ)空間——可以很好滿足那些需要很多大規(guī)模長(zhǎng)期存儲(chǔ)的組織的需求。

RSA安全分析也采用了分布式的聯(lián)合架構(gòu)來(lái)保證線性擴(kuò)展。

當(dāng)擴(kuò)展到大規(guī)模數(shù)據(jù)時(shí)，RSA工具中的分析工作流解決了一個(gè)關(guān)鍵需求：區(qū)分事件和任務(wù)的優(yōu)先級(jí)，以改善分析的效率。

Hawkeye分析平臺(tái)（Hawkeye AP）是基于一個(gè)專門處理安全事件數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)構(gòu)建而成。

除了擁有底層、可擴(kuò)展的數(shù)據(jù)管理（例如，在跨多個(gè)服務(wù)器的鍍鉻文件中存儲(chǔ)大規(guī)模數(shù)據(jù)的能力）功能，擁有以結(jié)構(gòu)化的方式查詢數(shù)據(jù)的工具也很關(guān)鍵。

Hawkeye AP采用了分時(shí)存儲(chǔ)數(shù)據(jù)的方式，避免了全局重建索引的工作。

而且，它被設(shè)計(jì)為了只讀的數(shù)據(jù)庫(kù)。

一方面，它使能了性能優(yōu)化；另一個(gè)更重要方面，它可以保證數(shù)據(jù)在寫完成后不會(huì)被篡改。

最后，Hawkeye AP采用了專門針對(duì)分析應(yīng)用有所優(yōu)化的列導(dǎo)向數(shù)據(jù)存儲(chǔ)，而非行導(dǎo)向的存儲(chǔ)。

因素2：支持多種數(shù)據(jù)類型容量、速度和種類是大數(shù)據(jù)的三個(gè)關(guān)鍵特性。

安全事件數(shù)據(jù)的多樣性使得把數(shù)據(jù)集成到一個(gè)大數(shù)據(jù)安全分析產(chǎn)品變得富有挑戰(zhàn)性。

事件數(shù)據(jù)的收集粒度是不同的。

例如，網(wǎng)絡(luò)報(bào)文就是底層、細(xì)粒度的數(shù)據(jù)；而有關(guān)任何管理員密碼變化的日志項(xiàng)就是粗粒度的。

盡管數(shù)據(jù)的收集粒度不同，他們之間仍然是有關(guān)聯(lián)的。

網(wǎng)絡(luò)報(bào)文就可能包含了攻擊者訪問服務(wù)器，甚至在取得訪問權(quán)限后修改管理員密碼的相關(guān)信息。

不同類型的事件數(shù)據(jù)的含義也各不相同。

網(wǎng)絡(luò)報(bào)文信息可以幫助分析人員了解兩個(gè)終端之間傳輸?shù)膬?nèi)容，而一份漏斗掃描日志在某種意義上描述了服務(wù)器或其他設(shè)備在一段時(shí)間內(nèi)的運(yùn)行狀態(tài)。

大數(shù)據(jù)安全分析平臺(tái)需要理解這些數(shù)據(jù)類型的含義，以更好的進(jìn)行數(shù)據(jù)集成。

RSA Security Analytics的解決辦法是采用一個(gè)模塊化的結(jié)構(gòu)，以此保證在維持增量添加其他源的能力的同時(shí)，支持多種數(shù)據(jù)類型。

平臺(tái)本身是為了捕獲大規(guī)模的滿報(bào)文、NetFlow數(shù)據(jù)、末端數(shù)據(jù)和日志。

有時(shí)，多個(gè)數(shù)據(jù)類型就意味著多種安全工具。

例如，IBM的QRadar就有一個(gè)漏洞管理組件。

該組件專門負(fù)責(zé)從各種各樣的漏洞掃描器中整合數(shù)據(jù)，并把網(wǎng)絡(luò)使用相關(guān)的信息添加到數(shù)據(jù)中。

IBM的Security QRadar Incident Forensics是另外一個(gè)專門利用網(wǎng)絡(luò)流數(shù)據(jù)和full-packet抓包來(lái)分析安全事故的模塊。

該取證工具包括了一個(gè)能夠?qū)B級(jí)別的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行檢索的引擎。

LogRhythm的Security Intelpgence Platform是另外一個(gè)大數(shù)據(jù)安全分析平臺(tái)的例子。

該平臺(tái)支持非常多的數(shù)據(jù)類型，包括系統(tǒng)日志、安全事件、審計(jì)日志、機(jī)器數(shù)據(jù)、應(yīng)用日志以及流數(shù)據(jù)。

通過分析來(lái)自這些源的原始數(shù)據(jù)，它可以產(chǎn)生有關(guān)文件完整性、進(jìn)程活躍度、網(wǎng)絡(luò)通信情況、用戶以及活動(dòng)的二級(jí)數(shù)據(jù)。

Splunk Enterprise Security允許分析人員檢索數(shù)據(jù)并執(zhí)行可視化關(guān)聯(lián)，以此識(shí)別惡意事件和收集有關(guān)這些事件上下文的數(shù)據(jù)。

因素3：可擴(kuò)展的數(shù)據(jù)獲取大數(shù)據(jù)分析安全產(chǎn)品必須要能夠從服務(wù)器、終端、網(wǎng)絡(luò)和其他架構(gòu)組件中獲得數(shù)據(jù)。

這些設(shè)備的狀態(tài)是一直都在發(fā)生變化的。

數(shù)據(jù)獲取組件的主要風(fēng)險(xiǎn)在于它是否能夠及時(shí)接收流入的數(shù)據(jù)。

一旦數(shù)據(jù)獲取組件出現(xiàn)問題，數(shù)據(jù)就會(huì)丟失，威脅到整個(gè)平臺(tái)的存在意義。

系統(tǒng)可以通過維護(hù)一個(gè)容量很大、吞吐率很高的隊(duì)列來(lái)實(shí)現(xiàn)可擴(kuò)展的數(shù)據(jù)獲取。

此外，一些數(shù)據(jù)庫(kù)通過對(duì)寫操作只追加的方法來(lái)支持大規(guī)模寫。

這樣，新流入的數(shù)據(jù)直接添加到commit日志的末尾，而非磁盤的某個(gè)塊。

該方法可以大大減少隨機(jī)寫操作的延遲。

或者，數(shù)據(jù)管理系統(tǒng)會(huì)維護(hù)一個(gè)寫緩沖區(qū)。

如果消息出現(xiàn)突發(fā)傳輸或者磁盤出現(xiàn)寫失效，緩沖區(qū)可以幫助暫時(shí)存儲(chǔ)數(shù)據(jù)，等待數(shù)據(jù)庫(kù)恢復(fù)正常。

Splunk是一個(gè)廣為人知的數(shù)據(jù)獲取平臺(tái)。

該平臺(tái)不僅提供了連接到數(shù)據(jù)源的連接器，還允許定制這些連接器。

其中，獲取后的數(shù)據(jù)以比較松散的形式進(jìn)行存儲(chǔ)和索引，以保證支持變化的數(shù)據(jù)類型和快速的查詢反饋。

IBM QRadar支持從單設(shè)備到跨地域的分布式系統(tǒng)的不同規(guī)模的部署。

與其他產(chǎn)品類似，該大數(shù)據(jù)產(chǎn)品是為了滿足大公司的需求。

它曾被用于處理每秒鐘幾十萬(wàn)的真實(shí)應(yīng)用事件。

一些小的機(jī)構(gòu)或剛開始使用IBM QRadar的企業(yè)或許會(huì)選擇在云環(huán)境中部署該產(chǎn)品，以減少硬件開銷和管理。

混合部署也是可以的。

這樣，事件和流或許在云端處理，而整理后的事件數(shù)據(jù)發(fā)送會(huì)本地系統(tǒng)進(jìn)行處理。

另外一個(gè)重要的整合類型就是數(shù)據(jù)增強(qiáng)。

它是指在收集事件數(shù)據(jù)的同時(shí)，把相關(guān)的信息也一并添加進(jìn)去。

例如，RSA Security Analytics就會(huì)把有關(guān)網(wǎng)絡(luò)回話、威脅指示器等細(xì)節(jié)添加到網(wǎng)絡(luò)數(shù)據(jù)中，幫助分析人員更好的理解底層安全數(shù)據(jù)所面臨的情況。

一個(gè)大數(shù)據(jù)分析平臺(tái)如何收集收據(jù)是另外一個(gè)要考慮的關(guān)鍵點(diǎn)。

收集數(shù)據(jù)所需要的時(shí)間使得探測(cè)安全事件的速度可以有所放緩。

數(shù)據(jù)收集點(diǎn)的位置決定了它所收集的數(shù)據(jù)的寬度和類型。

例如，Cybereason Platform部署的傳感器就運(yùn)行在終端操作系統(tǒng)的用戶空間。

這樣，數(shù)據(jù)收集就可以在影響用戶體驗(yàn)和更底層內(nèi)核功能的情況下進(jìn)行。

即使是在設(shè)備無(wú)法連接企業(yè)網(wǎng)絡(luò)時(shí)，Cybereason的傳感器仍然可以收集數(shù)據(jù)。

因素4：安全分析工具Hadoop和Spark等大數(shù)據(jù)平臺(tái)都是通用型的工具。

盡管它們可以被用于構(gòu)建安全工具，它們本身并不是安全分析工具。

大數(shù)據(jù)安全分析工具應(yīng)該能夠擴(kuò)展，以滿足企業(yè)所產(chǎn)生的大規(guī)模數(shù)據(jù)的分析需求。

而Hadoop和Spark等這樣的工具正好滿足了這樣的條件。

同時(shí)，分析人員也應(yīng)該能夠以信息安全的角度所應(yīng)該取得的抽象層次來(lái)查詢事件數(shù)據(jù)。

例如，一個(gè)分析人員應(yīng)該能夠查詢工作在特定服務(wù)器或應(yīng)用的用戶的聯(lián)系以及這些機(jī)器/應(yīng)用之間的聯(lián)系。

這種類型的查詢就需要圖型分析工具，而非傳統(tǒng)的關(guān)聯(lián)數(shù)據(jù)庫(kù)中的行查詢或列查詢。

Fortscale采用了數(shù)據(jù)科學(xué)中常見的機(jī)器學(xué)習(xí)和統(tǒng)計(jì)分析技術(shù)，以適應(yīng)安全環(huán)境中的變化。

這些技術(shù)使得Fortscale可以執(zhí)行基于數(shù)據(jù)而非預(yù)定義規(guī)則的分析。

當(dāng)網(wǎng)絡(luò)中的基準(zhǔn)行為發(fā)生變化時(shí)，機(jī)器學(xué)習(xí)算法可以在沒有人為更新規(guī)則集的情況下自動(dòng)探測(cè)到這些變化。

RSA Security Analytics包括了預(yù)定義的報(bào)告和規(guī)則，使得分析人員可以很快開始使用SIEM收集到的數(shù)據(jù)。

安全分析也同樣非常依賴惡意行為相關(guān)的知識(shí)。

RSA Security Analytics包括的RSA Live服務(wù)負(fù)責(zé)將數(shù)據(jù)處理和關(guān)聯(lián)規(guī)則發(fā)送到部署的設(shè)備中。

這些新的規(guī)則可被用于分析剛到達(dá)的實(shí)時(shí)數(shù)據(jù)和存儲(chǔ)在RSA Security Analytics系統(tǒng)的歷史數(shù)據(jù)。

與Fortscale類似，RSA Security Analytics也采用了數(shù)據(jù)科學(xué)的相關(guān)技術(shù)來(lái)增強(qiáng)分析的質(zhì)量。

此外，LogRhythm的分析工作流包括了處理、機(jī)器分析和取證分析三個(gè)階段。

處理階段負(fù)責(zé)數(shù)據(jù)轉(zhuǎn)換，提高原始數(shù)據(jù)被有用的模式探測(cè)到的可能性。

它包括了事件標(biāo)準(zhǔn)化、數(shù)據(jù)分類、metadata標(biāo)記和風(fēng)險(xiǎn)上下文分析。

因素5：合規(guī)報(bào)告、警告和監(jiān)控合規(guī)報(bào)告是當(dāng)今企業(yè)所必須要具備的功能。

很多用于合規(guī)目的的數(shù)據(jù)元素都和最好的安全實(shí)踐綁定在一起。

甚至對(duì)于那些對(duì)合規(guī)報(bào)告沒有硬性需求的公司而言，合規(guī)報(bào)告也可以很好的用于內(nèi)部規(guī)劃。

。

了解一個(gè)大數(shù)據(jù)安全平臺(tái)的報(bào)告制度滿足了企業(yè)對(duì)于合規(guī)方面的特殊需求，是非常重要的。

IBMSecurity QRadar的Risk Manager插件提供了網(wǎng)絡(luò)設(shè)備配置的合規(guī)及風(fēng)險(xiǎn)管理的工具。

該插件的功能包括自動(dòng)監(jiān)控、多供應(yīng)商產(chǎn)品審計(jì)的支持、合規(guī)策略評(píng)估以及威脅建模。

就像之前所提到的，F(xiàn)ortscale使用機(jī)器學(xué)習(xí)算法來(lái)不斷評(píng)估基準(zhǔn)活動(dòng)的變化和探測(cè)異常事件。

當(dāng)系統(tǒng)探測(cè)到這些事件時(shí)，它可以生成警告，并提供事件的相關(guān)信息。

為了節(jié)約終端用戶的時(shí)間，RSA Security Analytics本身就帶有近90種模板，以滿足SOX、HIPAA、PCI DSS等的報(bào)告需求。

SIEM系統(tǒng)中的報(bào)告和警告遠(yuǎn)遠(yuǎn)超過了固定報(bào)告和簡(jiǎn)單警告的形式。

例如，Cybereason Platform就可以自動(dòng)探測(cè)惡意活動(dòng)。

該平臺(tái)還提供了一個(gè)調(diào)查窗口，用來(lái)將攻擊時(shí)間線、受影響的用戶和設(shè)備等信息匯總并以圖形的方式展示出來(lái)。

Splunk Enterprise Security提供了包含關(guān)鍵安全和性能指針以及趨勢(shì)指針的儀表盤，以進(jìn)行不間斷的監(jiān)控。

而且該平臺(tái)還支持工作流的優(yōu)先級(jí)。

Splunk平臺(tái)還支持高優(yōu)先級(jí)用戶的追蹤和關(guān)鍵應(yīng)用程序的訪問報(bào)告。

Hawkeye AP本身包含了400種報(bào)告，而且支持根據(jù)特殊需求進(jìn)行修改。

由于Hawkeye AP使用關(guān)聯(lián)數(shù)據(jù)技術(shù)，并支持ANSI Standard SQL、ODBC和JDBC驅(qū)動(dòng)，用戶可以可以使用流行的企業(yè)級(jí)報(bào)告工具來(lái)創(chuàng)建定制化的報(bào)告。

LogRhythm的平臺(tái)包括了分級(jí)后的風(fēng)險(xiǎn)的警告、標(biāo)準(zhǔn)報(bào)告和一個(gè)實(shí)時(shí)的報(bào)告儀表盤。

而且，它還包括了案例管理工具、證據(jù)鎖以及事件追蹤數(shù)據(jù)等額外工具用于取證分析。

大數(shù)據(jù)安全分析工具的功能：大數(shù)據(jù)安全分析工具可以分析很多種的數(shù)據(jù)類型，也可以處理大規(guī)模的數(shù)據(jù)。

當(dāng)然，并非所有的機(jī)構(gòu)都需要用到當(dāng)前大數(shù)據(jù)安全分析產(chǎn)品的所有功能。

但是，正在尋找保護(hù)企業(yè)數(shù)據(jù)安全工具的機(jī)構(gòu)應(yīng)該考慮大數(shù)據(jù)安全分析工具所能扮演的角色。

對(duì)于大企業(yè)和需要存儲(chǔ)詳細(xì)的事件數(shù)據(jù)的企業(yè)，IBM QRadar是一個(gè)不錯(cuò)的選擇。

該平臺(tái)能夠擴(kuò)展到P字節(jié)規(guī)模的能力將會(huì)是一個(gè)很大的亮點(diǎn)。

Hawkeye的數(shù)據(jù)倉(cāng)庫(kù)模型和列導(dǎo)向存儲(chǔ)使得它能夠針對(duì)信息安全進(jìn)行商業(yè)智能的報(bào)告。

這樣，當(dāng)企業(yè)需要高級(jí)報(bào)告或者定制化的報(bào)告時(shí)，Hawkeye AP就是一個(gè)很好的選擇。

而當(dāng)企業(yè)需要在設(shè)備離線的情況下繼續(xù)捕獲事件數(shù)據(jù)時(shí)，它可以考慮Cybereason。

此外，RSA Security Analytics和LogRhythm's Security Intelpgence Platform可以很好的配合來(lái)處理很多數(shù)據(jù)類型的情況。

Splunk提供了大量的數(shù)據(jù)源連接器，可以很好滿足擁有大量數(shù)據(jù)源的企業(yè)的需求。

大數(shù)據(jù)安全分析目前主要被大企業(yè)所采用。

但是，隨著相關(guān)工具的花費(fèi)和復(fù)雜度不斷降低，中等規(guī)模的企業(yè)、甚至小企業(yè)最后也肯定會(huì)意識(shí)到該技術(shù)的好處。