近幾年，應(yīng)用安全領(lǐng)域的新技術(shù)、新廠商如雨后春筍般地涌現(xiàn)。該領(lǐng)域之所以會(huì)如此快速地發(fā)展，一方面，得益于nginx及OpenResty高擴(kuò)展性的設(shè)計(jì)，使得技術(shù)團(tuán)隊(duì)可以專注于特定安全問題，并且快速開展攻防能力的研發(fā)，不必投入驅(qū)動(dòng)級(jí)HOOK、內(nèi)核協(xié)議棧修改以及用戶態(tài)的HTTP協(xié)議解析代理等這些復(fù)雜而又晦澀的底層技術(shù)領(lǐng)域；另一方面，應(yīng)用是承載著信息交互的實(shí)際橋梁。隨著信息化浪潮的來臨與科技的進(jìn)步，云、大、物、移作為基礎(chǔ)設(shè)施逐漸完善，企業(yè)必然有更多的業(yè)務(wù)通過應(yīng)用（web、移動(dòng)、人工智能機(jī)器人）對(duì)外提供。諸多因素推動(dòng)當(dāng)前應(yīng)用開發(fā)模式在邁向devops及API服務(wù)化。在新模式的原始階段，安全的訴求會(huì)接踵而至，鑒于在Bot管理領(lǐng)域的技術(shù)積累，本文希望與應(yīng)用開發(fā)及應(yīng)用安全領(lǐng)域的從業(yè)者進(jìn)行交流。
我們先引用一些咨詢機(jī)構(gòu)在應(yīng)用安全領(lǐng)域報(bào)告中的摘要：
“到2023年，網(wǎng)絡(luò)中Bot流量的比例將會(huì)超過‘人的請(qǐng)求流量’。
到2022年，API濫用將轉(zhuǎn)變?yōu)樽畛Ｒ姷墓舴绞?，從而?dǎo)致數(shù)據(jù)信息泄露，這將成為Web企業(yè)面臨的嚴(yán)重問題。
到2021年，將有90%的Web應(yīng)用程序以API而非UI的形式面對(duì)網(wǎng)絡(luò)攻擊，其占比遠(yuǎn)遠(yuǎn)高于當(dāng)前2019年的40%。”
可以看到，API將是未來企業(yè)核心對(duì)外的業(yè)務(wù)接口，這導(dǎo)致了Bot流量占比繼續(xù)大幅度上升。它一方面增加了業(yè)務(wù)與業(yè)務(wù)之間正常的交互，另一方面卻催生了背后附加的黑灰產(chǎn)的蓬勃發(fā)展，貓池、接碼、打碼平臺(tái)等一條龍工具隨著API的啟用，更加便捷、靈活。
1、Bot模擬正常人操作實(shí)現(xiàn)下面的請(qǐng)求更加難以識(shí)別：
信息泄露：內(nèi)容爬蟲、價(jià)格爬蟲
漏洞探測(cè)：自動(dòng)化掃描
賬戶安全：信用接管（暴力破解、撞庫）、惡意注冊(cè)
2、業(yè)務(wù)安全防護(hù)的難度更高：
交易欺詐：虛假交易、薅羊毛
惡意競(jìng)爭(zhēng)：庫存囤積、黃牛黨
3、從面向HTML格式的URL攻擊，變身為針對(duì)XML/JSON的攻擊脆弱性更明顯：
API濫用：短信轟炸、拖庫
信息泄露：數(shù)據(jù)遍歷、批量獲取
身份越權(quán)
惡意訪問
Bot演進(jìn)路線
以前對(duì)抗這類黑灰產(chǎn)，Bot識(shí)別是核心工作。一般應(yīng)有幾個(gè)層級(jí)的圖靈測(cè)試：
1、簡(jiǎn)單腳本 -- 爬蟲、Python腳本
一般爬蟲和簡(jiǎn)易的Python腳本工具等都不具備JS腳本的執(zhí)行能力，通過在流量中注入JS，驗(yàn)證客戶端腳本執(zhí)行能力來進(jìn)行識(shí)別。
2、一般工具 -- PhantomJS 掃描器等工具
PhantomJS和主流掃描器（Appscan、AWVS、RSAS等）都集成了JS解析引擎，因此都能夠執(zhí)行JS腳本，我們需要通過隨機(jī)選取W3C規(guī)范中的瀏覽器屬性以及各個(gè)不同瀏覽器的特殊屬性進(jìn)行組合來判斷客戶端是否為真實(shí)的瀏覽器。
3、高級(jí)工具 -- seleium + Webdriver
Webdriver是目前使用最多的前端自動(dòng)化測(cè)試工具，它能夠打開一個(gè)真實(shí)的瀏覽器并通過腳本來進(jìn)行操作。在識(shí)別這種高級(jí)工具時(shí)，我們需要通過監(jiān)聽操作事件來獲取操作特征，比如：鼠標(biāo)移動(dòng)軌跡、按鍵頻率等，判斷是否為真人操作。
4、專業(yè)工具 -- seleium + Webdriver + 模擬操作特征
在黑產(chǎn)專業(yè)工具中，攻擊者一般會(huì)通過代碼來模擬真人操作觸發(fā)相應(yīng)的事件，這種情況下，我們建議結(jié)合API，將收集到的操作特征數(shù)據(jù)，基于API進(jìn)行聚類，來判斷是否為真實(shí)的人工操作。
而在API環(huán)境下，上述通過下發(fā)JS來實(shí)現(xiàn)層層遞進(jìn)的自動(dòng)化工具檢測(cè)，有些場(chǎng)景卻無法完成校驗(yàn)工作。經(jīng)過研究調(diào)用，目前發(fā)現(xiàn)了一種技術(shù)手段可以對(duì)該類問題進(jìn)行解決——將API調(diào)用順序，抽象為場(chǎng)景模型，結(jié)合業(yè)務(wù)的理解，標(biāo)識(shí)意圖為Bot的流量：
1、基于Bot行為特征進(jìn)行初步分類
利好Bot：搜索引擎、合作伙伴、第三方服務(wù)
中立Bot：爬蟲、不明意圖機(jī)器人
惡意Bot：惡意評(píng)論、垃圾郵件、價(jià)格/庫存爬蟲、掃描器、惡意搶購(gòu)
2、將Bot行為及業(yè)務(wù)特征進(jìn)行聯(lián)合分析
記錄Bot行動(dòng)軌跡，結(jié)合網(wǎng)站業(yè)務(wù)特征來分析機(jī)器人的行為特征。例如機(jī)器人訪問的都是商品頁面，還是頻繁地提交同一個(gè)/一組表單；或者是無意義的訪問了很多404頁面。
同時(shí)，可視化呈現(xiàn)各類已識(shí)別意圖的訪問軌跡、行為和特征屬性，幫助用戶結(jié)合業(yè)務(wù)挖掘哪些業(yè)務(wù)是Bot最主要的目標(biāo)，能夠獲取怎樣潛在的利益。完成API環(huán)境下跟黑灰產(chǎn)的對(duì)抗及處置。
此外， WAF、API安全與Bot管理三位應(yīng)用安全成員未來的關(guān)系，也是困擾咨詢機(jī)構(gòu)和國(guó)內(nèi)外WAF大廠的一個(gè)問題。兩家咨詢機(jī)構(gòu)Forrester和Gartner持有的意見各有側(cè)重，而Akamai、Imperva、F5三家曾作為leader象限的廠商，應(yīng)對(duì)方式也不盡相同。到底會(huì)融為一體、還是組合成WAAP解決方案、或是獨(dú)立存在，還需要隨著技術(shù)和環(huán)境的演進(jìn)慢慢得到統(tǒng)一。筆者團(tuán)隊(duì)也多次討論過這個(gè)問題，我們更傾向于形成WAAP平臺(tái)——支持WAF、Bot管理及API防護(hù)幾個(gè)組件在公共資源、受限資源和內(nèi)部資源間進(jìn)行選擇性部署，形成不同的防護(hù)等級(jí)，具備多種安全能力聯(lián)合組合解決方案，為應(yīng)用提供分層遞進(jìn)的安全體系架構(gòu)。討論的觀點(diǎn)主要有：
1、這兩種防護(hù)能力是無法進(jìn)行替換的，Bot管理雖然可以通過頁面混淆使得掃描器無法掃描成功，但它僅僅是一個(gè)針對(duì)機(jī)器人的迷宮，如果后面的數(shù)據(jù)沒有一道實(shí)在的‘墻’在前面檢測(cè)攻擊，正常人無需任何額外技巧，可以直接繞開這種防護(hù)能力。
2、規(guī)劃防護(hù)資源的視角不同，如前文所述，Bot管理是基于同一個(gè)域下不同業(yè)務(wù)類型進(jìn)行管理的，如登錄、活動(dòng)、服務(wù)集等，而WAF則面向站點(diǎn)的開發(fā)語言和中間件。這會(huì)導(dǎo)致配置無法歸一。
3、Bot防護(hù)的核心在于管理，根據(jù)Bot類型和活動(dòng)情況，分別、分時(shí)調(diào)整，這是一款中度使用的產(chǎn)品，并應(yīng)具備以下管理手段：
限流：最通用也是最溫和的一種方式。對(duì)于機(jī)器人操作者來說，只是網(wǎng)站的訪問速度變慢了；但對(duì)于企業(yè)來說，是在不打草驚蛇的基礎(chǔ)上，緩解了機(jī)器人造成的資源浪費(fèi)、釋放了服務(wù)器資源。限流措施適用于第三方服務(wù)機(jī)器人、不明意圖的機(jī)器人等類型。哪怕是掃描器類型的機(jī)器人，有些時(shí)候限流措施都比直接封堵要更加適合。
欺騙：對(duì)于抱著特定目的而來的機(jī)器人，欺騙措施非常適用。例如對(duì)于價(jià)格爬蟲，可以通過欺騙的方式，返回給爬蟲一個(gè)錯(cuò)誤的價(jià)格，誘導(dǎo)競(jìng)爭(zhēng)對(duì)手設(shè)置錯(cuò)誤的價(jià)格。而此時(shí)競(jìng)爭(zhēng)對(duì)手完全意料不到自己獲取到的是錯(cuò)誤信息。
引流：當(dāng)機(jī)器人流量太大以至于確實(shí)影響到了正常的業(yè)務(wù)流量時(shí)，可以通過引流的方式，把機(jī)器人流量都分流到空閑服務(wù)器或其他業(yè)務(wù)服務(wù)器上，從而緩解業(yè)務(wù)高峰期的壓力，為優(yōu)質(zhì)用戶提供更好的用戶體驗(yàn)。
提醒原站：此方式非常適用于業(yè)務(wù)邏輯復(fù)雜的場(chǎng)景，避免網(wǎng)關(guān)類型的設(shè)備過多地介入業(yè)務(wù)邏輯帶來的配置難題。此時(shí)只需要告訴源站，哪些請(qǐng)求可能是機(jī)器人流量，由源站結(jié)合此信息來判斷響應(yīng)內(nèi)容。例如優(yōu)惠券搶購(gòu)活動(dòng)，通過提醒源站，源站可以給機(jī)器人流量返回高折扣的優(yōu)惠券。這樣既不會(huì)減少活動(dòng)熱度（點(diǎn)擊率），又不會(huì)造成業(yè)務(wù)損失，為企業(yè)熱門活動(dòng)節(jié)約了成本。
二次校驗(yàn)：類似于驗(yàn)證碼機(jī)制，在有風(fēng)險(xiǎn)的情況下，增加二次驗(yàn)證，避免正常客戶業(yè)務(wù)無法進(jìn)行，又增加了黑灰產(chǎn)進(jìn)一步獲利的難度。
因此，在恰當(dāng)?shù)臅r(shí)機(jī)調(diào)整WAF、API安全及Bot管理產(chǎn)品的技術(shù)規(guī)劃路線，進(jìn)行WAAP的預(yù)研及devops環(huán)境的對(duì)接，應(yīng)當(dāng)可以在應(yīng)用開發(fā)快速發(fā)展的未來，持續(xù)提供足夠的安全保護(hù)能力。
在線咨詢
在線咨詢
0371-63319761