上述負責人表示，ChatGPT是使用互聯網數據及部分由標注人員人工編寫的對話數據，利用人類反饋強化學習(RLHF)技術及自有的GPT3.5大模型進行訓練而成的。奇安信團隊對于相關的強化學習、大語言模型等技術，已經有長時間的實踐，并取得了多項成果。
如同其他人工智能模型一樣，ChatGPT對網絡安全是把雙刃劍，既可以是網絡釣魚、惡意軟件生成、社工攻擊的強大工具，也成為網絡防御者的有力助手。
一方面，眾多安全專家警告，由 OpenAI 開發并免費在線提供的ChatGPT，隱藏著眾多潛在網絡安全風險，可能構成嚴重的網絡安全威脅。網絡攻擊者已開始使用ChatGPT來創建惡意軟件、暗網站點和其他實施網絡攻擊的工具。同時有越來越多的證據表明，ChatGPT也可以成為網絡防御者的強大武器。
ChatGPT：改變網絡威脅格局的黑客新工具?
長期以來，很多網絡安全專業人士一直對人工智能的作用持懷疑態度，習慣于嘲笑相關企業對于人工智能作用的大肆宣傳(夸大)。人工智能技術在識別安全威脅方面發揮了重要的價值，但事實證明，很多解決方案遠沒有宣傳的那么實用，而是被營銷團隊夸大了。
對于火熱的ChatGPT，網絡安全專業人士給予了前所未有的關注。ChatGPT 亮相僅數周，網絡安全公司 Check Point就利用聊天機器人ChatGPT，結合OpenAI 的代碼編寫系統 Codex，生成了能攜帶惡意載荷、編寫巧妙的網絡釣魚郵件。Check Point 創建的網絡釣魚電子郵件，附有 Excel 文檔，其中包含將反向 shell 下載到受害者系統的惡意代碼。
Check Point安全專家認為，這表明 ChatGPT 有“顯著改變網絡威脅格局的潛力”，代表著“日益復雜的網絡能力在危險演化上又向前邁進了一步”。
利用ChatGPT 生成的釣魚郵件
威脅情報公司 Recorded Future 的研究人員在最新報告中表示，使用ChatGPT編寫用于網絡攻擊的惡意軟件代碼，降低了攻擊者的編程或技術能力門檻 。根據報告，“只要對網絡安全和計算機科學的基礎知識有基本了解，就可借助ChatGPT實施網絡攻擊。Palo Alto Networks公司的安全專家Sean Duca也認為：“ChatGPT降低了網絡犯罪的門檻”——即使沒有技術，也能成為攻擊者。其帶來的網絡威脅還有可能蔓延到異次元。
目前網絡釣魚即服務 (PhaaS) 和勒索軟件即服務 (RaaS)可以向攻擊者提供收費工具包，使其可以輕松實施攻擊。而現在ChatGPT則使網絡犯罪活動正經歷另一種演變：利用ChatGPT面向公眾免費開放的服務，更多危險正在萌芽，這加劇了對于未來安全風險的憂慮。
Recorded Future 在報告中表示，網絡犯罪分子使用 ChatGPT 造成的“最緊迫和常見的威脅”主要包括網絡釣魚、社會工程和惡意軟件開發。
(1)網絡釣魚
根據HP Wolf Security的研究，網絡釣魚占惡意軟件攻擊的近 90% 。ChatGPT 使情況變得更糟：它在模仿人類書寫方面的專長，使其可能成為強大的網絡釣魚工具，尤其對英語不流利的攻擊者特別有用。
撰寫出色的網絡釣魚電子郵件是一門藝術和科學。借助ChatGPT，編寫釣魚郵件會變得更容易，且沒有任何拼寫錯誤或奇怪的格式，而這些通常是區分釣魚與合法郵件的關鍵。攻擊者可以借助ChatGPT創造多種釣魚郵件，例如“使郵件看起來很緊急”、“收件人點擊鏈接的可能性很高的郵件”、 “請求匯款的社工郵件”等。
Akamai Technologies 首席技術官兼執行副總裁 Robert Blumofe 表示：“ChatGPT使攻擊者能有效地將普通釣魚的數量與魚叉式網絡釣魚(定向)的高收益結合起來。” 普通網絡釣魚的規模很大，以電子郵件、短信和社交媒體帖子的形式發送數百萬個誘餌。但這類通用的形式，容易被發現，往往回報較低。魚叉式網絡釣魚利用社會工程，創建具有更高回報的針對性和定制化的誘餌，但因需要大量的人工投入，因而數量較少。借助 ChatGPT 生成網絡誘餌，攻擊者就可以實現事半功倍的效果。
(2)惡意軟件生成
目前安全人員已發現網絡攻擊者使用 ChatGPT 來開發惡意軟件。盡管ChatGPT 的設置阻止其直接做惡，比如詳細說明如何制造炸彈或編寫惡意代碼，但多個研究人員已經找到方法，能繞開和規避ChatGPT為防止濫用而設置的規則。BugCrowd 首席技術官、創始人兼董事長Casey John Ellis將 ChatGPT 的出現稱為對抗性 AI/機器學習知識領域的“糟糕”時刻。
在地下黑客論壇上，網絡攻擊者展示如何使用ChatGPT創建新的木馬。只要簡要地描述所需的功能(“將所有密碼保存在文件X中，并通過HTTP POST發送到服務器Y”)，就可以得到簡單的信息竊取器，而不需要任何編程技能。考慮到已經有犯罪集團提供惡意軟件即服務，在 ChatGPT 等人工智能程序的幫助下，攻擊者借助人工智能生成的代碼發起網絡攻擊可能會變得更快、更容易。ChatGPT 賦予甚至經驗不足的攻擊者編寫更準確的惡意軟件代碼的能力，而這在以前只能由專家來完成。ChatGPT 的代碼編寫質量好壞參半，但無疑可以加速惡意軟件的開發。
Recorded Future在暗網和封閉論壇發現了 1.500 多條關于在惡意軟件開發和概念驗證代碼創建中使用 ChatGPT 的 資料。其中包括利用開源庫發現的惡意代碼對 ChatGPT 進行培訓，以生成可逃避病毒檢測的惡意代碼不同變體，以及使用 ChatGPT 創建惡意軟件配置文件并設置命令和控制系統。值得注意的是，根據Recorded Future 研究人員的說法，ChatGPT 還可以用于生成惡意軟件有效載荷。研究團隊已經確定了 ChatGPT 可以有效生成的幾種惡意軟件有效負載，包括信息竊取器、遠程訪問木馬和加密貨幣竊取器。
當然ChatGPT 并不是編寫惡意軟件的專家，它生成的惡意代碼可能存在細微的錯誤和邏輯缺陷，從而降低其有效性。這意味著生成高質量的惡意代碼顯然離不開攻擊者專業知識的支撐。
(3)社會工程
ChatGPT 作為由 OpenAI 訓練的大型語言模型，能夠生成可用于多種用途的類人文本。其中一種用途是在社會工程攻擊領域。社會工程攻擊是一種依靠心理操縱來誘騙人們泄露敏感信息或執行某些操作的策略。這可以通過各種方式完成，包括網絡釣魚詐騙、借口和其他形式的欺騙。
ChatGPT 和其他基于GPT-3的工具使社會工程攻擊能夠從其“創造力和對話方法”中受益。就像互聯網為網絡犯罪分子消除物理障礙一樣，這些工具的修辭能力可以消除文化障礙。
研究人員發現，ChatGPT 等GPT-3工具使犯罪分子能夠逼真地模擬各種社會環境，從而使任何針對性的通信攻擊都更加有效。GPT-3這類語言模型提供支持的工具，使攻擊者更易誘騙受害者提供敏感信息或下載惡意軟件，加速從網絡釣魚到傳播仇恨言論的所有級別和目的的社會工程攻擊。
總的來說，ChatGPT 生成類人文本的能力可以成為社會工程攻擊的強大工具。通過創建令人信服的消息，ChatGPT 可用于操縱個人泄露敏感信息或執行某些操作。未來需要更多人意識到ChatGPT 的這種潛在用途，在與未知來源互動時保持謹慎。
ChatGPT同樣是安全防護的福音
與所有技術一樣，ChatGPT 本身是一把雙刃劍。盡管越來越多的研究人員認為ChatGPT 可能成為黑客的盟友，但這一可生成不良內容的工具，也可以用來幫助安全人員提高效率，提高惡意信息識別、抵御網絡攻擊的能力，這主要包括釣魚檢測、漏洞發現和安全事件響應。
(1)網絡釣魚檢測
2022 年 11 月，知名《安全雜志》報告稱，2022年前 11 個月發生 2.55 億次釣魚攻擊，同比2021 年激增了 61%。人是安全鏈中最薄弱的環節，掌握著訪問敏感數據的密鑰。攻擊者往往利用定制的釣魚郵件來獲取對敏感數據的訪問權限。
ChatGPT 可以被攻擊者創造釣魚郵件，同樣可以從大型語言模型中學習，幫助組織識別和標記釣魚郵件，在郵件進入收件人的收件箱之前就可以進行標記，從而顯著降低網絡釣魚活動成功的機會。網絡安全專業人員還可以利用 ChatGPT 來訓練網絡釣魚檢測系統，以識別與這些攻擊相關的模式和語言。以便提高網絡釣魚檢測系統的效率和有效性。
(2)漏洞發現
ChatGPT 可用于幫助發現組織使用軟件和系統中的新漏洞。網絡安全行業已經面臨控制大量安全漏洞的挑戰。人工智能將會把安全漏洞數字推得更高，因為它可以更快、更智能地發現漏洞。
安全人員可以使用 ChatGPT 快速生成大量獨特的輸入，使網絡安全專業人員能夠識別以前未檢測到和未知的漏洞。同時，還使用新獲得的知識和信息來提高軟件和系統的安全性，實施更有效的安全控制，或改進當前的安全措施和實踐。
ChatGPT它與用戶的專業水平相結合，可以使用戶能夠快速學習并有效地采取行動。就像應用程序的在線幫助可以解決問題一樣，用戶可以從ChatGPT獲得特定漏洞的更多信息以及如何緩解辦法。
未來隨著，ChatGPT模型代碼理解能力的提高，安全防護人員可以詢問軟件代碼的副作用，將其作為開發伙伴，可以顯著提升軟件代碼的安全水平。
隨著ChatGPT人工智能模型的演進，有可能實現漏洞檢測和修復的自動化和/或半自動化，以及基于風險的優先級。這對于面臨資源限制的 IT 和安全團隊來說將是非常有吸引力的應用。
(3)事件分析與響應
ChatGPT 還可以在檢測和響應網絡攻擊，以及改善組織內部的溝通方面發揮關鍵作用。
埃森哲的安全研究人員一直在嘗試利用 ChatGPT 的功能，實現網絡防御自動化的工作。熟練的安全專業人員，網絡安全專業人員負擔過重，ChatGPT實現一些安全工作的自動化將會給不堪重負的安全團隊帶來福音，同時還有助于“消除信號中的一些噪音”
多年來，安全運營領域在很多方面一直停滯不前，分析師收到了大量、過載的信息。通常，安全分析師收到潛在安全事件的警報后，會提取數據以便能“講出故事”，同時判讀是否為真正的攻擊。這通常需要大量手動工作，或者需要使用 SOAR(安全編排、自動化和響應)工具將相關工作進行整合。
ChatGPT在這方面展示獨特的優勢：在從安全運營平臺獲取數據后，ChatGPT 會生成非常好的摘要，幾乎就像人類分析師在審查后所形成的報告。埃森哲的研究表明，ChatGPT從安全信息和事件管理 (SIEM) 工具中獲取數據輸出并進行處理可以快速生成安全事件的“故事”。相比人類分析師，ChatGPT可以更快地從數據中創建有關安全事件的清晰畫面。最終，這些可以幫助安全團隊做出更好的安全決策。
ChatGPT的未來：以人工智能對抗人工智能
對ChatGPT 未來在網絡安全中扮演什么角色、有什么影響，我們很難進行準確的預測。這取決于它的使用方式以及使用的意圖。來自人工智能的威脅并不是新問題，只是 ChatGPT 展示了一些看起來很可怕的應用。對于網絡安全人士來說，重要的是要及時意識到ChatGPT的潛在風險并及時采取適當的措施來應對。
安全專家預測，國家背景的黑客將率先在網絡攻擊中利用ChatGPT，而該技術最終會在更多的攻擊組織得到大規模的使用。信息安全專家需要開始開發能夠抵御此類攻擊的系統。
從網絡安全防護的角度來看，機構可以采取針對性的應對措施。對ChatGPT等類似模型進行培訓，標記惡意的活動和惡意代碼;同時對其設置難以繞過護欄。對于ChatGPT引發的威脅，可以向員工提供新型的網絡意識培訓，掌握識別社會工程攻擊的知識，以便識別ChatGPT等人工智能工具所創造的釣魚攻擊。
當然僅僅是這樣還不夠。ChatGPT等人工智能工具會以比人類罪犯更快的速度制造出新的、日益智能的威脅，傳播威脅的速度也會將超過網絡安全人員的反應速度。對于機構來說，跟上這一變化速度的唯一方法是通過使用人工智能來應對人工智能。
一方面，網絡安全行業的研究人員、從業者、學術和企業可以利用 ChatGPT 的力量進行創新和協作，包括漏洞發現、事件響應和釣魚檢測。此外，隨著ChatGPT 等類似工具的發展，未來開發新的網絡安全工具更加重要。安全企業應更積極地開發和部署基于行為(而非規則)的AI安全工具，來檢測人工智能生成的攻擊。 網絡安全僅使用規則驅動的框架來檢測潛在的網絡威脅。行為分析通過使用復雜的機器學習算法來分析整個企業的用戶和實體數據，識別具有風險的外行為，從而實現以人為本的防御。為了更好地保護機構免受這些新型攻擊，是時候發展和部署基于行為的 AI檢測工具了。
安全研究人員認為，展望未來，ChatGPT 也可能是一個信號，表明距離網絡防御決策的更高自動化不再遙遠。
