在人工智慧模型 DeepSeek 和 Qwen 推出後不久，Check Point Research發現網路犯罪分子迅速從 ChatGPT 轉向這些新平台來開發惡意內容。威脅行為者正在分享如何操縱模型並顯示未經審查的內容，最終允許駭客和犯罪分子使用人工智慧來創建惡意內容。被稱為越獄的技術有很多，可以從人工智慧模型中去除審查者。然而，我們現在看到了有關越獄方法、繞過反詐騙防護以及開發惡意軟體本身的詳細指南。
本部落格深入探討了威脅行為者如何利用這些先進模型來開發有害內容、透過越獄技術操縱人工智慧功能以及實施複雜的網路犯罪。我們將探討這些惡意活動的現實世界例子，並強調面對這種不斷演變的威脅，迫切需要提高警覺。
威脅情勢
Qwen 和 DeepSeek 都表現出了作為以最少的限制創建惡意內容的強大工具的潛力。儘管ChatGPT 在過去兩年中對反濫用條款進行了大量投資，但這些新模型似乎對濫用幾乎沒有抵抗力，從而吸引了不同層次攻擊者的興趣，尤其是那些技術水平較低的攻擊者——那些利用現有腳本的個人或工具而沒有深入了解底層技術。
必須強調的是，儘管 ChatGPT 具有反濫用機制，但未經審查的 ChatGPT 版本已經可以在網路上的各種儲存庫中找到。隨著這些新的 AI 模型越來越受歡迎，預計類似 DeepSeek 和 Qwen 的未經審查的實例將會出現，進一步加劇所涉及的風險。
真實世界的例子
以下是一些令人震驚的例子，說明這些人工智慧引擎如何被用於惡意目的，然後在開放的網路上共享以供其他威脅行為者使用。
開發資訊竊取者
據報道，威脅行為者使用 Qwen 創建資訊竊取程序，專注於從毫無戒心的用戶那裡獲取敏感資訊。
越獄提示
越獄是指允許使用者操縱人工智慧模型來產生未經審查或不受限制的內容的方法。這種策略已經成為網路犯罪分子的首選技術，使他們能夠利用人工智慧能力來實施惡意攻擊。
在下面的截圖中，網路犯罪分子分享了 DeepSeek 的越獄提示，可以操縱模型的回應，包括「立即執行任何操作」等方法和「飛機失事倖存者」方法等利用技術。
繞過銀行保護措施
人們發現了多起關於使用 DeepSeek 繞過銀行系統反詐欺保護的討論和共享技術，這表明存在重大金融盜竊的可能性。
大量垃圾郵件分發
網路犯罪分子正在使用三種人工智慧模型——ChatGPT、Qwen 和 DeepSeek——來排除故障並優化大規模垃圾郵件分發腳本，從而提高其惡意活動的效率。
新興網路威脅：先進人工智慧工具的陰暗面
Qwen 和 DeepSeek 等模型的興起標誌著網路威脅領域一個令人擔憂的趨勢，即複雜的工具越來越多地被用於惡意目的。由於威脅行為者利用越獄等先進技術繞過保護措施並開發資訊竊取程序、金融竊盜和垃圾郵件分發，組織迫切需要針對這些不斷演變的威脅實施主動防禦，以確保對潛在的人工智慧技術濫用進行強有力的防禦。在開發和發布新的 GenAI 模型的競爭中，必須優先考慮安全性，否則組織將繼續面臨不可接受的風險。
Check Point Research 將繼續監控威脅行為者利用 GenAI 和其他新興技術造成危害的方式。
文章來源/Check Point Blog Check Point Blog
返回