2022年11月底，人工智能研究公司OpenAI发布了自然语言生成模型ChatGPT，不到一周注册用户超100万。ChatGPT的迅速出圈引发了人们对AI及其可能用途的兴趣。
然而，ChatGPT也为现代网络威胁增添了新的可能性，因为代码生成可以帮助技术不太熟练的攻击者毫不费力地发动网络攻击，这比五年前大家担心黑客使用机器学习(Machine Learning)或行为分析(Behavior Analysis)来对抗安全产品更令人担心。连马斯克都表示：“ChatGPT非常赞，我们离强大且危险的AI不远了。”
此前有机构研究了通过ChatGPT实现一个完整感染流程，从创建令人信服的鱼叉式钓鱼电子邮件到运行能够接受英语命令的反向外壳(Shell)。目前的问题是，这是否只是一个假设的威胁，或者是否已经有攻击者使用OpenAI技术进行恶意攻击。
目前对几个主要地下黑客社区的分析表明，已经出现了第一例网络犯罪分子使用OpenAI开发恶意工具。正如我们所怀疑的，一些案例清楚地表示，许多使用OpenAI的网络罪犯自身根本没有开发技能。尽管我们现在所介绍的工具非常基础，但更复杂的网络犯罪团伙改进他们使用基于AI的工具的方式来进行犯罪只是时间问题。
案例1：创建信息窃取工具
2022年12月29日，一个名为“ChatGPT——恶意软件的好处”的帖子出现在一个流行的地下黑客论坛上。该帖子的发布者透露，他正在使用ChatGPT进行实验，以重新创建他安全研究产出物和常见恶意软件的撰写中描述的恶意软件病毒和技术。他还举例分享了一个基于Python的窃取器的代码，它可以搜索常见的文件类型，将它们复制到Temp文件夹中的一个随机文件夹中，对它们进行压缩，然后将它们上传到硬编码的FTP服务器。
图1 网络罪犯展示了他如何使用ChatGPT创建信息窃取工具
事实证明这确实是一个基本的窃取工具，它在整个系统中搜索12种常见的文件类型(如MS Office文档、PDF和jpg)。如果发现任何感兴趣的文件，恶意软件会将这些文件复制到一个临时目录中，将其压缩并通过网络发送。值得注意的是，攻击者没有费心加密或安全发送文件，因此文件也可能最终落入第三方手中。
这个攻击者使用ChatGPT创建的第二个示例是一个简单的Java代码片段。它下载PuTTY，一个非常常见的SSH和telnet客户端，并使用Powershell在系统上秘密运行它。当然，也可以修改此脚本以下载和运行任何程序，包括常见的恶意软件系列。
图2 证明他如何创建Java程序，下载PuTTY并使用Powershell运行它
该发布者之前曾在论坛共享过几个脚本，如开发后阶段的自动化，以及一个试图钓鱼获取用户凭据的C++程序。此外，他还积极分享SpyNote的破解版本，这是一款Android RAT恶意软件。因此，总的来说，这个人似乎是一个以技术为导向的网络攻击者，他的帖子旨在向技术能力较弱的网络犯罪分子展示如何利用ChatGPT进行恶意攻击，并向他们提供拿来即用的真实范例。
案例2：推动ChatGPT欺诈活动
另一个使用ChatGPT进行欺诈活动的例子是在2022年末发布的，它展示了一种不同类型的网络犯罪活动。在这个案例中，网络犯罪者展示了使用ChatGPT来创建暗网市场是多么容易。市场在地下非法经济中的主要作用是为非法或被盗物品(如被盗账户或支付卡、恶意软件，甚至毒品和弹药)的自动交易提供一个平台，所有付款都是加密货币。为了说明如何将ChatGPT用于这些目的，这位网络罪犯发布了一段代码，该代码使用第三方API获取最新的加密货币(门罗币、比特币和以太币)价格，作为暗网市场支付系统的一部分。
图3 攻击者使用ChatGPT创建DarkWeb Market脚本
2023年初，几个网络攻击者在其他地下论坛上展开了讨论，讨论的重点是如何将ChatGPT用于欺诈计划。其中大部分集中于使用另一种OpenAI技术(DALLE2)生成随机艺术，并使用Etsy等合法平台在线销售。在另一个例子中，攻击者解释如何使用ChatGPT为特定主题生成电子书或短章节，并在线销售这些内容。
图4 地下论坛中关于如何使用ChatGPT进行欺诈活动的多个教程
总之，现在判定ChatGPT功能是否会成为网络犯罪分子最喜欢的工具还为时过早。然而，网络犯罪群体已经对此表现出了极大的兴趣，并正投身于生成恶意代码的最新趋势。塞讯安全实验室也将在2023年继续跟踪其动向，一旦ChatGPT被网络犯罪团伙用于网络攻击，我们将及时更新模拟攻击库，以帮助企业验证自身防御体系是否能够抵御此类攻击，并提前做好应对准备。
最后，了解ChatGPT滥用的最好方法莫过于询问ChatGPT本身，ChatGPT也给出了一个非常有趣的答案：
攻击者滥用AI和机器学习来进行恶意活动并不罕见。他们可能滥用OpenAI的一种具体方式是使用该公司的语言模型技术生成令人信服的钓鱼邮件或社交媒体帖子。这些可以用来诱骗人们点击恶意链接或泄露敏感信息。
犯罪分子滥用OpenAI的另一种方式是使用该公司的机器学习算法来创建真实的合成媒体，如音频或视频，这些媒体可用于传播虚假信息或操纵公众舆论。
值得注意的是，OpenAI本身不对第三方滥用其技术负责。该公司已采取措施防止其技术被用于恶意行为，例如要求用户同意禁止将其技术用于非法或有害活动的服务条款。