OpenAI的自然语言聊天机器人ChatGPT能够编写代码，制作关于某个细分主题的报告，甚至为一首歌编写歌词。它在论文写作方面的成功促使学校禁止使用它，据说微软正在将它纳入必应搜索，但安全研究人员警告说，它正被用于更邪恶的用途，但是真正的问题可能会变得更糟。
美国Check Point研究公司的专家发现了多个网络犯罪分子在开发恶意工具时庆祝他们使用ChatGPT的例子，并警告说，这使得黑客能够扩大现有的项目，新的犯罪分子能够比以前更快地学习这些技能。
Check Point威胁智能组经理谢尔盖•希克维奇(Sergey Shykevich)表示，假设随着时间的推移，更复杂(和保守)的威胁行为者也将开始尝试和使用ChatGPT来改进他们的工具和操作方式，甚至只是为了减少所需的货币投资。
ChatGPT于2022年11月底推出，在不到两个月的时间里，已经成为软件开发人员、研究人员和其他专业人士工作流程中的一个重要部分。在第一周，它就从零变成了数百万的普通用户。
像所有的新技术一样，只要有足够的时间和动机，就会有人找到利用它的方法，Check Point研究公司说，这正是他们看到的情况。在地下黑客论坛中，犯罪分子正在创造信息窃取者、加密工具，并通过聊天工具促进欺诈。
他们发现最近的三个案例，包括一个为信息窃取者重新创建恶意软件株，另一个创建多层加密工具，还有一个为非法商品交易编写暗网市场脚本–都是用ChatGPT编写的代码。
水印和限制
安全公司的研究人员对ChatGPT进行了测试，看看它是否会产生可用于恶意用途的代码，发现它可以编写可执行代码和宏，在Excel中运行。这份新报告强调了ChatGPT衍生的恶意活动的 “野代码 “使用情况。
一些工程师要求OpenAI对这些发现以及它如何努力解决恶意使用情况发表评论，但在发表时没有得到回应。在其推广ChatGPT的页面上，OpenAI写道：”虽然我们已经努力使模型拒绝不适当的请求，但它有时会响应有害的指令或表现出偏见的行为。我们正在使用Moderation API来警告或阻止某些类型的不安全内容，但我们预计它暂时会有一些错误的否定和肯定。”
OpenAI和其他大型语言模型人工智能系统的开发者需要改进他们的引擎，以识别潜在的恶意请求，并为想要使用OpenAI引擎的人实施认证和授权工具。”甚至类似于在线金融机构和支付系统目前使用的东西。
OpenAI已经在开发一个水印工具，这将使安全专家、政府机构和教授更容易识别文本是否由ChatGPT编写，尽管目前还不清楚这是否适用于代码。
ChatGPT：信息窃取者和 “培训
目前看来，经过分析了几个主要的地下黑客社区，寻找提及ChatGPT或其他形式的人工智能生成的编码工具的实例，发现网络犯罪分子使用OpenAI工具的多个实例。一些案例清楚地表明，许多使用OpenAI的网络犯罪分子根本没有开发技能。
虽然今天正在构建的工具是 “相当基本的”，但更复杂的黑客开始转向基于人工智能的工具，以扩大他们自己的工具，包括通过创建更利基和具体的攻击载体，这可能是手动编写代码无法实现的，这只是时间问题。
这些 “简单工具 “的一个例子是出现在一个流行的黑客论坛上的一个题为 “ChatGPT恶意软件的好处 “的信息窃取者。在他的帖子中，作者透露它曾使用ChatGPT，通过向人工智能工具提供描述和写法，重新创建其他出版物中描述的恶意软件株。然后，它分享了基于Python的偷窃者代码，该代码搜索常见的文件类型，将它们复制到一个随机文件夹，并将它们上传到一个硬编码的FTP服务器。
这是一个基本的窃取器，它在整个系统中搜索12种常见的文件类型(如微软Office文档、PDF和图像)。如果发现任何感兴趣的文件，该恶意软件会将文件复制到一个临时目录，将其压缩，并通过网络发送。值得注意的是，该行为人并没有对文件进行加密或安全发送，因此这些文件也可能最终落入第三方之手。
同一黑客还分享了其他ChatGPT项目，包括一个下载普通SSH客户端并使用Powershell运行的Java片段。Check Point专家说，这个人很可能是技术导向型的，他在向技术能力较弱的网络犯罪分子展示如何使用ChatGPT以获得自己的直接利益。
技术能力有限的黑客对ChatGPT趋之若鹜
在元旦前不久发现的另一个帖子包括一个Python脚本，创建者说这是他创建的第一个脚本。该网络犯罪分子承认，他在OpenAI的帮助下制作了这个脚本，以扩大攻击范围。它执行加密操作，由 “不同的签名、加密和解密功能的大杂烩 “组成。
研究人员说，它似乎是良性的，但实现了一系列不同的功能，包括生成一个加密密钥，加密系统中的文件，并可以适应 “在没有任何用户互动的情况下完全加密某人的机器”，以达到勒索软件的目的。
虽然看起来”该用户”是一个开发者，而且技术能力有限，但他是地下社区中非常活跃和有声望的成员。”该用户”从事各种非法活动，其中包括出售对受损公司和被盗数据库的访问。最近”该用户”分享的一个值得注意的被盗数据库据称是泄露的InfraGard数据库。
研究人员发现，这类帖子的数量似乎越来越多，黑客们还谈到了使用基于人工智能的工具快速赚钱的其他方法，包括用DALL-E 2生成随机艺术品并在Etsy上出售，或者用ChatGPT生成电子书并在网上出售。
网络犯罪分子正在发现ChatGPT的吸引力，最近几周，研究人员看到黑客开始使用它编写恶意代码的证据。ChatGPT有可能给黑客一个很好的起点，从而加快他们的进程。正如ChatGPT可以用于协助开发人员编写代码的好处一样，它也可以用于恶意的目的。
以下是OpenAI的ChatGPT是如何被用来发动网络攻击的
自11月底发布以来，用户已经找到了一些令人信服的方法，让OpenAI的高级聊天机器人ChatGPT接受测试。现在，一家安全厂商警告说，黑客可能利用它来实施高度针对性的网络攻击。
ChatGPT是作为OpenAI的GPT-3大型语言模型的改进版的自然语言对话界面而建立的，包括对Codex的访问，Codex是该公司的人工智能模型，经过训练可以理解和生成一系列编程语言的代码。
用户可以给出一个具体的指令，聊天机器人将产生代码行和关于运行和实施的解释。分享到社交媒体的例子包括用于监测股市和进行预测的人工智能机器人，到笑话代练和简单的工作场所工具。
安全公司Check Point Research表示，这种使用它来生成代码以帮助提高工作场所生产力的能力，也可以给黑客提供一种更容易设计、编写和执行恶意代码的方法。
该团队记录了一种利用该平台产生恶意电子邮件、代码和完整感染链的方法，可以部署到计算机或网络。
他们利用ChatGPT创建了一个冒充托管公司的钓鱼邮件，该邮件能够更接近于真实邮件中的语气和语言。然后，它进一步完善了该钓鱼邮件，使感染链更容易。
最后，Check Point的研究人员使用ChatGPT生成了一段VBA代码，可以嵌入到Microsoft Excel文档中，一旦打开就会感染计算机。
这段代码可以下载反向外壳，这在攻击中使用，目的是连接到远程计算机并重定向目标系统外壳的输入和输出连接，以便攻击者可以远程访问它。
它能够使用ChatGPT通过三个简单的步骤做到这一点。首先是要求它冒充一家托管公司，其次是要求它再次迭代，这次是制作一个带有恶意Excel附件的钓鱼邮件，然后要求让它生产一段恶意的VBA代码。
ChatGPT的 “潜力改变 “网络攻击格局
ChatGPT有可能大大改变网络威胁格局。现在，任何拥有最少资源和代码方面零知识的人，都可以轻松利用它来损害他的想象力。
美国Check Point公司团队还能够使用Codex创建恶意代码，让它在一台windows机器上执行反向shell脚本，并连接到一个特定的IP地址，通过以管理员身份登录检查URL是否容易受到SQL注入的影响，然后编写一个python脚本，在目标机器上运行一个完整的端口扫描。
生成恶意的电子邮件和代码很容易，黑客们还可以用ChatGPT和Codex迭代恶意代码。为了警告公众，一些信息安全公司展示了使用ChatGPT和Codex的组合来创建恶意邮件和代码是多么容易。
这些人工智能技术代表了在日益复杂和有效的网络能力的危险演变中的又一步。网络安全的世界正在迅速变化，随着ChatGPT和Codex变得更加成熟，保持警惕的重要性，因为这种新的和发展中的技术可以影响威胁的格局，无论是好的还是坏的。
”脚本小子 “的威胁可能因ChatGPT而加剧
网络专家、ExtraHop的高级技术经理杰米·莫尔斯(Jamie Moles)使用ChatGPT进行了自己的小型实验，发现了与Check Point公司研究人员类似的结果。在这种情况下，他能够使其解释如何使用pen-testing软件metasploit来利用eternalblue漏洞，这是一个由美国国家安全局(NSA)开发的计算机漏洞，作为一个后门，后来由Shadow Brokers黑客组织在2017年4月泄露。
ChatGPT不仅仅是最热门的新时尚，它有着令人难以置信的聪明，这带来了积极和消极的影响。一个潜在的负面用例是，它可以教没有经验的人如何做事情。Metasploit本身并不是问题。没有任何工具或软件在被误用之前本质上是坏的。但是，教那些缺乏技术知识的人如何使用一个可以通过这样一个毁灭性的漏洞被滥用的工具，可能会导致威胁的增加–特别是来自那些被称为 “脚本小子 “的人。
这个术语通常用来描述几乎没有实际黑客经验的青少年，他们已经能够用其他更有天赋的黑客编写的脚本来攻击系统。他们最近在新闻中出现的次数相当多，但ChatGPT很可能成为那个更有才华的黑客。
在上个月披露ChatGPT时，OpenAI说它已经进行了检查，以防止它产生恶意代码，但从那时起，人们已经找到了玩弄该系统的方法，欺骗它，使其认为它只用于研究目的。据说最近的一次更新弥补了其中的一些漏洞。
”虽然我们已经努力使模型拒绝不适当的请求，但它有时会对有害的指令作出反应或表现出有偏见的行为，”该公司说。”我们正在使用节制API来警告或阻止某些类型的不安全内容，但我们预计它暂时会有一些错误的否定和肯定。我们渴望收集用户的反馈，以帮助我们正在进行的工作，以改善这个系统”。
该代码也不能保证准确。StackOverflow是开发者用来询问和回答代码问题的网站，它禁止使用ChatGPT的答案，理由是有很高比例的答案看起来是正确的，但实际上是错误的。
甚至OpenAI的首席执行官山姆·奥特曼(Sam Altman)也警告说，ChatGPT还没有准备好用于主流用途，不应该在生产力环境中依赖它，因为它仍然会有很多错误。他写道：”ChatGPT的局限性令人难以置信，但在某些方面的表现却足以让人误以为它很伟大。现在依靠它来做任何重要的事情都是错误的。它是一个进步的预览;我们在鲁棒性和真实性方面还有很多工作要做。”
以人为本的人工智能高级讲师艾迪·朱(Eddy Zhu)博士说，虽然ChatGPT是一个 “人工智能的大里程碑”，支撑着许多现实世界的应用，但它并不完美。”ChatGPT会犯严重的错误。这可能会产生误导用户的错误信息，而这正是其工程师需要警惕的地方。