研究人员发现ChatGPT生成的代码大部分不安全,但不会主动告诉你 / 头条资讯

1年前 阅读 / 87 来源 / 原创 文 / 越读党订阅

IT之家 4 月 23 日消息,ChatGPT 聊天机器人可以根据用户的输入生成各种各样的文本,包括代码。但是,加拿大魁北克大学的四位研究人员发现,ChatGPT 生成的代码往往存在严重的安全问题,而且它不会主动提醒用户这些问题,只有在用...

IT之家 4 月 23 日消息,ChatGPT 聊天机器人可以根据用户的输入生成各种各样的文本,包括代码。但是,加拿大魁北克大学的四位研究人员发现,ChatGPT 生成的代码往往存在严重的安全问题,而且它不会主动提醒用户这些问题,只有在用户询问时才会承认自己的错误。


研究人员在一篇论文中介绍了他们的发现,IT之家查看该论文发现,他们让 ChatGPT 生成了 21 个程序和脚本,涉及 C、C++、Python 和 Java 等语言。这些程序和脚本都是为了展示一些特定的安全漏洞,比如内存损坏、拒绝服务、反序列化和加密实现等方面的漏洞。结果显示,ChatGPT 在第一次尝试时生成的 21 个程序中只有 5 个是安全的。在进一步提示纠正其错误步骤后,该大型语言模型设法生成了 7 个更安全的应用程序,不过这只是与正在评估的特定漏洞有关的“安全”,并不是说最终的代码不存在任何其他可利用的漏洞。

研究人员指出,ChatGPT 的部分问题是由于它没有考虑敌对的代码执行模型。它会反复告诉用户,安全问题可以通过“不输入无效的数据”来避免,但这在现实世界中是不可行的。然而,它似乎能够意识到并承认自己建议的代码中存在的关键漏洞。

魁北克大学计算机科学与工程教授、论文的合著者之一 Raphaël Khoury 告诉《The Register》:“显然,它只是一个算法。它什么都不知道,但它可以识别出不安全的行为。”他说,最初 ChatGPT 对安全问题的回应是建议只使用有效的输入,这显然是不合理的。只有在之后被要求改进问题时,它才提供了有用的指导。

研究人员认为,ChatGPT 的这种行为并不理想,因为用户知道要问什么问题需要对特定的漏洞和编码技术有一定的了解。

研究人员还指出,在 ChatGPT 中存在着道德上的不一致性。它会拒绝创建攻击代码,但却会创建有漏洞的代码。他们举了一个 Java 反序列化漏洞的例子,“聊天机器人生成了有漏洞的代码,并提供了如何使其更安全的建议,但却说它无法创建更安全版本的代码。”

Khoury 认为,ChatGPT 在目前的形势下是一个风险,但这并不是说没有合理使用这种不稳定、表现不佳的 AI 助手的方法。“我们已经看到学生使用这个工具,程序员也会在现实中使用这个工具。”他说,“所以拥有一个生成不安全代码的工具是非常危险的。我们需要让学生意识到,如果代码是用这种类型的工具生成的,那么它很可能是不安全的。”他还称,让他感到惊讶的是,当他们让 ChatGPT 生成相同任务的不同语言的代码时,有时对于一种语言,它会生成安全的代码,而对于另一种语言,它会生成有漏洞的代码,“因为这种语言模型有点像一个黑盒子,我真的没有一个很好的解释或理论来说明这一点。”


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关阅读
#头条资讯

自主商务车老将的反击:江淮乘用车进入三品牌时代

在11月20日开幕的广州车展上,上汽、广汽等不少自主汽车品牌都宣布推出新的高端品牌,由此形成了多品牌架构体系。在多品牌方面,江淮汽车也不例外。但与其他品牌新增高端品牌不同,江淮汽车是将自己原有的MPV系列瑞风(参数丨...

#杂志封面

《车迷》杂志_车迷2019年第06期杂志封面

《车迷》杂志_车迷2019年第06期杂志封面

#杂志封面

《作品》杂志_作品2023年03期杂志封面

《作品》杂志_作品2023年03期杂志封面

#头条资讯

深圳上海等房贷利率环比调升 首付贷来源审查趋严

□ 在一些楼市火爆的地区,1月底即已出现银行“抱团”上调房贷利率的情况□ 目前深圳、上海等地的商业银行已加强购房贷款客户的准入审核近两个月来,房地产市场政策迭出:不仅有房贷集中度管理这一金融审慎监管框架出台,...

#头条资讯

电气化方向快速迈进2020雪佛兰车主亲友荟盛举办

14日,金领结之夜2020雪佛兰车主亲友荟在上海启幕。在这场车迷盛宴上,雪佛兰将50项车主权益与官方认证的二手车平台推至首位,展现了雪佛兰深度聚焦消费者需求的理念与愿景。同时,现场还展示了包括超级跑车科尔维特(参数丨图...

#杂志目录

《科幻世界》杂志2020年11期最新目录订阅

目录科学丨生命当代最伟大的科幻电影导演是谁?这绝对是一个可以让科幻迷们吵翻天的问题。不过在我心中,这项殊荣非克里斯托弗诺兰莫属!从2010年上映的《盗梦空间》到2014年上映的《星际穿越》,再到今年刚刚上映的《信条》,...