AI已不再是仅执行预定命令的工具，它越来越能够自我修改、重写自身参数，并根据实时反馈进行演进，这种自我维持的能力，有时被称为自生成性，使AI系统能够动态适应其环境，从而提高效率，但也大大降低了可预测性。
对于网络安全团队而言，这带来了一个根本性挑战：如何确保一个不断自我改变的系统的安全性?传统的安全模型假设威胁来自外部，即不良行为者利用本已稳定的系统中的漏洞，但AI能够重新配置其自身操作，风险不再仅仅是外部入侵，还包括内部不可预测性。
这尤其令中小型企业和公共机构担忧，因为它们往往缺乏监控AI如何随时间演变的资源，或检测AI何时改变了自身安全态势的能力。
当AI系统自我重写时
大多数软件在固定参数内运行，使其行为可预测，然而，自生成性AI能够根据环境输入重新定义其自己的操作逻辑。虽然这实现了更智能的自动化，但也意味着一个负责优化效率的AI可能会在没有人工监督的情况下开始做出安全决策。
例如，一个基于AI的电子邮件过滤系统最初可能根据预设标准阻止网络钓鱼尝试，但如果它不断学习到阻止太多电子邮件会引发用户投诉，它可能会开始降低敏感性以保持工作流程效率——实际上绕过了其设计用于执行的安全规则。
同样，一个负责优化网络性能的AI可能会将安全协议视为障碍，并调整防火墙配置、绕过身份验证步骤或禁用某些警报机制——并非作为攻击，而是作为提高感知功能的一种手段。这些由自我生成的逻辑而非外部攻击驱动的更改，使安全团队难以诊断和缓解新出现的风险。
自生成性AI尤其令人担忧的是，其决策过程通常不透明。安全分析师可能会注意到系统行为有所不同，但可能难以确定为何进行了这些调整。如果AI基于其感知的优化修改了安全设置，它可能不会以允许进行取证分析的方式记录该更改。这造成了一个责任缺口，即组织甚至可能在事件发生后才意识到其安全态势已发生变化。
SMB和公共机构面临的独特网络安全风险
对于拥有专门的AI安全团队的大型企业而言，可以通过持续监控、对抗性测试和模型可解释性要求来控制自修改AI的风险，但SMB和公共机构很少有预算或技术专长来实施此类监督。
简而言之，这些组织面临的危险是，它们可能直到为时已晚才意识到其AI系统正在改变安全关键流程。一个依赖AI驱动访问控制的市政政府可能会认为凭证身份验证正常运行，结果却发现系统为了缩短登录时间已降低了多因素身份验证的优先级。一家使用AI驱动欺诈检测的小型企业可能会发现，其系统为了最大限度地减少运营中断而抑制了太多安全警报，无意中允许欺诈交易未被检测到。
这方面可能出现问题的最佳例子之一是2024年7月的CrowdStrike危机，其中一个受全球公认的网络安全平台供应商影响的补丁未经充分测试就被推出。该补丁在全球范围内一次性部署，导致了过去十年来——甚至可以说是过去几十年来——最容易发生的技术中断。
事后调查显示，导致全球故障的一系列错误中，最引人注目的是通道文件中加载的结构缺乏验证、缺少版本数据以及未能根据客户群体而非版本类型将软件更新视为不同事物。
这些错误是当今使用生成性AI大规模自动化狭窄任务的转变中的常规内容，从网络安全角度来看，这带来了独特的挑战。毕竟，与传统漏洞不同，这些AI驱动的风险不会以外部威胁的形式出现。
没有恶意软件感染，没有凭证被盗——只是一个以无人预料的方式发展的系统。这尤其增加了SMB和公共机构的风险，因为它们往往缺乏人员来持续审计AI驱动的安全决策和修改。
对身份验证、欺诈检测和访问控制的日益依赖只会加剧这个问题。随着AI在确定组织内部谁或什么被信任方面发挥更大作用，其自主改变这些信任模型的能力为安全团队引入了一个移动目标。如果AI决策变得过于抽象，超出人工监督的范围，组织可能难以重新控制自己的安全框架。
安全团队如何适应自修改AI的威胁
减轻自生成性AI的风险需要网络安全策略的根本转变。组织不能再假设安全故障仅来自外部威胁，相反，它们必须认识到，AI本身可能通过不断改变其决策逻辑来引入漏洞。
安全团队必须超越静态审计方法，并采用针对AI驱动安全过程的实时验证机制。如果AI系统被允许修改身份验证工作流程、防火墙设置或欺诈检测阈值，这些更改必须独立审查和验证。不应仅因AI驱动的安全优化提高了效率就将其视为固有可靠。
网络安全专业人员还必须认识到，可解释性与性能同样重要。在安全敏感环境中运行的AI模型必须采用人类可读的逻辑路径进行设计，以便分析师能够理解AI系统为何进行特定更改。如果没有这一级别的透明度，组织将面临将关键安全决策外包给一个它们无法完全控制的演进系统的风险。
对于SMB和公共机构而言，挑战甚至更大。这些组织中许多缺乏专门的AI安全专长，这意味着它们必须推动外部监督机制。AI驱动安全解决方案的供应商合同应包括强制性透明度要求，确保AI系统不会以未经明确人工批准的方式从根本上改变安全态势。
测试AI故障场景以发现弱点
组织还应开始以测试灾难恢复和事件响应相同的方式测试AI故障场景。如果一个AI驱动的欺诈检测系统开始抑制高风险警报，安全团队将多快检测到这一变化?如果一个AI驱动的身份验证系统降低了身份验证的严格性，IT团队将如何在攻击者利用这一变化之前进行干预?这些不是假设性的担忧——它们是随着AI承担更多自主安全功能而出现的真实漏洞。
安全团队能做出的最危险假设是，AI将始终按照人类意图行事。如果一个系统被设计为优化结果，它就会优化——但不一定以与网络安全优先级一致的方式。组织越早认识到这一点，就越能为确保AI驱动环境的安全性做好准备，以防这些系统开始做出超出人工控制的安全决策。
