在最近由a16z发布的研究报告《Navigating the Impact of Generative AI on Enterprise Security: Insights from Industry Experts》中，Zane Lackey和Joel de la Garza这两位业界精英带我们深入了解了2024年企业安全的现状。
他们聚焦于CISO（首席信息安全官）们最关心的问题：生成式人工智能对企业安全的影响。报告探讨了技术采纳的关键考虑因素，以及CISO们可以采取的策略来应对AI驱动安全解决方案的崛起。
从自动化模拟攻击到安全工作流中AI助手的采用，报告详尽阐述了生成式AI如何改变了企业面临的安全威胁，同时提供了应对这一挑战的策略和思考。
本文旨在解读此报告，透过a16z——一个致力于投资颠覆性创新的风险投资公司的视角，探索企业如何在生成式AI的浪潮中保障自身安全，不仅为读者提供洞察，更指明了面对未来安全挑战的方向。
企业今日面临的最大安全威胁
随着生成式人工智能（AI）的崛起，企业安全领域迎来了翻天覆地的变化。首先，生成式AI极大地改变了威胁环境，使得伪造人声、图像和写作风格变得前所未有地简单。这一过程的自动化和可扩展性导致了如冒名顶替骗局等攻击方式的激增，迫切需要如Doppel这样的解决方案来有效对抗这类威胁，这不仅关乎声誉损害，还可能引发下一代的网络钓鱼和鱼叉式钓鱼攻击，造成重大损害。
其次，采用生成式AI的公司必须重新思考其技术堆栈。尽管许多公司正在进入这一领域，但对于大多数公司而言，部署基于大型语言模型（LLM）的应用仍处于初期阶段。随着部署的普及，保护这些模型的安全成为了一个挑战。模型和应用程序在技术堆栈中的扩增，增加了输出量，从而提高了漏洞风险。
最后，AI助手在安全工作流中的采用带来了独特的挑战。与GitHub Copilot等编程工具不同，像Microsoft Security Copilot这样的安全特定产品面临着怀疑。尽管存在挑战，但在某些安全用例中，生成式AI能够发挥作用，例如事后调查和代码审查，这些场景利用了GenAI评估大规模输入的能力，尤其是在有大量高质量、标准化数据可供训练的环境中。
生成式AI市场与现有安全架构的对比
在安全领域，生成式AI市场的发展轨迹似乎与云计算时代的发展有所相似，预示着未来可能会出现针对漏洞扫描、身份验证层，乃至数据丢失预防（DLP）层的安全特性。
关键问题在于，这些功能将由谁来提供：是专业供应商，还是大型云服务或模型提供商？回顾过去，许多公司曾希望成为云服务经纪人，但最终被云服务提供商吸收或其功能被集成，使得独立产品变得无关紧要。
对于Anthropic、OpenAI或Google等公司而言，安全问题对其产品至关重要。这些公司需要自行解决如提示注入等主要安全问题，或将解决方案集成到应用架构中，而不会将这些关键任务外包给第三方。例如，由于提供与Azure整体相同的控制堆栈，Microsoft托管的OpenAI在企业中获得了重大关注。
这就像是在构建网络之前先创建防火墙一样；你需要观察人们如何构建网络，以设计出有效的防火墙。
CISOs如何针对生成式AI规划预算
当前，大型组织的首席信息安全官（CISOs）主要集中在与AI安全专家的讨论上，而不是急于购买产品。他们的主要目标是了解生成式AI的使用方式，识别将进入生产的关键用例，并确定其安全团队如何支持这些用例。许多CISOs的初步目标将是阻止敏感数据输入到大型语言模型（LLM）产品和模型中。
然而，除此之外，在他们开始正式在生产中使用生成式AI、标准化方法和提供商，并据此执行计划之前，CISOs很难采取非常战略性的行动。
生成式AI加强安全工作流的竞争格局
在利用生成式人工智能（AI）增强现有安全工作流的领域内，核心问题是是否有人能够以一种真正区别于他人的方式构建产品，并因此建立起一道防线。随着几乎每个供应商都声称自己的基础模型是AI，市场出现了过度饱和和误导性营销的危险，这种情况与过去的AI炒作相呼应。因此，首席信息安全官（CISOs）对那些缺乏具体价值证明的解决方案保持谨慎态度是可以理解的。
如果这些产品主要依赖于利用大型语言模型（LLMs）来生成警报或过滤误报，那么已建立的供应商可能会占据重要优势。他们已经可以访问到广泛的数据集，这通常是成功实施AI解决方案最具挑战性的方面之一。此外，由于安全数据的特殊性和CISOs共享信息的不愿，构建一个训练有素、基于多样化数据集的专用基础模型面临着相当大的挑战。
我们可能会看到一系列公司为特定行业或用例构建点解决方案，他们可以为客户微调模型。随着小型模型在专门任务上变得与大型模型更具竞争力，这可能变得更易于实施和扩展——不需要进行大规模训练，计算和推理成本降低。这种转变也似乎给那些实质上只是在GPT-4等模型外加包装的人带来了压力。
如果你觉得这篇文章对你有所帮助，欢迎点赞、收藏以及转发分享。同时，请关注我，以获取更多关于人工智能的最新资讯和见解！
参考：
https://a16z.com/navigating-the-impact-of-generative-ai-on-enterprise-security/
