组织正在转向自动化和人工智能（AI）来应对复杂和不断扩大的威胁形势。然而，如果管理不当，这可能会有一些缺点。
在接受ZDNET的视频采访中，Forescout的Vedere实验室安全研究高级主管Daniel dos Santos表示，生成式人工智能（gen AI）有助于以一种更自然的方式理解大量数据，而不是以前没有人工智能和自动化的情况下。
ESET首席技术官Juraj Malcho表示，机器学习和人工智能模型经过培训，可以帮助安全工具对恶意软件变体进行分类并检测异常情况。
在接受ZDNET采访时，Malcho表示需要手动调节，通过数据清洗和输入更清洁的数据集来持续训练人工智能模型，从而进一步减少威胁。
它帮助安全团队跟上数据的冲击，包括防火墙、网络监控设备和身份管理系统在内的众多系统正在从设备和网络收集和生成数据。
多斯桑托斯说，所有这些，包括警报，在人工智能时代变得更容易理解和解释。
他指出，例如，安全工具不仅可以对潜在的恶意攻击发出警报，还可以利用自然语言处理来解释在以前的攻击中可能发现的类似模式，以及当它在你的网络中被检测到时意味着什么。
他说：“与以前相比，人类更容易与这种类型的叙述互动，因为以前的叙述主要由大量结构化数据组成。”多斯桑托斯说，Gen AI现在将这些数据总结为对坐在屏幕后面的人类有意义和有用的见解。
Malcho补充说，人工智能技术使SOC（安全运营中心）工程师能够优先考虑并专注于更重要的问题。
然而，对自动化的日益依赖是否会导致人类在识别异常方面变得缺乏经验？
Dos Santos承认这是一个合理的担忧，但他指出，攻击的数量只会继续增长，需要保护的数据和设备也会增加。他说：“我们将需要某种自动化来管理这一点，而整个行业已经在朝着这个方向发展。”
“然而，你总是需要有人参与决策，并确定他们是否应该对（警报）做出反应。”
他补充说，指望安保团队不断扩大到50或100人是不现实的。他说：“企业为soc配备人员的方式是有限的，因此有必要求助于人工智能和通用人工智能工具。”
他强调，soc始终需要人的本能和熟练的安全专业人员来确保工具按预期工作。
此外，随着网络安全攻击和数据量的增加，人类专业人员总是有空间扩展他们的知识，以更好地管理这种威胁形势。
马尔乔对此表示赞同，并补充说，它应该激励技能较低的高管获得新的增值资格，并做出更好的决策，而不是简单地盲目消费人工智能和自动化工具产生的信号。
他指出，SOC工程师仍然需要研究不同信号的组合，以将各个点连接起来，并了解整体情况。
“你不需要知道恶意软件是如何工作的，也不需要知道生成了什么变体。你需要的是了解坏人的行为方式。”
然而，自动化程度的提高可能会带来错误配置代码或部署安全补丁的风险，从而导致关键系统瘫痪，就像7月份CrowdStrike中断的情况一样。
CrowdStrike向运行其Falcon sensor软件的Windows系统推送了一个有缺陷的“传感器配置更新”，导致了此次全球宕机。根据ESET的说法，虽然该更新本身不是内核驱动程序，但它可以与Falcon传感器中的其他组件通信，这些组件运行在与Windows内核相同的空间中，或者在Windows PC上的最高特权级别，在那里它们直接与内存和硬件交互。
CrowdStrike表示，代码中的“逻辑错误”导致Windows系统在启动后几秒钟内崩溃，显示“蓝屏死机”。微软此前估计，此次更新影响了850万台Windows设备。
ESET的全球安全顾问Jake Moore在CrowdStrike宕机后的评论中表示，最终，强调了组织的需求，无论他们有多大，都需要测试他们的基础设施并设置多个故障保护。他指出，正如CrowdStrike事件所示，升级和系统维护可能会在无意中出现小错误，而这些小错误会造成广泛的后果。
摩尔强调了“多样性”在使用大规模IT基础设施（包括操作系统和网络安全工具）方面的重要性。他表示：“在网络多样性较低的地方，一次技术事故——更不用说安全问题了——就可能导致全球范围的网络中断，并带来连锁反应。”
简而言之，可能没有实施正确的自动化流程，Malcho说。
代码，包括补丁，需要在编写和内部测试后进行审查。他说，它们应该被沙盒化，并从更广泛的网络中分离出来，以进一步确保它们的安全部署。他补充说，然后应该逐步推出。
多斯桑托斯表示，软件供应商需要进行“最严格的测试”，确保问题不会浮出水面。不过，他指出，没有一个系统是万无一失的，有些事情可能会从裂缝中溜走。
他说，CrowdStrike事件应该进一步强调，企业需要以更可控的方式部署更新。例如，补丁可以在子集中推出，而不是一次向所有系统推出——即使安全补丁被标记为关键。
“你需要确保以可测试的方式完成更新。从小规模开始，在测试（得到验证）后扩大规模，”他补充说。
以航空业为例，事故会被认真调查，以便在未来发现并避免失误。dos Santos说，网络安全行业也应该有类似的政策，每个人都应该在安全至上的前提下工作。
他呼吁承担更多的责任和责任——那些发布明显不安全产品、不遵守正确安全标准的组织应该受到应有的惩罚。他指出，各国政府必须弄清楚如何做到这一点。
“需要有更多的责任。我们不能接受那些让这些组织说他们对任何事情都不负责任的许可条款。”他补充说，用户还应该意识到如何改善他们的基本安全状况，比如修改设备上的默认密码。
Malcho说，如果做得好，人工智能和自动化是必要的工具，将使网络安全团队能够管理否则无法处理的威胁环境。
如果他们还没有使用这些工具，网络罪犯就已经领先一步了。
在本月发布的一份报告中，OpenAI证实，威胁行为者正在他们的工作中使用ChatGPT。自2024年初以来，这家新一代人工智能开发商在全球范围内停止了至少20项试图使用其模型的操作。从调试恶意软件到为虚假的社交媒体人物角色生成内容。
OpenAI表示：“这些案例使我们能够开始识别威胁行为者利用人工智能试图提高效率或生产力的最常见方式。”这些恶意黑客经常使用OpenAI模型，在获得基本工具（如互联网接入和社交媒体账户）之后，在部署“成品”（如通过各种渠道发布社交媒体帖子或恶意软件）之前，在“特定的中间活动阶段”执行任务。
例如，被称为“STORM-0817”的威胁行为者使用ChatGPT模型来调试他们的代码，而OpenAI创造的秘密行动“A2Z”则使用其模型为社交媒体帐户生成传记。
OpenAI补充说，它在8月底破坏了伊朗的一个秘密行动，该行动产生了关于美国大选、加沙冲突和西方对以色列政策的社交媒体评论和长篇文章。
Keeper Security本月发布的一项全球研究显示，企业正注意到人工智能在网络攻击中的使用。该研究对800多名IT和安全高管进行了调查。
约84%的受访者表示，支持人工智能的工具使网络钓鱼和欺骗攻击更难被发现，这促使81%的受访者实施了有关人工智能使用的员工政策。
另有51%的人认为人工智能攻击是其组织面临的最严重威胁，35%的人承认，与其他类型的网络攻击相比，他们对应对此类威胁的准备最少。
51%的受访者表示，他们已将数据加密纳入其安全策略，而45%的受访者正在寻求改进培训计划，以指导员工识别和应对人工智能威胁。另有41%的企业投资于先进的威胁检测系统。
Sophos在2024年9月发布的一份报告显示，人们对人工智能带来的安全威胁感到担忧，73%的人指出，人工智能增强的网络安全攻击是他们最担心的在线威胁。该研究基于对包括澳大利亚、日本和马来西亚在内的六个亚太市场的900家公司的研究，印度的这一数字最高，近90%的人将人工智能攻击列为他们最担心的问题，其次是菲律宾的85%和新加坡的78%。
45%的人认为他们拥有应对人工智能威胁的必要技能，50%的人计划在第三方管理的安全服务上投入更多资金。在计划增加此类托管服务支出的受访者中，20%的人表示他们的投资将增长10%以上，而其余的人则表示将增长1%至10%。
约22%的人认为他们已经制定了全面的人工智能和自动化战略，72%的人表示他们有一名员工负责领导他们的人工智能战略和工作。
为了填补人工智能技能的短缺，45%的受访者表示他们将外包给合作伙伴，而49%的受访者计划培训和开发内部技能，并需要合作伙伴支持培训和教育。
平均而言，20%的受访者目前使用单一供应商来满足其网络安全需求，而29%的受访者使用两个供应商，23%的受访者使用三个供应商。大约10%的人使用来自至少五个安全供应商的工具。
然而，性能不佳的工具以及涉及第三方服务提供商的安全漏洞或重大中断是组织考虑更换网络安全供应商或策略的首要原因。
此外，59%的受访者“肯定”或“可能”不会指定遭受过安全事件或漏洞的第三方供应商。如果存在与绩效和特定水平协议相关的附加条款，约81%的供应商将考虑违约。
