亚马逊云科技-reInforce利用GenAI和安全湖增强威胁分析

关键字: [yt, Amazon Security Lake, Security Data Aggregation, Log Normalization, Generative Ai Analytics, Security Lake Integration, Threat Analysis Enhancement]

本文字数: 400, 阅读完需: 2 分钟

导读

在Reinforce 2024大会上,Amanda Vermeili和Ross Warren发表了题为”利用生成式AI和Amazon Security Lake增强威胁分析”的演讲。他们阐述了Amazon Security Lake如何让客户能够集中、聚合和规范化来自各种来源的安全日志,包括亚马逊云科技服务、合作伙伴工具和自定义日志源。他们解释说,Security Lake将日志转换为开放网络安全架构框架(OCSF)格式,使用诸如Amazon SageMaker、Amazon Bedrock和Amazon QuickSight with AmazonQ等生成式AI工具来分析数据变得更加便捷。该演讲重点介绍了Amazon Security Lake如何通过整合生成式AI功能,实现增强的威胁分析、改善安全态势以及高效的数据可视化。

演讲精华

以下是小编为您整理的本次演讲的精华，共100字，阅读时间大约是0分钟。

在当今数字时代,数据已成为组织的关键资产,尤其是在网络安全领域。然而,收集和管理安全数据一直是客户和组织面临的一大挑战。根据一项BI调查显示,大多数IT专业人士仍在努力收集IT基础设施以及亚马逊云科技或非亚马逊云科技基础设施的数据。该调查发现,52%的组织希望将数据保留更长时间,以便充分利用,但这可能会增加成本和复杂性,因为即使是云工作负载的日志也是非常冗长的。

面对这些挑战,客户提出了几个主要需求:

首先,随着亚马逊云科技基础设施的不断增长,更多账户、资源和工作负载不断增加,导致产生更多日志。

其次,客户需要管理亚马逊云科技工作负载日志,以及来自SaaS应用程序、本地环境和非亚马逊云科技云提供商的日志。

第三,不同供应商的日志格式各不相同,这给安全团队带来了挑战,因为他们需要转换和应用ETL或使用Lambda等自动化工具来转换这些日志,以便进行SQL查询或连接查询。

第四,在聚合日志并将其发送到分析工具的过程中,客户失去了对数据的控制权。

为解决这些问题,亚马逊云科技首先与合作伙伴共同推出了开放网络安全架构框架(OCSF),旨在标准化日志架构格式。这为Amazon Security Lake服务奠定了基础,该服务于去年的Amazon Web Services re:Invent大会上宣布推出,并于今年早些时候正式上线。

Amazon Security Lake使客户能够轻松地跨所有亚马逊云科技账户集中、聚合和规范化所有日志信息,不仅包括来自亚马逊云科技本地日志源的信息,还包括合作伙伴工具和应用程序的信息。客户可以选择每个账户、每个区域和每个亚马逊云科技日志源(如CLOUDTRAIL、VPC FLOW LOGS、DNS FLOW LOGS等)要引入的信息,并可以添加SaaS应用程序、合作伙伴工具或自定义日志源。一旦信息被引入,客户就可以应用生命周期策略来定义存储和保留时间,从而更好地管理数据生命周期。Security Lake会自动对这些数据进行索引、排队和转换,将其转换为OCSF格式,客户无需编写脚本或运行Lambda函数即可使用这些数据。

在订阅者端,客户可以继续使用合作伙伴工具或分析工具,也可以在自己的S3 Lake Formation账户中构建自己的分析,因为他们现在可以访问存储在那里的数据。Security Lake已与多个亚马逊云科技日志源和合作伙伴源集成,包括Amazon WAF日志、EKS日志、API活动日志(CLOUDTRAIL)、网络活动日志(VPC FLOW LOGS)和DNS流日志等。它还与OPENSEARCH、QUICKSIGHT和ATHENA等亚马逊云科技分析工具集成,客户可以直接查询存储在S3中的数据,或使用联合查询访问数据,避免了数据迁移的成本。

在安全分析和应用生成式AI(GENAI)方面,客户现在可以利用Security Lake中的规范化数据,并在其上应用工具如Amazon SageMaker和Amazon Bedrock,以构建GenAI应用程序或自然语言处理应用程序。这有助于降低组织的风险,提高安全态势。例如,客户可以通过自然语言查询来识别某个IP地址在所有日志源中的位置,而不是编写复杂的SQL查询。

另一个用例是使用Amazon QuickSight及其内置的AmazonQ GenAI组件,基于安全需求为安全团队构建交互式仪表板和可视化效果。客户可以使用自然语言轻松构建这些可视化效果,并将其固定在仪表板上。在演示中,Ross Warren展示了如何使用AmazonQ快速构建安全仪表板,只需提出自然语言查询,如”显示按操作的不同服务数量”或”显示按操作的总事件数”,AmazonQ就会生成相应的可视化效果,Ross可以将这些可视化效果固定在仪表板上。他还展示了如何使用AmazonQ根据Amazon Security Hub数据构建可视化效果,以及如何使用数据故事功能为高层管理人员快速准备演示文稿。

最后,客户还可以构建虚拟网络安全助手,通过在Security Lake数据之上使用Bedrock和Amazon Kendra等RAG提供程序,来回答事件响应问题或自动化响应操作。在演示中,Ross展示了如何使用GitHub上的代码示例,通过Bedrock在Security Lake数据之上启动一个AI应用程序,作为网络安全GenAI助手,回答事件响应问题或自动化响应操作。

总的来说,Amazon Security Lake通过自动化日志收集、规范化和管理过程,为客户提供了一种简化的方式来集中存储和分析安全数据。结合亚马逊云科技的GenAI工具,客户可以更高效地从这些数据中获取洞察力,提高安全态势并降低风险。这不仅有助于解决客户在收集和利用安全数据方面的挑战,还为他们提供了一种创新的方式来利用人工智能技术,从而更好地保护其基础设施和数据资产。

总结

1. 安全湖解决了从不同环境、专有日志格式收集和管理安全数据,以及需要更长数据保留期限的挑战。
2. 它利用开放网络安全架构框架(OCSF)来标准化日志格式,从而更容易进行分析并与分析工具集成。
3. 安全湖自动化了日志的采集、标准化和索引,降低了与数据管理相关的复杂性和成本。
4. 该服务使组织能够利用生成式人工智能和机器学习工具(如亚马逊 SageMaker、Bedrock 和 QuickSight),通过集中和标准化的数据来增强威胁分析、构建仪表板并创建虚拟安全助手。

总的来说,这一信息强调了安全湖如何简化了安全数据管理,并使组织能够利用生成式人工智能和分析的力量来改善威胁检测、事件响应和安全态势评估。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。