我的编程空间,编程开发者的网络收藏夹
学习永远不晚

大数据安全分析之大数据分析的技术架构及关键技术

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

大数据安全分析之大数据分析的技术架构及关键技术

 

[[391864]]

 

大数据安全分析之大数据分析的技术架构及关键技术

一、大数据分析的技术架构

大数据安全分析总体架构由数据采集、预处理、存储、处理、分析计算、数据应用展示几部分组成:

数据源

数据源是大数据分析的基础与前提,准确高质量的多源异构数据是安全分析效果的保证,进行安全分析需要收集的数据源包括:

日志数据:包括设备与系统的日志和安全告警信息。

流量数据:网络流量数据,包括Netflow数据和全流量镜像数据。

支持数据:包括资产信息、账号信息、漏洞信息和威胁情报信息等。

采集和预处理

对数据源收集的信息进行解析、标准化和丰富化处理,从而为数据分析提供高质量的数据。

数据传输采集:根据不同类型的数据源,以及数据存在的状态,采用不同的传输与采集技术。

数据预处理:对数据进行解析、补全、标准化操作,从而提高安全分析的可信度,降低误报率。

数据存储

全量存储网络中原始的网络数据,使数据结果分析更加全面可信。对所有网络行为数据建立索引,便于快速查询、管理分析和举证。

数据分析

利用关联分析、机器学习、深度学习等技术,从海量原始数据中自动挖掘出有价值的信息,最大的发挥数据的价值。

数据应用

依据数据分析结果,实现安全态势感知、安全预警、追踪溯源等应用。

二、大数据分析的关键技术

数据采集与解析技术

利用日志采集器实时以非格式化或半格式化采集原始数据,根据配置的解析规则和字段补全规则,完成数据的解析与数据补全。最终将解析的数据存入大数据存储中,以便后续进行实时或长周期的展示和统计分析。

大数据存储与处理技术

大数据平台计算处理能力达到日存储数据超过1T,支持千亿条数据的秒级处理,PB级数据管理与应用,保证高吞吐量与高数据压缩率,为安全智能分析提供实时或者长期的关联分析数据基础。

关联分析

通过关联分析引擎对采集的实时数据流进行深度关联分析,包括安全告警、系统日志、资产、网络、漏洞等信息之间采用基于规则、基于统计、基于资产、基于情报等深度关联分析方法,综合分析进行安全威胁检测、预警。

机器学习

通过机器学习和算法对大量的历史信息和安全信息的关联,以无监督学习(异常检测)为主,并有人工辅助的半监督学习(专家、管理人员反馈),对威胁行为进行一个长周期的分析,找出安全威胁与攻击的异常行为和隐藏的威胁行为。

 

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

大数据安全分析之大数据分析的技术架构及关键技术

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

大数据安全分析之大数据分析的技术架构及关键技术

大数据分析利用大数据技术对海量数据的高效计算能力,结合关联分析、深度学习、机器学习算法等手段,对各种已知与未知威胁进行快速发现与预警,实现网络防御从被动到主动的转变。

大数据安全分析之大数据技术有什么优势

为什么要用大数据技术进行安全分析呢?大数据技术有什么优势呢?我们来看看吧。

大数据技术在网络安全分析之中的作用

在当今信息化时代,网络安全变得尤为重要,其不但关乎国民的信息安全,更是可能涉及到国家的安全。现在的网络规模正在不断地扩大,借助大数据来进行网络安全分析势在必行。本文以网络安全的数据采集,储存,分析等为切入点,详细地剖析了大数据技术在网络安全

大数据技术在网络安全分析之中的作用!

大数据应用于网络安全分析之中,相较于传统的分析方式、分析能力,大数据技术对于数据的分析更加的完善,同时也提高了数据的存储量。在海量的、多样性的数据环境之下,大数据可以很好地保障数据的有效性、价值性和信息的完整性。

大数据分析的技术有哪些?

大数据剖析,能够从海量数据中提取出最有用的信息,在企业营销中发挥关键作用。能够说,谁能更好地利用大数据剖析,其在竞赛中便能处于更有利的位置。那么,大数据剖析都有哪些技能呢?

Redis:构建实时数据分析系统的关键技术

Redis:构建实时数据分析系统的关键技术,需要具体代码示例随着大数据时代的到来,实时数据分析成为了许多企业和组织中不可或缺的一项技术。实时数据分析可以帮助企业快速了解市场动态、用户行为和产品性能等关键数据,从而做出更加明智的决策。而构建一
Redis:构建实时数据分析系统的关键技术
2023-11-07

解析|大数据处理的五大关键技术及其应用

大数据因为其特点被应用在各个领域,在我国,大数据将重点应用于以下三大领域:商业智能 、政府决策、公共服务。但是大数据的处理流程是什么呢?本文详细的介绍了大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用以及七个建

大数据关键技术浅谈之大数据存储及管理

数据存储作为大数据的核心环节之一,可以理解为方便对既定数据内容进行归档、整理和共享的过程。自磁盘系统问世以来,数据存储已经走过了近百年的历程。

大数据技术&机器学习分析

欢迎各位阅读本篇,大数据(Big Data)又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。本篇文章讲述了大数据技术&机器学习分析,编程学习网教育平台提醒各位:本篇文章纯干货~因此大家一定要认真阅读本篇文章哦!
大数据技术&机器学习分析
2024-04-23

大数据分析技术和方法有哪些?

随着时代发展,大数据技术也日益完善。因而了解今日的大数据分析技术和方法有哪些,越来越有其必要性。

数据与分析领域的十大技术趋势

一直以来,数据分析领域都是企业领导者所看重的。近日,Gartner发布了关于数据与分析领域的10大技术趋势,各大企业领导者不妨参考看看。

不可忽视的大数据分析技术十大趋势

在本文中,我们收集整理了行业专家对大数据分析技术未来发展的十大趋势预测。企业应该充分了解这些趋势,因为它们可以帮助企业应对日益普遍的创新变化和不确定性。同时,企业更应该顺应这些趋势并尽快做好准备,这样才不会被未来的技术发展所淘汰。

大数据开发技术之Hadoop组成三大架构

Hadoop在我们大数据培训课程中占据着举足轻重的地位,被公认为是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。在所有的大数据培训机构都把它作为必备课,它不仅是在大数据培训行业而且几乎所有主流厂商都围绕Hadoop开发
大数据Hadoop2024-12-03

大数据平台架构及主流技术栈

互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据,如何存储?如何计算?各大互联网巨头都进行了探索。本文主要介绍了大数据平台架构及主流技术栈。

大数据的关键技术有哪些?

大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

分布式微服务架构中的关键技术解析

分布式微服务架构是构建现代应用的理想选择,它将复杂系统拆分成小而自治的服务,每个服务都能独立开发、测试和部署。在实际的开发过程中,如何实现高效的分布式微服务架构呢?
架构微服务2024-11-30

Gartner公布2021年十大数据分析技术趋势

数据分析负责人应该利用以下10大趋势作为他们的关键投资,以提高预测、转移和响应能力。

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录