大数据分析面临的挑战

数字化经济下的现代企业应用会产生各种数据,包括操作系统日志、网络和安全设备日志、业务访问和交易数据等,这些数据量非常庞大,而且格式各异。IDC数据显示,目前,企业中结构化数据占全部数据量的20%,而80%都是非结构化数据,如何挖掘这80%数据的真正价值、包括挖掘出隐藏的风险和商业价值,成为大数据分析的主要目标。

针对海量的数据进行分析时,面临的主要挑战如下

数据孤岛

日志、网络流量和业务流程数据中存在着很多信息,但是各自隔离,需要对这些日志进行有效关联。

日志格式种类繁多

不同系统、设备的日志格式各不相同,尤其在面对非结构化、半结构化数据时,如何快速对各类日志进行归一化处理,是大数据分析首要解决的问题。

部门独立

安全、业务、运维相互独立,各自关注点和视角不尽相同,同一数据分析系统上难以满足很多企业中业务运维部门的多种运维责任的需求。

追溯分析和取证

安全事件频发,想从事件中总结教训,如何有效的进行追溯分析和取证。

快速迭代

分析系统一旦开发完成,很难对数据源、分析维度、报表呈现等方面做出来快调整,以适应新的需求。

监管合规

网络安全法、等保等均对日志留存、安全态势感知等方面均提出相关要求。

瑞数全息数据透视系统(Data Insight)

瑞数全息数据透视系统(Data Insight),是一个可以针对多源异构海量数据的分析平台,可对任何格式的机器数据进行收集、整理、归档存储,提供所想即所得的数据分析、搜索、报表和可视化能力。

对于来自各类安全设备的日志、网络流量、人员行为数据、主机应用日志以及业务系统的数据,通过关联分析、用户行为分析以及机器学习等智能分析方法,可以提供业务安全威胁监测、应用及网络安全攻击监测、运维安全监控及分析等功能。


瑞数全息数据透视系统(Data Insight)可以整合各种类型的数据,包括结构化数据、非结构化数据和复杂的多行业务日志,并自动为这些数据创建索引。从而实现对任何数据的收集、存储、索引、搜索、关联、分析和可视化,从而实现数据价值的挖掘,提供应用安全透视、运维支撑和业务威胁感知。

安全威胁分析

对当前系统遭受攻击的态势进行分析呈现。包括:被黑产控制的恶意账号、IP地址、被攻击系统等

主要功能

业务威胁感知

对撞库、爬虫等造成账号及数据泄露风险的行为,以及刷单、秒杀等业务欺诈行为进行感知和分析呈现

应用安全审计

对异常的账号操作和访问行为进行审计

运维监控支撑

提供应用运行资源监控、应用访问分析、运行分析等运维工作的支撑

可定制化的安全可视化

可提供大屏展示,用于监控中心的实时监控

核心优势

全视角监控

非结构化索引

搜索引擎式查询

可拖拽仪表盘

优秀的支撑平台

内置多种数学统计
和机器学习模型

企业级架构