读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

领诚科技大数据日志分析解决方案

大数据

日志分析,并非大数据“雕虫技”

经过长期的信息化建设,企业积攒了成百上千套系统,每天产生海量的日志信息数据。然而,大量的日志信息往往被遗弃、或存放历史库中,未能有效发挥其价值。部分企业逐步意识到日志信息的重要性,部署了Tivoli等管理系统,但这种传统解决方案,对半结构和非结构化数据适应性极差,且局限于历史数据的统计展示,对日志数据的获取、使用和价值发挥均存在较严重的能力不足。

造成这些日志分析窘境的原因,主要包含以下几点:

  1. 日志数据的存储和维护成本高;
  2. 日志记录格式不规范、不统一,导致整合困难;
  3. 日志记录的垃圾数据较多,数据价值提炼困难且成本高;
  4. 使用手段单一,多是对系统异常现状监测和核心数据备份;
  5. 海量日志信息流转期长,时效性差。

随着科技的飞速发展,大数据技术日趋成熟,在日志分析方面,大数据亦能大展雄威。领诚科技大数据日志分析解决方案,可望有力地改善企业日志分析的处境,全面发挥日志分析的业务价值。

总体解决方案

经过多年的潜心研究和实践,领诚科技对大数据技术及应用具有深刻的理解。大数据,并不仅是指数据存储量的巨大,更强调数据维度的全面和更快速的结果反馈。因此,我们需要从数据源的全面性、时效性和预测能力等多方面发力。

大数据日志分析解决方案的核心思路如下:

基于NoSQL等技术的数据存储系统,以适应数据源格式多样性和不统一,极大限度的促进数据的全面性。

设计常规数据源API,通过拖拽的方式实现大部分数据的接入,降低多样数据源的接入成本和IT人员维护难度。

采用分布式架构,通过廉价服务器集群方式来存储和计算海量日志数据。

设计离线与实时分离的数据处理方式,实现对海量历史数据的和实时数据的分析,协助系统管理人员实现对问题的敏捷洞察,快速排查故障。

集成开源的R、Python实现对日志数据的可视化和深度挖掘,从而完成对生产系统全面预警、监控、统计分析和故障排查。充分利用机器学习和人工智能分析方法,实现对关键问题预测分析,协助管理决策,全面提升企业信息化管理水平。

整体架构示例图:

大数据

针对不同企业的不同数据安全及系统管理要求,我们提供公共云与私有云两种部署方案。两种模式均提供丰富的API,可以对多种类型传统关系型数据库、非关系型数据库以及平面文件实现批量和实时的采集、整合和分析。

相比私有云方案,公共云更具性价比,我们提供7×24小时托管服务,无需耗费大量资源运维底层系统。另外,去中心化的架构设计能够提升服务的稳定性。更有价值的是,我们内置大量常规分析模型和机器学习模型,能够有效降低企业预测分析与实时预警的门槛。

公共云方案

云端模式可以通过代理自动上传日志数据,通过云端分析平台统计和分析日志数据。

公共云架构:

大数据

私有云方案

私有化云模式需要本地部署日志采集和分析平台,通过企业网络总线实现日志数据的集中,再由分析平台提供分析和预测服务。

私有云架构:

大数据

日志采集与整合

针对不同企业的日志存储策略,我们提供丰富的API,可以对多种类型关系数据库、非关系数据库、XML文件和平面文件实现批量和实时采集。对于特殊日志格式,可以定制接口,最大限度保证数据的完整新。

海量日志收集后经由平台统一进行分类整合。首先,对日志原始数据进行清洗,提高数据质量;其次,对数据进行标准化转换,统一格式和口径;然后,根据维度建模的策略对数据进行转换;之后,根据需求进行KPI计算;最后,根据分析需求建立不同主题的集市主题。

存储与计算

整合后的数据由分布式NoSQL和关系数据库存储与计算。这也是集中体现大数据优势技术的地方,分布式的策略极大的降低数据存储成本,相对其它开支几乎可以忽略不计。另一方面,处理海量数据的计算能力却极大提升,能够快速分析日志结果,从而减少系统运行问题带来的影响。除此以外,我们提出离线和实时数据分流的策略,进一步平衡实时性和成本的平衡。

应用分析

应用层面,提供多种可视化组件,通过拖拽式操作即可实现对日志数据敏捷展示、查询和多维分析。在此基础上,提供全面预警功能,可以通过邮件和短信等形式迅速反馈预警信息。同时,集成R和Python,满足数据挖掘、机器学习和人工智能分析需求,实现对关键问题的聚类分析和预测分析,全面提高日志数据的利用效率。

学习示意图:

大数据

日志分析是发现系统安全问题的重要手段之一,我们利用整合的日志数据,通过安全分析模型,利用机器学习相关算法,可以迅速洞察以下几种事件:受感染软件恶意传播,遭受入侵的系统,成功的攻击,内部人员违规操作,隐蔽通道或隐藏后门通信,高频探查。

End.

转载请注明来自36大数据(36dsj.com):36大数据 » 领诚科技大数据日志分析解决方案

36大数据   除非特别注明,本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性,宽容,换位思考的原则。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址