辽宁联通BSS管理系统改造项目
项目背景
辽宁联通的BSS系统由于业务接口的增加,导致日志数据不断增多,并且磁盘空间有限,为企业成本及数据保存带来很大压力,同时当系统出现问题时,管理员需要通过查询大量的日志文件,查找问题原因,使得查询效率较低,管理员工作繁杂。
为了解决上述问题,我们提供了使用GBase 8a数据库作为日志存储系统。利用GBase 8a的核心技术,降低存储空间并达到快速查询的目的。
需求分析
辽宁联通BSS系统日志分为UIP系统和IBSS系统两大类,共20多种日志类型。包括客服系统、一卡充系统、银行系统、4G业务、电子渠道支撑系统、增值业务鉴权中心和全业务系统等的接口日志。相关客户投诉处理、故障分析与定位等业务处理过程等都依赖于从日志文件中获取信息进行分析。日志数据以文件的形式存储,日志管理主要通过文本命令由人工手动完成。目前BSS系统由于业务接口的增加,日志数据增长迅速,每日新生成日志超过100G,管理与存储变得日益棘手,BSS日志系统亟待改造。
解决方案
本方案采用GBase 8a新型数据库构建BSS日志管理系统。如系统架构图所示,运营商的各业务系统的日志通过GBase 8a日志转换工具进行清洗、解析和转换后,存储在GBase 8a数据库中,利用GBase 8a高性能、高压缩、高并发的特点,对海量日志数据实现高效的压缩存储。通过统一数据库接口ODBC或JDBC连接GBase 8a,用户可以使用数据库终端工具(命令行、图形化管理工具)、第三方应用系统,或应用程序等来访问GBase 8a,实现对日志数据的查询和管理。
价值体现
管理升级:定制转换工具将原有的非结构化日志数据转换为结构化数据,将原始的手工管理转变为自动化、信息化的日志管理,实现管理方式的飞跃。改造后的日志管理系统提供标准SQL接口,为日志数据的可视化管理、预警、分析提供了可能性;
性能提升:为BSS系统提供高性能的查询保障,实现秒级响应;实现关联查询分析,提高发现问题、定位问题的效率;
节省存储:日志数据以10~20倍以上高压缩方式进行存储,减少存储空间的占用;
降低成本:PC Server+Linux+本地磁盘的模式节省了硬件投资成本,日志管理的自动化节省了人力成本,实现低成本构建高性能日志管理系统的目标。