原标题：商业银行日志数据的四大痛点，用日志易轻松搞定！

数据是商业银行的宝贵财富，日志数据更是蕴含了大量能直观反映系统运行状况的重要信息，基于日志大数据进行分析可最大化隐藏在其中的价值，对应用系统的运维、优化及运营都有着至关重要的意义。

随着商业银行业务规模的不断发展，应用系统每时每刻都在产生日志数据趋紧海量，且这些日志种类繁杂，格式多样，散落在生产系统的各个角落，往往只有在系统出现问题时才会临时到日志中去查找和分析，但日志中隐藏的价值未被挖掘，这些日志作为应用系统在实际生产运行过程中的忠实记录者，包含了大量能够反映出应用系统运行情况的有效信息，这些信息可以对系统的优化、运维以及运营带来重要的决策参考。

商业银行行业现状及问题：

商业银行日志中类繁多，用途各有不同，经过前期的调查与研究，商业银行目前的日志大致可分为五类日志，涵盖了商业银行应用系统的大部分日志，其中有：交易日志、运维和操作日志、应用日志、系统日志及网络日志。目前这五类日志大部分都被设置了清理策略，在暂存一段时间后都会被永久删除，并未得到充分的分析及应用。

究其原因有两点，一是日志格式多样且繁杂散乱，日志的分析存在一些难点和问题；二是银行系统仍然以“实现和支撑”为第一要素，未充分认识到日志价值。

据调查和分析，商业银行日志数据目前面临的以下问题：

以某国有银行为例，仅网银系统（仅包括企业、个人、手机等）一天产生的日志数量就达到71GB，这还仅仅是应用日志及交易日志，如果再加上系统日志、数据库日志、网络日志等数据，保守估计每日会产生近100GB的日志数据。而网银系统仅仅是商业银行信息系统中的一部分。

2、日志格式不规范，分散且存储复杂：

商业银行系统组成复杂，自行开发、外购、外购二次开发的及开源改造等。复杂的系统构成加上日志格式未明确的书写规范，导致各类日志的记录格式多样且不规范。且各应用系统的日志多为分散存储，形式多样，应用日志有记录在数据库中的，有记录在文本文件的，系统日志在不同的平台上更是有不同的存储路径和格式，各类日志散落在不同的地点，缺乏统一收集和管理的平台。

3、认识不足，用途单一：

目前商业银行对于日志的用途多是用来查找问题，当生产系统出现问题时，查找该时点的日志，分析该问题产生原因。对日志的利用相对来讲较为单一，没有对日志进行更深层次的挖掘和分析。

4、技术无法满足高要求：

面对海量日志，银行内部系统无法满足实时分析数据，且在故障排障时，存在授权、登录、查询、分析等一系列步骤，耗时且无法回避误操作和无效分析。

应对方案：日志易，海量日志实时搜索分析

日志易可针对海量日志进行集中管理与搜索分析，产品强大、灵活、易用，称作日志分析领域的Google，产品已在中国银行等银行业成功应用。应对银行业日志问题,日志易产品功能如下：

• 高性能、轻松应对海量日志

日志易可实现1秒钟接收处理200万条日志数据量；亿级别数据秒级别返回查询结果；支持横向扩展，日志量的增加不会导致速度降低。

可实时采集、监控每笔业务日志数据，灵活对接各业务系统以及其他大数据平台

可自动从日志中提取关键字段,将非结构化日志转化为结构化数据，实现日志间的关联分析，对不同子系统业务日志可关联性分析，洞悉交易间细节，实现系统的优化及业务运营带来价值。

产品提供google式搜索功能，只要日志中有的字段信息都可以通过简单组合语法查询出来。支持全文检索，还可以使用字段、数值范围和布尔检索，查询指定时间范围内的日志。

通过对用户分组的权限角色设置，统一提供日志来源、告警、已存搜索、仪表盘、趋势图、自定义字典、字段提取规则、报表、定时任务等各种资源的权限控制功能。

通过对日志数据的深度分析，运维可以部门更清楚系统当前的运行状况，灵活调整运维策略，及时对系统进行故障排查和优化；开发部门可以了解所开发系统的功能及性能短板，方便进行二次开发；业务人员可以了解该系统的运营情况，及时优化调整等，实现商业银行的日志大数据价值。最后附带我国银行业对IT运维的投资来看展望市场：