手机版

以高质量数据管理释放数据价值

2022-03-25 来源:中国农村金融杂志社 编辑:艾丽达娜

广东省联社自成立以来,积极发挥“大系统+小法人”作用,为辖内农商银行提供强有力的科技后台支撑。近年来,广东省联社以打造“数字农信”为纲,大力推动科技架构转型升级,构建了“金融+行业”两朵专有云以及基于云的大数据平台,初步形成“薄前台、厚中台、稳后台”的IT系统架构,并基于云平台生态推出了省联社与农商银行上下联动的金融科技服务新体系,为全面深入推进数字化转型奠定良好基础。

数字化转型是一项具有开拓性和创新性的工作,也是长期、持续的试错过程,各家金融机构面临的处境不同、问题各异,需要将“摸着石头过河”和加强顶层设计相结合,既要密切结合实践探索适合自身资源禀赋的数字化转型路径,又要积极利用业界科学、系统的方法理论指导工作的开展,尽可能减少试错成本。数据管理能力成熟度评估模型(简称“DCMM”)是我国在数据管理领域首个正式发布的国家标准,其从组织、流程、制度、技术四个方面总结分析,提炼了组织数据管理的数据战略、数据治理、数据架构、数据应用、数据安全、数据质量管理、数据标准、数据生命周期等八大过程域,可作为指导企业开展数字化基础设施建设的参考框架。广东省联社运用DCMM先进的数据管理理念和方法论,对自身数据管理能力进行评价和完善,“以评促用”促进查漏洞、补短板、强弱项,加快建设数据 “采、治、管、用”体系。

提升四大能力 夯实数据采集

数据采集是数据管理的开端和基础,广东省联社从提升多样化数据采集能力、可视化快速配置能力、统一调度管控能力以及元数据信息共享能力四方面夯实数据采集基础。

多样化数据采集能力。广东省联社采用多样化的采集引擎管理模式对多元数据进行采集,整合内外部多渠道数据来源,完善多维度数据内容。主要数据采集来源包括:内部各业务系统的结构化数据、外部第三方的结构化数据、手工补录数据以及事后监督和运维管理的非结构化数据,通过不断扩增数据丰富度切实发挥大数据效用。

可视化快速配置能力。数据覆盖度一直是困扰科技部门的难题,由于业务的快速发展,往往到业务需要用数时才发现数据仍存于业务系统,导致数据采集一直“在路上”。因此,广东省联社采用“快速配置化+自动化生成代码”的组合方式提高数据采集效率,在环境完备的情况下,单张数据表的采集开发基本可控制在15~30分钟内。

统一调度管控能力。随着业务的发展,数据处理的复杂程度也在不断增加,上万乃至十几万个作业需要进行统一调度、分级管理和动态配置。广东省联社通过引入调度与作业管理一体化工具,针对本地专有云平台及传统平台的特性进行个性化定制,实现了云上云下一体化的作业配置、分级管理和统一调度。

元数据沉淀与共享能力。数据采集除了要采集业务数据,还需要同步采集描述数据的元数据信息并沉淀为基础资产,为后续数据维护和使用提供清晰指引。广东省联社搭建数据管控平台,在项目/需求的设计阶段即介入进行流程对接,确保元数据信息与业务数据结构的一致性。

疏堵结合推进数据治理

广东省联社采用存量“疏”与增量“堵”相结合的方式推进数据治理,一方面对存量数据梳理摸底,另一方面对增量数据规范管控。从建设内容和实施目标维度可分为“摸家底、建体系、促应用”三个阶段,随着阶段递进,建设内容逐步深化,实现数据“可信、可用、可管”。

第一阶段“摸家底”,对企业数据信息全面摸底。广东省联社于2016年8月启动数据治理咨询项目,并于2017年6月完成,产出三方面重要成果为全面开展数据治理工作奠定坚实基础。一是数据标准,基于十大数据主题梳理形成基础标准2000余项、公共代码500余项、指标标准3500余项;二是管理办法,统筹拟定数据标准、数据质量和元数据等管理制度的基础版本;三是数据质量,基于EAST报送对数据质量进行梳理提升,定位出近百项数据质量问题并逐步修正完善,同期报送质量获得监管部门认可。第二阶段“建体系”,以第一阶段梳理成果为基础,加强顶层设计,明确组织架构、管理制度等,并搭建数据管控平台作为落地管控的抓手。建组织,根据多法人特点,建立了决策层、管理层、执行层三层两级联邦式的组织架构,明晰省联社及农商银行各层级职责分工;立制度,发布数据治理、数据标准、数据质量、元数据管理等主要管理制度,推动各项工作规范化开展;建平台,依托数据管控平台打造了数据标准管理、数据质量管理和元数据管理三大模块,实现数据治理与项目及小型需求设计开发过程的对接融合。目前,数据管控平台已覆盖银行内超过180套系统的元数据信息,对新建项目和新建小型需求的数据标准进行管控约束。  

第三阶段“促应用”,数据治理是需要持续运营的系统性工程,随着业务的快速发展,数据也在同步爆发增长,要保障数据治理工作的持续运作并保持源源不断的动力和活力,就必须坚持数据为业务服务的导向,紧密结合业务应用场景,推动数据“采、治、管、用”规范,切实产出业务价值,通过业务应用促进数据治理和管理体系不断完善,形成“应用——反馈——提升”运营闭环,实现不同口径数据的对拢。

以用促管深化数据管理

广东省联社成立专门的数据产品团队从事数据类产品的研发和运营,以数据管理支撑业务发展为核心目标,推进数据建模、数据共享等工作。

模型决定应用。数据模型建设是数据管理工作中与业务价值产出息息相关的环节,决定了业务应用中数据获取的便利度。数据模型往往存在于基础贴源层与数据消费层之间,发挥承上启下的关键作用,底层模型的完善度直接影响着后续数据应用的好坏。数据模型的构建实质上是还原业务本质的过程,需要通过长期的积累和迭代才能构建出适用的模型。广东省联社通过十多年的数据建模经验,总结出数据模型构建所需要的“三个专”特性,即专才、专研、专注。专才是指数据建模需要有对业务和数据都具有较深理解、具备大局观和前瞻性的专业数据人才作为支撑。建模框架和方法论虽可适当借鉴外部经验,但具体物理模型的建设落地则需要紧密结合银行自身的业务逻辑。广东省联社自2010年构建数据交换平台ODS以来,尤为注重数据团队在数据建模层面的业务和技术沉淀。尤其是近年来基于专有云平台特性重新构建了大数据平台数据模型,在此过程中弱化了“范式化”建模方法,融合“业务”和“维度”建模方法的特性,构建适应本地数据应用的大数据模型。专研是指数据建模要坚持规范化、标准化的原则,坚持久久为功。数据建模是一项繁琐的工作,过程中存在大量的标准化清洗和融合,若缺乏精益求精的钻研精神则容易将模型建偏。广东省联社在前些年基础应用大规模建设期间,为满足业务上线时效性要求,部分应用系统绕过了数据模型直接从贴源层取数,随着时间的推移问题逐渐显现,对数据使用带来了较大障碍。例如,同一个加工口径,不同地方加工出来的数据存在差异,难以确定数据准确性,同时数据模型也因未能及时更新而束之高阁,此情况在业内属于普遍现象。广东省联社发现问题后紧急“刹车”,针对不同的业务时效性要求进行分类管理,并制定相应的流程、制度以保障数据建模的规范性,使数据模型能够按照一定标准持续更新、沉淀。专注是指数据建模要秉持专注服务业务的信念,随着业务的不断发展,数据模型需要始终如一地顺应业务需求进行迭代适配,甚至要在缺乏业务推动的情况下主动沉淀优化模型,积极发挥数据与业务深度融合乃至引领业务的价值。

共享决定价值。数据的流动和共享程度决定了数据价值释放的深度和广度。广东省联社在数据共享方面重点关注数据质量与数据安全两方面。在数据质量层面,数据准确是数据质量的首要保障,必须规避数据错误,尤其在数据加工过程中需要实现端到端的一致性、准确性、可靠性。广东省联社实现了数据质量管理工作常态化,以监管报送数据质量问题和管理应用数据问题为抓手,定期进行数据质量分析及异常数据整改跟进,并持续跟进异常数据的整改进度。在数据安全层面,重点做好权限管理,严禁未经授权的数据访问,严防数据泄露。广东省联社根据中国人民银行印发的《金融数据安全 数据安全分级指南》(JR/T 0197-2020)等金融行业标准,对内部数据进行安全级别定义优化,对数据采集、数据传输、数据存储、数据应用等过程中的安全策略定级,并将相关安全策略运用到数据应用过程中,实施安全防控,保障数据的保密性、完整性和可用性。

服务化模式促进数据应用

促进数据广泛应用的关键在于解决用户的用数难问题,降低使用门槛。广东省联社致力于构建购物式、服务化的数据服务体系,支持普通用户基于数据门户自行开展数据查找、权限申请、自助查询、成果分享、数据评价等,打造内部数据应用生态,使用数更加简单、便捷、准确。

数据商品标签化。将数据按照业务主题、粒度、归属、用途等分类标识,通过简化操作流程和流程指引,让用户能够高效定位查找所需数据,让数据成为随时可得的服务。

数据分析自助化。从不同用户的需求和体验出发,搭建了可供用户自助分析的客户画像、产品画像、机构画像、决策平台等,并建立数字化的指引流程,帮助不同层级技术水平的用户快速地查找数据、使用数据、分析数据、共享数据,从而降低用户获取、使用数据的门槛。

数据服务实时化。为提高数据使用的时效性、准确性,广东省联社搭建大数据实时计算平台,融合内外部数据进行ETL加工组装,根据业务场景和业务逻辑对外发布了实时数据分析应用,并建立数据服务总线,为各业务系统及外部查询提供实时的数据查询服务,实现TB级大数据的高效响应。

数据治理是一项艰苦卓绝同时亦无捷径可走的系统工程,它犹如一个新区的开发,既要投入智慧进行高屋建瓴的全局谋划和蓝图设计,又要投入体力进行一砖一瓦的细节打磨和基础建设。前期打好的地基,唯有持续不断地投入人财物等资源保障并扎实做好砖瓦的积淀,才能最终看到业务应用的成果如幢幢高楼般平地而起。近年来,广东省联社大力开展数据管理工作,从数据“采、治、管、用”等各环节提升技术支撑能力,为“数据新区”的开发打下了扎实的技术基础,接下来还需投入更多的智慧和力量去探索地基之上业务应用的开发,使其真正发挥价值。

下一步,广东省联社将以业务价值深度释放为目标,进一步完善数据战略顶层设计,从数据消费侧和供给侧两个维度对数据架构优化升级。在数据消费侧,深入业务现场,缩短沟通路径,加深理解业务用数的上下游环节,结合人工智能技术,为业务提供更加实用易用的数智化应用,全面提升业务用数体验,实现业务更透明、决策更简单、服务更智能。在数据供给侧,进一步优化现有基础设施,持续提升数据资产管理能力,构建组织级数据资产,增强数据的复用价值,提升数据开发与数据流通的效率,以更灵活、更丰富的数据供给应对未来更加多样化的用数需求。  

[责任编辑:艾丽达娜]