星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

admin 2024年2月27日13:57:43评论26 views字数 4709阅读15分41秒阅读模式

摘要

贵州农信引入Kingwow数据库,并完成对关键交易系统的适配工作,通过沉淀数据库改造系统化实施的经验及能力,提升了业务系统国产化改造的效率和质量,有力推动国产化改造替代工作。

问题

随着银行业同质化竞争日益激烈以及国际形势的变化,国产化替代工作成为银行当前的工作重点。贵州农信十四五发展战略规划及数字化转型规划提出以资源共享为主导思想,构建灵活的、可扩展的、弹性化的基础设施,同时在各领域加大国产基础软硬件产品的应用比例。

行动

• 贵州农信从兼容性、应用场景、对象类型、索引类型、运维视角、事务处理、高可用、可观测性、数据安全、备份恢复等维度出发对主流数据库产品进行横向对比,选择Kingwow数据库用于关键交易系统;

• 2021年,贵州农信初步使用Kingwow数据库进行企业网银系统适配改造,2022年实现行业应用聚合支付服务平台和企业网银的改造上线,2023年Kingwow数据库进一步在统一支付系统、信贷核算系统改造上线,2024年计划启动核心业务系统的分布式数据库改造;

• 贵州农信沉淀了数据库适配方法论,整个流程分为技术选型、业务适配改造、业务开发测试、数据迁移测试、生产环境部署、上线演练、上线投产,其中业务适配改造和业务开发测试环节难度最大,需要面临和解决较多难题。

结果

• 贵州农信通过引入Kingwow数据库,加快国产化进程,同时,分布式数据库带来更高的可用性、可靠性、扩展性、灵活性,提高了数据冗余能力,增强了数据恢复能力,有效地管理数据存储和处理成本。

分享专家:李友福,贵州农信信息科技部总经理助理

01

案例企业

贵州省农村信用社联合社(以下简称“贵州农信”)由省联社及所辖84家农村商业银行(县级农村信用联社)组成,其中农村商业银行61家,农村信用联社23家。全省农信系统共有营业网点2200余个,员工约2.70万人,“信合村村通”网点12380个,形成了覆盖省、市、县、乡、村的服务网络格局,为广大群众尤其是农村边远地区群众提供了方便、快捷的金融服务。

截止2022年底,全省农信社资产总额9831亿元,存款余额7725亿元,占全省银行业机构的24.12%;贷款余额6236亿元,占全省银行业机构的15.59%,其中涉农贷款余额4308亿元,占全省银行业的24.8%;农户贷款余额3347亿元,占全省银行业的68.58%;普惠型小微企业贷款余额1327亿元,占全省银行业的39.08%。在全省银行业金融机构中,资产规模最大、存贷款余额最高、支农支小力度最强、金融服务最宽、机构覆盖最广、从业人员最多。

02

项目背景

随着银行业同质化竞争日益激烈以及国际形势的变化,国产化替代工作成为银行当前的工作重点。贵州农信十四五发展战略规划及数字化转型规划提出以资源共享为主导思想,构建灵活的、可扩展的、弹性化的基础设施,同时在各领域加大国产基础软硬件产品的应用比例。

当前,大多数银行主体使用以IOE为主的设备与软件,主要使用Oracle、MySQL、DB2等数据库。国产化替代后,贵州农信当前在数据库领域主要采用三个技术栈,第一是以达梦数据库为首的集中式数据库;第二是以Kingwow为首的分布式数据库,第三是用于分析型交易场景的高斯数据库。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

贵州农信从2020年开始进行数据库国产化替代尝试,2020年引入华为高斯数据库用于大数据平台数据分析场景,2021年启用达梦数据库并初步使用Kingwow数据库进行企业网银系统适配改造,2022年应用Kingwow数据库实现行业应用平台和企业网银的改造上线,2023年Kingwow数据库进一步在统一支付系统、信贷核算系统改造上线,2024年计划启动核心业务系统的分布式数据库改造。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践
03

Kingwow数据库介绍

贵州农信从兼容性、应用场景、对象类型、索引类型、运维视角、事务处理、高可用、可观测性、数据安全、备份恢复等维度出发对主流数据库产品进行横向对比,最终选择达梦数据库用于管理型系统、Kingwow数据库用于关键性交易系统。(本次案例重点围绕Kingwow数据库展开)

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践
星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

Kingwow数据库主体分为CG节点(计算节点)、MG节点(管理节点)、TG节点(事务节点)和DG节点(数据节点),其中CG节点和DG节点属于无状态组件,MG节点和TG节点基于PAXOS协议完成事务处理和数据管理。相较于传统数据库架构,Kingwow数据库具有更高的弹性水平拓展能力、更高的可用性保障、更强的分布式事务处理能力。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

对于多数据中心,Kingwow数据库可以通过分片的方式在同一数据中心/跨数据中心形成大集群,提高容灾节点的使用效率,同时降低网络延迟带来的业务影响风险。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

Kingwow数据库属于原生自主可控的数据库,对事务单元、元数据、SQL解析等功能项进行拆分,提高了部署架构的灵活性。Kingwow数据库通过主TG节点进行整体事务的控制,增加网络开销和上下文切换,在数据库性能提升方面仍有改善空间。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

04

数据库适配过程及业务案例

贵州农信数据库适配方法论如下,整个流程分为技术选型、业务适配改造、业务开发测试、数据迁移测试、生产环境部署、上线演练、上线投产。其中难度最大的是业务适配改造和业务开发测试,在JAVA程序、数据库语法、性能调优等方面存在较多挑战。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

目前,Kingwow数据库主要应用在基于海光CPU的曙光服务器上,同时也支持鲲鹏芯片的服务器。通过基准测试,Kingwow数据库满足全栈国产化技术架构适配要求。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

完成开发测试、业务测试适配后进行数据迁移,贵州农信将异构数据库从原端迁移到Kingwow数据库。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

当前Kingwow数据库在表分区改造、索引分区改造、HINT匹配问题、存储过程匹配问题等方面都有提升空间。通过提前规划技术架构设计、应用程序开发、SQL语法使用,在开发过程中尽早加入数据库审计、架构设计和语法分析等,有利于解决如上问题。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

在Kingwow数据库的适配过程中,贵州农信开展基准测试、技术验证测试、业务回归测试、性能测试,完成上线前的评审工作。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

真实业务场景会带来较多数据库运行时问题,需制定多方联合攻关机制,开发、DBA、运维深度介入,开展分析和优化,最终消除测试问题。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

在支付清算业务场景中,需要进行大数据量的联表更新,分布式数据库分散到多个数据节点,大数据量的联表查询会加重分布式数据库联表查询的操作场景,因此,贵州农信通过拆分SQL,批量绑定参数, 多批次提交,增加互斥逻辑,利用多线程并行执行方式提升性能。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

在多表关联更新场景业务量过大时,存在事务回滚风险,导致对账失败。对此,贵州农信先获取对账数据到应用内存中,再读取对账文件,更新内存中对账结果,再多线程多批次登记对账结果到数据库,省去多个节点之间的交互次数,进而提高运行效率。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

在数据库适配过程中,贵州农信还进行了压测过程中高并发的行锁冲突优化、数据库内存合并期间的大事务迁移优化、数据快照查询优化、DG数据缓存块参数优化、DG索引缓存参数优化、读本地数据流量比例调整,目前各个业务系统可以满足设计指标。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

在数据迁移流程中,贵州农信将数据拆分,第一次完成历史数据迁移,保证一定时间增量数据的实时同步,在目的端进行验证对比,保证无误的情况下实现业务的切换、投产。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

行业应用聚合支付服务平台是贵州农信围绕小微、智能POS、码牌等商户,以及医院、商超、学校等行业支付用户,建设的综合收单支付服务平台,承载的收单业务呈小额、高频的特性,日均交易笔数800万笔,日均交易金额超10亿,2023年春节期间单日业务峰值达到1600万笔。通过行业应用聚合支付平台的攻坚改造,进一步验证了Kingwow数据库高可用保障能力。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

2023年,贵州农信完成了统一支付平台、超级网银系统、柜面业务系统、信贷核算系统的改造:

• 统一支付平台(改造周期9个月):该平台承担了行内汇兑、农信银支付、人行大小额支付等渠道,是贵州农信最为重要的支付结算系统,日均清算资金170亿元,业务特点为场景复杂、交易金额大、时效性要求高,系统的成功上线验证了Kingwow数据库满足多渠道整合的复杂跨行支付业务场景需求。

• 超级网银系统(改造周期8个月):该系统主要对接人民银行网上支付跨行清算系统,承载贵州农信网银跨行资金清算业务,业务特点为业务时效性及业务连续性要求高,日均交易25万笔。系统的成功上线验证了Kingwow数据库满足高可用性及高稳定性场景需求。

• 柜面业务系统(改造周期13个月):该系统为贵州农信下辖行社共2000多个营业网点提供柜面相关的账户开、销、存、贷、汇等综合服务,日均业务100万笔。业务特点为交易复杂、覆盖面广、业务连续性要求,系统的成功上线验证了Kingwow数据库满足柜面服务复杂业务场景及高可用性的需求。

• 信贷核算系统(改造周期8个月):该系统是全省农信信贷业务的“核算引擎”,服务账户数超过1000万,每日批处理耗时约为1小时,日均交易量约为25万笔。作为综合类账户系统,业务特点为交易数据量大、流程复杂等特点,系统的成功上线验证了Kingwow数据库满足批量核算账务处理业务场景需求。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

企业网银、行业应用平台、统一支付、超级网银、柜面综合服务平台、信贷核算等多个关键业务系统适配过程中的技术积累,基本覆盖了核心业务系统国产化改造可能涉及的数据库应用场景,为后续核心业务系统改造奠定坚实的技术基础。

目前,贵州农信一般业务类完成38个系统改造投产,总体进度约34%;核心业务类完成7个系统改造投产,总体进度约70%;计划到2025年底,核心业务类系统全部完成改造投产,主体完成国产化改造替代工作。通过沉淀数据库改造系统化实施的经验及能力,提升了贵州农信业务系统国产化改造的效率和质量,有力推动国产化改造替代工作。

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

05

价值与效果

分布式数据库的引入,为贵州农信带来如下价值:

• 技术价值:相较传统数据库,分布式数据库具有更高的可用性、可靠性、扩展性、灵活性。分布式数据库通过在多个节点上复制数据,提高了系统的可用性和可靠性。即使部分节点或网络发生故障,整个系统依然可以继续运作,除此外能够更容易地水平扩展,即通过增加更多的服务器来提升处理能力。这对于处理大量并发交易和数据分析尤为重要。

• 安全价值:提高了数据冗余能力,增强了数据恢复能力,由于数据在多个节点上有多份副本,分布式数据库增强了数据的冗余和备份能力,减少了数据丢失的风险,在发生局部故障时,系统可以从其他节点恢复数据,提高了数据恢复的速度和可靠性。

• 运维管理价值:通过使用分布式数据库,银行可以更有效地管理数据存储和处理成本,降低对小型机、高端存储等设备的使用依赖,尽管分布式数据库的初始配置可能较为复杂,但长期来看,它可以提供更加灵活和高效的数据管理方式。

案例来源:2023大数据星河案例-数据库方向

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

《基于知识库的检索增强生成(RAG)技术要求》标准编制工作正式启动
星河案例ㅣ锡山区城运中心:依托智能指挥平台推动社会治理现代化
关于我们

     中国通信标准化协会大数据技术标准推进委员会(CCSA TC601,简称:数标委/BDC),旨在凝聚产业链各个环节,识别和解决大数据发展面临的重大问题,开展大数据技术、数据资产管理、数据共享与流通、数据安全等共性基础标准研究,以标准推进工作为纽带,推动大数据与实体经济深度融合。欢迎加入我们的行列!

      入会咨询:白老师   13520285502

                       [email protected]

星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

原文始发于微信公众号(大数据技术标准推进委员会):星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年2月27日13:57:43
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   星河案例ㅣ贵州农信:基于Kingwow数据库的关键交易系统应用与实践https://cn-sec.com/archives/2529092.html

发表评论

匿名网友 填写信息