一文读懂中国信通院云原生数据库稳定性测试体系

数据库系统面临着节点故障、网络故障等多方面的故障的挑战。但是，要检验系统在故障条件下是否能保持稳定，不能坐等故障真正发生，也不能通过不可控的方式故意制造故障。要研究系统的稳定性，需要稳定的、可控的、可复现的故障环境，而这样的故障环境在一般条件下是可遇而不可求的。

混沌工程的思想就是通过技术工具来制造这种可稳定复现的故障场景，通过观察故障对数据系统的业务和性能的影响来评估系统的稳定程度，并实施针对性的措施。

为给业界提供一种基于模拟真实生产场景检验分布式数据库系统稳定性的技术工具，中国信通院云计算与大数据研究所数据库团队基于混沌工程思想开发了一套针对分布式数据系统的工具，旨在衡量分布式数据库在性能工具压测条件下的韧性表现。

使用该工具对被测系统进行稳定性测试，需要在一个控制节点上部署该工具，并通过配置文件对故障类型、故障节点数量、故障持续时间、故障发生次数等参数进行配置。除部署控制节点外，测试人员无需在被测系统中额外部署软硬件。测试开始时，混沌测试工具对被测系统中的节点发出指令以制造临时故障场景，以便测试人员观察被测系统在故障场景下的状态。测试结束后，测试工具将自行进行清理工作，将被测系统还原为测试前的状态。

这套混沌测试工具可以在K8s等云原生环境上部署并执行测试，对测试环境的适应性较好，能在多种测试条件下模拟多种类的故障场景。

目前，中国信通院混沌测试工具在Gitee平台开源，开源链接如下：

https://gitee.com/caict-databench/databench-c

基于上述的混沌测试工具，中国信通院提出了一套对数据库系统的稳定性进行量化测试的方法。

首先，对被测数据库系统进行一次无干扰条件下的性能测试，这次测试得出的性能指标记为。然后在各种故障场景下对被测数据系统进行性能测试，得出受故障影响条件下的性能指标。

通过对上述两个性能指标的计算，可以得出被测系统的相对性能指标RP（Relative Performance），和相对性价比指标RCP（Relative Cost Performance）。相对性能RP指标反映的是系统的性能受到故障影响的程度，它越接近1或大于1，则说明被测系统抵御故障的能力越强。而相对性价比指标RCP反映的是故障场景中被测系统利用计算资源的效率，该指标的数值越高，说明被测系统抵抗故障对计算资源造成的伤害的能力越强。这两个指标的计算方法详见下图：

在评判被测系统是否通过测试时，中国信通院不对参测产品得出的上述两个指标的值做硬性规定。该指标测试结果默认不公开，仅体现在中国信通院对参测单位出具的测试报告上。

稳定性测试的硬件环境可以基于信通院提供的物理机集群，也可以由参测单位自备云计算环境展开测试。

参测产品在7X24小时内完成所有测试用例的测试可视为通过测试。每个测试用例的测试过程中应无重大报错、无故障、无宕机，如果出现上述情况，不记录本次测试的结果，需重新开始该测试用例的测试。通过测试后，中国信通院向通过测试的参测单位交付该参测产品的检验报告、检验证书各1份，并在公众号和相关会议等媒体进行宣传。

中国信通院云计算与大数据研究所数据库团队长期深耕数据库技术标准、产业研究、政策支持、行业平台等工作，云原生数据库作为数据库技术发展方向之一，团队前期已联合华为云、阿里云分别发布《云原生数据库白皮书》和《Serverless数据库技术研究报告》，编制发布《关系型云数据库技术要求与测试方法》标准，此外，依托上文所述的混沌测试工具和测试方法，研发推出一系列针对云原生数据库的稳定性测试方案。

目前，面向事务型数据库、分析型数据库、时序数据库的云原生数据库稳定性测试标准已完成研制，中国信通院“可信数据库”-云原生数据库稳定性系列测试正在火热报名中。首批云原生数据库稳定性测试已经开启报名，欢迎相关单位报名参测，首批测试成果和证书将于7月“2024可信数据库发展大会”进行发布。

中国信通院“可信数据库”联系人

刘老师

13691032906