数据库国产替代大势所趋,长亮科技赢得大型商业银行数据迁移项目
金融科技
2020.11.04

引言:凭借先进全面的数据平台迁移方案,长亮科技已成功中标招商银行和光大银行的数据迁移项目。

近年,金融信息安全已成为国家发展战略,金融机构纷纷推动信息技术安全可控落地,而数据库作为金融信息化的基础,一直以来,长期被国外巨头占据。近几年国内移动互联网的迅猛发展,为众多国产新型数据库的应用创造了全球独一无二的场景,国产数据库的进步发展显著,因此各银行机构在落地数字化转型的同时,纷纷采用国产数据库,数据库国产替代已是大势所趋。

数据库底层平台的替换,会带来海量的数据搬迁以及大量的数据处理程序迁移改造工作。数据仓库、数据集市作为企业最核心的数据整合、汇总加工存储平台,在业务分析、决策支持、运营支持等方面发挥着不可或缺的作用,因此在银行数据库国产化过程中,这类平台的数据及其处理程序的迁移,与模型重构优化是重中之重。

为助力银行加速实现数据库国产替代,长亮科技依托于金融大数据领域多年的技术积累及70+数据仓库实施案例经验,提炼出了一套完整全面的数据平台迁移方案,方案从数据迁移、数据处理程序的迁移,及模型重构优化三大重点出发,以实现数据仓库、数据集市的全面迁移及优化。

数据迁移:一个企业级的数据仓库通常会涉及上百TB甚至PB级的数据,而这些数据存储在数万甚至数十万张表中。庞大的数据量关系到数据迁移的耗时及性能,而数据表的数量以及不同表的加载策略决定了数据迁移任务的复杂程度,数据迁移还需要综合考虑数据量、批量窗口、存储空间等因素,技术上需设计不同处理方式应对,而除了对技术要求高以外,还需要充分考虑全局性; 


数据处理程序迁移:数据处理程序个数基本跟表的个数对应,即表的个数越多,程序的工作量也就越大。且ETL程序的迁移还需要考虑其在新平台的性能,保证不下降或有提升,对技术要求十分之高;


模型重构优化:针对新国产数据库的特点、原有模型架构及设计的缺陷,进行合理的重新规划,最大程度发挥国产数据库的技术特性,并修补原有模型规划设计的不足,适当优化数据处理链路、加强数据统一加工、降低不必要的数据冗余。

长亮科技数据平台迁移方案实现了从数据迁移策略到数据迁移步骤、数据迁移验证、数据迁移过渡等全面覆盖:

通过保证传输速率,解决数据移植时间窗口问题;
通过分批次移植策略,解决移植期间数据变化的问题;
通过移植程序的标准化、通用化,以及元数据自动匹配策略,解决ETL程序移植工作量大的问题;
通过移植任务并发以及单表干预策略,解决移植过程中各表相互影响问题;
通过数据值域对比报告的方式,解决数据迁移验证问题;
通过设置原平台与新平台的并行策略,解决数据迁移的过渡问题。


在金融信息安全可控大趋势下,长亮科技充分运用自身领先的金融科技优势,以先进的技术方案及丰富的数据迁移经验助力银行平稳、安全地完成数据迁移工作,进而加快推动我国银行业数据库国产替代进程。

让中国金融科技 具有世界影响力
长亮科技更懂如何为您的数字化转型赋能