易鲸捷数据库怎么样?

易鲸捷数据库EsgynDB是一款基于Apache Trafodion的混合事务数据库管理系统,它是一个分布式的、共享磁盘的系统,支持在基于HDFS的数据上执行SQL。EsgynDB......

易鲸捷数据库怎么样

金融核心系统,尤其是银行核心交易系统对数据库的要求极为严苛,一直都是国产数据库想要攻克的难关,是检验国产数据库能否挑起大梁的标志。近两年好消息不断,就在10月初,某银行基于易鲸捷分......接下来具体说说

易鲸捷:勇攀数据“珠峰”

◎ 文 《法人》杂志全媒体记者 李辽

过去,在国产数据库研发领域,由于缺乏理解核心架构的高端人才,没有真正能够掌控开源技术的研发团队,无法持续性改进产品,致使一些企业的数据库产品和技术并不具备自主可控能力。一旦发生“黑天鹅事件”,开源代码被禁用,使用产品的行业将被切断“神经”,这将对国家信息安全造成危害。

但在国产数据库领域有一个例外——贵州易鲸捷信息技术有限公司(下称“易鲸捷”)。该公司自2015年成立开始,一直坚持核心技术自主可控,守护国家信息安全底线。

易鲸捷数据库怎么样?

▲易鲸捷工作人员在 2021 年中国国际大数据产业博览会现场 受访者提供

依托贵州省发展大数据产业的天然沃土和优势,易鲸捷在银行核心交易系统项目上取得重大突破。2020年,该公司与贵阳银行签下4.27亿元大单,此举在国外数据库产品长期垄断国内金融市场格局下,实属罕见。公司成立第四年,便实现了盈亏平衡。

易鲸捷数据库怎么样?

▲李静 贵州易鲸捷信息技术有限公司董事长

近日,易鲸捷董事长李静接受了《法人》记者专访。她认为,在国家愈发重视数据自主可控,国产数据库亟待奋起直追的紧要关头,易鲸捷的异军突起,得益于选择了一条有别于其他国产数据库公司的发展路径。

多重壁垒,国产数据库突破难

数据库可保证数据的一致性和安全性。在金融领域,数据库是整个金融信息系统最重要的安全环节,数据库安全保证了国家关键领域的数据安全。其中,金融领域数字化转型建设最重要也最困难的环节,是数据库升级替换。

过去30多年,国家对国产数据库发展给予大量资金支持。虽然自主可控政策推行已久,但进程较为缓慢。出于对产品的稳定、性能以及应用开发、销售体系与数据库的紧耦合关系等方面考虑,目前,传统大型企业在制造、电信、金融等领域核心业务方面,主要依托IBM、Oracle、EMC等国外厂商的产品。

与国外产品相比,国产数据库起步晚、规模小,市场长期被外方垄断,核心技术标准由外方制定,与数据库研发相关的大学教育并未形成体系。在这种情况下,中国极度缺乏数据库核心研发人才,国产数据库生存空间狭小,在激烈竞争中属于弱势一方。

由于难以突破人才、技术和信息多重壁垒,有的国产数据库公司完全依赖开源软件作为技术支撑,有的则奉行纯粹的“买来主义”,直接购买源码授权。但这些公司很难掌控数据库底层架构的调整能力,何谈掌握核心技术。对此,李静颇为感慨。她对记者表示,在国产数据库发展道路上,很多企业付出了惨痛代价。钱花了,时间也搭进去了,却发现这条路很难走通。

与国外产品在同一赛道上角逐几无可能,只能另辟蹊径。如今的互联网时代,海量信息爆炸式增长,过去很多“好用”的国外数据库属于传统单机版,架构已不适应当今大数据产业发展对数据高并发、实时数据分析以及对计算能力的更高要求,分布式数据库恰好可以发挥作用,迎来新的发展机遇。

国家“十四五”规划纲要指出,要健全具有高度适应性、竞争力、普惠性的现代金融体系,稳妥发展金融科技,加快金融机构数字化转型。同时,纲要还强调,分布式数据库是金融行业应对不确定性的关键技术架构。这条赛道上,易鲸捷作为国内领先的分布式数据库头部企业,在金融行业全栈国产化核心交易系统取得了不俗的进展和成果。

拒绝外资,引入“国家队”

让李静引以为豪的是,易鲸捷坚持做一家纯正的中国数据库公司。为保证核心技术和产品自主可控,易鲸捷拒绝了众多外资抛出的“橄榄枝”。

易鲸捷数据库怎么样?

▲贵州易鲸捷信息技术有限公司贵阳总部办公区 受访者提供

2015年,易鲸捷分别在贵阳、北京、上海、美国硅谷成立研发中心,引入了美国数据库研发领域的杰出团队。李静坦言,成立之初,公司的目标就非常明确——要想不被人“卡脖子”,中国关键领域的核心技术一定要与国际最前沿数据库技术接轨并实现自主研发。易鲸捷成立的目的,是为中国引进一批先进数据库核心研发人才,快速提升中国团队研发水平,未来可支撑国家核心数据库研发,保障国家核心领域数据库安全。

由于研发团队拥有的技术处于全球领先地位,易鲸捷刚一成立,就有大量美元基金想进场投资。但在高估值外资面前,易鲸捷经受住了诱惑。“要保证技术研发自主可控,就要保证公司血统的纯正性。”李静对记者说。

2021年,易鲸捷获得中国电子战略投资。李静对此表示,中国电子作为中国网信产业的核心力量和组织平台,其业务分布和行业触角极其广泛,可以帮助易鲸捷获得快速发展。而易鲸捷也能更好地为中国电子PKS体系服务,快速打造关键领域核心IT底座,助力国家在关键领域核心业务方面推进国产化替换。

打破垄断,挑战“珠穆朗玛峰”

对易鲸捷来说,2018年是一个重要时间节点。在市场拓展方面,易鲸捷打破了国外数据库巨头在该领域的长期垄断,产品性能稳步提升并获得业内认可。

据李静回忆,在贵阳市政府的支持下,易鲸捷通过8个不同行业的项目,验证了易鲸捷的数据库产品。“当时,工业和信息化部电子第五研究所(中国赛宝实验室)对这8个试点项目做了同步监测测试,最后出具了9本报告,证明了在海量数据并发场景之下,易鲸捷数据库比世界知名数据库品牌产品速度快40倍。”

同年,美国制裁中兴事件发生,中美科技领域冲突开始。李静敏锐地意识到,未来中美可能会在高科技领域进入冷战状态,易鲸捷的产品应该在国家最核心领域进行技术攻关和突破。

据了解,银行核心交易数据库领域由于业务场景多、数据量大、技术复杂,被称为是数据库领域的“珠穆朗玛峰”。中国在该领域基本使用外国尤其是美国数据库,这对中国金融安全构成重大威胁。因此,李静及时调整了公司发展战略。她要求公司停下当前所有业务,全力攻克银行核心交易数据库领域。

当时,一个无法回避的现实是,公司中国团队的研发水平与美国专家的研发水平存在较大差距。“数据库架构人才不是短时间内可以培养起来的,需要技术传承。尽管公司经常组织中国员工到硅谷培训,也定期让美国团队专家到中国指导,但效果并不理想。”李静说。

2019年3月,易鲸捷先后中标贵阳银行、贵阳农商行银行核心交易项目。为了快速让中国研发团队掌握核心技术,李静要求缩短合同交付时间,这在任何业内人士看来都是棘手之事。冒着逾期可能面临高额赔偿的风险,易鲸捷中美团队成立项目组,在架构逻辑上开展了紧密和卓有成效的合作。李静对记者说,“一年下来,中国所有研发团队人员,几乎每个人见到我都特别兴奋,表示自己真正从底层架构上掌握了数据库的设计逻辑。”

2019年12月,为进一步确保数据库核心技术安全和公司安全,易鲸捷将研发平台全部“移师”到中国,完善了数据研发平台安全机制。

打磨产品,小公司揽大项目

在两家银行真实交易场景验证下,易鲸捷研发人员靠前次与银行科技部门技术人员面对面交流沟通,充分了解银行业务的真正需求,这对产品的打磨完善至关重要。为了更好地适应银行业未来发展需求,李静坚持要求研发人员针对性地启动研发新一代云原生分布式数据库QianBase xTP。

▲2021 年中国国际大数据产业博览会易鲸捷展区 受访者提供

李静介绍,QianBase xTP是分布式数据库2.0时代的产品,采用云原生分布式架构,可支撑未来银行基本所有交易型业务和少量分析业务。其最大优势在于完全去中心化的架构设计,通过分布式数据库的高安全性,解决国产IT底座不够稳定的问题,是目前我国重要行业关键业务系统实现全栈技术安全替换的最佳解决方案。“我们的靠前代产品是融合型分布式数据库,既支持分析又支持交易业务。但银行核心交易系统业务流程复杂,大多数业务都是交易型业务,未来对数据安全要求更高。”

2020年10月,易鲸捷以4.2亿元中标贵阳银行全栈国产银行核心交易系统项目。该项目开启了全新的“易鲸捷模式”,开创国产数据库领域的历史。在这之前,国产数据库公司没有拿到过如此大金额的合同,也从未作为总集承接项目。

“过去合作,通常都是由集成厂商作为总集和总包方,这个项目首次让一家数据库公司作为核心总集。因此,上下游企业需要与易鲸捷数据库适配,这在国产数据库发展历史上是靠前次,具有里程碑意义。”李静表示,直接与银行科技部门沟通,能拿到靠前手资料,了解银行目前状况和未来业务规划与需求,对数据库产品快速升级迭代非常关键。

“当国产数据库公司成为控盘方,有助于快速建立金融行业全栈国产化替换的生态。”李静对记者表示。

自主创新,一起向未来

易鲸捷QianBase系列产品的优异表现获得业内认可。2021年5月,该产品荣获2021数博会领先科技成果奖。“这款分布式数据库即便宕机1/3,也可保证业务不停,银行数据不丢失。”李静说,“如此短的时间,由中国团队研发出优秀产品,可以说是创造了奇迹。”

值得一提的是,在人才储备方面,中国数据库领域权威技术专家武新博士于2021年6月加入易鲸捷,正式出任公司CEO,并吸引众多国内顶尖数据库内核研发人员加盟。结合源自天腾团队的数据库内核高端研发人才,易鲸捷已拥有国内顶级数据库研发团队。

武新博士在对QianBase xTP产品仔细评估后认为,这套产品的架构领先。目前,易鲸捷QianBase系列产品已实现在金融、智能制造、电信及物联网等多领域的全面突破。

2022年1月,易鲸捷全新一代云原生分布式数据库QianBase在江南银行核心业务云信贷平台成功上线。在今年的贵阳市政府工作报告中,易鲸捷被列为政府重点支持企业之一,在为国家构建安全可靠的数据流通交易体系和产业生态上,继续发挥核心优势。

采访中,李静反复强调,“数据库是整个IT系统中承上启下的关键环节,好比连通大脑和四肢提供血液的心脏,一旦心脏出现问题,整个人就垮了。”

如今,国产数据库领域在卧薪尝胆多年之后,迎来百家争鸣的新时代,各类企业纷纷亮相。对此,李静认为,围绕科技创新,要有自己的实力与思考。在创业艰难之处,需要持之以恒的坚持。产品研发之时,眼光一定要看向未来。最重要的是,要有一颗爱国的心,要始终与国家发展方向保持一致,更要做对国家有益的事。

“易鲸捷要求每一位员工都把国家利益放在首位,具有强烈的爱国情怀和责任担当,坚持自主创新精神。”李静表示,下一步,易鲸捷将不断奋斗,打造出能够支撑各个关键领域的坚实数据库核心底座,推动国产数据库行业迈上新台阶。

记java工程使用易鲸捷数据库EsgynDB遇到的一个坑

易鲸捷数据库EsgynDB是一款基于Apache Trafodion的混合事务数据库管理系统,它是一个分布式的、共享磁盘的系统,支持在基于HDFS的数据上执行SQL。

EsgynDB是大数据行业内屈指可数的能在单个数据库平台上同时支撑OLTP和OLAP业务的成熟国产HTAP数据库,完全符合Gartner在2014年提出的新一代数据库技术。

EsgynDB实现面向云计算时代的多租户共享资源技术(Multi Tenancy),为客户提供灵活的、可扩展的、按需服务的云数据库共享服务平台。

EsgynDB的数据库对象存储在原生的Hadoop数据库结构中,包括以下格式:HBase,提供了一个Big Table或宽列键值的数据模型,ORC或Parquet文件,提供了一个列存储的数据模型,文本文件,用于存储数据,如逗号分隔值或日志数据,以及键值序列文件。

最近需要开发一个基于易鲸捷数据库的参数同步程序,需要从易鲸捷数据库将某些参数表全量同步到mysql,代码开发完成后进行测试的时候,发现代码从易鲸捷数据库捞取数据速度非常慢,本机运行获得100条数据大概需要30秒,而参数表的记录条数也只有不到10万条,这非常不正常。当天在公司尝试了很久没有找到问题的原因。第二天周末,在家进行测试的时候,发现捞取速度有所提高,已经到了基本可以接受的程度。但是因为连接易鲸捷数据库需要用公司的VPN,很快就收到了公司VPN发的告警信息,说我的VPN账号下载流量异常,*高达到一分钟下载19G数据,但是当时只同步了8万条数据左右,数据落到表里只有17M。联想到公司网络有限速,在公司获得数据慢的原因可能就是因为公司网络限速的原因。虽然是限速导致获得数据慢,但是每分钟19G的下载数据量也不正常。后经过多方查找,终于发现易鲸捷数据库有clipVarchar这样一个配置参数,将代码中的数据库url加上clipVarchar=1这个参数后,问题解决。

下面介绍一下该参数相关信息

clipVarchar是一个EsgynDB的功能,它可以在Mxosrvr层将数据的宽度截取为实际存储宽度,从而提高Mxosrvr->客户端的传输效率。

配置clipVarchar的方式是在连接EsgynDB的时候,在连接字符串中添加clipVarchar=1的参数,例如:

String url = "jdbc:t4jdbc://localhost:23400/:clipVarchar=1";

易鲸捷分布式数据库支撑银行核心交易系统带来的启示

金融核心系统,尤其是银行核心交易系统对数据库的要求极为严苛,一直都是国产数据库想要攻克的难关,是检验国产数据库能否挑起大梁的标志。

近两年好消息不断,就在10月初,某银行基于易鲸捷分布式数据库打造的国产软硬件支撑的核心交易系统进入试运行阶段,目前运行稳定,各项指标均满足预期。可以说这是国产分布式数据库的一个突破,也是银行打造全栈国产软硬件核心交易系统的突破。

IT168&ITPUB一直都在关注国产数据库在金融核心系统的发展动态,去年,该银行核心交易系统正在建设中,我们采访了易鲸捷解决方案架构师王燮元,讨论国产数据库在支持金融核心系统的发展情况,他告诉IT168&ITPUB:“全栈核心系统的主要难点在于软硬件之间的适配和磨合,相比国外产品数十年的发展,我们(国内)无论是芯片、操作系统还是数据库,实际上都缺乏在核心重要系统的应用和演练,虽然线下我们在积极推动生态的建设,各个厂商之间的适配工作也都在进行,但不拉到真实的战场试一下,总归是不行的。”

日前,IT168&ITPUB再次找到王燮元,本次我们重点讨论了分布式数据库的发展,以及分布式数据库在银行核心系统的落地情况。

分布式数据库从1.0走到2.0

随着海量数据爆发,移动互联网带来高并发需求,传统的集中式数据库出现瓶颈,分布式数据库技术自2010年以来呈现蓬勃发展的趋势,目前正处于增长期,被认为是未来支撑核心、关键业务系统的主流数据库技术,也是国产数据库实现换道超车的希望。

根据IDC的调研,目前约26.8%的企业级市场用户部署了分布式数据库,超过90%的企业认可分布式数据库部署后的效果,其中,大多数被访企业看到数据库系统性能的明显改善,切实解决数据库企业级应用痛难点。

在分布式数据库如此火热之下,很多厂商针对不同业务场景打造了多个分布式数据库产品。比如,易鲸捷目前有QianBase xTP、QianBase MPP、QianBase HTAP三款分布式产品,分别对应OLTP、OLAP、HTAP场景。

王燮元介绍,分布式数据库产品有很多,针对核心交易的分布式数据库产品,经过多年发展,如今从分布式数据库1.0走到了分布式数据库2.0时代。

分布式数据库1.0时代多以开源MySQL、PostgreSQL辅以分库分表中间件来实现,但存在对应用侵入性强、不透明,基于单机HA的可靠性差,跨节点的查询、事务能力弱,跨DC的两地三中心能力不足等缺陷。他介绍,易鲸捷遇到过某分库分表架构的数据库产品,对产品的研发有大量约束性规范,很多SQL需要改成指定的样子才能使用,涉及大量对应用的改造。

而以QianBase xTP为代表的分布式数据库2.0技术是原生分布式数据库,对用户应用系统完全透明,支持多层次高可用和多种跨数据中心多活的容灾部署方案,并大大降低了运维复杂度。因此更适合诸如银行核心类关键业务的应用支撑,满足系统在数据一致性、稳定性、可靠性、高可用、可扩展等方面的需求。

当然,世界上没有完美的技术,只有合适的技术。分库分表+中间件技术路线也有其优势,比如,仍然在原有单机数据库上执行,学习成本低。而原生分布式数据库技术路线也有其需要改进的地方,比如产品成熟度仍然需要沉淀与长时间核心系统的验证,还需要进一步完善上下游生态的的适配等。

可以看到,以易鲸捷为代表的国产数据库厂商正在不断强化原生分布式数据库的能力。如在技术方面,今年易鲸捷获得了美国商务专利局三份关于分布式数据库的专利证书,其中“混合乐观锁和悲观锁的数据库事务并发控制”发明专利,解决了分布式数据库最棘手的多用户并发访问冲突问题。在实践案例方面,日前,在翻越银行核心交易系统这座大山方面又取得了突破。

易鲸捷认为在所有分布式数据库技术路线里,未来真正有生命力的是2.0架构的原生分布式数据库。

分布式数据将加速落地银行核心交易系统

不同行业对数据库的需求并不相同,王燮元习惯于以互联网、运营商和金融三个行业为例,他指出对于性能的要求,互联网*高,其次是运营商,然后是金融,但是对于安全和可用性的要求正好相反,金融*高,运营商次之,然后是互联网。

“数据不能丢,账务不能错,系统不能停。”王燮元再三强调,这是金融业尤其是银行核心系统的刚性要求,实际上也是对数据库的要求。银行核心交易系统关乎国计民生,轻易不会调整,而一旦需要调整就要规划可以支撑未来5年到10年的架构。随着移动互联网的普及,移动支付不断发展,银行业务系统面临海量数据处理与高并发等挑战,“分布式架构是现在银行选型时必然要考虑的一个点。”

过去几年,金融行业数据库国产化试点工作稳步推进,在信创需求推动下,金融国产化替代也在加速,随着银行交易核心系统国产化取得突破,王燮元认为,未来,分布式数据库将加速落地银行核心交易系统。他强调,信创其实不单独是数据库,还包括整个上下游的信创建设,这要求数据库构建信创生态打通上下游,完善信创生态是当下及未来国产分布式数据库支撑银行核心系统的重点和难点。

易鲸捷分布式数据库是少数可以支撑银行核心系统的数据库产品,易鲸捷采用集团军作战,在软硬件全面国产化方面探索出了一条路。“在做银行核心交易系统项目的时候,我们不仅是把它定位成行业标杆项目,更多其实把它看作是一次国内信创生态的一个技术攻关。因为之前确实没有厂商那么去做过。”王燮元介绍。

据悉,易鲸捷在进行核心系统落地实施的过程中,遇到了许多计划内和计划外的问题,积累了很多宝贵的经验。银行对于核心系统较为谨慎,谁都不愿意做靠前个吃螃蟹者。王燮元将在DTCC2022中国数据库技术大会上带来“基于易鲸捷分布式2.0数据库的银行核心交易系统落地实践”的主题演讲,本次演讲将结合实际需求,从数据分片、副本设置、全栈适配、业务连续方案、性能优化、日常运维等多个方面进行分享,相信这次分享能为更多想要进行核心交易系统分布式改造的银行提供有意义的参考。

以上就是易鲸捷数据库怎么样?的详细内容,希望通过阅读小编的文章之后能够有所收获!

版权:本文由用户自行上传,观点仅代表作者本人,本站仅供存储服务。如有侵权,请联系管理员删除,了解详情>>

发布
问题