数云融合怎么理解
当前,金融行业正迈向数智融合的新阶段,如何充分释放数据的价值,以AI等创新技术赋能业务,实现创新增长,是各级金融机构都在思考的新课题。由于金融行业受众广、数据量巨大,但数据流通受限......接下来具体说说
近年来,大数据和AI新技术持续蓬勃发展。根据Gartner发布的2022年数据管理技术成熟度曲线,Lakehouse(湖仓一体)、Data Mesh、Data Fabric技术成为数据分析领域的重要趋势,支撑金融机构高效使用数据和业务创新。随着AI技术掀起新一轮的技术浪潮,金融科技作为行业数字化转型的“领头羊”,在金融业大数据和AI深度融合方面将会走向何方?
多年来,金融业持续采用随时代发展而成熟的数据仓库、大数据、AI等技术,以增强企业经营和自身服务能力。以前银行主要提供存款、贷款、外汇、信用卡等传统金融业务,随着移动支付、快捷支付、网络零售等新兴金融业务的涌现,金融机构对数据平台的数据类型、数据分析能力提出更高的要求。
早在2020年,华为云CTO张宇昕在华为全球分析师大会上提出“湖仓一体”架构理念,该架构实现全量数据入湖存储,在湖内实现数据分层加工,全局使用一份数据支撑上层多业务工作负载。华为云Stack湖仓一体架构凭借丰富的数据类型和全面的分析引擎,成为多数金融机构的共同选择,已在中国工商银行、招商银行、民生银行、交通银行落地,国有大行、股份制银行中的80%+已经选择华为云湖仓一体方案。
基于这些最佳实践,“民生信用卡-华为大数据联合创新实验室”荣获《亚洲银行家》中国最佳AI实验室奖,交通银行基于“湖仓一体的数据中台实践”荣获《亚洲银行家》最佳大数据应用奖,进一步证明华为云湖仓一体和数智融合方案先进性。2023年,金融客户基于湖仓一体,将进一步实现大数据与AI的互联互通和数据共享,开启数智融合新阶段。
然而数据湖、数据仓库、AI技术是相对*的技术栈,经过多年发展,因为各自曾经独有的特点,导致多年后客户现场系统资源分散,仓-湖-AI各系统平台存在数据孤岛,若采用数据隔离或数据迁移,无法满足全量、敏捷分析的需求;而数据工程师和AI模型开发工程师的工作也存在割裂情况,DataOps和MLOps未完全打通,导致协同效率低;AI开发的准备工作复杂度过高,80%时间都花在数据准备环节,导致AI训练用数复杂低效;数据的数量和质量也同样成为制约大数据和AI技术在金融业的深度融合的障碍,当前金融企业大多的数据湖数据规模、种类、质量均无法满足LLMs模型训练的诉求。
6月7日,在华为智慧金融峰会2023上,华为云Stack重磅推出 数智融合解决方案 ,通过四大创新,加速金融大数据和AI技术深度融合。
数智融合提供存储、缓存数据加速、计算资源三层池化方案,解决湖仓智平台资源割裂的问题,整合大数据、数仓、AI计算所需的CPU和GPU资源池,降低运维成本和难度,减少数据和模型开发使用过程中数据来回搬迁,从多套湖仓智平台走向一套数智融合使用的资源池,性价比提高30%,打破分析引擎的资源边界,通过统一计算资源池提升利用率、降低运维成本。
数智融合提供LakeFormation实现全局统一的元数据、数据访问控制、数据全生命周期管理,让业务数据、元数据、权限策略实现管理中心化,构建统一数据湖;同时具备算子下推和数据缓存与索引加速的能力,实现底层数据存储的联动权限管理,以及跨服务/引擎/集群的数据共享;支持百万级表的细粒度数据权限控制和管理策略,让全局统一赋权;通过架构的不断创新,让一份数据在数据湖、数仓、AI之间自由共享,用数更敏捷,存算分离性能逼近存算一体。
数据分析和AI开发统一工作平台,让DataOps和MLOps无缝衔接,高效协同,在一个平台完成开发、测试、交付上线工作,彻底打通大数据和AI技术的使用边界,让数智融合业务创新提效50%。
数智融合平台覆盖主数据管理、元数据管理、数据模型管理、数据质量检查和数据安全,让数据开发、治理全链路智能化。
当前,金融湖仓智多元架构并存,系统烟囱式建设,导致系统建设和运维成本高,数据分析、模型开发、数据治理效率低。在走向数据融合落地新阶段时,要先实现湖仓一体,再向数智融合演进,循序渐进,立而不破。建议分为两个阶段来实现数智融合:
中国工商银行已率先完成靠前阶段,建设了全行统一的数据湖;同步启动了传统数仓替换工作,其单体最大的数据湖达2000+节点,支撑300+行内大数据应用,日均承载批量计算作业数达30万+。同时,其数据建模方式从原来范式建模走向数据中台建模,不仅在软件层面,在建模层面也实现了湖仓一体新范式,超越传统数仓范式建模效率。下一步,中国工商银行将携手华为,基于云原生智能底座,实现云数智融合。
未来,华为云继续携手300多家金融客户,推进金融业湖仓一体、数智融合新发展,深化大数据与AI技术在金融业的持续创新,激发数据新活力。
数字化的力量正在引领产业的颠覆与重构,成为企业构建未来价值的重要支撑。在上云、用云已是必选题的当下,企业从云到端再到应用场景,都需要进行高效而可靠的数字化建设,通过云、数据、基础架构的创新升级,实现高质量发展。
作为华为云的重要伙伴, 神州数码 一直在帮助企业高效快速上云、用云,更好地面对数字化浪潮。为了助力企业“数云融合”、实现全场景端到端的数字化转型创新发展,近年来神州数码与华为云一同携手,在云转售、服务、解决方案等诸多业务领域,为客户提供了云上和本地体验一致的云服务,持续赋能不同行业的数字化转型升级。
进入新时代,企业的数字化需求愈显迫切。以酒店旅游产业为例,在“全面实现数字化发展”的政策推动下,为了提升运营效率和管理质量、创造更多竞争优势,国内各大酒旅集团急需尽快完成从内而外的数字化蜕变。
这种形势下,某知名酒店集团也提出了全面数字化转型的上云战略,开始深度布局。其中,上海某机房承载了该品牌的生产&预生产系统与开发&测试系统,包含了PC官网、酒店APP、会员商城、酒店预订系统等关键业务系统,对业务延续性和可行性有极高的要求。在华为云的协助下,神州数码云专业团队根据客户的实际业务需求,将IDC机房业务系统迁移到华为云,并完成了Centos到欧拉的操作系统替换,同时借力华为云Iaas/Paas专业能力,进一步强化了酒店自身的运维能力。
经过与华为云的通力合作,神州数码将该酒店的数字化系统集约化建设管理水平大幅提升,不但为其业务正常高效运转带来了稳定、可靠的系统保障,也为未来业务高速增长以及智能化体验提供了牢固的支撑。这些赋能得到了客户的一致好评。
回首来看,神州数码与华为的合作始于2011年。从成为华为企业业务数通产品伙伴,到2016年与华为共建中国领先的云一端生态体系,再到2018年双方战略合作升级……如今,神州数码已是集华为云服务领域MSP框架合作伙伴、华为云首批CTSP差异化认证伙伴等身份于一身的重要伙伴,与华为云的合作范围覆盖多个产品线和服务领域。
2022年,华为携手伙伴共同发起首届828 B2B企业节,通过专业的产品和服务解决中小企业数字化难题。神州数码也参与其中,依托“数云融合”理念,结合自身方案和行业经验,派遣团队帮助企业解决实际问题,全力促进企业相互沟通合作,为企业搭建数字服务供需对接平台,并通过云账房、慕斯睡眠、神州专车等诸多项目成功交付经验,充分验证了服务侧交付能力。
2023年8月28日,由华为联合国内上万家企业共同发起的第二届828 B2B企业节正式启动。神州数码作为十二家联合发起单位之一,也在B2BGO商城上线了云专业服务,为广大企业提供从上云到云上的全生命周期数字化转型服务,并在活动期间提供免费一对一专家咨询服务,助力企业科学高效地完成数字化转型。与此同时,神州数码还与多家企业签订了数云融合战略合作协议,共同分享技术创新、市场拓展和资源协同的优势,为客户提供更加优质的解决方案。
当前,金融行业正迈向数智融合的新阶段,如何充分释放数据的价值,以AI等创新技术赋能业务,实现创新增长,是各级金融机构都在思考的新课题。由于金融行业受众广、数据量巨大,但数据流通受限,急需行业大模型来激活PB级的非结构化数据,同时,随着AI大模型技术的深化应用,生成式AI将嵌入金融业务流,重塑金融业务流程。对此,华为云提供数智融合平台和**金融大模型解决方案,助力金融机构释放数据价值,提升业务智能化水平,实现数智化升级。
11月30日,以“金融创新,智领未来”为主题的华为云行业高峰论坛2023·金融行业论坛成功举办。华为云EI服务产品部总经理尤鹏以《数据智能融合,重塑金融服务价值》为题,分享了华为云的数智融合平台和华为云在金融大模型领域的探索成果。华为云整合云原生数据湖MRS、云数据仓库GaussDB(DWS)等产品和解决方案,构建了华为云数智融合平台。同时,基于昇腾集群算力底座,华为云提供软硬协同,全栈自主可控的**金融大模型。“数”与“智”深度融合,为金融行业探索智慧金融提供有力支撑。
华为云EI服务产品部总经理 尤鹏
数据是金融行业的核心资产,华为云正积极探索金融领域数据智能解决方案,助力金融机构提升核心竞争力。通过软硬协同和架构创新,华为云数智融合平台可助力金融机构实现降本、增效、提质。华为云数智融合平台采用存储-缓存-计算三层分离的池化架构,带来极致性价比。通过融合数据管理和融合数据加速,使一份数据在数据湖、数仓、AI间自由共享,让用数更敏捷。同时由于进行了架构级创新,使存算分离性能接近存算一体。面向用户,华为云数智融合平台提供数据+AI融合工作台,实现DataOps、MLOps、DevOps的无缝协同,降低数据和模型的开发、运维门槛。此外,华为云数智融合平台还通过AI4Data实现数据开发、治理的全链路智能化,使数据开发和治理的效率提升2倍。
在数据存储方面,华为云提供湖仓融合的数据存储底座DataArts LakeFormation,支撑云原生数据湖MRS、云数据仓库GaussDB(DWS)、AI开发生产线ModelArts等数据层应用。DataArts LakeFormation采用统一元数据,让数据自由流动,实现一数多用。通过数据访问控制,让用数更放心,同时其还具备数据加速能力,可以降低性能损耗。
数据湖和数据仓库是支撑金融机构数据挖掘与应用的核心组件。华为云云原生数据湖FusionInsight MRS具备AI计算归一建设、多样集市、数据智能、云原生架构等优势,让模型决策更高效,多模搜索更精准,通过存算分离、软硬协同,使性能提升30%。华为云云数据仓库GaussDB(DWS)支持标准数仓、实时数仓、IoT数仓等全场景应用,可实现跨域数据高效流转,数据就地分析免搬迁。同时,FusionInsight MRS支持复杂OLAP分析、时空分析、时序分析、高维数据碰撞分析和仓/库/市/湖一体化协同分析,助力实现分析普惠,让人人都可以成为分析师。
在今年9月的华为全联接大会2023期间,华为云昇腾AI云服务正式上线,面向全球企业和开发者上线“百模千态”专区,收录了业界主流开源大模型,并全面基于昇腾AI云服务进行适配和优化。昇腾AI云服务百模千态专区提供超大规模集群的充足算力,即开即用,支持万亿级模型,同时具备高效长稳的优势,可实现千卡训练连续30天不中断,训练作业故障自动恢复。此外,昇腾AI云服务百模千态专区为大模型训练提供完备的工具链,支持敏捷开发,提供100+**大模型能力集,并通过生态协同,提供10万+AI资产供用户调用。
**金融大模型也在加速推进金融场景的落地。华为云在**大模型L0基础模型的基础上融合金融行业数据集,打造了L1行业模型——**金融大模型,同时提供行业解决方案,包含知识检索中间件、推荐中间件、数据分析中间件、写作中间件和编码中间件。**金融大模型可支持智能贷款、智能客服、智慧零售、智能合规、智慧营销、智慧监管、智慧办公、智能风控等应用场景。
以上就是数云融合怎么理解?的详细内容,希望通过阅读小编的文章之后能够有所收获!