日前,亚马逊云科技宣布将进一步推动云原生数据库服务在汽车、制造、金融等传统行业中的应用,帮助企业打造数字化转型的新基建。
随着越来越多传统行业企业迁移上云,具有高性能、高可用性和可伸缩性以及高安全性等特征的云上托管数据库及云原生数据库,正成为企业实现敏捷高效创新,打破传统数据库瓶颈的首选。亚马逊云科技一直通过不断创新推动云上数据库服务的迭代与发展,目前已推出15种专门构建的云上托管数据库服务,帮助传统行业企业从海量多样化数据中获取洞察能力,并降低使用成本。目前,全球已有超过65万个数据库通过亚马逊云科技数据库迁移服务迁移至亚马逊云科技。

亚马逊云科技大中华区产品部总经理陈晓建表示:“亚马逊云科技相信,云原生数据库是打破固有瓶颈,充分发挥公有云架构优势,释放数据创新潜力的必选项,我们也将持续推动云原生数据库服务的创新,让企业的云上数智之旅愈发得心应手,更加从容地应对未来的创新挑战。”
数据库是企业数字化转型新基建的核心
陈晓建指出,数据已经成为企业核心资产和创新的主要驱动力。一个坚实的数据基础是企业获得数据价值的保障。作为数据处理中枢,数据库是数据基础很重要的一部分。而企业数字化转型带来的新趋势包括:产生海量、多样化的数据;现代化应用下的微服务需要专门构建的数据库以获得最佳表现;快速开发与迭代需要平衡数据库的成本与性能。
相比互联网等云原生的企业,传统行业企业由于行业的特定应用需求以及历史遗留数据等原因,面临的数据挑战也更为艰巨:
一是无法快速扩展:传统IDC资源有限且无法快速扩展,共享存储、MPP等传统数据库的技术架构无法充分利用云的弹性能力,云存储,难以充分发挥云的优势。
二是高成本:商业数据库的License也带来了高昂的成本,同时需要大量硬件投资和庞大的运维团队。
三是迭代速度慢:繁琐的部署运维工作分散精力减缓系统迭代速度,减缓创新速度。
四是无法支撑全球业务扩展:不易扩展到多个国家城市配合全球业务扩展。
五是功能/性能瓶颈:传统关系型数据库应对不同业务场景需求的能力存在瓶颈。
亚马逊云科技引领并推动云原生数据库服务的发展
陈晓建谈到,云原生数据库能够助力企业更快地扩展业务、专注于创新,并加快新功能的上市时间:
首先,云计算解决了开源数据库在易用性、可靠性、扩展性、性能等方面的问题,相比传统商业数据库,降低了高昂的成本。通过云上托管的数据库服务,客户可以用开源数据库实现媲美商业数据库的性能,而成本通常只有商业数据库的几分之一。
其次,专门构建的托管数据库,为企业工作负载,尤其是现代化应用架构下的微服务提供极致性能,不同的问题由专门的数据库来解决。
第三,基于云端海量资源池的云数据库可以根据企业工作负载需求快速弹性扩展,无服务器的数据库将这一特性发挥到极致。
第四,云原生数据库可以利用云端的其他服务,包括计算、网络、存储、安全、大数据、AI/ML,通过深度集成,将各种能力融会贯通。
第五,企业可以按用量付费,无需预置资源。
第六,托管数据库服务使客户可以集中精力在高价值的应用开发上,并借助全球数据库配合全球业务扩展。
Amazon DynamoDB是最有代表性的云原生数据库,也是业界第一个真正意义上的云原生数据库。
2004年,亚马逊电商因商用数据库负载过高导致扩展失败,出现数小时的服务故障,后续统计表明:70%的数据访问并不需要SQL事务级别的复杂性。因此开始研究NoSQL非关系型数据库,并于2012年推出第一个云原生NoSQL数据库Amazon DynamoDB。在Amazon DynamoDB问世后的十年里,亚马逊云科技对其进行的持续完善,不仅涉及底层可用性、持久性、安全性和规模等特性,还包括易用性等。现在Amazon DynamoDB已服务于全球众多客户,也包括亚马逊自身。Amazon DynamoDB十年来的实践证明了云原生数据库是打破传统数据库瓶颈的必然归宿。
亚马逊云科技一直通过不断创新推动云上数据库服务的迭代与发展,目前已推出15种专门构建的云上托管数据库服务,既有SQL也有NoSQL的数据库类型。其中,SQL关系型数据库包括:Amazon Relational Database Service(Amazon RDS):开启了托管数据库服务的新模式,从最初只支持MySQL,到目前已支持6种常用的数据库引擎:兼容 MySQL 的 Amazon Aurora、兼容 PostgreSQL 的 Amazon Aurora、MySQL、MariaDB、PostgreSQL、Oracle以及 SQL Server。2014年推出云原生的关系型数据库Amazon Aurora,该服务是亚马逊云科技历史上用户数量增速最快的云服务。
亚马逊云科技还推出了众多NoSQL数据库:Amazon DynamoDB:高性能扩展的键值数据库,适用于海量数据场景,譬如电商、游戏;Amazon DocumentDB:兼容MongoDB的托管文档数据库,从全球看中国区MongoDB的接受率极高,在游戏、移动应用上使用很多;内存数据库,极致响应延迟,常用于缓存、排行榜、广告等场景,分为两种:Amazon ElastiCache兼容Redis和Memcached内存数据库;Amazon MemoryDB兼容Redis可持久化内存数据库;Amazon Neptune托管图数据库分析万事万物的关联,用于欺诈检测,社交网络,推荐引擎;Amazon Timestream托管时序数据库,常用于IoT(比如车联网采集的有明显时间顺序,大部分只增加不修改的海量数据);Amazon Quantum Ledger Database (Amazon QLDB)托管的分类账数据,比如车管所,从车子出场、转手,出事故所有记录都不可修改而且可追溯,可验证;Amazon Keyspaces托管的兼容Cassandra的数据库,可以用于工业应用场景
此外,亚马逊云科技还有很多具有Serverless功能的数据库,如Amazon Aurora serverless、 Amazon DynamoDB、 Amazon Timestream、 Amazon Keyspaces和Amazon QLDB等都支持Serverless无服务器功能,无服务器功能进一步简化客户在创建、维护和扩展数据库方面的工作,让数据库的扩展性及自动伸缩容量达到新的高度,其中Amazon Aurora Serverless V2可以在几分之一秒内将数据库工作负载从数百个事务扩展到数十万个事务,与按照峰值负载来配置容量相比,可节省 90% 的数据库成本。
赋能汽车行业处理海量以及多样化数据
汽车行业面临海量多样化数据的挑战,同时当前缺乏有效手段来充分挖掘数据的价值。亚马逊云科技通过以下服务满足汽车行业的数据库挑战:
一是针对汽车行业的数据多样性,提供了专用场景的数据库:比如针对车联网的时序数据处理、企业内部系统的结构化数据处理、建立知识图谱的图数据库以及加速访问的缓存数据处理。
二是亚马逊云科技的Serverless架构可以很好地处理汽车产生的大量数据,并提供可伸缩的资源管理能力来对海量数据进入管理、读写等操作,同时无需人工干涉,可自动伸缩计算和存储资源。
三是Amazon Neptune + ML可以从海量数据中洞察出数据之间的联系和价值,来指导后续的业务方向。
赋能制造业释放数据不同生命周期价值并获得数据洞察
数据是驱动制造业发展的关键因素,亚马逊云科技帮助制造业应对数据挑战:
首先,制造业数据类型多样。亚马逊云科技提供专门构建的数据库应对大量结构化,半结构化以及非结构化的行业数据。
其次,制造业数据量巨大,但有冷热数据之分。亚马逊云科技提供数据库的数据分层存储功能,来处理海量的冷暖数据,可以给企业节省大量成本。
第三,制造业数据来源复杂,不同的数据来自不同的业务系统,互相之间很难建立看出相关性,形成了数据孤岛。图数据库Amazon Neptune和ML可以建立各个不同数据之间的相关性,并且通过ML洞察出数据的真正价值。
第四,制造行业大量使用商业数据库,带来了高昂成本。亚马逊云科技进一步提供应用程序迁移服务,利用Babelfish for Amazon Aurora PostgreSQL,帮助客户把传统数据库平滑地迁移上云原生数据库。
赋能金融业加强风险控制并拓展全球业务
数字化转型已成为金融行业的共识,是提升服务质量,满足客户多元需求,增强综合竞争力的重要途径,而这些路径完全依靠企业自己实现已越来越困难。
首先,金融企业需要保证金融数据安全,需要安全的存储和传输,以支撑全球业务的连续性。亚马逊云科技提供了云原生数据库的全球数据库方案,既可以提供跨区域的灾难恢复,又可以保证业务数据被全球用户快速地访问到,对业务遍布全球的金融企业是一个有效的方案。
其次,面对各种不同的业务,金融企业能收集的数据也是多种多样,亚马逊云科技专门构建的数据库满足了对多种类数据的处理和存储需求。
第三,传统风控模式下,银行等金融机构主要运用人工信审,数据多来自央行征信。而在普惠金融大环境下,个人与企业资金需求特性差异较大,传统风控审批效率不高、人工处理成本居高不下、数据来源单一等问题逐渐显现。亚马逊云科技Amazon Neptune +ML可以对金融机构的历史数据和其他行业数据(消费,医院,出行等)进行很好地整合,有效挖掘金融用户的数据价值,实现风控的智能化。
第四,很多金融机构数据库使用的是传统商业数据库,高昂的成本和缺乏快速弹性扩展能力,无法满足业务需求。亚马逊云科技提供了多种云原生数据库和数据迁移工具来帮助金融企业快速地讲系统切换到适应现代化应用需求的基础架构上来,实现真正的数字转型。
亚马逊云科技赋能行业用户云上转型
深圳市融聚汇信息科技有限公司产品总监向坤也分享了与亚马逊云集合作的成绩,他谈到,“行情资讯数字化是我们的客户实现服务升级的核心驱动力。融聚汇深度应用亚马逊云科技在数据库、网络、存储等方面的服务,构建了云原生一站式金融信息数据平台,赋能金融机构低成本、高效率地推进数字化建设。基于亚马逊云科技云原生的高性能关系型数据库Amazon Aurora,融聚汇将数据跨区存储,实现了无感灾难恢复,可用性可以达到99.99%;每秒并发查询效率也提升了近5倍,进一步满足金融业务场景高并发的需求;在成本方面,Amazon Aurora的弹性扩展能力还帮助我们节约了30%的硬件成本。”
向坤介绍,利用亚马逊云科技云原生的高性能关系数据库服务Amazon Aurora构建一站式金融数据平台,已服务超过100+金融机构,该平台的优势包括:
跨可用区部署:借助Amazon Aurora多可用区(AZ)的特性,对行情和资讯数据分市场跨区存储,实现无感灾难恢复,提高可用性和可靠性,可以达到不低于99.99%正常运行时间的服务等级协议(SLA)。
提升数据查询速度:Amazon Aurora PostgreSQL速度可以达到标准PostgreSQL的3倍,解决了高并发场景下数据查询延迟的问题,单市场的核心API的请求每秒查询率(QPS)从1000-2000提升到5000-10000。
弹性可扩展:利用Amazon Aurora只读节点的自动横向扩展能力,轻松应对高并发场景下数据查询波峰和波谷,帮助节约30%硬件成本,并支持未来业务扩展。
降低成本:基于自研ARM架构处理器Amazon Graviton2,成本降低10%,性价比提升20%。
在双方合作的某券商客户APP快速开发项目中,客户为应对APP开发时间紧、团队新等挑战,采用融聚汇云原生一站式金融信息数据平台,打造了基于业务场景的超级API体系,实现开箱即用,快速开发,改变了原有客户端本地IDC开发模式,通过接入API服务直接获取开发好的行情数据SDK或H5服务,并利用丰富的云原生服务,进一步拓展使用数据的场景和空间,打造独特的APP内容及客户体验,实现差异化服务竞争优势。开发时间从原来单个市场4-6个月降低到港美A股3个市场6个月,迭代周期从1-2个月缩短至1-2周,团队人员从单市场15人减少至港美A股3个市场13人。
在另一项某券商港美股深度行情开发服务中,基于港美股传统行情的产品同质化现象严重,需要更多深度的信息源,但深度行情信息密度高、信息量大,且数据结构复杂,解析与挖掘难度大。融聚汇基于亚马逊云科技的数据库服务,为客户提供港美股(HKEX SF,NASDAQ TotalView)全市场细颗粒度委托挂单与成交数据的行情增值服务,提升券商构建个性化差异化行情数据生态服务的能力。借助FIU深度行情接驳系统,平均时延从通用方案的50到100毫秒减低至10毫秒内,数据处理性能从20,000笔/秒提升至40,000笔/秒,可以开发基于深度行情数据的各类因子、指标和策略,同时带宽成本也从百万级别减少至20万的级别。
西门子工业自动化产品(成都)有限公司(SEWC)信息技术部经理杨健也分享了与亚马逊云科技合作的情况,他谈到,“我们利用亚马逊云科技图数据库Amazon Neptune系统后,大大节省了人工要去努力进行判断,系统能够给予一个比较及时正确的故障的判断。现在我们也不能说完全依赖于系统,我们也会基于这个系统做进一步的人工处理,大大节省了目前的资源和能力。实际上,在整个生产的生命周期我们都拥有了这样一个知识体系以后,就能够真正做到知识的不断推进。结合亚马逊云科技图数据库Amazon Neptune技术、Amazon S3存储、计算服务等能够真正实现基于工厂无缝的、无痛的基础架构的运维支撑,同时,又能够享受到高质量基于人工智能、基于图数据库的服务。这就是我们和亚马逊云科技深度合作的原因。”
SEWC面临的挑战包括:设备信息分散、设备资料增长迅速、知识处理技术手段有限、设备知识运营管理困难、数据信息传递能力不足、知识运营能力缺乏等
利用Amazon Neptune图数据库以后,对于研发来说,可以更好地实现市场定位,快速提供决策支持,快速获取各种产品与环境的关系,设计与生产的关系、设备与产品的关系、产品与零部件的关系、零部件与材料的关系以及供应商与采购商的关系,我们就能够及时发现、及时处理。对于生产制造来说,SEWC主要处理的是各种核心工艺、设备之间的关系,物料存储之间的关系,质量检测,生产、计划、能力、消耗等等一系列知识结构的体系化,争取能够实现动态自动的处理,为生产人员提供快速准确的应对帮助。对于运维保障来说,SEWC首先真正可以做到运维的支持,比如说结构、使用手册、维护手段等等能够把它很好固化起来,同时能够通过非常友善方便而且及时专时专用的方式提供给SEWC的使用者。同时SEWC能够提供多元化的方式,通过多种渠道进行相关的数据采集定位,找到问题,真正降低整个产线的故障成本。
“数据作为企业的核心资产和创新的主要推动力,企业需要率先夯实数据库这一新基建,为数字化转型打下坚实的地基。作为云计算领域的引领者,亚马逊云科技不断推动云服务的创新,也在积极探索公有云架构与数据库演进的结合,希望通过云原生数据库服务的创新,帮助各行业企业展开云上创新之旅。” 陈晓建总结说。
艾瑞咨询研究总监王巍令表示:“云原生数据库将会成为未来数据库的重要趋势之一。在调研和走访中,发现不少企业尽管存在顾虑和实际困难,但是大多数也都表示愿意尝试云原生数据库。以亚马逊云科技为代表的公有云厂商,提供丰富的云原生数据库,使得企业可以安心地收数和用数,并聚焦核心业务。如果再考虑云上同时提供机器学习模型构建等服务,用数也变得简单起来。”