首页 > 焦点要闻 > 亚马逊云科技大数据与机器学习双剑合璧:云领数智融合,重塑数据洞察

亚马逊云科技大数据与机器学习双剑合璧:云领数智融合,重塑数据洞察

2022-05-25 11:40  

基本信息

面向行业
应用领域

 

“数据已经成为企业最重要的资产,但是数据的价值还没有得到充分利用,要做到数智融合,大数据与机器学习是两大关键的技术因素。” 亚马逊云科技大中华区产品部总经理陈晓建如是说。

 

 

据福布斯调研报告,成为数据驱动型的公司,收入会增加20%,同时成本会减少30%。然而理想很丰满,现实很骨感。陈晓建指出背后三方面的原因:

 

首先,数据和机器学习分而治之,数据及技术孤岛制约敏捷迭代。在很多企业都是属于两个完全不同的团队在负责。比如车企数据通常产生于生产制造环节与行车环节,这两种数据分别由制造部门和运营部门所负责。对机器学习来说,要从不同业务部门拿到数据,同时还要花很多时间理解这些数据背后的定义、原因、专业的算法,往往对机器学习来说是额外的负担。

 

其次是数据处理能力不足。一个好的算法除了本身要优秀,还有大量业务数据的输入进行不断迭代,才能最终优化出好的效果。在生产制造企业,机器学习帮助客户对产品售后维修需求进行预测,由被动响应变为主动规划。但由于不具备足够的大数据处理能力,模型开发成功后 ,不能够有效收集处理海量的运营数据,致使预测不准确,无法达到预期业务目标,就如巧妇难为无米之炊。

 

三是数据分析人员参与度低。现在很多算法在研发和测试阶段表现很好,现实情况经常是,模型在实验环节效果良好,但实际使用中却不尽人意,实验环境只是对真实环境的简单模拟,生产环境要复杂得多。就像一个好的神枪手是拿无数子弹喂出来的,一个好的算法是背后需要大量真实数据一次次的迭代和优化才能获得。

 

如何将大数据和AI从业务上、从用户需求上进行做深度融合,陈晓建指出:企业应在云中打造统一的数据基础底座,实现大数据和机器学习的双剑合璧,为企业发展提供新动力。

 

具体来说,实现数智有效融合的途径:首先,是建立统一融合的治理底座,如数据质量、数据权限、数据开发、数据工作流、可视化;其次,大数据和机器学习之间应该是高效充分的双向互动,互为支撑,互为因果,形成正向循环。

 

另外,还需要构建三大核心能力,即统一数据共享:让数据资产化,打破数据孤岛;统一权限管控:因为只有具备完善的权限控制能力,放心的让数据在不同的业务系统之间流转;统一开发及流程编排:融合端到端的大数据和机器学习任务,提升整体的开发效率。

 

亚马逊云科技大中华区产品部技术专家团队总监王晓野进一步从亚马逊云科技的技术实现层面进行了解读:

 

首先,构建云中统一的数据治理底座,打破数据及技能孤岛。亚马逊云科技能帮助客户构建统一的数据治理底座,实现大数据和机器学习的数据共享,数据权限的统一管控,以及两者统一的开发和流程编排。云中统一的数据治理底座不仅能提升大数据和机器学习的高效融合,还能减少大数据和机器学习重复构建的工作,并且显著降低成本。

 

其中, Amazon Lake Formation推出诸多新功能,实现了数据网格跨部门的数据资产共享,以及基于单元格的最细粒度的权限控制机制。Amazon SageMaker Studio可一站式地完成数据开发、模型开发及相关的生产任务,该服务基于多种专门构建的服务,如交互式查询服务Amazon Athena、云上大数据平台Amazon Elastic MapReduce (Amazon EMR)、云数据仓库服务Amazon Redshift、Amazon SageMaker等,为大数据和机器学习提供统一的开发平台。

 

其次,助力机器学习由实验转为实践,为机器学习提供生产级别的数据处理能力。机器学习项目成功的关键是对复杂的数据进行加工和准备。亚马逊云科技提供多种灵活可扩展、专门构建的大数据服务,帮助客户进行复杂的数据加工及处理,应对数据规模的动态变化,优化数据质量。

 

其中,Amazon Athena能够对支持多种开源框架的大数据平台,包括Amazon EMR、高性能关系数据库Amazon Aurora、NoSQL数据库服务Amazon DynamoDB、Amazon Redshift等多种数据源,对这些数据源进行联邦查询,快速完成机器学习建模的数据加工。 以Amazon Redshift、Amazon Managed Streaming for Apache Kafka (Amazon MSK)和 Amazon EMR 为代表的无服务器分析能力,可以让客户无需配置、扩展或管理底层基础设施,即可轻松地处理任何规模的数据,为机器学习项目提供兼具性能和成本效益的特征数据准备。

 

第三,让数据分析智能化,赋能业务人员探索创新。亚马逊云科技还不断提供更加智能的数据分析服务,赋能业务人员进行智能分析、模型效果验证以及自主式创新。例如,在日常分析工具中集成机器学习模型预测能力。

 

其中,深度集成机器学习Amazon SageMaker模型预测能力的Amazon QuickSight 、在分析结果中添加基于模型预测的Amazon Athena ML,可帮助用户使用熟悉的技术,甚至通过自然语言来使用机器学习。亚马逊云科技还提供如Amazon Redshift ML、可视数据准备工具Amazon Glue DataBrew、零代码化的机器学习模型工具 Amazon SageMaker Canvas等服务,让业务人员探索机器学习建模。

 

总结:亚马逊云科技助客户从数据驱动组织、构想到最终实现

亚马逊云科技智能湖仓架构五大核心优势理念延伸出在云中实现大数据与机器学习融合的实践路径,为大数据和机器学习打破数据及技能孤岛,机器学习由实验转为实践,赋能业务人员探索创新。

 

亚马逊云科技“云、数、智三位一体”服务组合优势体现在:打破数据及技能孤岛、机器学习由实验转为实践、赋能业务人员探索创新。

 

亚马逊云科技坚持授人以渔,通过面向快速算法原型的数据实验室的应用科学家,面向生产精度模型指导的机器学习解决方案实验室,以及提供端到端咨询及交付的专业服务团队的大数据分析和机器学习的专家,上述各种分工的专家一起,在客户探索机器学习与大数据融合挑战时,共同探索和学习企业数据驱动转型成功路上的宝贵的实践经验。

 

 

 

 

赞 0个人觉得赞
logo

山东浪潮云服务信息科技有限公司

规模:1000人以上

网站: https://cloud.inspur.com/

浪潮云,依托在政府及企业信息化领域30余年的深厚经验和技术积累,成为国内领先的云计算服务商,具备可信赖、专业化、生态化三大特色,携手合作伙伴共同提供上云解决方案...

粉丝0

关联信息

关于我们 | 全生命周期管理 | 服务的客户 | 版权说明 | 联系我们

公司名称:北京金誉在线伙伴文化传播有限公司    备案号:京ICP备 15026202号-1

意见
反馈
返回
顶部