亚马逊旗下公司Amazon Web Services, Inc. (AWS) 今天宣布,AWS Glue和Athena在由西云数据运营的AWS中国 (宁夏) 区域正式上线。AWS Glue和Athena均为无服务器服务,因此客户不需要管理基础设施, 用户只有在执行ETL任务时,只需要为他们所消耗的计算资源付费。
AWS Glue是一种全托管的数据提取、转换和加载 (ETL) 服务及元数据目录。它让客户更容易准备数据,加载数据到数据库、数据仓库和数据湖,用于数据分析。使用AWS Glue,在几分钟之内便可以准备好数据用于分析。
客户在使用数据湖架构实现数据分析解决方案时,通常有75%的时间花在数据集成任务上,需要从各种数据源提取数据,对其进行规范化,并将其加载到数据存储中。AWS Glue消除了ETL作业基础设施方面的所有重复劳动,让Amazon S3数据湖中的数据集可以被发现、可用于查询和分析,极大地缩短分析项目中做ETL和数据编目阶段的时间,让ETL变得很容易。
AWS Glue在从客户选择的数据源把数据爬取出来之后,会自动识别数据格式和模式(schema),构建统一的数据目录,并为客户提供所选数据的中央视图。这使得客户很容易跨越各种数据存储,检索和管理所有数据,而不必手动搬运它们。当客户从数据目录中标识出数据源(例如一个数据库表) 和数据目标 (例如一个数据仓库) 时,AWS Glue将匹配相应的模式,生成可定制、可重用、可移植、可共享的数据转换代码。开发人员可以调度任意数量的ETL作业,AWS Glue则会管理其余的工作,根据客户ETL工作负载自动启用或关闭计算资源。通过简化创建ETL作业的过程,AWS Glue让客户可以构建可伸缩、可靠的数据准备平台。这些平台可以跨越数千个ETL作业,具有内置的依赖性解析、调度、资源管理和监控功能。
“AWS可扩展、可靠的云存储,加上我们广泛的分析服务,使客户比以往任何时候都更容易收集、存储、分析和共享数据,”AWS全球副总裁及大中华区执行董事张文翊表示,“随着AWS Glue在由西云数据运营的AWS中国(宁夏)区域正式上线,中国区域的客户可以轻松地从任意多的数据源传输和处理数据,整合数据到数据湖,并且可以选用多种AWS分析服务,迅速开始分析所有数据。”当前,包括德比软件、嘉云数据、壳木软件和趣加等在内的诸多中国客户都在使用AWS Glue解决他们复杂的数据挑战。
Amazon Athena是一种交互式查询服务,它让客户可以使用标准SQL语言、轻松分析Amazon Simple Storage Service (Amazon S3) 中的数据。Athena可以自动扩展,并行执行查询,所以即便是大型数据集和复杂的查询,也能很快获得查询结果。
AWS提供了诸如Amazon Redshift和Amazon Elastic MapReduce (Amazon EMR) 等分析服务,让各种规模的公司都可以实现PB级数据的分析。通过Amazon Redshift,客户可以对大规模的结构化数据执行复杂的查询,并获得超高速的性能。对于非结构化数据,Amazon EMR使用流行的分布式框架,例如Apache Spark、Presto、Hive和Pig,横跨多个可动态伸缩的集群,处理和分析大量数据,快速又经济。虽然这些服务是可伸缩的,而且足够强大到可以处理大且复杂的大数据应用,但是,许多客户也希望能够很快地查询Amazon S3上的数据,例如web日志、点击流、原始日志文件等,而无需开启、配置和管理Hadoop集群或数据仓库。现在,使用Athena分析Amazon S3中的数据就像编写SQL查询一样简单。Athena使用完整支持标准SQL的Presto,可以处理各种标准数据格式,包括CSV、JSON、ORC和Parquet。因为Athena使用多个可用区的计算资源执行查询,而且使用Amazon S3作为底层数据存储,所以它具有高可用性和持久性,数据冗余存储在多处基础设施中,并且是每处基础设施上的多个设备上。
“客户经常问我们,是否可以让他们方便地对Amazon S3数据湖中的数据执行查询,而不用关心配置和管理服务器、集群这些事情。”AWS全球副总裁及大中华区执行董事张文翊表示,“现在,我们很高兴由西云数据运营的AWS中国(宁夏)区域推出Amazon Athena,以响应AWS中国客户的需求。Amazon Athena完全不需要管理基础设施,任何能够编写SQL查询的人都能以高性价比的方式快速分析他们在Amazon S3中的数据。”