本篇文章1197字,读完约3分钟

阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd

Elasticsearch数据迁移至MaxCompute

前提条件
已开通MaxCompute服务。
开通指导,详情请参见开通MaxCompute。
已开通DataWork服务。
开通指导,详情请参见开通DataWorks服务。
在DataWorks上已完成创建业务流程。
本例使用DataWorks简单模式,详情请参见创建业务流程。
已搭建阿里云Elasticsearch集群。
进行数据迁移前,您需要保证自己的阿里云Elasticsearch集群环境正常。搭建阿里云Elasticsearch集群的详细过程,请参见快速入门。
本示例中阿里云Elasticsearch的具体配置如下:
地域:华东2(上海)
可用区:上海可用区B
版本:5.5.3 with Commercial Feature
背景信息
Elasticsearch是一个基于Lucene的搜索服务器,它提供了一个多用户分布式的全文搜索引擎。Elasticsearch是遵从Apache开源条款的一款开源产品,是当前主流的企业级搜索引擎。
阿里云Elasticsearch提供Elasticsearch 5.5.3 with Commercial Feature、6.3.2 with Commercial Feature、6.7.0 with Commercial Feature及商业插件X-pack服务,致力于数据分析、数据搜索等场景服务。在开源Elasticsearch基础上提供企业级权限管控、安全监控告警、自动报表生成等功能。
操作步骤
在Elasticsearch上创建源表。详情请参见通过DataWorks将MaxCompute数据同步至Elasticsearch。
在MaxCompute上创建目标表。
登录DataWorks控制台。
在左侧导航栏,单击工作空间列表。
在工作空间列表页面,单击相应工作空间后的数据开发。
在数据开发页面,右键单击目标工作流程,选择新建表 > MaxCompute > 表。
在弹出的新建表对话框中,填写表名,并单击新建。
单击提交到生产环境。
同步数据。
进入数据开发页面,右键单击指定业务流程,选择新建节点 > 数据集成 > 离线同步。
在新建节点对话框中,输入节点名称,并单击确认。
在顶部菜单栏上,单击转化脚本图标。
在脚本模式下,单击顶部菜单栏上的**图标。
在导入模板对话框中选择来源类型、数据源、目标类型及数据源,并单击确定。
配置脚本。
单击**图标运行代码。
您可以在运行日志查看运行结果。
查看结果。

右键单击业务流程,选择新建节点 > MaxCompute > ODPS SQL。

在新建节点对话框中输入节点名称,并单击确认。