$万达信息(SZ300168)$  本发明的技术方案是公开了一种将Spark SQL转化为数据处理管道图的方法,其特征在于,包括以下步骤:通过解析SQL语句,获取数据处理的业务逻辑,形成抽象语法树,抽象语法树由节点组成,每个节点代表SQL语句的不同部分或操作;将抽象语法树的元素按算子进行拆解,填充算子内部配置信息以及执行逻辑,并形成算子之间的关系,即执行依赖顺序,从而输出数据处理逻辑图。本发明提供了一种Spark SQL转化为数据处理管道图方法,用户以SQL的形式录入业务逻辑,平台可以将其转发为数据处理管道图,连接不同的数据读取算子、各种数据处理算子及数据写入算子,用户可在此基础上进行参数配置。

追加内容

本文作者可以追加内容哦 !