目录

基础介绍

seaTunnel配置文件由4个部分组成

启动命令

seatunnel覆盖了那部分？

seaTunnel架构剖析

seaTunnel的基石 Api

SeaTunnel core

SeaTunnel Plugins

SeaTunnel 使用场景

seaTunnel痛点

基础介绍

seaTunnel是一个分布式、高性能、用于处理海量数据(离线&实时)同步和转换的数据集成工具

注：

分布式体现在能运行在yarn or mesos or More

离线&实时： 丰富的Connector 且支持流批一体

同步和转换：多样的数据处理插件且极易扩展

seaTunnel配置文件由4个部分组成

  • env
  • source
  • transform
  • sink
env{    app.name=seaTunnel-demo}source {   mysql{     }}transform {   convert{   }}sink{   elasticsearch{    }}

source + transform +sink 构建了数据处理的Pipeline,满足各种各样的数据处理需求

启动命令

./bin/start-seatunnel.sh –master yarn –deploy-mode client –config ./config/demo.conf

seatunnel覆盖了那部分？

数据处理+数据存储

seaTunnel架构剖析

seaTunnel的基石 Api

底层Plugin

public interface Plugin extends Serializable {     config getConfg();          void setConfig(Config config);     CheckResult checkConfig();     void prepare(T prepareEnv);}

BaseSource

public interface BaseSource extends Plugin{    OUT getData(T env);}

BaseTransform

public interface BaseTransfrom extends Plugin{     OUT process(IN inputData,T env);}

BaseSink

public interface BaseSink extends Plugin{  OUT output(IN inputData,T env);}

SeaTunnel core

SeaTunnel Plugins

SeaTunnel 使用场景

常用

  • 实时数据同步

1. kafka -> ClickHouse/Elasticsearch

  • 异构数据源同步

1. Hive -> ClickHouse

2. MySQL -> Elasticsearch

3. JDBC -> JDBC

  • OLAP CUBE计算

1. kafka -> AGG -> ClickHouse/Elasticsearch

2. Hive -> Hive

seaTunnel痛点

解决方案 dolphinScheduler与SeaTunnel集成