shuoming
回答者
回答于 2026-10-24
ETLCloud平台支持的数据源接入与转换操作如下：
一、支持的数据源接入
- 关系型数据库：MySQL、Oracle、SQL Server、PostgreSQL、DB2、达梦、人大金仓等。
- 大数据存储与计算平台：Hive、HBase、HDFS、Spark、ClickHouse、Doris等。
- NoSQL数据库：MongoDB、Redis、Cassandra等。
- 消息队列：Kafka、RabbitMQ、RocketMQ等。
- 文件格式：CSV、Excel、JSON、XML、Parquet等本地或云存储文件。
- SaaS应用与API：Salesforce、企业微信、钉钉以及自定义REST API接口。
- 国产信创数据源：兼容多种国产化数据库与中间件。
二、支持的转换操作
- 基础清洗：空值处理、去重、数据类型转换、字符串截取与拼接、大小写转换。
- 结构变换：字段映射、行列转换（透视与逆透视）、拆分列、合并列。
- 逻辑处理：条件过滤、分支路由、CASE WHEN表达式计算。
- 多源关联：多表Join（内连接、左连接、全连接等）、Union合并数据集。
- 聚合计算：分组求和、计数、平均值、最大最小值等统计运算。
- 高级转换：脚本转换（支持Groovy、Python等编写自定义逻辑）、Lookup维表查询补全、缓慢变化维（SCD）处理。
三、适用条件
- 需确保源端与目标端的网络连通性，跨网段场景需配置代理或打通防火墙策略。
- 不同数据源的驱动版本需与平台内置组件匹配。
四、常见误区
- 误认为所有数据源均支持实时增量同步。实际上部分数据源仅支持定时批量抽取，是否支持CDC（变更数据捕获）取决于具体数据库类型及其日志权限配置。
- 误以为转换组件无性能上限。复杂脚本转换或大规模Join操作在数据量较大时可能成为性能瓶颈，需合理设置并发数与内存参数。