如何用DataX导数据在企业级大数据平台的建设中,从传统关系型数据库(如Oracle)向Hadoop平台汇聚数据是一个重要的课题。目前主流的工具有Sqoop、DataX、OracleGoldenGateforBigData等几种。Sqoop使用sql语句获取关系型数据库中的数据后,通过hadoop的MapReduce把数据从关系型数据库中导入数据到HDFS,其通过指定递增列或者根据时间戳达到增量导入的目的,从原理上来说是一种离线批量导入技术;DataX直接在运行DataX的机器上进行数据的抽取及加载,...
更新时间:2024-11-07标签: 汇聚平台哪些数据汇聚平台用哪些数据库DataX导数据 全文阅读