需求:
两个hadoop集群直接进行数据的拷贝。
思路:
基于org.apache.hadoop.tools.DistCp,hadoop的命令行distcp就是才操作的封装
实现:
版本相同的做法:
hadoop distcp ${fs.default.name1}/user/hadoop/text ${fs.default.name2}/user/hadoop/text
${fs.default.name1}为hadoop的core-site.xml中对应的值:
fs.default.name hdfs://cluster1:29000
完成命令如下:
hadoop distcp hdfs://cluster1:29000/user/hadoop/text hdfs://cluster2:29000/user/hadoop/text
也就是把cluster1的/user/hadoop/text拷贝到cluster2,如果路径不存在的话那么就创建
版本不同的做法待补充