博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop集群直接数据拷贝
阅读量:4112 次
发布时间:2019-05-25

本文共 484 字,大约阅读时间需要 1 分钟。

需求:

两个hadoop集群直接进行数据的拷贝。

思路:

基于org.apache.hadoop.tools.DistCp,hadoop的命令行distcp就是才操作的封装

实现:

版本相同的做法:

hadoop distcp ${fs.default.name1}/user/hadoop/text ${fs.default.name2}/user/hadoop/text

 ${fs.default.name1}为hadoop的core-site.xml中对应的值:

fs.default.name
hdfs://cluster1:29000

完成命令如下:

hadoop distcp hdfs://cluster1:29000/user/hadoop/text hdfs://cluster2:29000/user/hadoop/text

也就是把cluster1的/user/hadoop/text拷贝到cluster2,如果路径不存在的话那么就创建

 

版本不同的做法待补充

转载地址:http://csqsi.baihongyu.com/

你可能感兴趣的文章
gcc 常用选项详解
查看>>
c++输出文件流ofstream用法详解
查看>>
firewalld的基本使用
查看>>
Linux下SVN客户端使用教程
查看>>
Linux分区方案
查看>>
nc 命令详解
查看>>
如何使用 systemd 中的定时器
查看>>
git命令速查表
查看>>
linux进程监控和自动重启的简单实现
查看>>
OpenFeign学习(三):OpenFeign配置生成代理对象
查看>>
OpenFeign学习(四):OpenFeign的方法同步请求执行
查看>>
OpenFeign学习(五):OpenFeign请求结果处理及重试控制
查看>>
OpenFeign学习(六):OpenFign进行表单提交参数或传输文件
查看>>
OpenFeign学习(七):Spring Cloud OpenFeign的使用
查看>>
Ribbon 学习(二):Spring Cloud Ribbon 加载配置原理
查看>>
Ribbon 学习(三):RestTemplate 请求负载流程解析
查看>>
深入理解HashMap
查看>>
XML生成(一):DOM生成XML
查看>>
XML生成(三):JDOM生成
查看>>
Ubuntu Could not open lock file /var/lib/dpkg/lock - open (13:Permission denied)
查看>>