hadoop 용량 - HDFS에서 로컬 파일 시스템으로 파일을 복사하는 방법





확인 명령어 (6)


Hadoop 2.0에서,

hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path>

어디에,

  • hdfs_input_file_pathhttp://<<name_node_ip>>:50070/explorer.html 에서 얻을 수 있습니다 http://<<name_node_ip>>:50070/explorer.html

  • output_path 는 파일이 복사 될 파일의 ​​로컬 경로입니다.

  • copyToLocal 대신 get 을 사용할 수도 있습니다.

HDFS에서 로컬 파일 시스템으로 파일을 복사하는 방법. 파일 아래에는 실제 위치가 없으며 디렉토리가 아닙니다. 어떻게하면 더 많은 유효성 검사를 위해 내 지역으로 이동시킬 수 있습니다. 나는 winscp를 통해 시도했습니다.




bin/hadoop fs -put /localfs/destination/path /hdfs/source/path 



HDFS에서 로컬 파일 시스템으로 파일을 복사하기 위해 다음 명령을 실행할 수 있습니다 :

hadoop dfs -copyToLocal <input> <output>

  • <input> : 복사 할 HDFS 디렉토리 경로 (예 : / mydata)
  • <output> : 대상 디렉토리 경로 (예 : ~ / Documents)



당신은이 두 가지 방법으로 성취 할 수 있습니다.

1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>

전의:

내 파일은 /sourcedata/mydata.txt 에 있습니다.이 파일의 경로는 / user / ravi / mydata의 로컬 파일 시스템으로 복사하고 싶습니다.

hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/



  1. bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
  2. bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
  3. 웹 브라우저에서 HDFS WEBUI ( namenode_machine:50070 )를 가리키고 복사하려는 파일을 찾은 다음 페이지를 아래로 스크롤 하고 파일 다운로드를 클릭하십시오.



전형적인 시나리오,

scp -r -P port [email protected]:/path-to-folder  .

샘플로 설명하면,

scp -r -P 27000 [email protected]:/tmp/hotel_dump .

어디에,

port = 27000
username = "abc" , remote server username
path-to-folder = tmp/hotel_dump
. = current local directory






hadoop copy hdfs