it-swarm.dev

كيفية نسخ الملف من HDFS إلى نظام الملفات المحلي

كيفية نسخ الملف من HDFS إلى نظام الملفات المحلي. لا يوجد موقع فعلي لملف ما تحت الملف ، ولا حتى الدليل. كيف يمكنني نقلها إلى بلدي المحلية لمزيد من التحقق من الصحة. لقد جربت من خلال winscp.

109
Surya
  1. bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
  2. bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
  3. قم بتوجيه متصفح الويب الخاص بك إلى HDFS WEBUI (namenode_machine:50070) ، استعرض للوصول إلى الملف الذي تنوي نسخه ، وقم بالتمرير لأسفل الصفحة وانقر على قم بتنزيل الملف .
208
Tariq

في Hadoop 2.0 ،

hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path>

أين،

  • hdfs_input_file_path ربما تم الحصول عليها من http://<<name_node_ip>>:50070/Explorer.html

  • output_path هو المسار المحلي للملف ، حيث سيتم نسخ الملف إليه.

  • يمكنك أيضًا استخدام get بدلاً من copyToLocal.

18
Ani Menon

من أجل نسخ الملفات من HDFS إلى نظام الملفات المحلي ، يمكن تشغيل الأمر التالي:

hadoop dfs -copyToLocal <input> <output>

  • <input>: مسار دليل HDFS (على سبيل المثال/mydata) الذي تريد نسخه
  • <output>: مسار دليل الوجهة (مثل ~/Documents)
14
Shafiq

يمكنك تحقيق في كلا الطريقتين.

1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>

مثلا:

توجد ملفاتي في /sscedced/mydata.txt أريد نسخ الملف إلى نظام الملفات المحلي في هذا المسار/user/ravi/mydata

hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/
5
Ramineni Ravi Teja

نجح هذا بالنسبة لي في VM مثيل Ubuntu.

hdfs dfs -copyToLocal [دليل hadoop] [دليل محلي]

1
Zach

إذا تم تقسيم "ملف" المصدر الخاص بك بين عدة ملفات (ربما كنتيجة لتخفيض الخريطة) التي تعيش في شجرة الدليل نفسها ، يمكنك نسخ ذلك إلى ملف محلي باستخدام:

hadoop fs -getmerge /hdfs/source/dir_root/ local/destination
0
Eponymous