it-swarm.dev

ما هي أفضل طريقة لبدء وإيقاف النظام البيئي hadoop ، مع سطر الأوامر؟

أرى أن هناك العديد من الطرق التي يمكننا من خلالها بدء نظام hadoop البيئي ،

  1. start-all.sh & stop-all.sh الذي يقول أنه تم إهماله استخدم start-dfs.sh & start-yarn.sh.

  2. start-dfs.sh, stop-dfs.sh and start-yarn.sh, stop-yarn.sh

  3. hadoop-daemon.sh namenode/datanode and yarn-deamon.sh resourcemanager

تحرير: أعتقد أن هناك بعض حالات الاستخدام المحددة لكل أمر.

36
twid

start-all.sh & stop-all.sh: تستخدم لبدء وإيقاف الشياطين hadoop في وقت واحد. سيؤدي إصداره على الجهاز الرئيسي إلى بدء/إيقاف تشغيل الشياطين على جميع عقد نظام المجموعة. مهمل كما لاحظت بالفعل.

start-dfs.sh، stop-dfs.sh و start-yarn.sh، stop-yarn.sh: كما هو مذكور أعلاه ولكن بدء/إيقاف شياطين HDFS و YARN بشكل منفصل على جميع العقد من الرئيسي آلة. يُنصح باستخدام هذه الأوامر الآن عبر start-all.sh & stop-all.sh

hadoop-daemon.sh namenode/datanode and yarn-deamon.sh resourcemanager: لبدء تشغيل daemons الفردية على جهاز فردي يدويًا. تحتاج إلى الانتقال إلى عقدة معينة وإصدار هذه الأوامر.

حالة الاستخدام: لنفترض أنك قمت بإضافة DN جديد إلى مجموعتك وتحتاج إلى تشغيل البرنامج الخفي DN فقط على هذا الجهاز ،

bin/hadoop-daemon.sh start datanode

ملاحظة: يجب أن يكون لديك تمكين ssh إذا كنت ترغب في بدء جميع الشياطين على جميع العقد من جهاز واحد.

نأمل أن يكون هذا يجيب طلبك.

60
Tariq

من Hadoop صفحة ،

start-all.sh 

سيؤدي هذا إلى بدء تشغيل Namenode و Datanode و Jobtracker و Tasktracker على جهازك.

start-dfs.sh

سيؤدي ذلك إلى طرح HDFS مع تشغيل Namenode على الجهاز الذي قمت بتشغيل الأمر عليه. في مثل هذه الآلة ، ستحتاج إلى start-mapred.sh لبدء تعقب الوظيفة بشكل منفصل

start-all.sh/stop-all.sh يجب تشغيله على العقدة الرئيسية

يمكنك استخدام start-all.sh على كتلة عقدة واحدة (أي حيث سيكون لديك جميع الخدمات على نفس العقدة. الاسم المستعار هو أيضًا و datanode وهو العقدة الرئيسية).

في متعدد العقدة الإعداد ،

سوف تستخدم start-all.sh على العقدة الرئيسية وستبدأ ما هو ضروري على العبيد أيضًا.

بدلا من ذلك،

استخدم start-dfs.sh على العقدة التي تريد تشغيلها Namenode . سيؤدي ذلك إلى إظهار [~ # ~] hdfs [~ # ~] مع Namenode يعمل على الجهاز الذي قمت بتشغيل الأمر على و Datanodes على الأجهزة المدرجة في ملف العبيد.

استخدم start-mapred.sh على الجهاز الذي تخطط لتشغيل Jobtracker عليه. سيؤدي ذلك إلى عرض نظام Map/Reduce مع تشغيل Jobtracker على الجهاز الذي قمت بتشغيله عليه Tasktrackers يعمل على الأجهزة المدرجة في ملف العبيد.

hadoop-daemon.sh كما ذكر طارق يستخدم على كل عقدة فردية. لن تبدأ العقدة الرئيسية الخدمات على العبيد. في إعداد عقدة واحدة ، سيكون هذا هو نفسه start-all.sh. في إعداد متعدد العقدة ، يجب عليك الوصول إلى كل عقدة (رئيسية وكذلك عبيد) و تنفيذ على كل واحد منهم.

ألق نظرة على هذاstart-all.sh يطلق عليه config متبوعًا بـ dfs و mapred

5
Suvarna Pattayil

ابتداء

start-dfs.sh (starts the namenode and the datanode)
start-mapred.sh (starts the jobtracker and the tasktracker)

وقف

stop-dfs.sh
stop-mapred.sh
0
dnivra