it-swarm.dev

Jak si mohu stáhnout celý web?

Chci stáhnout celý web (s podstránkami). Existuje na to nějaký nástroj?

81
UAdapter

Zkuste příklad 10 z zde :

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
  • –mirror: zapněte možnosti vhodné pro zrcadlení.

  • -p: stáhněte všechny soubory, které jsou nezbytné pro správné zobrazení dané stránky HTML.

  • --convert-links: po stažení převeďte odkazy v dokumentu pro místní prohlížení.

  • -P ./LOCAL-DIR: uložte všechny soubory a adresáře do zadaného adresáře.
142
shellholic

HTTrack for Linux copying websites in offline mode

httrack je nástroj, který hledáte.

HTTrack vám umožňuje stahovat web z internetu do lokálního adresáře, vytvářet rekurzivně všechny adresáře, získávat HTML, obrázky a další soubory ze serveru do počítače. HTTrack zajišťuje relativní strukturu odkazů původní stránky.

38
Sid

Pomocí wget si můžete stáhnout celý web, měli byste použít -r přepínač pro rekurzivní stahování. Například,

wget -r http://www.google.com
7
Arthur Knopper

WEBHTTRACK WEBSITE COPIER je užitečný nástroj ke stažení celého webu na pevný disk pro offline prohlížení. Spusťte softwarové centrum Ubuntu a do vyhledávacího pole zadejte „webhttrack web copier“ bez uvozovek. vyberte a stáhněte ji ze softwarového centra do svého systému. spusťte webHTTrack z laucheru nebo z nabídky Start, odtud si můžete začít užívat tento skvělý nástroj pro stahování vašich stránek

6
frizeR

Nevím o subdoménách, tj. O podstránkách, ale wget lze použít k uchopení celého webu. Podívejte se na tato otázka superuživatele . Říká se, že můžete použít -D domain1.com,domain2.com pro stažení různých domén v jednom skriptu. Myslím, že můžete použít tuto možnost ke stažení subdomén, tj. -D site1.somesite.com,site2.somesite.com

3
binW

Můžete si stáhnout příkaz Celý web:

wget -r -l 0 website

Příklad:

wget -r -l 0 http://google.com
1

Používám Burp - nástroj Spider je mnohem inteligentnější než wget a v případě potřeby jej lze nakonfigurovat tak, aby se vyhnul sekcím. Balíček Burp sám o sobě je výkonná sada nástrojů, které pomáhají při testování, ale nástroj Spider je velmi účinný.

1
Rory Alsop

Pokud se jedná o rychlost (a spokojenost serveru není), můžete zkusit buffer , který funguje jako wget , ale můžete stáhnout několik stránek paralelně. Nejedná se však o hotový produkt, o údržbu a o strašlivé nezdokumentování. Přesto, pro stažení webové stránky se spoustou a spoustou drobných souborů, může to být dobrá volba.

0
loevborg