Veebilehtede ja failide allalaadimine wgeti abil

Käsu wget omadused

Wgeti abil saate alla laadida terveid veebisaite ja teisendada lingid kohalikele allikatele osutama, et saaksite veebisaiti võrguühenduseta vaadata. Utiliit wget proovib uuesti alla laadida ka siis, kui ühendus katkeb, ja jätkab poolelijäänud kohast, võimaluse korral ühenduse taastumisel.

Muud wgeti funktsioonid on järgmised:

• Laadige failid alla kasutades HTTP, HTTPSja FTP.
• Jätkake allalaadimist.
• Teisendage allalaaditud veebilehtede absoluutsed lingid suhtelisteks URL-ideks, et veebisaite saaks võrguühenduseta vaadata.
• Toetab HTTP-puhverservereid ja küpsiseid.
• Toetab püsivaid HTTP-ühendusi.
• See võib töötada taustal isegi siis, kui te pole sisse logitud.
• Töötab Linuxis ja Windowsis.

Kuidas veebisaiti wgeti abil alla laadida

Utiliit wget laadib veebist alla veebilehti, faile ja pilte, kasutades

Linux käsurida. Saate saidilt allalaadimiseks kasutada ühte käsku wget või seadistada sisendfaili mitme faili allalaadimiseks mitmelt saidilt.

Selle juhendi jaoks saate teada, kuidas seda Linuxi ajaveebi alla laadida:

wget www.everydaylinuxuser.com. 

Enne alustamist looge oma masinas kaust, kasutades mkdir käskja seejärel liikuge nuppu kasutades kausta cd käsk.

Näiteks:

mkdir dailylinuxuser
cd dailylinuxuser
wget www.everydaylinuxuser.com. 

Tulemuseks on üks index.html fail, mis sisaldab Google'ist võetud sisu. Pilte ja laaditabeleid hoitakse Google'is.

Täieliku saidi ja kõigi lehtede allalaadimiseks kasutage järgmist käsku:

wget -r www.everydaylinuxuser.com. 

See laadib lehed rekursiivselt alla kuni 5 taseme sügavuseni. Viiest tasemest sügavusest ei pruugi piisata, et saidilt kõike saada. Kasuta -l lülitit, et määrata soovitud tasemete arv järgmiselt:

wget -r -l10 www.everydaylinuxuser.com. 

Kui soovite lõpmatut rekursiooni, kasutage järgmist:

wget -r -l inf www.everydaylinuxuser.com. 

Samuti saate asendada inf koos 0, mis tähendab sama asja.

Üks probleem on veel. Võite hankida kõik lehed kohapeal, kuid lehtedel olevad lingid osutavad algsele kohale. Lehtedel olevate linkide vahel ei saa kohapeal klõpsata.

Selle probleemi lahendamiseks kasutage -k lüliti, et teisendada lehtedel olevad lingid kohalikult allalaaditud ekvivalendile osutamiseks järgmiselt:

wget -r -k www.everydaylinuxuser.com. 

Kui soovite saada veebisaidi täielikku peegelpilti, kasutage järgmist lülitit, mis eemaldab vajaduse kasutada -r, -k, ja -l lülitid.

wget -m www.everydaylinuxuser.com. 

Kui teil on veebisait, saate selle ühe lihtsa käsu abil teha täieliku varukoopia.

Käivitage wget taustakäsuna

Saate käivitada wget taustakäsuna, mis võimaldab teil failide allalaadimise ajal terminaliaknas oma tööd jätkata. Kasutage järgmist käsku:

wget -b www.everydaylinuxuser.com. 

Saate kombineerida lüliteid. Käsu wget käivitamiseks taustal saidi peegeldamise ajal kasutage järgmist käsku:

wget -b -m www.everydaylinuxuser.com. 

Saate seda veelgi lihtsustada järgmiselt.

wget -bm www.everydaylinuxuser.com. 

Logimine

Kui käivitate käsu wget taustal, ei näe te tavalisi sõnumeid, mida see ekraanile saadab. Nende sõnumite saatmiseks logifaili, et saaksite edenemist igal ajal kontrollida, kasutage saba käsk.

Käsu wget teabe logifaili väljastamiseks kasutage järgmist käsku:

wget -o /path/to/mylogfile www.everydaylinuxuser.com. 

Vastupidine on see, et logimist ei nõuta ega väljundit ekraanile. Kogu väljundi väljajätmiseks kasutage järgmist käsku:

wget -q www.everydaylinuxuser.com. 

Laadige alla mitmelt saidilt

Saate seadistada sisendfaili paljudelt erinevatelt saitidelt allalaadimiseks. Avage fail kasutades teie lemmiktoimetaja või kassi käsk ja loetlege faili igal real saidid või lingid, kust alla laadida. Salvestage fail ja käivitage järgmine käsk wget:

wget -i /tee/sisendfaili. 

Peale veebisaidi varundamise või võrguühenduseta lugemiseks allalaaditava otsimise on ebatõenäoline, et soovite alla laadida terve veebisaidi. Tõenäolisemalt laadite alla ühe piltidega URL-i või laadite alla faile, näiteks ZIP-faile, ISO failidvõi pildifaile.

Seda silmas pidades ei pea te sisendfaili tippima järgmist, kuna see on aeganõudev:

• http://www.myfileserver.com/file1.zip
• http://www.myfileserver.com/file2.zip
• http://www.myfileserver.com/file3.zip

Kui teate, et baas-URL on sama, määrake sisendfailis järgmine:

• fail1.zip
• fail2.zip
• fail3.zip

Seejärel saate käsu wget osana anda baas-URL-i järgmiselt.

wget -B http://www.myfileserver.com -i /tee/sisendfaili. 

Proovi uuesti

Kui seadistate sisendfailis allalaaditavate failide järjekorra ja jätate arvuti tööle failid alla laadida, võib sisendfail teie eemaloleku ajal takerduda ja proovige faili uuesti alla laadida sisu. Korduskatsete arvu saate määrata järgmise lülitiga:

wget -t 10 -i /tee/sisendfaili. 

Kasutage ülaltoodud käsku koos käsuga -T lülitit, et määrata ajalõpp sekundites järgmiselt:

wget -t 10 -T 10 -i /tee/sisendfaili. 

Ülaltoodud käsk proovib 10 korda uuesti ja loob ühenduse iga faililingi jaoks 10 sekundiks.

Samuti on ebamugav, kui laadite 75% 4-gigabaidisest failist alla aeglaselt. lairibaühendus, ainult selleks, et ühendus katkeks. Wget-i abil uuesti proovimiseks kohast, kus see allalaadimise lõpetas, kasutage järgmist käsku:

wget -c www.myfileserver.com/file1.zip. 

Kui lööte serveri kokku, ei pruugi see hostile meeldida ja see võib teie päringud blokeerida või tappa. Saate määrata ooteperioodi, et määrata, kui kaua iga otsingu vahel oodata, järgmiselt.

wget -w 60 -i /tee/sisendfaili. 

Ülaltoodud käsk ootab iga allalaadimise vahel 60 sekundit. See on kasulik, kui laadite alla palju faile ühest allikast.

Mõned veebimajutajad võivad sagedust märgata ja teid blokeerida. Saate muuta ooteaja juhuslikuks, et jätta mulje, nagu te ei kasuta programmi, toimides järgmiselt.

wget --random-wait -i /tee/sisendfaili. 

Kaitse allalaadimispiiranguid

Paljud Interneti-teenuse pakkujad kohaldavad lairibaühenduse kasutamisele allalaadimispiiranguid, eriti neile, kes elavad väljaspool linna. Võimalik, et soovite lisada kvoodi, et te ei ületaks allalaadimise limiiti. Seda saate teha järgmisel viisil.

wget -q 100m -i /tee/sisendfaili. 

The -q käsk ei tööta ühe failiga. Kui laadite alla 2 gigabaidise faili, kasutage -q1000 m ei peata faili allalaadimist.

Kvooti rakendatakse ainult saidilt rekursiivse allalaadimise või sisendfaili kasutamisel.

Läbige turvalisus

Mõned saidid nõuavad allalaaditavale sisule juurdepääsuks sisselogimist. Kasutage kasutajanime ja parooli määramiseks järgmisi lüliteid.

wget --user=teie kasutajanimi --parool=teie parool. 

Muud allalaadimisvalikud

Vaikimisi on -r switch laadib sisu rekursiivselt alla ja loob katalooge. Kõigi failide allalaadimiseks ühte kausta kasutage järgmist lülitit.

wget -nd -r. 

Selle vastand on kataloogide loomise sundimine, mida saab saavutada järgmise käsuga:

wget -x -r. 

Teatud failitüüpide allalaadimine

Kui soovite saidilt rekursiivselt alla laadida, kuid soovite alla laadida ainult kindlat failitüüpi (nt MP3) või pilti (nt PNG), kasutage järgmist süntaksit:

wget -A "*.mp3" -r. 

Selle vastupidine eesmärk on teatud failide ignoreerimine. Võib-olla ei soovi te käivitatavaid faile alla laadida. Sel juhul kasutage järgmist süntaksit:

wget -R "*.exe" -r. 

Cliget

Seal on Firefoxi lisandmoodul nimega cliget. Selle Firefoxi lisamiseks toimige järgmiselt.

1. Külastage https://addons.mozilla.org/en-US/firefox/addon/cliget/ ja klõpsake nuppu lisada Firefoxi nuppu.

2. Klõpsake nuppu installida nuppu, kui see ilmub, ja seejärel taaskäivitage Firefox.

3. Cligeti kasutamiseks külastage lehte või faili, mida soovite alla laadida, ja paremklõpsake. Ilmub kontekstimenüü nimega cliget ja seal on valikud kopeeriwget ja kopeeri lokk.

4. Klõpsake nuppu kopeeri wget-i valikut, avage terminali aken, seejärel paremklõpsake ja valige kleebi. Sobiv wget-käsk kleebitakse aknasse.

See säästab teid käsu sisestamisest ise.

Kokkuvõte

Käsklusel wget on mitu võimalust ja lülitit. Et lugeda manuaalne leht wget jaoks tippige terminaliaknasse järgmine tekst:

mees wget