Kā lejupielādēt tīmekļa lapas un failus, izmantojot wget

Komandas wget iezīmes

Varat lejupielādēt visas vietnes, izmantojot wget, un pārvērst saites, lai norādītu uz vietējiem avotiem, lai jūs varētu skatīt vietni bezsaistē. Wget utilīta arī mēģina atkārtoti lejupielādēt, kad savienojums pazūd, un atsāk no vietas, kur tas tika pārtraukts, ja iespējams, kad savienojums atgriežas.

Citas wget funkcijas ir šādas:

• Lejupielādējiet failus, izmantojot HTTP, HTTPSun FTP.
• Atsākt lejupielādi.
• Pārvērtiet absolūtās saites lejupielādētajās tīmekļa lapās uz relatīviem URL, lai vietnes varētu skatīt bezsaistē.
• Atbalsta HTTP starpniekserverus un sīkfailus.
• Atbalsta pastāvīgus HTTP savienojumus.
• Tas var darboties fonā pat tad, ja neesat pieteicies.
• Darbojas operētājsistēmās Linux un Windows.

Kā lejupielādēt vietni, izmantojot wget

Wget utilīta lejupielādē tīmekļa lapas, failus un attēlus no tīmekļa, izmantojot

Linux komandrinda. Varat izmantot vienu komandu wget, lai lejupielādētu no vietnes, vai iestatīt ievades failu, lai lejupielādētu vairākus failus vairākās vietnēs.

Šajā rokasgrāmatā jūs uzzināsit, kā lejupielādēt šo Linux emuāru:

wget www.everydaylinuxuser.com. 

Pirms sākat, izveidojiet savā ierīcē mapi, izmantojot mkdir komandaun pēc tam pārvietojieties uz mapi, izmantojot cd komanda.

Piemēram:

mkdir dailylinuxuser
cd dailylinuxuser
wget www.everydaylinuxuser.com. 

Rezultāts ir viens index.html fails, kurā ir saturs, kas iegūts no Google. Attēli un stila lapas tiek glabātas Google tīklā.

Lai lejupielādētu visu vietni un visas lapas, izmantojiet šo komandu:

wget -r www.everydaylinuxuser.com. 

Tādējādi lapas tiek lejupielādētas rekursīvi līdz 5 līmeņu dziļumam. Piecu līmeņu dziļums var nebūt pietiekami, lai iegūtu visu no vietnes. Izmantojiet -l slēdzi, lai iestatītu līmeņu skaitu, uz kuriem vēlaties pāriet, šādi:

wget -r -l10 www.everydaylinuxuser.com. 

Ja vēlaties bezgalīgu rekursiju, izmantojiet šo:

wget -r -l inf www.everydaylinuxuser.com. 

Varat arī nomainīt inf ar 0, kas nozīmē to pašu.

Ir vēl viena problēma. Visas lapas var iegūt lokāli, taču lapās esošās saites norāda uz sākotnējo vietu. Nav iespējams lokāli noklikšķināt starp lapās esošajām saitēm.

Lai apietu šo problēmu, izmantojiet -k slēdzi, lai pārvērstu lapās esošās saites, lai norādītu uz lokāli lejupielādēto ekvivalentu, kā norādīts tālāk:

wget -r -k www.everydaylinuxuser.com. 

Ja vēlaties iegūt pilnīgu vietnes spoguli, izmantojiet šo slēdzi, kas atņem nepieciešamību izmantot -r, -k, un -l slēdži.

wget -m www.everydaylinuxuser.com. 

Ja jums ir vietne, varat izveidot pilnīgu dublējumu, izmantojot šo vienu vienkāršo komandu.

Palaidiet wget kā fona komandu

Varat panākt, lai wget palaistu kā fona komandu, ļaujot jums turpināt darbu termināļa logā, kamēr faili tiek lejupielādēti. Izmantojiet šādu komandu:

wget -b www.everydaylinuxuser.com. 

Varat kombinēt slēdžus. Lai palaistu komandu wget fonā, vienlaikus spoguļojot vietni, izmantojiet šo komandu:

wget -b -m www.everydaylinuxuser.com. 

Varat to vēl vairāk vienkāršot šādi:

wget -bm www.everydaylinuxuser.com. 

Mežizstrāde

Ja palaižat komandu wget fonā, jūs neredzat nevienu no parastajiem ziņojumiem, ko tā sūta uz ekrānu. Lai nosūtītu šos ziņojumus uz žurnāla failu, lai jebkurā laikā varētu pārbaudīt progresu, izmantojiet astes komanda.

Lai izvadītu informāciju no komandas wget uz žurnāla failu, izmantojiet šo komandu:

wget -o /path/to/mylogfile www.everydaylinuxuser.com. 

Pretēji tam nav nepieciešama vispārēja reģistrēšana un nekāda izvade uz ekrānu. Lai izlaistu visu izvadi, izmantojiet šo komandu:

wget -q www.everydaylinuxuser.com. 

Lejupielādēt no vairākām vietnēm

Varat iestatīt ievades failu, lai to lejupielādētu no daudzām dažādām vietnēm. Atveriet failu, izmantojot jūsu iecienītākais redaktors vai kaķa komanda un katrā faila rindā uzskaitiet vietnes vai saites, no kurām lejupielādēt. Saglabājiet failu un pēc tam palaidiet šādu komandu wget:

wget -i /ceļš/uz/ievades failu. 

Maz ticams, ka vēlēsities lejupielādēt visu vietni, izņemot vietnes dublēšanu vai lejupielādējamā satura atrašanu lasīšanai bezsaistē. Jūs, visticamāk, lejupielādēsit vienu URL ar attēliem vai lejupielādēsit failus, piemēram, ZIP failus, ISO faili, vai attēlu faili.

Paturot to prātā, ievades failā nav jāievada tālāk norādītais, jo tas ir laikietilpīgi.

• http://www.myfileserver.com/file1.zip
• http://www.myfileserver.com/file2.zip
• http://www.myfileserver.com/file3.zip

Ja zināt, ka pamata URL ir tas pats, ievades failā norādiet tālāk norādīto.

• fails1.zip
• fails2.zip
• fails3.zip

Pēc tam varat norādīt pamata URL kā daļu no komandas wget, kā norādīts tālāk.

wget -B http://www.myfileserver.com -i /ceļš/uz/ievades failu. 

Mēģiniet vēlreiz Opcijas

Ja ievades failā iestatāt lejupielādējamo failu rindu un atstājat datoru, lai lejupielādējiet failus, ievades fails var iestrēgt, kamēr esat prom, un mēģiniet vēlreiz lejupielādēt saturu. Varat norādīt atkārtotu mēģinājumu skaitu, izmantojot šo slēdzi:

wget -t 10 -i /ceļš/uz/ievades failu. 

Izmantojiet iepriekš minēto komandu kopā ar -T slēdzi, lai norādītu taimautu sekundēs, kā norādīts tālāk.

wget -t 10 -T 10 -i /ceļš/uz/ievades failu. 

Iepriekš minētā komanda mēģinās vēlreiz 10 reizes un izveidos savienojumu 10 sekundes katrai faila saitei.

Tas ir arī neērti, ja lejupielādējat 75% no 4 gigabaitu faila lēnā režīmā. platjoslas pieslēgums, tikai lai savienojums pārtrauktos. Lai izmantotu wget, lai mēģinātu vēlreiz no vietas, kur tā pārtrauca lejupielādi, izmantojiet šo komandu:

wget -c www.myfileserver.com/file1.zip. 

Ja jūs apstrādājat serveri, tas var nepatikt saimniekdatoram un var bloķēt vai iznīcināt jūsu pieprasījumus. Varat norādīt gaidīšanas periodu, lai norādītu, cik ilgi jāgaida starp katru izguvi, kā norādīts tālāk.

wget -w 60 -i /ceļš/uz/ievades failu. 

Iepriekš minētā komanda gaida 60 sekundes starp katru lejupielādi. Tas ir noderīgi, ja lejupielādējat daudzus failus no viena avota.

Daži tīmekļa mitinātāji var pamanīt frekvenci un jūs bloķēt. Varat iestatīt gaidīšanas periodu nejauši, lai izskatītos, ka neizmantojat programmu, kā norādīts tālāk.

wget --random-wait -i /ceļš/uz/inputfile. 

Aizsargājiet lejupielādes ierobežojumus

Daudzi interneta pakalpojumu sniedzēji platjoslas lietojumam piemēro lejupielādes ierobežojumus, īpaši tiem, kas dzīvo ārpus pilsētas. Iespējams, vēlēsities pievienot kvotu, lai nepārsniegtu lejupielādes ierobežojumu. To var izdarīt šādi:

wget -q 100m -i /ceļš/uz/ievades failu. 

The -q komanda nedarbosies ar vienu failu. Ja lejupielādējat failu, kura izmērs ir 2 gigabaiti, izmantojot -q1000 m neaptur faila lejupielādi.

Kvota tiek lietota tikai tad, kad notiek rekursīva lejupielāde no vietnes vai izmantojot ievades failu.

Iziet cauri drošībai

Dažās vietnēs ir jāpiesakās, lai piekļūtu saturam, kuru vēlaties lejupielādēt. Izmantojiet tālāk norādītos slēdžus, lai norādītu lietotājvārdu un paroli.

wget --lietotājs=jūsu lietotājvārds --parole=jūsu parole. 

Citas lejupielādes iespējas

Pēc noklusējuma, -r slēdzis rekursīvi lejupielādē saturu un izveido direktorijus. Lai visus failus lejupielādētu vienā mapē, izmantojiet šo slēdzi:

wget -nd -r. 

Pretējs tam ir piespiest izveidot direktorijus, ko var panākt, izmantojot šādu komandu:

wget -x -r. 

Kā lejupielādēt noteiktu veidu failus

Ja vēlaties lejupielādēt rekursīvi no vietnes, bet vēlaties lejupielādēt tikai noteikta veida failu, piemēram, MP3 vai attēlu, piemēram, PNG, izmantojiet šādu sintaksi:

wget -A "*.mp3" -r. 

Pretēja tam ir noteiktu failu ignorēšana. Varbūt jūs nevēlaties lejupielādēt izpildāmos failus. Šajā gadījumā izmantojiet šādu sintaksi:

wget -R "*.exe" -r. 

Cliget

Ir Firefox pievienojumprogramma, ko sauc par cliget. Lai to pievienotu pārlūkprogrammai Firefox:

1. Apmeklējums https://addons.mozilla.org/en-US/firefox/addon/cliget/ un noklikšķiniet uz pievienot Firefox pogu.

2. Noklikšķiniet uz uzstādīt pogu, kad tā parādās, un pēc tam restartējiet Firefox.

3. Lai izmantotu Cliget, apmeklējiet lapu vai failu, kuru vēlaties lejupielādēt, un ar peles labo pogu noklikšķiniet. Tiek parādīta konteksta izvēlne, ko sauc par cliget, un ir pieejamas šādas iespējas kopēt uzwget un kopēt uz čokurošanās.

4. Noklikšķiniet uz kopēt uz wget opciju, atveriet termināļa logu, pēc tam ar peles labo pogu noklikšķiniet un izvēlieties pastas. Logā tiek ielīmēta atbilstošā komanda wget.

Tādējādi jums nav jāievada komanda pašam.

Kopsavilkums

Komandai wget ir vairākas iespējas un slēdži. Lai izlasītu rokasgrāmatas lapa wget termināļa logā ierakstiet:

cilvēks wget