Weboldalak és fájlok letöltése wget segítségével

A wget parancs jellemzői

Teljes webhelyeket tölthet le a wget segítségével, és konvertálhatja a hivatkozásokat úgy, hogy helyi forrásokra mutassanak, így offline is megtekintheti a webhelyeket. A wget segédprogram a kapcsolat megszakadásakor is újra megpróbálja a letöltést, és onnan folytatja, ahol abbahagyta, ha lehetséges, amikor a kapcsolat visszatér.

A wget egyéb szolgáltatásai a következők:

• Fájlok letöltése a segítségével HTTP, HTTPS, és FTP.
• Letöltések folytatása.
• Konvertálja a letöltött weboldalak abszolút linkjeit relatív URL-ekké, hogy a webhelyek offline is megtekinthetők legyenek.
• Támogatja a HTTP-proxykat és a cookie-kat.
• Támogatja az állandó HTTP kapcsolatokat.
• Akkor is futhat a háttérben, ha nincs bejelentkezve.
• Linuxon és Windowson működik.

Hogyan töltsünk le egy webhelyet a wget segítségével

A wget segédprogram weboldalakat, fájlokat és képeket tölt le az internetről a Linux parancs sor. Egyetlen wget paranccsal tölthet le egy webhelyről, vagy beállíthat egy bemeneti fájlt több fájl több webhelyről való letöltéséhez.

Ebben az útmutatóban megtudhatja, hogyan töltheti le ezt a Linux blogot:

wget www.everydaylinuxuser.com. 

Mielőtt elkezdené, hozzon létre egy mappát a gépen a mkdir parancs, majd a gombbal lépjen be a mappába cd parancs.

Például:

mkdir dailylinuxuser
cd dailylinuxuser
wget www.everydaylinuxuser.com. 

Az eredmény egy index.html fájl, amely tartalmazza a Google-tól származó tartalmat. A képeket és stíluslapokat a Google tárolja.

A teljes webhely és az összes oldal letöltéséhez használja a következő parancsot:

wget -r www.everydaylinuxuser.com. 

Ez legfeljebb 5 szintig rekurzív módon tölti le az oldalakat. Öt szint mélysége nem biztos, hogy elég ahhoz, hogy mindent megkapjon az oldalról. Használja a -l kapcsolóval állítsa be a kívánt szintek számát az alábbiak szerint:

wget -r -l10 www.everydaylinuxuser.com. 

Ha végtelen rekurziót szeretne, használja a következőket:

wget -r -l inf www.everydaylinuxuser.com. 

Cserélheti is a inf val vel 0, ami ugyanazt jelenti.

Van még egy probléma. Lehet, hogy az összes oldalt helyben kapja meg, de az oldalakon lévő hivatkozások az eredeti helyre mutatnak. Nem lehet helyben kattintani az oldalakon található hivatkozások között.

A probléma megkerüléséhez használja a -k kapcsolót az oldalakon lévő hivatkozások helyileg letöltött megfelelőre való konvertálásához, az alábbiak szerint:

wget -r -k www.everydaylinuxuser.com. 

Ha teljes tükröt szeretne kapni egy webhelyről, használja a következő kapcsolót, amely elveszi a szükséges -r, -k, és -l kapcsolók.

wget -m www.everydaylinuxuser.com. 

Ha van webhelye, ezzel az egyszerű paranccsal teljes biztonsági másolatot készíthet.

Futtassa a wget-et háttérparancsként

A wget háttérparancsként futtatható, így a fájlok letöltése közben a terminál ablakában folytathatja a munkáját. Használja a következő parancsot:

wget -b www.everydaylinuxuser.com. 

A kapcsolókat kombinálhatja. A wget parancs háttérben történő futtatásához a webhely tükrözése közben használja a következő parancsot:

wget -b -m www.everydaylinuxuser.com. 

Ezt tovább egyszerűsítheti az alábbiak szerint:

wget -bm www.everydaylinuxuser.com. 

Fakitermelés

Ha a wget parancsot a háttérben futtatja, nem látja a képernyőre küldött normál üzeneteket. Ha ezeket az üzeneteket naplófájlba szeretné küldeni, hogy bármikor ellenőrizhesse a folyamatot, használja a farok parancs.

A wget parancs információinak naplófájlba való kimenetéhez használja a következő parancsot:

wget -o /path/to/mylogfile www.everydaylinuxuser.com. 

Ennek a fordítottja az, hogy egyáltalán nem kell naplózni, és nincs kimenet a képernyőre. Az összes kimenet kihagyásához használja a következő parancsot:

wget -q www.everydaylinuxuser.com. 

Letöltés több webhelyről

Beállíthat egy bemeneti fájlt, amelyet számos különböző webhelyről tölt le. Nyisson meg egy fájlt a segítségével kedvenc szerkesztőd vagy a macska parancs és felsorolja a letöltendő webhelyeket vagy hivatkozásokat a fájl minden sorában. Mentse el a fájlt, majd futtassa a következő wget parancsot:

wget -i /elérési út/bemeneti fájlhoz. 

Eltekintve attól, hogy biztonsági másolatot készít a webhelyéről, vagy talál valami letölthető tartalmat offline olvasáshoz, nem valószínű, hogy egy teljes webhelyet szeretne letölteni. Valószínűbb, hogy egyetlen URL-t tölt le képekkel, vagy tölt le fájlokat, például zip fájlokat, ISO fájlokvagy képfájlokat.

Ezt szem előtt tartva, nem kell beírnia a következőket a bemeneti fájlba, mivel ez időigényes:

• http://www.myfileserver.com/file1.zip
• http://www.myfileserver.com/file2.zip
• http://www.myfileserver.com/file3.zip

Ha tudja, hogy az alap URL ugyanaz, adja meg a következőket a bemeneti fájlban:

• fájl1.zip
• fájl2.zip
• file3.zip

Ezután megadhatja az alap URL-t a wget parancs részeként, az alábbiak szerint:

wget -B http://www.myfileserver.com -i /elérési út/bemeneti fájlhoz. 

Retry Options

Ha egy bemeneti fájlban beállítja a letöltésre váró fájlok sorát, és a számítógépet tovább hagyja töltse le a fájlokat, a bemeneti fájl elakadhat, amíg Ön távol van, és próbálja meg újra letölteni a tartalom. Az újrapróbálkozások számát a következő kapcsolóval adhatja meg:

wget -t 10 -i /bemeneti fájl elérési útja. 

Használja a fenti parancsot a -T kapcsolóval megadhatja az időtúllépést másodpercben, az alábbiak szerint:

wget -t 10 -T 10 -i /elérési út/bemeneti fájlhoz. 

A fenti parancs 10-szer próbálkozik újra, és 10 másodpercig csatlakozik minden fájlhivatkozáshoz.

Az is kényelmetlen, ha egy 4 gigabájtos fájl 75%-át lassan tölti le. szélessávú kapcsolat, csak a kapcsolat megszakadásához. Ha a wget segítségével újra próbálkozni szeretne onnan, ahol a letöltés leállt, használja a következő parancsot:

wget -c www.myfileserver.com/file1.zip. 

Ha kalapál egy szervert, előfordulhat, hogy a gazdagépnek nem fog tetszeni, és blokkolhatja vagy megölheti a kéréseit. Megadhat egy várakozási időszakot annak meghatározásához, hogy mennyi ideig kell várni az egyes lekérések között, az alábbiak szerint:

wget -w 60 -i /bemeneti fájl elérési útja. 

A fenti parancs 60 másodpercet vár az egyes letöltések között. Ez akkor hasznos, ha több fájlt tölt le egyetlen forrásból.

Néhány webtárhely észlelheti a gyakoriságot, és blokkolhatja Önt. A várakozási időt véletlenszerűvé teheti, hogy úgy tűnjön, mintha nem használna programot, az alábbiak szerint:

wget --random-wait -i /elérési út/a/bemeneti fájlhoz. 

Védje a letöltési korlátokat

Sok internetszolgáltató letöltési korlátokat alkalmaz a szélessávú használathoz, különösen a városon kívül élők számára. Érdemes lehet kvótát hozzáadni, hogy ne lépje túl a letöltési korlátot. Ezt a következő módon teheti meg:

wget -q 100m -i /bemeneti fájl elérési útja. 

Az -q parancs nem működik egyetlen fájllal. Ha 2 gigabájt méretű fájlt tölt le, használja a -q1000 m nem akadályozza meg a fájl letöltését.

A kvóta csak akkor kerül alkalmazásra, ha rekurzívan tölt le egy webhelyről, vagy ha beviteli fájlt használ.

Lépjen át a biztonságon

Egyes webhelyeken be kell jelentkeznie a letölteni kívánt tartalom eléréséhez. A felhasználónév és jelszó megadásához használja a következő kapcsolókat.

wget --user=felhasználóneve --password=saját jelszava. 

Egyéb letöltési lehetőségek

Alapértelmezés szerint a -r A switch rekurzív módon letölti a tartalmat, és menet közben könyvtárakat hoz létre. Ha az összes fájlt egyetlen mappába szeretné letölteni, használja a következő kapcsolót:

wget -nd -r. 

Ennek az ellenkezője a könyvtárak létrehozásának kényszerítése, ami a következő paranccsal érhető el:

wget -x -r. 

Bizonyos fájltípusok letöltése

Ha rekurzív módon szeretne letölteni egy webhelyről, de csak egy adott fájltípust, például MP3-at vagy képet, például PNG-t szeretne letölteni, használja a következő szintaxist:

wget -A "*.mp3" -r. 

Ennek a fordítottja bizonyos fájlok figyelmen kívül hagyása. Lehet, hogy nem szeretne végrehajtható fájlokat letölteni. Ebben az esetben használja a következő szintaxist:

wget -R "*.exe" -r. 

Cliget

Létezik egy cliget nevű Firefox kiegészítő. Hozzáadás a Firefoxhoz:

1. Látogatás https://addons.mozilla.org/en-US/firefox/addon/cliget/ és kattintson a add hozzá a Firefoxhoz gomb.

2. Kattints a telepítés gombot, amikor megjelenik, majd indítsa újra a Firefoxot.

3. A cliget használatához keresse fel a letölteni kívánt oldalt vagy fájlt, és kattintson a jobb gombbal. Megjelenik egy helyi menü, amelyet cligetnek hívnak, és erre van lehetőség másoldwget és másold becsavar.

4. Kattints a másolja a wget-be lehetőséget, nyisson meg egy terminálablakot, majd kattintson a jobb gombbal, és válassza a lehetőséget paszta. A megfelelő wget parancs beillesztésre kerül az ablakba.

Ezzel megkíméli Önt attól, hogy magának kell begépelnie a parancsot.

Összegzés

A wget parancsnak számos opciója és kapcsolója van. Olvasni a kézikönyv oldal wget esetén írja be a következőt egy terminálablakba:

ember wget