Wget on komentorivityökalu, jolla voidaan ladata melkein mitä tahansa Internetistä saatavilla olevaa. Sen saalis on, että sen pitäisi olla saatavilla HTTP-, HTTPS- tai FTP-protokollien kautta. muuten Wget ei voi ladata sitä. Wgetiä voidaan käyttää useilla tavoilla, esimerkiksi voit ladata Wgetillä jokaisen verkkosivuston kuvan, tai voit ladata myös yksittäisen tiedoston. Wget pystyy jopa jatkamaan latauksia, jos mahdollista. Joten jos mietit, miten Wget toimii ja mitä se voi auttaa, tässä on kuinka käyttää Wgetiä:
Asennetaan Wget
1. Wgetin asentaminen macOS Sierraan
Ennen kuin aloitamme Wgetin käytön, meidän on asennettava se järjestelmäämme. Onneksi useimmissa Linux-jakeluissa on esiasennettu Wget, joten sinun ei tarvitse tehdä mitään ylimääräistä työtä. Jos kuitenkin käytät Macia, sinun on asennettava Wget. Tämä voidaan tehdä helposti käyttämällä Homebrew (ladata). Jos tarvitset apua, sinun on noudatettava seuraavia ohjeita:
- Ensin sinun on asennettava Homebrew Mac-tietokoneellesi, jotta voit ladata Wgetin. Voit tehdä tämän vain käynnistää terminaalinja kirjoita seuraava komento:
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
- Kun komento on valmis, Homebrew asennetaan järjestelmässäsi. Voit nyt käyttää Homebrew’ta pakettien, kuten Wgetin, asentamiseen. Suorita vain seuraava komento Terminalissa:
brew install wget
- Homebrew käynnistyy automaattisesti Wgetin lataaminen, purkaminen ja asentaminen järjestelmässäsi. Tämä vaihe saattaa kestää jonkin aikaa verkon nopeudesta riippuen, joten ole kärsivällinen. Kun komento on valmis, sinun pitäisi pystyä käyttämään Wgetiä Macissasi. Tarkistaaksesi, onko se asennettu, käytä komentoa:
wget -V
2. Wgetin asentaminen Windowsiin
Wgetin asentaminen Windowsiin vie hieman enemmän vaivaa, mutta se voidaan tehdä helposti. Jos haluat asentaa Wgetin Windows-tietokoneellesi, seuraa alla olevia ohjeita:
- Ensimmäinen, ladata Cygwin ja sitten suorita ladattu asennustiedosto.
- Kun se pyytää oletuslatauslähdettä, valitse vaihtoehto, joka sanoo ”Asenna Internetistä”, ja napsauta ”Seuraava”.
- Valitse asennushakemisto Cygwinille sekä hakemisto, johon se tallentaa pakettitiedostot apuohjelmien asentamista varten.
- Seuraavassa näytössä sinun on valittava Internet-yhteytesi. Jos käytät välityspalvelinta, valitse välityspalvelimen tyyppi ja täytä tiedot. Useimmille käyttäjille vaihtoehto olisi kuitenkin ”Suora yhteys”.
- Sitten sinulle näytetään a lista peileistä, valitse mikä tahansa näistä ladataksesi Cygwin. Jos lataus epäonnistuu, voit yrittää uudelleen toisella peilillä.
- Etsi seuraavassa ikkunassa ”wget”, ja napsauta plus vieressä ”verkko” esiin tulevassa listassa. Tässä valintaruutu ”wget” valitaan automaattisesti. Napsauta vain ”Seuraava”.
- Seuraavassa näytössä näytetään paketit, jotka se tarvitsee ladata. Napsauta vain ”Seuraava”.
- Kun asennus on valmis, sinulta kysytään, haluatko luo työpöytäkuvakeja/tai lisää an pääsy aloitusvalikkoon. Tämä on täysin henkilökohtainen mieltymys, mutta suosittelen, että lisäät sen ainakin aloitusvalikkoon, jotta löydät sen helposti.
Se siitä. Wget on nyt asennettu Windows-tietokoneellesi. Et kuitenkaan voi suorittaa sitä komentokehotteesta. Sen sijaan sinun täytyy käynnistä Cygwin Terminal ja käytä Wgetiä sieltä.
Kuinka käyttää Wget
Nyt kun Wget on otettu käyttöön järjestelmässämme, tutkitaan kaikkia hienoja tapoja, joilla voimme käyttää Wgetiä tiedostojen, kansioiden ja jopa kokonaisten verkkosivustojen lataamiseen Internetistä. Tässä on pari mielenkiintoista asiaa, joita voit tehdä järjestelmäsi Wgetillä.
Huomautus: Käytän Wgetiä MacBook Airissa, jossa on macOS Sierra 10.12.3 beta. Koska käyttämämme apuohjelma on kuitenkin sama (Wget), komennot ovat samat kaikissa käyttöjärjestelmissä, joissa käytät Wgetiä.
1. Lataa tiedostot Wgetillä
Wgetin avulla voit ladata tiedostoja helposti Internetistä. Käytä vain seuraavaa komentoa
wget <url>
- Lataa tiedosto ja tallenna se tietyllä tiedostonimellä
Palvelimilla olevilla tiedostoilla on joskus oudoimmat nimet, ja saatat haluta ladata tiedoston ja antaa Wgetille nimetä sen automaattisesti uudelleen jollakin tavalla, joka on sinulle järkevämpää. Voit tehdä tämän käyttämällä vain seuraavaa komentoa
wget -o <output_file.extension> <url_to_download>
- Lataa vain tietyt tiedostotyypit
Verkkopalvelin voi isännöidä useita erilaisia tiedostoja. Joten entä jos haluat ladata vain kaikki palvelimella olevat PDF-tiedostot tai ehkä kaikki GIF-tiedostot? Käytä vain seuraavaa komentoa:
wget -r -A pdf <url_to_download>
Mark Zuckerberg käytti tätä nimenomaista komentoa Harvardin asuntolassaan ladatakseen kaikki kuvat yhdellä komennolla ja rakentaakseen surullisen kuuluisan ”facesmash.com” -sivuston.
wget -r -A jpg, jpeg, png, bmp <url_to_download>
2. Lataa tiedostoja useista URL-osoitteista Wgetillä
Oletetaan, että sinun on ladattava tiedostoja useista eri paikoista Internetissä. Siellä voi olla a PDF-tiedosto osoitteessa url1tärkeä ZIP-tiedosto osoitteessa url2ja jotain muuta url3:ssa. Jos käytit Wgetiä perinteisellä tavalla, sinun on suoritettava se kolme kertaa. On kuitenkin olemassa paljon helpompi tapa tehdä tämä.
- Luo ensin tiedosto, jossa on kaikki URL-osoitteet, joista sinun on ladattava tiedot. Varmista, että sinä pitää jokainen URL-osoite omalla rivillään. Tallenna tiedosto ja varmista, että muistat nimen.
- Käytä terminaalissa seuraavaa komentoa ladataksesi tiedostoja kaikista URL-osoitteista:
wget -i <file_name>
missä ”Tiedoston nimi” on kaikkien URL-osoitteiden kanssa luomasi tiedoston nimi sinun piti ladata tavaraa osoitteesta.
3. Lataa koko verkkosivusto Wgetillä
Kyllä, luit oikein. Voit käyttää Wgetiä myös koko verkkosivuston sisällön lataamiseen. On selvää, että jos verkkosivusto on liian suuri, tämän komennon suorittaminen vie paljon aikaa, puhumattakaan siitä, että se vie paljon tilaa järjestelmästäsi. Jos haluat käyttää Wgetiä ladataksesi koko verkkosivuston, käytä vain seuraavaa komentoa:
wget --mirror -p <url> -P ./LOCAL-DIR WEBSITE-URL
Tämä lataa koko verkkosivuston kansioon ”PAIKALLINEN-OHJ” työhakemistossasi. Sivuston tiedostot tallennetaan kansioon, jolla on sama nimi kuin verkkosivustolla, kiitos ”NETTISIVUN URL”.
4. Käytä Wgetiä Web Spiderina
Voit myös saada Wgetin toimimaan kuten verkkoindeksointirobotti (tai verkkohämähäkki). Tästä on apua, kun haluat varmista, että ladattavan tiedoston URL-osoite on kelvollinen. Voit käyttää Wgetiä verkkohämähäkinä ja tarkistaa URL-osoitteiden oikeellisuuden käyttämällä seuraavaa komentoa:
wget --spider <url>
Tämä tarkistaa, onko mainitsemaasi URL-osoitetta olemassa, ja saat vastauksen, joka kertoo tarkistuksen tuloksista.
- Positiivinen vastaus:
- Negatiivinen vastaus:
5. Jatka keskeneräisiä latauksia
Tämä on toinen todella hieno asia, jonka Wget voi tehdä. Oletetaan, että lataat tiedostoa Wgetillä, mutta jostain syystä sinun piti sammuttaa kannettava tietokone. Kun seuraavan kerran haluat yrittää ladata saman tiedoston, Wget voi itse asiassa jatka latausta sinulle. Sinun tarvitsee vain Varmista, että olet samassa kansiossa, josta latasit tiedoston viimeksija käytä sitten seuraavaa komentoa:
wget -c <url>
Kun Wget huomaa, että osa tiedostosta on jo järjestelmässäsi, se jatkaa latausta automaattisesti.
Huomautus: Jos palvelimella olevaa tiedostoa on muutettu sen jälkeen, kun yritit ladata sen, sinun ei pitäisi käyttää tätä komentoa, koska se johtaa vioittuneeseen tiedostoon, jota et voi lukea.
Lisäksi, jos palvelin ei salli latauksen jatkamista, Wget kieltäytyy aloittamasta latausta tyhjästä. Jos haluat aloittaa latauksen tyhjästä, sinun on poistettava osittain ladattu tiedosto järjestelmästäsiensin.
Tämän argumentin käytölle on joitain muita ehtoja, ja voit lukea siitä lisää osoitteessa Wget-man sivu.
6. Rajoita latausnopeutta
Jos käytät Wgetiä tiedostojen lataamiseen ja selaat Internetiä sen rinnalla, et todennäköisesti halua, että Wget käyttää kaikkea kaistanleveyttäsi. Onneksi Wget sisältää argumentin, jota voit käyttää rajoittaa kaistanleveyden määrää joita Wget voi käyttää tiedostojen lataamiseen järjestelmääsi:
wget --limit-rate=<speed> <url>
Huomautus: Muista, että nopeus mainitaan tavuina, ei bitteinä. Joten jos käytät Wget –limit-rate=20k, se rajoittaa kaistanleveyden käytön 20 kilotavuun, ei 20 kilotavuun.
7. Lataa tiedostoja FTP-palvelimista Wget-ohjelman avulla
Jos sinun on ladattava tiedosto FTP-palvelimelta, voit tehdä sen myös Wgetillä. Käytä vain seuraavaa komentoa ladataksesi tiedostoja FTP-palvelimista:
wget <ftp_url>
- Lataa tiedostoja FTP-palvelimista kirjautumalla sisään
JOS FTP-palvelimesi vaatii kirjautumisen tiedostojen lataamisen mahdollistamiseksi, voit yksinkertaisesti välittää kirjautumistiedot myös Wgetillä. Käytä vain seuraavaa komentoa:
wget --ftp-username=USERNAME --ftp-password=PASSWORD <ftp_url>
KATSO MYÖS: 30 Mac-päätekomentoa piilotettujen ominaisuuksien käyttämiseen
Lataa tiedostoja Internetistä helposti Wgetin avulla
Voit käyttää Wgetiä tiedostojen lataamiseen mistä tahansa Internetistä. Vaikka Wget toimii melkein aina, tietyt palvelimet estävät pääsyn Wgetiin, jolloin voit yrittää muuttaa Wget-komennon -user-agent -agenttia. Tämä ei kuitenkaan ole suositeltava toimintatapa, ellet tiedä täysin mitä olet tekemässä. Suurimmaksi osaksi Wget antaa sinun ladata minkä tahansa tiedoston Internetistä, kunhan sinulla on pääsy siihen ja sen URL-osoite.
Joten, oletko koskaan käyttänyt Wgetiä tiedostojen lataamiseen Internetistä? Kerro meille kokemuksistasi Wgetin käyttämisestä tiedostojen lataamiseen HTTP-, HTTPS- ja FTP-protokollien kautta. Lisäksi, jos tiedät muita Wgetin käyttötapoja, jotka mielestäsi ansaitsevat olla tässä luettelossa, ilmoita niistä meille alla olevassa kommenttiosiossa.
Tue työtämme ❤️
Jos pidit tästä artikkelista, harkitse tipin antamista, jotta voimme jatkaa laadukkaan sisällön julkaisemista.
