Kaip naudoti „curl“, norint atsisiųsti failus iš „Linux“ komandų eilutės

„Linux“ curl
komanda gali padaryti daug daugiau nei atsisiųsti failus. Sužinokite, kas curl
sugeba ir kada turėtumėte naudoti vietoj wget
.
garbanos ir wget: koks skirtumas?
Žmonės dažnai stengiasi nustatyti santykines stiprybes wget
ir curl
komandas. Komandos turi tam tikrą funkcinį sutapimą. Kiekvienas iš jų gali nuskaityti failus iš atokių vietų, tačiau tuo panašumas ir baigiasi.
wget
yra fantastiškas įrankis atsisiųsti turinį ir failus. Jis gali atsisiųsti failus, tinklalapius ir katalogus. Jame yra pažangios tvarkos, leidžiančios pereiti nuorodas į tinklalapius ir rekursyviai atsisiųsti turinį visoje svetainėje. Tai nepralenkiama kaip komandinės eilutės atsisiuntimo tvarkyklė.
curl
patenkina visiškai kitokį poreikį. Taip, jis gali nuskaityti failus, bet negali rekursyviai naršyti svetainėje, ieškodamas turinio, kurį reikia gauti. Iš curl
tikrųjų tai leidžia jums bendrauti su nuotolinėmis sistemomis, pateikdami užklausas toms sistemoms, gaudami ir pateikdami jums jų atsakymus. Šie atsakymai gali būti tinklalapio turinys ir failai, tačiau juose taip pat gali būti duomenų, pateiktų per žiniatinklio paslaugą ar API kaip „garbanos“ užklausos užduotą klausimą.
Ir curl
neapsiriboja svetainėmis. curl
palaiko daugiau nei 20 protokolų, įskaitant HTTP, HTTPS, SCP, SFTP ir FTP. Be abejo, dėl nepriekaištingo „Linux“ vamzdžių valdymo curl
juos galima lengviau integruoti su kitomis komandomis ir scenarijais.
Autorius curl
turi tinklalapį, kuriame aprašomi skirtumai, kuriuos jis mato tarp curl
ir wget
.
Garbanos montavimas
Iš kompiuterių, naudojamų tiriant šį straipsnį, „Fedora 31“ ir „Manjaro 18.1.0“ curl
jau buvo įdiegtos. curl
turėjo būti įdiegta „Ubuntu 18.04 LTS“. „Ubuntu“ paleiskite šią komandą, kad ją įdiegtumėte:
sudo apt-get install curl
Garbanos versija
Į --version
galimybė leidžia curl
pranešti apie savo versiją. Jame taip pat išvardyti visi palaikomi protokolai.
garbanos - versija
Gaunamas tinklalapis
Jei nurodysime curl
internetinį puslapį, jis jį gaus mums.
garbanoti //www.bbc.com
Tačiau numatytasis veiksmas yra iškelti jį į terminalo langą kaip šaltinio kodą.
Saugokitės : jei nepasakote, curl
kad norite, kad kažkas būtų saugomas kaip failas, jis visada jį išmes į terminalo langą. Jei failas, kurį jis gauna, yra dvejetainis failas, rezultatas gali būti nenuspėjamas. Korpusas gali bandyti interpretuoti kai kurias dvejetainio failo baitų reikšmes kaip valdymo simbolius ar pabėgimo sekas.
Duomenų išsaugojimas faile
Pasakykime garbanai, kad nukreiptų išvestį į failą:
garbanoti //www.bbc.com> bbc.html
Šį kartą nematome gautos informacijos, ji siunčiama tiesiai į mums skirtą failą. Kadangi nėra terminalo lango išvesties, kurią būtų galima rodyti, curl
pateikiama pažangos informacijos rinkinys.
Ankstesniame pavyzdyje to nepadarė, nes informacija apie pažangą būtų išsklaidyta visame tinklalapio šaltinio kode, todėl curl
automatiškai ją užgniaužė.
Šiame pavyzdyje curl
nustatoma, kad išvestis yra peradresuojama į failą ir kad saugu kurti pažangos informaciją.
Pateikiama tokia informacija:
- % Iš viso : visa suma, kurią reikia gauti.
- Gauta% : iki šiol gautų duomenų procentinė ir faktinė vertė.
- % Xferd : procentas ir faktinis siuntimas, jei duomenys yra įkeliami.
- Vidutinis greičio atsisiuntimas : vidutinis atsisiuntimo greitis.
- Vidutinis įkėlimo greitis: vidutinis įkėlimo greitis.
- Laikas iš viso : numatoma bendra pervedimo trukmė.
- Praleistas laikas : iki šiol praleistas šio perkėlimo laikas.
- Liko laikas : numatomas laikas, per kurį liko perdavimas
- Dabartinis greitis : dabartinis šio perdavimo greitis.
Kadangi išvestį nukreipėme iš curl
failo, dabar turime failą pavadinimu „bbc.html“.
Dukart spustelėjus tą failą bus atidaryta numatytoji naršyklė, kad joje būtų rodomas gautas tinklalapis.
Atminkite, kad adresas naršyklės adreso juostoje yra vietinis šio kompiuterio failas, o ne nuotolinė svetainė.
Norėdami sukurti failą, neturime peradresuoti išvesties. Mes galime sukurti failą naudodami -o
(išvesties) parinktį ir liepdami curl
sukurti failą. Čia mes naudojame -o
parinktį ir pateikiame failo, kurį norime sukurti, pavadinimą „bbc.html“.
curl -o bbc.html //www.bbc.com
Using a Progress Bar To Monitor Downloads
To have the text-based download information replaced by a simple progress bar, use the -#
(progress bar) option.
curl -x -o bbc.html //www.bbc.com
Restarting an Interrupted Download
It is easy to restart a download that has been terminated or interrupted. Let’s start a download of a sizeable file. We’ll use the latest Long Term Support build of Ubuntu 18.04. We’re using the --output
option to specify the name of the file we wish to save it into: “ubuntu180403.iso.”
curl --output ubuntu18043.iso //releases.ubuntu.com/18.04.3/ubuntu-18.04.3-desktop-amd64.iso
The download starts and works its way towards completion.
If we forcibly interrupt the download with Ctrl+C
, we’re returned to the command prompt, and the download is abandoned.
To restart the download, use the -C
(continue at) option. This causes curl
to restart the download at a specified point or offset within the target file. If you use a hyphen -
as the offset, curl
will look at the already downloaded portion of the file and determine the correct offset to use for itself.
curl -C - --output ubuntu18043.iso //releases.ubuntu.com/18.04.3/ubuntu-18.04.3-desktop-amd64.iso
The download is restarted. curl
reports the offset at which it is restarting.
Retrieving HTTP headers
With the -I
(head) option, you can retrieve the HTTP headers only. This is the same as sending the HTTP HEAD command to a web server.
curl -I www.twitter.com
This command retrieves information only; it does not download any web pages or files.
Downloading Multiple URLs
Using xargs
we can download multiple URLs at once. Perhaps we want to download a series of web pages that make up a single article or tutorial.
Copy these URLs to an editor and save it to a file called “urls-to-download.txt.” We can use xargs
to treat the content of each line of the text file as a parameter which it will feed to curl
, in turn.
//tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#0 //tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#1 //tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#2 //tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#3 //tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#4 //tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#5
This is the command we need to use to have xargs
pass these URLs to curl
one at a time:
xargs -n 1 curl -O < urls-to-download.txt
Note that this command uses the -O
(remote file) output command, which uses an uppercase “O.” This option causes curl
to save the retrieved file with the same name that the file has on the remote server.
The -n 1
option tells xargs
to treat each line of the text file as a single parameter.
When you run the command, you’ll see multiple downloads start and finish, one after the other.
Checking in the file browser shows the multiple files have been downloaded. Each one bears the name it had on the remote server.
RELATED:How to Use the xargs Command on Linux
Downloading Files From an FTP Server
Using curl
with a File Transfer Protocol (FTP) server is easy, even if you have to authenticate with a username and password. To pass a username and password with curl
use the -u
(user) option, and type the username, a colon “:”, and the password. Don’t put a space before or after the colon.
This is a free-for-testing FTP server hosted by Rebex. The test FTP site has a pre-set username of “demo”, and the password is “password.” Don’t use this type of weak username and password on a production or “real” FTP server.
curl -u demo:password ftp://test.rebex.net
curl
figures out that we’re pointing it at an FTP server, and returns a list of the files that are present on the server.
The only file on this server is a “readme.txt” file, of 403 bytes in length. Let’s retrieve it. Use the same command as a moment ago, with the filename appended to it:
curl -u demo:password ftp://test.rebex.net/readme.txt
The file is retrieved and curl
displays its contents in the terminal window.
In almost all cases, it is going to be more convenient to have the retrieved file saved to disk for us, rather than displayed in the terminal window. Once more we can use the -O
(remote file) output command to have the file saved to disk, with the same filename that it has on the remote server.
curl -O -u demo:password ftp://test.rebex.net/readme.txt
The file is retrieved and saved to disk. We can use ls
to check the file details. It has the same name as the file on the FTP server, and it is the same length, 403 bytes.
ls -hl readme.txt
RELATED:How to Use the FTP Command on Linux
Sending Parameters to Remote Servers
Some remote servers will accept parameters in requests that are sent to them. The parameters might be used to format the returned data, for example, or they may be used to select the exact data that the user wishes to retrieve. It is often possible to interact with web application programming interfaces (APIs) using curl
.
As a simple example, the ipify website has an API can be queried to ascertain your external IP address.
curl //api.ipify.org
By adding the format
parameter to the command, with the value of “json” we can again request our external IP address, but this time the returned data will be encoded in the JSON format.
curl //api.ipify.org?format=json
Here’s another example that makes use of a Google API. It returns a JSON object describing a book. The parameter you must provide is the International Standard Book Number (ISBN) number of a book. You can find these on the back cover of most books, usually below a barcode. The parameter we’ll use here is “0131103628.”
curl //www.googleapis.com/books/v1/volumes?q=isbn:0131103628
The returned data is comprehensive:
Sometimes curl, Sometimes wget
If I wanted to download content from a website and have the tree-structure of the website searched recursively for that content, I’d use wget
.
Jei norėčiau sąveikauti su nuotoliniu serveriu ar API ir galbūt atsisiųsti kai kuriuos failus ar tinklalapius, norėčiau naudoti curl
. Ypač jei protokolas buvo vienas iš daugelio nepalaikomų wget
.