Linux Komut Satırından Dosyaları İndirmek için curl Nasıl Kullanılır
Linux curlkomutu, dosyaları indirmekten çok daha fazlasını yapabilir. Neyin curlyapabileceğini ve yerine ne zaman kullanmanız gerektiğini öğrenin wget.
curl vs wget: Fark Nedir?
İnsanlar genellikle wgetve curlkomutlarının göreceli güçlerini belirlemek için mücadele ederler . Komutların bazı işlevsel örtüşmeleri var. Her biri dosyaları uzak konumlardan alabilirler, ancak benzerlik burada biter.
wgetiçerik ve dosya indirmek için harika bir araçtır. Dosyaları, web sayfalarını ve dizinleri indirebilir. Web sayfalarındaki bağlantılarda gezinmek ve içeriği bir web sitesinin tamamında yinelemeli olarak indirmek için akıllı rutinler içerir. Bir komut satırı indirme yöneticisi olarak eşsizdir.
curltamamen farklı bir ihtiyacı karşılar. Evet, dosyaları alabilir, ancak geri alınacak içeriği arayan bir web sitesinde özyinelemeli olarak dolaşamaz. Ne curlaslında yok bu sistemler yönelik talepler yapmak ve almak ve size olan tepkilerini göstererek uzak sistemlerle size etkileşim izin vermek. Bu yanıtlar web sayfası içeriği ve dosyaları olabilir, ancak curl isteği tarafından sorulan "soru" nun bir sonucu olarak bir web hizmeti veya API aracılığıyla sağlanan verileri de içerebilir.
Ve curlweb siteleriyle sınırlı değildir. curlHTTP, HTTPS, SCP, SFTP ve FTP dahil 20'den fazla protokolü destekler. Ve tartışmasız, Linux borularının üstün kullanımı nedeniyle curl, diğer komutlar ve komut dosyalarıyla daha kolay entegre edilebilir.
Yazarı, ve curlarasında gördüğü farklılıkları açıklayan bir web sayfasına sahiptir .curlwget
Curl yükleme
Bu makaleyi araştırmak için kullanılan bilgisayarlardan Fedora 31 ve Manjaro 18.1.0 curl zaten kurulmuştu. curlUbuntu 18.04 LTS'ye yüklenmesi gerekiyordu. Ubuntu'da, yüklemek için şu komutu çalıştırın:
sudo apt-get install curl
Curl Sürümü
--versionOpsiyon markaları curlkendi versiyonunu bildirmektedir. Ayrıca desteklediği tüm protokolleri de listeler.
curl --version
Bir Web Sayfasını Geri Getirme
curlBir web sayfasını işaret edersek , bizim için onu alır.
curl //www.bbc.com
Ancak varsayılan eylemi, kaynak kodu olarak terminal penceresine dökmektir.
Dikkat : Bir curlşeyin dosya olarak saklanmasını istediğinizi söylemezseniz , her zaman onu terminal penceresine atar. Aldığı dosya bir ikili dosyaysa, sonuç tahmin edilemez olabilir. Kabuk, ikili dosyadaki bazı bayt değerlerini kontrol karakterleri veya kaçış dizileri olarak yorumlamaya çalışabilir.
Verileri Dosyaya Kaydetme
Curl'ye çıktıyı bir dosyaya yönlendirmesini söyleyelim:
curl //www.bbc.com> bbc.html
Bu sefer alınan bilgiyi görmüyoruz, bizim için doğrudan dosyaya gönderiliyor. Görüntülenecek terminal pencere çıktısı olmadığından, curlbir dizi ilerleme bilgisi verir.
Bunu önceki örnekte yapmadı çünkü ilerleme bilgisi web sayfası kaynak kodu boyunca dağılmış olacaktı, bu yüzden curlotomatik olarak bastırdı.
Bu örnekte, curlçıktının bir dosyaya yeniden yönlendirildiğini ve ilerleme bilgisini oluşturmanın güvenli olduğunu algılar.
Sağlanan bilgiler şu şekildedir:
- Toplam% : Alınacak toplam miktar.
- Alınan Yüzde: Şimdiye kadar alınan verilerin yüzdesi ve gerçek değerleri.
- % Xferd : Veriler karşıya yükleniyorsa gönderilen yüzde ve fiili.
- Average Speed Dload : Ortalama indirme hızı.
- Ortalama Hızlı Yükleme : Ortalama yükleme hızı.
- Toplam Süre : Transferin tahmini toplam süresi.
- Harcanan Zaman : Bu transfer için şimdiye kadar geçen süre.
- Kalan Süre : Transferin tamamlanması için kalan tahmini süre
- Mevcut Hız : Bu transfer için mevcut transfer hızı.
Çıktıyı curl dosyadan bir dosyaya yönlendirdiğimiz için artık "bbc.html" adında bir dosyamız var.
Bu dosyaya çift tıklamak varsayılan tarayıcınızı açacak ve böylece geri alınan web sayfasını görüntüleyecektir.
Tarayıcı adres çubuğundaki adresin uzak bir web sitesi değil, bu bilgisayardaki yerel bir dosya olduğunu unutmayın.
Bir dosya oluşturmak için çıktıyı yeniden yönlendirmemiz gerekmez . Biz kullanarak bir dosya oluşturabilirsiniz -o(çıkış) seçeneğini ve söylüyorum curldosya oluşturmak için. Burada -oseçeneği kullanıyoruz ve "bbc.html" oluşturmak istediğimiz dosyanın adını sağlıyoruz.
curl -o bbc.html //www.bbc.com
Using a Progress Bar To Monitor Downloads
To have the text-based download information replaced by a simple progress bar, use the -# (progress bar) option.
curl -x -o bbc.html //www.bbc.com
Restarting an Interrupted Download
It is easy to restart a download that has been terminated or interrupted. Let’s start a download of a sizeable file. We’ll use the latest Long Term Support build of Ubuntu 18.04. We’re using the --output option to specify the name of the file we wish to save it into: “ubuntu180403.iso.”
curl --output ubuntu18043.iso //releases.ubuntu.com/18.04.3/ubuntu-18.04.3-desktop-amd64.iso
The download starts and works its way towards completion.
If we forcibly interrupt the download with Ctrl+C , we’re returned to the command prompt, and the download is abandoned.
To restart the download, use the -C (continue at) option. This causes curl to restart the download at a specified point or offset within the target file. If you use a hyphen - as the offset, curl will look at the already downloaded portion of the file and determine the correct offset to use for itself.
curl -C - --output ubuntu18043.iso //releases.ubuntu.com/18.04.3/ubuntu-18.04.3-desktop-amd64.iso
The download is restarted. curl reports the offset at which it is restarting.
Retrieving HTTP headers
With the -I (head) option, you can retrieve the HTTP headers only. This is the same as sending the HTTP HEAD command to a web server.
curl -I www.twitter.com
This command retrieves information only; it does not download any web pages or files.
Downloading Multiple URLs
Using xargs we can download multiple URLs at once. Perhaps we want to download a series of web pages that make up a single article or tutorial.
Copy these URLs to an editor and save it to a file called “urls-to-download.txt.” We can use xargs to treat the content of each line of the text file as a parameter which it will feed to curl, in turn.
//tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#0 //tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#1 //tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#2 //tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#3 //tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#4 //tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#5
This is the command we need to use to have xargs pass these URLs to curl one at a time:
xargs -n 1 curl -O < urls-to-download.txt
Note that this command uses the -O (remote file) output command, which uses an uppercase “O.” This option causes curl to save the retrieved file with the same name that the file has on the remote server.
The -n 1 option tells xargs to treat each line of the text file as a single parameter.
When you run the command, you’ll see multiple downloads start and finish, one after the other.
Checking in the file browser shows the multiple files have been downloaded. Each one bears the name it had on the remote server.
RELATED:How to Use the xargs Command on Linux
Downloading Files From an FTP Server
Using curl with a File Transfer Protocol (FTP) server is easy, even if you have to authenticate with a username and password. To pass a username and password with curl use the -u (user) option, and type the username, a colon “:”, and the password. Don’t put a space before or after the colon.
This is a free-for-testing FTP server hosted by Rebex. The test FTP site has a pre-set username of “demo”, and the password is “password.” Don’t use this type of weak username and password on a production or “real” FTP server.
curl -u demo:password ftp://test.rebex.net
curl figures out that we’re pointing it at an FTP server, and returns a list of the files that are present on the server.
The only file on this server is a “readme.txt” file, of 403 bytes in length. Let’s retrieve it. Use the same command as a moment ago, with the filename appended to it:
curl -u demo:password ftp://test.rebex.net/readme.txt
The file is retrieved and curl displays its contents in the terminal window.
In almost all cases, it is going to be more convenient to have the retrieved file saved to disk for us, rather than displayed in the terminal window. Once more we can use the -O (remote file) output command to have the file saved to disk, with the same filename that it has on the remote server.
curl -O -u demo:password ftp://test.rebex.net/readme.txt
The file is retrieved and saved to disk. We can use ls to check the file details. It has the same name as the file on the FTP server, and it is the same length, 403 bytes.
ls -hl readme.txt
RELATED:How to Use the FTP Command on Linux
Sending Parameters to Remote Servers
Some remote servers will accept parameters in requests that are sent to them. The parameters might be used to format the returned data, for example, or they may be used to select the exact data that the user wishes to retrieve. It is often possible to interact with web application programming interfaces (APIs) using curl.
As a simple example, the ipify website has an API can be queried to ascertain your external IP address.
curl //api.ipify.org
By adding the format parameter to the command, with the value of “json” we can again request our external IP address, but this time the returned data will be encoded in the JSON format.
curl //api.ipify.org?format=json
Here’s another example that makes use of a Google API. It returns a JSON object describing a book. The parameter you must provide is the International Standard Book Number (ISBN) number of a book. You can find these on the back cover of most books, usually below a barcode. The parameter we’ll use here is “0131103628.”
curl //www.googleapis.com/books/v1/volumes?q=isbn:0131103628
The returned data is comprehensive:
Sometimes curl, Sometimes wget
If I wanted to download content from a website and have the tree-structure of the website searched recursively for that content, I’d use wget.
If I wanted to interact with a remote server or API, and possibly download some files or web pages, I’d use curl. Especially if the protocol was one of the many not supported by wget.
