Awk Komutu Linux'ta Nasıl Kullanılır
Linux'ta, awk
bir komut satırı metin işleme dinamosunun yanı sıra güçlü bir betik dilidir. İşte en harika özelliklerinden bazılarına bir giriş.
Awk Adını Nasıl Aldı?
awk
Alfred Aho Peter Weinberger ve Brian Kernighan: Komut 1977 yılında orijinal versiyonunu yazdı üç kişinin baş harflerini kullanarak seçildi. Bu üç adam, efsanevi AT&T Bell Laboratories Unix panteonundandı. O zamandan beri birçok kişinin katkılarıyla awk
gelişmeye devam etti.
Tam bir betik dilinin yanı sıra komut satırı için eksiksiz bir metin işleme araç takımıdır. Bu makale iştahınızı kabartıyorsa, hakkında her ayrıntıyı awk
ve işlevselliğini kontrol edebilirsiniz .
Kurallar, Kalıplar ve Eylemler
awk
kalıplardan ve eylemlerden oluşan kuralları içeren programlar üzerinde çalışır. Eylem, modelle eşleşen metin üzerinde yürütülür. Desenler kaşlı ayraçlar ( {}
) içine alınır . Bir kalıp ve bir eylem birlikte bir kural oluşturur. Programın tamamı awk
tek tırnak ( '
) içine alınır .
En basit awk
program türüne bir göz atalım . Deseni yoktur, bu nedenle içine beslenen her metin satırıyla eşleşir. Bu, eylemin her satırda yürütüldüğü anlamına gelir. Bunu who
komutun çıktısında kullanacağız .
İşte standart çıktı who
:
DSÖ
Belki de tüm bu bilgilere ihtiyacımız yok, daha ziyade hesaplardaki isimleri görmek istiyoruz. Çıktıyı who
içine aktarabilir awk
ve ardından awk
yalnızca ilk alanı yazdırmayı söyleyebiliriz .
Varsayılan olarak, awk
bir alanı boşlukla çevrili bir karakter dizisi, bir satırın başlangıcı veya bir satırın sonu olarak kabul eder. Alanlar bir dolar işareti ( $
) ve bir sayı ile tanımlanır. Bu nedenle, $1
ilk alanı print
yazdırmak için eylemde kullanacağımız ilk alanı temsil eder .
Aşağıdakileri yazıyoruz:
kim | awk '{print $ 1}'
awk
ilk alanı yazdırır ve satırın geri kalanını atar.
İstediğimiz kadar alan yazdırabiliriz. Ayırıcı olarak virgül eklersek awk
her alanın arasına bir boşluk yazdırır.
Kişinin oturum açtığı saati de yazdırmak için aşağıdakileri yazıyoruz (alan dört):
kim | awk '{baskı $ 1, $ 4}'
Birkaç özel alan tanımlayıcısı vardır. Bunlar, tüm metin satırını ve metin satırındaki son alanı temsil eder:
- $ 0 : Tüm metin satırını temsil eder.
- $ 1 : İlk alanı temsil eder.
- $ 2 : İkinci alanı temsil eder.
- 7 $ : Yedinci alanı temsil eder.
- 45 $ : 45. alanı temsil eder.
- $ NF : "Alan sayısı" anlamına gelir ve son alanı temsil eder.
Dennis Ritchie'ye atfedilen kısa bir alıntı içeren küçük bir metin dosyası getirmek için aşağıdakileri yazacağız:
kedi dennis_ritchie.txt
Teklifin awk
birinci, ikinci ve son alanını yazdırmak istiyoruz . Terminal penceresinin etrafına sarılmış olmasına rağmen, sadece tek bir metin satırı olduğunu unutmayın.
Aşağıdaki komutu yazıyoruz:
awk '{baskı $ 1, $ 2, $ NF}' dennis_ritchie.txt
Bu "basitliği" bilmiyoruz. metin satırındaki 18. alandır ve umursamıyoruz. Bildiğimiz şey bunun son alandır ve $NF
değerini elde etmek için kullanabiliriz . Dönem, alanın gövdesindeki başka bir karakter olarak kabul edilir.
Çıktı Alanı Ayırıcıları Ekleme
Ayrıca awk
, varsayılan boşluk karakteri yerine alanlar arasında belirli bir karakterin yazdırılmasını da söyleyebilirsiniz . date
Komutun varsayılan çıktısı biraz tuhaftır çünkü zaman tam ortasında gösterilir. Ancak, aşağıdakileri yazabilir ve awk
istediğimiz alanları çıkarmak için kullanabiliriz :
tarih
tarih | awk '{baskı $ 2, $ 3, $ 6}'
OFS
Ay, gün ve yıl arasına bir ayırıcı koymak için (çıktı alanı ayırıcısı) değişkenini kullanacağız. Aşağıda komutu '
küme ayraçları ( {}
) değil, tek tırnak işaretleri ( ) içine aldığımızı unutmayın :
tarih | awk 'OFS = "/" {baskı $ 2, $ 3, $ 6}'
tarih | awk 'OFS = "-" {baskı $ 2, $ 3, $ 6}'
BEGIN ve END Kuralları
BEGIN
Herhangi bir metin işleme başlamadan önce bir kural bir kez yürütülür. Aslında, awk
herhangi bir metni bile okumadan önce yürütülür . END
Tüm işlemler tamamlandıktan sonra bir kural yürütülür. Sen birden sahip olabilir BEGIN
ve END
kuralları ve bunlar sırayla çalıştırmak gerekir.
Bir BEGIN
kural örneğimiz için, dennis_ritchie.txt
daha önce kullandığımız dosyadaki tüm alıntıyı üzerinde bir başlık olacak şekilde yazdıracağız .
Bunu yapmak için şu komutu yazıyoruz:
awk 'BEGIN {print "Dennis Ritchie"} {print $0}' dennis_ritchie.txt
Note the BEGIN
rule has its own set of actions enclosed within its own set of curly braces ({}
).
We can use this same technique with the command we used previously to pipe output from who
into awk
. To do so, we type the following:
who | awk 'BEGIN {print "Active Sessions"} {print $1,$4}'
Input Field Separators
If you want awk
to work with text that doesn’t use whitespace to separate fields, you have to tell it which character the text uses as the field separator. For example, the /etc/passwd
file uses a colon (:
) to separate fields.
We’ll use that file and the -F
(separator string) option to tell awk
to use the colon (:
) as the separator. We type the following to tell awk
to print the name of the user account and the home folder:
awk -F: '{print $1,$6}' /etc/passwd
The output contains the name of the user account (or application or daemon name) and the home folder (or the location of the application).
Adding Patterns
If all we’re interested in are regular user accounts, we can include a pattern with our print action to filter out all other entries. Because User ID numbers are equal to, or greater than, 1,000, we can base our filter on that information.
We type the following to execute our print action only when the third field ($3
) contains a value of 1,000 or greater:
awk -F: '$3 >= 1000 {print $1,$6}' /etc/passwd
The pattern should immediately precede the action with which it’s associated.
We can use the BEGIN
rule to provide a title for our little report. We type the following, using the (\n
) notation to insert a newline character into the title string:
awk -F: 'BEGIN {print "User Accounts\n-------------"} $3 >= 1000 {print $1,$6}' /etc/passwd
Patterns are full-fledged regular expressions, and they’re one of the glories of awk
.
Let’s say we want to see the universally unique identifiers (UUIDs) of the mounted file systems. If we search through the /etc/fstab
file for occurrences of the string “UUID,” it ought to return that information for us.
We use the search pattern “/UUID/” in our command:
awk '/UUID/ {print $0}' /etc/fstab
It finds all occurrences of “UUID” and prints those lines. We actually would’ve gotten the same result without the print
action because the default action prints the entire line of text. For clarity, though, it’s often useful to be explicit. When you look through a script or your history file, you’ll be glad you left clues for yourself.
The first line found was a comment line, and although the “UUID” string is in the middle of it, awk
still found it. We can tweak the regular expression and tell awk
to process only lines that start with “UUID.” To do so, we type the following which includes the start of line token (^
):
awk '/^UUID/ {print $0}' /etc/fstab
That’s better! Now, we only see genuine mount instructions. To refine the output even further, we type the following and restrict the display to the first field:
awk '/^UUID/ {print $1}' /etc/fstab
If we had multiple file systems mounted on this machine, we’d get a neat table of their UUIDs.
Built-In Functions
awk
has many functions you can call and use in your own programs, both from the command line and in scripts. If you do some digging, you’ll find it very fruitful.
To demonstrate the general technique to call a function, we’ll look at some numeric ones. For example, the following prints the square root of 625:
awk 'BEGIN { print sqrt(625)}'
This command prints the arctangent of 0 (zero) and -1 (which happens to be the mathematical constant, pi):
awk 'BEGIN {print atan2(0, -1)}'
In the following command, we modify the result of the atan2()
function before we print it:
awk 'BEGIN {print atan2(0, -1)*100}'
Functions can accept expressions as parameters. For example, here’s a convoluted way to ask for the square root of 25:
awk 'BEGIN { print sqrt((2+3)*5)}'
awk Scripts
If your command line gets complicated, or you develop a routine you know you’ll want to use again, you can transfer your awk
command into a script.
In our example script, we’re going to do all of the following:
- Tell the shell which executable to use to run the script.
- Prepare
awk
to use theFS
field separator variable to read input text with fields separated by colons (:
). - Use the
OFS
output field separator to tellawk
to use colons (:
) to separate fields in the output. - Set a counter to 0 (zero).
- Set the second field of each line of text to a blank value (it’s always an “x,” so we don’t need to see it).
- Print the line with the modified second field.
- Increment the counter.
- Print the value of the counter.
Our script is shown below.
The BEGIN
rule carries out the preparatory steps, while the END
rule displays the counter value. The middle rule (which has no name, nor pattern so it matches every line) modifies the second field, prints the line, and increments the counter.
The first line of the script tells the shell which executable to use (awk
, in our example) to run the script. It also passes the -f
(filename) option to awk
, which informs it the text it’s going to process will come from a file. We’ll pass the filename to the script when we run it.
We’ve included the script below as text so you can cut and paste:
#!/usr/bin/awk -f BEGIN { # set the input and output field separators FS=":" OFS=":" # zero the accounts counter accounts=0 } { # set field 2 to nothing $2="" # print the entire line print $0 # count another account accounts++ } END { # print the results print accounts " accounts.\n" }
Save this in a file called omit.awk
. To make the script executable, we type the following using chmod
:
chmod +x omit.awk
Now, we’ll run it and pass the /etc/passwd
file to the script. This is the file awk
will process for us, using the rules within the script:
./omit.awk /etc/passwd
The file is processed and each line is displayed, as shown below.
The “x” entries in the second field were removed, but note the field separators are still present. The lines are counted and the total is given at the bottom of the output.
awk Doesn’t Stand for Awkward
awk
doesn’t stand for awkward; it stands for elegance. It’s been described as a processing filter and a report writer. More accurately, it’s both of these, or, rather, a tool you can use for both of these tasks. In just a few lines, awk
achieves what requires extensive coding in a traditional language.
That power is harnessed by the simple concept of rules that contain patterns, that select the text to process, and actions that define the processing.