linux awk範例 - 如何快速匯總文件中的所有數字?




command ls (22)

只是為了荒謬:

cat f | tr "\n" "+" | perl -pne chop | R --vanilla --slave

我有一個包含數千個數字的文件,每個數字都在它自己的行上:

34
42
11
6
2
99
...

我正在編寫一個腳本,它將打印文件中所有數字的總和。 我有一個解決方案,但效率不高。 (需要幾分鐘才能運行。)我正在尋找更高效的解決方案。 有什麼建議麼?


這是另一個:

open(FIL, "a.txt");

my $sum = 0;
foreach( <FIL> ) {chomp; $sum += $_;}

close(FIL);

print "Sum = $sum\n";

Perl 6

say sum lines
~$ perl6 -e '.say for 0..1000000' > test.in

~$ perl6 -e 'say sum lines' < test.in
500000500000

另一個樂趣

sum=0;for i in $(cat file);do sum=$((sum+$i));done;echo $sum

或者只有其他bash

s=0;while read l; do s=$((s+$l));done<file;echo $s

但awk解決方案可能是最好的,因為它最緊湊。


只是為了好玩,讓我們來衡量它:

$ for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers

$ time perl -nle '$sum += $_ } END { print $sum' random_numbers
16379866392

real    0m0.226s
user    0m0.219s
sys     0m0.002s

$ time awk '{ sum += $1 } END { print sum }' random_numbers
16379866392

real    0m0.311s
user    0m0.304s
sys     0m0.005s

$ time { { tr "\n" + < random_numbers ; echo 0; } | bc; }
16379866392

real    0m0.445s
user    0m0.438s
sys     0m0.024s

$ time { s=0;while read l; do s=$((s+$l));done<random_numbers;echo $s; }
16379866392

real    0m9.309s
user    0m8.404s
sys     0m0.887s

$ time { s=0;while read l; do ((s+=l));done<random_numbers;echo $s; }
16379866392

real    0m7.191s
user    0m6.402s
sys     0m0.776s

$ time { sed ':a;N;s/\n/+/;ta' random_numbers|bc; }
^C

real    4m53.413s
user    4m52.584s
sys 0m0.052s

5分鐘後我中止了賽跑


迄今為止,解決方案都沒有使用paste 。 這裡有一個:

paste -sd+ filename | bc

例如,計算Σn,其中1 <= n <= 100000:

$ seq 100000 | paste -sd+ | bc -l
5000050000

(為了好奇, seq n會打印一個從1n的數字序列,給定正數n 。)


+替換所有新行並不容易,添加一個0並將它發送給Ruby解釋器?

(sed -e "s/$/+/" file; echo 0)|irb

如果你沒有irb ,你可以把它發送給bc ,但你必須刪除除了最後一個( echo )以外的所有換行符。 除非你在sed有博士學位,否則最好使用tr

(sed -e "s/$/+/" file|tr -d "\n"; echo 0)|bc

只是為了好玩,讓我們用PDL ,Perl的數組數學引擎來做!

perl -MPDL -E 'say rcols(shift)->sum' datafile

rcols將列讀入矩陣(本例中為1D), sum (驚喜)將矩陣的所有元素相加。


我更喜歡將GNU datamash用於這些任務,因為它比perl或awk更簡潔明了。 例如

datamash sum 1 < myfile

其中1表示第一列數據。


我沒有測試過,但它應該可以工作:

cat f | tr "\n" "+" | sed 's/+$/\n/' | bc

如果bc不處理EOF和EOL,則可能必須在bc之前向字符串添加“\ n”(如通過echo)。


這是直Bash:

sum=0
while read -r line
do
    (( sum += line ))
done < file
echo $sum

$ perl -MList::Util=sum -le 'print sum <>' nums.txt

這工作:

{ tr '\n' +; echo 0; } < file.txt | bc

我更喜歡用R來表示這個:

$ R -e 'sum(scan("filename"))'

你可以用Alacon - Alasql數據庫的命令行工具來Alasql

它適用於Node.js,因此您需要安裝Node.js ,然後安裝Alasql包:

要計算來自TXT文件的總和,您可以使用以下命令:

> node alacon "SELECT VALUE SUM([0]) FROM TXT('mydata.txt')"

更簡潔:

# Ruby
ruby -e 'puts open("random_numbers").map(&:to_i).reduce(:+)'

# Python
python -c 'print(sum(int(l) for l in open("random_numbers")))'

對於Perl 單線程 ,它與Ayman Hourieh的答案中awk解決方案基本相同:

 % perl -nle '$sum += $_ } END { print $sum'

如果你很好奇Perl單線程所做的事情,你可以對它們進行分析:

 %  perl -MO=Deparse -nle '$sum += $_ } END { print $sum'

結果是該程序的一個更詳細的版本,以任何人都不會自己寫的形式:

BEGIN { $/ = "\n"; $\ = "\n"; }
LINE: while (defined($_ = <ARGV>)) {
    chomp $_;
    $sum += $_;
}
sub END {
    print $sum;
}
-e syntax OK

只是為了咯咯地笑,我試著用一個包含1,000,000個數字的文件(範圍在0 - 9,999)。 在我的Mac Pro上,它幾乎是瞬間返回。 這太糟糕了,因為我希望使用mmap會非常快,但它只是同一時間:

use 5.010;
use File::Map qw(map_file);

map_file my $map, $ARGV[0];

$sum += $1 while $map =~ m/(\d+)/g;

say $sum;

這是一個使用python和生成器表達式的解決方案。 在我舊的筆記本電腦上測試了一百萬個數字。

time python -c "import sys; print sum((float(l) for l in sys.stdin))" < file

real    0m0.619s
user    0m0.512s
sys     0m0.028s

cat nums | perl -ne '$sum += $_ } { print $sum'

(與brian d foy的答案相同,沒有'END')


使用Ruby:

ruby -e "File.read('file.txt').split.inject(0){|mem, obj| mem += obj.to_f}"

C總是贏得速度:

#include <stdio.h>
#include <stdlib.h>

int main(int argc, char **argv) {
    ssize_t read;
    char *line = NULL;
    size_t len = 0;
    double sum = 0.0;

    while (read = getline(&line, &len, stdin) != -1) {
        sum += atof(line);
    }

    printf("%f", sum);
    return 0;
}

時間為1M數字(與我的Python回答相同的機器/輸入):

$ gcc sum.c -o sum && time ./sum < numbers 
5003371677.000000
real    0m0.188s
user    0m0.180s
sys     0m0.000s

此shell腳本也適用於在目錄中查找文件:

echo "enter file"

read -r a

if [ -s /home/trainee02/"$a" ]
then
    echo "yes. file is there."
else
    echo "sorry. file is not there."
fi




linux perl bash shell awk