Remover entradas duplicadas usando um script Bash




shell script (4)

Esta questão já tem uma resposta aqui:

Eu quero remover entradas duplicadas de um arquivo de texto, por exemplo:

kavitha= Tue Feb    20 14:00 19 IST 2012  (duplicate entry) 
sree=Tue Jan  20 14:05 19 IST 2012  
divya = Tue Jan  20 14:20 19 IST 2012  
anusha=Tue Jan 20 14:45 19 IST 2012 
kavitha= Tue Feb    20 14:00 19 IST 2012 (duplicate entry) 

Existe alguma maneira possível de remover as entradas duplicadas usando um script Bash?

Saída desejada

kavitha= Tue Feb    20 14:00 19 IST 2012 
sree=Tue Jan  20 14:05 19 IST 2012  
divya = Tue Jan  20 14:20 19 IST 2012  
anusha=Tue Jan 20 14:45 19 IST 2012

Você pode sort então uniq :

$ sort -u input.txt

Ou use o awk :

$ awk '!a[$0]++' input.txt

Isso pode funcionar para você:

cat -n file.txt |
sort -u -k2,7 |
sort -n |
sed 's/.*\t/    /;s/\([0-9]\{4\}\).*/\1/'

ou isto:

 awk '{line=substr($0,1,match($0,/[0-9][0-9][0-9][0-9]/)+3);sub(/^/,"    ",line);if(!dup[line]++)print line}' file.txt

Perl one-liner similar à solução awk do @kev:

perl -ne 'print if ! $a{$_}++' input

Essa variação remove espaços em branco antes de comparar:

perl -lne 's/\s*$//; print if ! $a{$_}++' input

Essa variação edita o arquivo no local:

perl -i -ne 'print if ! $a{$_}++' input

Essa variação edita o arquivo no local e faz uma entrada de input.bak

perl -i.bak -ne 'print if ! $a{$_}++' input

Exclui linhas duplicadas e consecutivas de um arquivo (emula "uniq").
A primeira linha em um conjunto de linhas duplicadas é mantida, o resto é excluído.

sed '$!N; /^\(.*\)\n\1$/!P; D'




shell