test Comment pouvez-vous comparer deux pipelines dans Bash?




shell test si chaine contient (3)

Comment pouvez-vous diff deux pipelines sans utiliser de fichiers temporaires dans Bash? Supposons que vous ayez deux pipelines de commande:

foo | bar
baz | quux

Et vous voulez trouver le diff dans leurs sorties. Une solution serait évidemment de:

foo | bar > /tmp/a
baz | quux > /tmp/b
diff /tmp/a /tmp/b

Est-il possible de le faire sans l'utilisation de fichiers temporaires dans Bash? Vous pouvez vous débarrasser d'un fichier temporaire en redirigeant l'un des pipelines vers diff:

foo | bar > /tmp/a
baz | quux | diff /tmp/a -

Mais vous ne pouvez pas canaliser simultanément les deux pipelines en diff (pas de manière évidente, au moins). Y a-t-il un truc intelligent impliquant /dev/fd pour faire cela sans utiliser de fichiers temporaires?


Dans bash vous pouvez utiliser des sous-cases, pour exécuter individuellement les pipelines de commande, en entourant le pipeline entre parenthèses. Vous pouvez ensuite les préfixer avec <pour créer des canaux nommés anonymes que vous pouvez ensuite passer à diff.

Par exemple:

diff <(foo | bar) <(baz | quux)

Les pipes nommés anonymes sont gérés par bash afin qu'ils soient créés et détruits automatiquement (contrairement aux fichiers temporaires).


Certaines personnes arrivant sur cette page pourraient être à la recherche d'un diff ligne par ligne, pour lequel comm ou grep -f devrait être utilisé à la place.

Une chose à souligner est que, dans tous les exemples de réponses, les différences ne commenceront pas réellement tant que les deux flux n'auront pas été terminés. Testez ceci avec par exemple:

comm -23 <(seq 100 | sort) <(seq 10 20 && sleep 5 && seq 20 30 | sort)

Si c'est un problème, vous pouvez essayer sd (stream diff), qui ne nécessite pas de tri (comme comm ne le fait pas) ni de processus de substitution comme les exemples ci-dessus, est plus rapide que grep -f et prend en charge les flux infinis.

L'exemple de test que je propose serait écrit comme ceci dans sd :

seq 100 | sd 'seq 10 20 && sleep 5 && seq 20 30'

Mais la différence est que seq 100 serait différé avec seq 10 tout de suite. Notez que, si l'un des flux est un tail -f , le diff ne peut pas être effectué avec une substitution de processus.

Voici un article de blogpost j'ai écrit sur diffing streams sur le terminal, qui introduit sd .


Une ligne avec 2 fichiers tmp (pas ce que vous voulez) serait:

 foo | bar > file1.txt && baz | quux > file2.txt && diff file1.txt file2.txt

Avec bash , vous pourriez essayer:

 diff <(foo | bar) <(baz | quux)

 foo | bar | diff - <(baz | quux)  # or only use process substitution once

La 2ème version vous rappellera plus clairement quelle entrée était, en montrant
-- /dev/stdin vs ++ /dev/fd/63 ou quelque chose, au lieu de deux fds numérotés.

Même pas un tube nommé apparaîtra dans le système de fichiers, au moins sur les OS où bash peut implémenter une substitution de processus en utilisant des noms de fichiers comme /dev/fd/63 pour obtenir un nom de fichier que la commande peut ouvrir et lire. ouvrir le descripteur de fichier que bash a configuré avant d'exécuter la commande. (par exemple, bash utilise pipe(2) avant fork, puis dup2 pour rediriger depuis la sortie de quux vers un descripteur de fichier d'entrée pour diff , sur fd 63.)

Sur un système sans "magique" /dev/fd ou /proc/self/fd , bash peut utiliser des canaux nommés pour implémenter la substitution de processus, mais il les gèrerait au moins lui-même, contrairement aux fichiers temporaires, et vos données ne seraient pas écrit dans le système de fichiers.

Vous pouvez vérifier comment bash implémente la substitution de processus avec echo <(true) pour imprimer le nom de fichier au lieu de le lire. Il imprime /dev/fd/63 sur un système Linux typique. Ou pour plus de détails sur les appels système que bash utilise, cette commande sur un système Linux suivra les appels système de fichiers et de descripteurs de fichiers

strace -f -efile,desc,clone,execve bash -c '/bin/true | diff -u - <(/bin/true)'

Sans bash, vous pourriez faire un tuyau nommé . Utilisez - pour indiquer à diff de lire une entrée de STDIN, et d'utiliser le tube nommé comme l'autre:

mkfifo file1_pipe.txt
foo|bar > file1_pipe.txt && baz | quux | diff file1_pipe.txt - && rm file1_pipe.txt

Notez que vous ne pouvez envoyer une sortie à plusieurs entrées qu'avec la commande tee:

ls *.txt | tee /dev/tty txtlist.txt 

La commande ci-dessus affiche la sortie de ls * .txt sur le terminal et l'affiche dans le fichier texte txtlist.txt.

Mais avec la substitution de processus, vous pouvez utiliser tee pour envoyer les mêmes données dans plusieurs pipelines:

cat *.txt | tee >(foo | bar > result1.txt)  >(baz | quux > result2.txt) | foobar




pipeline