Как удалить определенные слова из строк текстового файла?

Это задание для awk; предполагая, что значения встречаются только в последнем поле (в соответствии с вашим примером):

awk '{print $NF}' file.txt

Пример:

% cat temp.txt 
Liquid penetration 95% mass (m) = 0.000205348
Liquid penetration 95% mass (m) = 0.000265725
Liquid penetration 95% mass (m) = 0.000322823
Liquid penetration 95% mass (m) = 0.000376445
Liquid penetration 95% mass (m) = 0.000425341

% awk '{print $NF}' temp.txt
0.000205348
0.000265725
0.000322823
0.000376445
0.000425341

Я решил сравнить различные решения, перечисленные здесь. Для этого я создал большой файл на основе содержимого, предоставленного OP:

$ cat input.file
Liquid penetration 95% mass (m) = 0.000205348
Liquid penetration 95% mass (m) = 0.000265725
Liquid penetration 95% mass (m) = 0.000322823
Liquid penetration 95% mass (m) = 0.000376445
Liquid penetration 95% mass (m) = 0.000425341

for i in {1..100}; do cat input.file | tee -a input.file; done

$ cat input.file | wc -l
2192473

Вот результат сравнение:

Источник идеи.

С grep и -P для PCRE (интерпретируйте шаблон как регулярное выражение, совместимое с Perl) и -o для печати только одного шаблона. Уведомление \K будет игнорировать согласованную часть, пришедшую перед собой.

$ grep -oP '.*= \K.*' infile
0.000205348
0.000265725
0.000322823
0.000376445
0.000425341

Или вы могли бы использовать команду grep .

cut -d= -f2 infile

Поскольку префикс линии всегда имеет одинаковую длину (34 символа), вы можете использовать cut:

cut -c 35- input.txt > output.txt

Переверните содержимое файла с помощью rev, выведите вывод в cut с пробелом в качестве разделителя и 1 в качестве целевого поля, затем снова отформатируйте его, чтобы получить исходный номер:

$ rev your_file | cut -d' ' -f1 | rev
0.000205348
0.000265725
0.000322823
0.000376445
0.000425341

Это просто, коротко и легко писать, понимать и проверять, и мне лично это нравится:

grep -oE '\S+$' file

grep в Ubuntu, когда вызывается с помощью -E или -P, принимает стенографию \s как символ пробела (на практике обычно это пробел или табуляция), а \S означает что-либо, что не является одним. Используя квантификатор + и привязку конца строки $, шаблон \S+$ соответствует одному или нескольким незанятым в конце строки. Вы можете использовать -P вместо -E; значение в этом случае одно и то же, но используется другой механизм выражений, поэтому они могут иметь разные характеристики производительности.

Это эквивалентно grep в Ubuntu (просто с более легким, более компактным синтаксисом):

grep -o '[^[:space:]]\+$' file

Эти подходы не будут работать, если может быть завершение пробела обычно числа. Они могут быть изменены так, как они делают, но я не вижу смысла в этом. Хотя иногда поучительно обобщать решение для работы в большем количестве случаев, это практически не так почти так же часто, как люди склонны предполагать, потому что обычно нет способа узнать, в каком из многих разных несовместимых способов проблема в конечном итоге может потребоваться быть обобщенным.

Производительность иногда является важным соображением. Этот вопрос не предусматривает, что ввод очень велик, и вполне вероятно, что каждый метод, который был опубликован здесь, достаточно быстр. Однако, если скорость желательна, вот небольшой контрольный показатель для десятимиллионного входного файла:

$ perl -e 'print((<>) x 2000000)' file > bigfile
$ du -sh bigfile
439M    bigfile
$ wc -l bigfile
10000000 bigfile
$ TIMEFORMAT=%R
$ time grep -o '[^[:space:]]\+$' bigfile > bigfile.out
819.565
$ time grep -oE '\S+$' bigfile > bigfile.out
816.910
$ time grep -oP '\S+$' bigfile > bigfile.out
67.465
$ time cut -d= -f2 bigfile > bigfile.out
3.902
$ time grep -o '[^[:space:]]\+$' bigfile > bigfile.out
815.183
$ time grep -oE '\S+$' bigfile > bigfile.out
824.546
$ time grep -oP '\S+$' bigfile > bigfile.out
68.692
$ time cut -d= -f2 bigfile > bigfile.out
4.135

Я запускал его дважды в том случае, когда имел значение порядок (как это иногда бывает для I / O-тяжелого задачи), и потому, что у меня не было машины, которая не делала другие вещи в фоновом режиме, которые могли бы исказить результаты. Из этих результатов я заключаю следующее, по крайней мере временно, и для входных файлов размера, который я использовал:

grep -oP '\S+$' file

perl - замените шаблон /.*= / пустой строкой //:

perl -pe 's/.*= //' input.file > output.file

perl -i.bak -pe 's/.*= //' input.file

-e program        one line of program (several -e's allowed, omit programfile)
-p                assume loop like -n but print line also, like sed
-i[extension]     edit <> files in place (makes backup if extension supplied)

perl - замените шаблон пустой строкой:

sed 's/.*= //' input.file > output.file

или (но медленнее, чем указано выше):

sed -i.bak 's/.*= //' input.file

-e program        one line of program (several -e's allowed, omit programfile)
-p                assume loop like -n but print line also, like sed
-i[extension]     edit <> files in place (makes backup if extension supplied)

gawk - заменить шаблон ".*= " пустой строкой "":

gawk '{gsub(".*= ", "");print}' input.file > output.file

gsub(r, s [, t]) For each substring matching the regular expression r in the string t,
                 substitute the string s, and return the number of substitutions. 
                 If t is not supplied, use $0...

Я решил сравнить различные решения, перечисленные здесь. Для этого я создал большой файл на основе содержимого, предоставленного OP:

Вот результат сравнение:

Источник идеи.

Поскольку префикс линии всегда имеет одинаковую длину (34 символа), вы можете использовать cut:

Это просто, коротко и легко писать, понимать и проверять, и мне лично это нравится:

grep в Ubuntu, когда вызывается с помощью -E или -P, принимает стенографию \s как символ пробела (на практике обычно это пробел или табуляция), а \S означает что-либо, что не является одним. Используя квантификатор + и привязку конца строки $, шаблон \S+$ соответствует одному или нескольким незанятым в конце строки. Вы можете использовать -P вместо -E; значение в этом случае одно и то же, но используется другой механизм выражений, поэтому они могут иметь разные характеристики производительности.

Это эквивалентно grep в Ubuntu (просто с более легким, более компактным синтаксисом):

Эти подходы не будут работать, если может быть завершение пробела обычно числа. Они могут быть изменены так, как они делают, но я не вижу смысла в этом. Хотя иногда поучительно обобщать решение для работы в большем количестве случаев, это практически не так почти так же часто, как люди склонны предполагать, потому что обычно нет способа узнать, в каком из многих разных несовместимых способов проблема в конечном итоге может потребоваться быть обобщенным.

Производительность иногда является важным соображением. Этот вопрос не предусматривает, что ввод очень велик, и вполне вероятно, что каждый метод, который был опубликован здесь, достаточно быстр. Однако, если скорость желательна, вот небольшой контрольный показатель для десятимиллионного входного файла:

Я запускал его дважды в том случае, когда имел значение порядок (как это иногда бывает для I / O-тяжелого задачи), и потому, что у меня не было машины, которая не делала другие вещи в фоновом режиме, которые могли бы исказить результаты. Из этих результатов я заключаю следующее, по крайней мере временно, и для входных файлов размера, который я использовал:

Это задание для awk; предполагая, что значения встречаются только в последнем поле (в соответствии с вашим примером):

Пример:

perl - замените шаблон /.*= / пустой строкой //:

perl - замените шаблон пустой строкой:

или (но медленнее, чем указано выше):

gawk - заменить шаблон ".*= " пустой строкой "":

Переверните содержимое файла с помощью rev, выведите вывод в cut с пробелом в качестве разделителя и 1 в качестве целевого поля, затем снова отформатируйте его, чтобы получить исходный номер:

С grep и -P для PCRE (интерпретируйте шаблон как регулярное выражение, совместимое с Perl) и -o для печати только одного шаблона. Уведомление \K будет игнорировать согласованную часть, пришедшую перед собой.

Или вы могли бы использовать команду grep .

Я решил сравнить различные решения, перечисленные здесь. Для этого я создал большой файл на основе содержимого, предоставленного OP:

Вот результат сравнение:

Источник идеи.

Поскольку префикс линии всегда имеет одинаковую длину (34 символа), вы можете использовать cut:

Это просто, коротко и легко писать, понимать и проверять, и мне лично это нравится:

grep в Ubuntu, когда вызывается с помощью -E или -P, принимает стенографию \s как символ пробела (на практике обычно это пробел или табуляция), а \S означает что-либо, что не является одним. Используя квантификатор + и привязку конца строки $, шаблон \S+$ соответствует одному или нескольким незанятым в конце строки. Вы можете использовать -P вместо -E; значение в этом случае одно и то же, но используется другой механизм выражений, поэтому они могут иметь разные характеристики производительности.

Это эквивалентно grep в Ubuntu (просто с более легким, более компактным синтаксисом):

Эти подходы не будут работать, если может быть завершение пробела обычно числа. Они могут быть изменены так, как они делают, но я не вижу смысла в этом. Хотя иногда поучительно обобщать решение для работы в большем количестве случаев, это практически не так почти так же часто, как люди склонны предполагать, потому что обычно нет способа узнать, в каком из многих разных несовместимых способов проблема в конечном итоге может потребоваться быть обобщенным.

Производительность иногда является важным соображением. Этот вопрос не предусматривает, что ввод очень велик, и вполне вероятно, что каждый метод, который был опубликован здесь, достаточно быстр. Однако, если скорость желательна, вот небольшой контрольный показатель для десятимиллионного входного файла:

Я запускал его дважды в том случае, когда имел значение порядок (как это иногда бывает для I / O-тяжелого задачи), и потому, что у меня не было машины, которая не делала другие вещи в фоновом режиме, которые могли бы исказить результаты. Из этих результатов я заключаю следующее, по крайней мере временно, и для входных файлов размера, который я использовал:

Это задание для awk; предполагая, что значения встречаются только в последнем поле (в соответствии с вашим примером):

Пример:

perl - замените шаблон /.*= / пустой строкой //:

perl - замените шаблон пустой строкой:

или (но медленнее, чем указано выше):

gawk - заменить шаблон ".*= " пустой строкой "":

Переверните содержимое файла с помощью rev, выведите вывод в cut с пробелом в качестве разделителя и 1 в качестве целевого поля, затем снова отформатируйте его, чтобы получить исходный номер:

С grep и -P для PCRE (интерпретируйте шаблон как регулярное выражение, совместимое с Perl) и -o для печати только одного шаблона. Уведомление \K будет игнорировать согласованную часть, пришедшую перед собой.

Или вы могли бы использовать команду grep .