Средство проверки исходного файла ASCII

Можно распечатать все строки неASCII файла с помощью моего сценария Python 3, который я размещаю на GitHub здесь:

GitHub: ByteCommander/encoding-check

Можно или клонировать или загрузить весь репозиторий или просто сохранить файл encoding-check и сделайте это исполняемым использованием chmod +x encoding-check.

Затем можно выполнить его как это с файлом для проверки как только аргумент:

• ./encoding-check FILENAME если это расположено в Вашем текущем рабочем каталоге, или...
• /path/to/encoding-check FILENAME если это расположено в /path/to/, или...
• encoding-check FILENAME если это расположено в каталоге, который является частью $PATH переменная среды, т.е. /usr/local/bin или ~/bin.

Без любых дополнительных аргументов это распечатает каждую строку и ее число, где это нашло символы неASCII. Наконец, существует сводная строка, которая говорит Вам, сколько строк файл имел всего и сколько из них содержало символы неASCII.

Этот метод, как гарантируют, правильно будет декодировать все символы ASCII и обнаруживать все, что является определенно не ASCII.

Вот пример, работает на файле, содержащем первые 20 строк Вашего данного install.en.txt:

$ ./encoding-check install-first20.en.txt
     9: Appendix��F, GNU General Public License.
    14: (codename "���Xenial Xerus���"), for the 64-bit PC ("amd64") architecture. It also
    18: ���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
--------------------------------------------------------------------------------
20 lines in 'install-first20.en.txt', thereof 3 lines with non-ASCII characters.

Но сценарий имеет некоторые дополнительные аргументы для тонкой настройки проверенного кодирования и выходного формата. Просмотрите справку и судите их:

$ encoding-check -h
usage: encoding-check [-h] [-e ENCODING] [-s | -c | -l] [-m] [-w] [-n] [-f N]
                     [-t]
                     FILE [FILE ...]

Show all lines of a FILE containing characters that don't match the selected
ENCODING.

positional arguments:
  FILE                  the file to be examined

optional arguments:
  -h, --help            show this help message and exit
  -e ENCODING, --encoding ENCODING
                        file encoding to test (default 'ascii')
  -s, --summary         only print the summary
  -c, --count           only print the detected line count
  -l, --lines           only print the detected lines
  -m, --only-matching   hide files without matching lines from output
  -w, --no-warnings     hide warnings from output
  -n, --no-numbers      do not show line numbers in output
  -f N, --fit-width N   trim lines to N characters, or terminal width if N=0;
                        non-printable characters like tabs will be removed
  -t, --title           print title line above each file

Как --encoding, каждый кодек, который знает Python 3, допустим. Просто попробуйте один, в худшем случае Вы получаете немного сообщения об ошибке...

Эта команда Perl главным образом заменяет это grep команда (вещь пропавшие без вести, являющиеся цветами):

perl -ne '/[\x80-\xFF]/&&print($ARGV."($.):\t^".$_)' *.xml

• n: Perl причин для принятия следующего цикла вокруг программы, которая заставляет его выполнить итерации по аргументам имени файла несколько как sed-n или awk:

  LINE:
    while (<>) {
        ...             # your program goes here
    }
  

• -e: может использоваться для ввода одной строки программы.
• /[\x80-\xFF]/&&print($ARGV."($.):\t^".$_): Если строка содержит символ в диапазоне \x80-\xFF, печатает имя текущего файла, номер строки текущего файла, a :\t^строка и содержание текущей строки.

Вывод на демонстрационном каталоге, содержащем файл примера в вопросе и файле, содержащем только ààààà и символ новой строки:

% perl -ne '/[\x80-\xFF]/&&print($ARGV."($.):\t^".$_)' file | head -n 10
file(9):    ^Appendix F, GNU General Public License.
file(14):   ^(codename "‘Xenial Xerus’"), for the 64-bit PC ("amd64") architecture. It also
file(18):   ^â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”â”
file(330):  ^when things go wrong. The Installation Howto can be found in Appendix A, 
file(337):  ^Chapter 1. Welcome to Ubuntu
file(359):  ^1.1. What is Ubuntu?
file(368):  ^  • Ubuntu will always be free of charge, and there is no extra fee for the "
file(372):  ^  • Ubuntu includes the very best in translations and accessibility
file(376):  ^  • Ubuntu is shipped in stable and regular release cycles; a new release will
file(380):  ^  • Ubuntu is entirely committed to the principles of open source software
% perl -ne '/[\x80-\xFF]/&&print($ARGV."($.):\t^".$_)' file1
file1(1):   ^ààààà