Текст в файлах имеет квадраты с числами в нем
Некоторые текстовые файлы, с которыми я сталкиваюсь, имеют небольшие квадраты с числами в них (вместо определенных символов). Я не могу скопировать и вставить их в Ubuntu, но могу искать и заменить в gedit каждый символ индивидуально (заменяющий для то, что я думаю, это - лучшее соответствие), очевидно, это только выполнимо, если существует только несколько типов квадрата.
Я - вывод, чтобы полагать, что эти квадраты отображены, потому что я пропускаю определенные шрифты... Моя цель состоит в том, чтобы преобразовать это в файл PDF или ePub.
Мой вопрос:
- Какое кодирование - это? И почему это происходит?
- Если это - отсутствующие шрифты, могу я устанавливать их, и будет это решать проблему (позвольте мне преобразовывать символы в PDF, например, использование
Calibre)? - Существует ли приложение для преобразования моего текстового файла в текстовый файл без этих квадратов, вместо этого заменяя их подобным символом? Например, символ
в значительной степени a y, таким образом, я хотел бы, чтобы эта функция заменила каждый экземпляр a y.
Пример txt файл здесь, и он первоначально был похож на это (отметьте сопровождаемые погрешности OCR).
Примечание: Я не мог добраться также uni2ascii или iconv для работы (хотя я не мог использовать корректное [опции]) поэтому сверьтесь с данным файлом прежде, чем отправить решение!
3 ответа
Поля означают "глиф, не найденный"; символы в поле являются шестнадцатеричными представлениями кодовой точки в unicode.
Существует две возможности: кодировка символов искажена, или шрифт, который Вы используете, не имеет глифа для того символа. Это - большая кодировка символов обзора, если Вы действительно хотите понять это: http://trochee.net/2011/05/character-encoding-tutorial/
Любопытно, U+001F и U+001D являются действительно просто прославленными разрывами строки. Это кажется нечетным, что OCR возвратил бы их.
Квадраты (насколько я могу сказать) всегда происходят в местах, где специальные наборные символы использовались. Например, набор ty как буква t сопровождаемый буквой y в некоторых листах шрифтов дополнительное, нежелательное пространство между двумя буквами. По этой причине много шрифтов, используемых для более усовершенствованного набора, имеют дополнительные символы для этого, как ty символ, который должен считать "... древнюю красоту умеренное...". Так как у Вас нет этих дополнительных символов (возможно, что Вы не можете даже декодировать их, так как они не могли бы иметь ascii/utf-8 код), Вы получаете квадраты.
У меня нет реальной идеи о том, как скопировать фактический текст (и в этом случае получить a t и a y как отдельные символы), но люди в TEX, ЛАТЕКС и друзья смог помогать - они - не обязательно эксперты по шрифту, но они - все в набор...
Это не кодирование, которое я распознаю. Мое предположение - то, что отсутствующие символы не представляют записанные символы, а скорее указывают на дополнительную информацию о процессе OCR.
Используя гибкую интерпретацию кодов управления ASCII, 0C мог бы представить разрыв страницы, и 0B мог быть вкладкой или другим пробелом. 1D и 1F, как предполагается, "разделители для маркировки полей структур данных", но сразу 1F, возможно, очевидно был поглощен для значения неопознанный:
$ hexdump -C -s 0xa0 myfile.txt | grep -C 1 " 1f "
00000250 6c 64 20 6f 66 20 61 6e 63 69 65 6e 74 20 62 65 |ld of ancient be|
00000260 61 75 1f 20 61 20 74 65 6d 70 65 72 61 74 65 2c |au. a temperate,|
00000270 20 68 75 6d 69 64 20 72 65 67 69 6f 6e 20 77 68 | humid region wh|
00000280 6f 73 65 20 0a 6d 69 73 1f 20 75 6e 64 75 6c 61 |ose .mis. undula|
00000290 74 69 6e 67 20 68 69 6c 6c 73 20 68 61 64 20 62 |ting hills had b|
--
00000350 20 33 30 30 20 0a 73 70 65 63 69 65 73 20 6f 66 | 300 .species of|
00000360 20 74 72 65 65 73 20 67 72 65 1f 20 69 6e 63 6c | trees gre. incl|
00000370 75 64 69 6e 67 20 6d 61 70 6c 65 73 2c 20 63 61 |uding maples, ca|
--
000006a0 65 20 61 62 6f 75 74 20 31 30 20 6b 69 6c 6f 6d |e about 10 kilom|
000006b0 65 74 72 65 73 20 61 77 61 1f 20 62 65 79 6f 6e |etres awa. beyon|
000006c0 64 20 61 20 70 61 73 73 20 0a 63 61 6c 6c 65 64 |d a pass .called|
В этом образце байт 1F используется degenerately вместо ty,, w,, и y,.
Другая возможность состоит в том, что файл был поврежден во время некоторого прошлого преобразования кодирования. Возможно, метаданные, указывающие шрифты символа, были отброшены, или больше значимых, символов из диапазона было свернуто в ASCII. Это согласовывалось бы с символами, первоначально являющимися редкими лигатурами.
В любом случае, информация, запрошенная, чтобы программно перевести его, конечно, не включенный в файл. Если Вы не можете повторно выполнить OCR, я думаю, что Вам не повезло.