Текст внутри файлов имеет квадраты с номерами в нем

Некоторые текстовые файлы, с которыми я сталкиваюсь, имеют маленькие квадраты с числами в них (вместо определенных символов). Я не могу скопировать и вставить их в Ubuntu, но вы можете искать и заменять в gedit каждый символ в отдельности (заменяя, по моему мнению, лучшее совпадение), очевидно, это возможно только в том случае, если существует только несколько типов квадратов.

Я убежден, что эти квадраты отображаются, потому что мне не хватает некоторых шрифтов ... Моя цель - преобразовать это в файл ePub или PDF.

Мой вопрос:

Какой тип кодирования? И почему это происходит? Если у вас отсутствуют шрифты, я могу их установить, и это решит проблему (позвольте мне преобразовать символы в PDF, например, с помощью Calibre)? Есть ли приложение для преобразования текстового файла в текстовый файл без этих квадратов, вместо этого заменяя их похожим символом? Например, символ в значительной степени является y, поэтому я хотел бы, чтобы эта функция заменила каждый экземпляр на y.

Пример txt-файла здесь, и он изначально выглядел так (обратите внимание на неточности, следующие за OCR).

Примечание: я не мог получить ни uni2ascii, ни iconv (хотя я, возможно, не использовал правильные [опции]), поэтому перед отправкой решения, пожалуйста, проверьте этот файл!

5
задан 7 June 2011 в 04:31

21 ответ

коробки означает "символ не найден"; символы в окне представления данных в шестнадцатеричном представлении из кода в Unicode.

есть две возможности: Кодировка символов искажен, или шрифт, который вы используете не имеет глифа для этого персонажа. Это отличный обзор кодировку, если вы действительно хотите понять это: http://trochee.net/2011/05/character-encoding-tutorial/

любопытно, http://trochee.net/2011/05/character-encoding-tutorial/ и U+001D действительно просто прославил разрывы строк. Кажется странным, что ОРЗ будет вернуть.

2
ответ дан 25 July 2018 в 21:46
  • 1
    Странно, если они являются «прославленными разрывами строк» ​​... почему gedit не просто отображает их как таковые! Действительно, почему tesseractOCR выводит их вместо разрыва строки! – hayd 9 June 2011 в 14:35

коробки означает "символ не найден"; символы в окне представления данных в шестнадцатеричном представлении из кода в Unicode.

есть две возможности: Кодировка символов искажен, или шрифт, который вы используете не имеет глифа для этого персонажа. Это отличный обзор кодировку, если вы действительно хотите понять это: http://trochee.net/2011/05/character-encoding-tutorial/

любопытно, http://trochee.net/2011/05/character-encoding-tutorial/ и U+001D действительно просто прославил разрывы строк. Кажется странным, что ОРЗ будет вернуть.

2
ответ дан 2 August 2018 в 03:22

Ящики означают «глиф не найден»; символы в поле являются шестнадцатеричными представлениями кодового пункта в юникоде.

Есть две возможности: кодировка символов искажена, или используемый вами шрифт не имеет глифа для этого символа. Это отличный обзор кодировки символов, если вы действительно хотите это понять: http://trochee.net/2011/05/character-encoding-tutorial/

Любопытно, http: // trochee .net / 2011/05 / character-encoding-tutorial / и U + 001D - это просто прославленные разрывы строк. Кажется странным, что OCR вернет их.

2
ответ дан 4 August 2018 в 19:19

коробки означает "символ не найден"; символы в окне представления данных в шестнадцатеричном представлении из кода в Unicode.

есть две возможности: Кодировка символов искажен, или шрифт, который вы используете не имеет глифа для этого персонажа. Это отличный обзор кодировку, если вы действительно хотите понять это: http://trochee.net/2011/05/character-encoding-tutorial/

любопытно, http://trochee.net/2011/05/character-encoding-tutorial/ и U+001D действительно просто прославил разрывы строк. Кажется странным, что ОРЗ будет вернуть.

2
ответ дан 6 August 2018 в 03:32

Ящики означают «глиф не найден»; символы в поле являются шестнадцатеричными представлениями кодового пункта в юникоде.

Есть две возможности: кодировка символов искажена или используемый вами шрифт не имеет глифа для этого символа. Это отличная кодировка символа обзора, если вы действительно хотите ее понять: http://trochee.net/2011/05/character-encoding-tutorial/

Любопытно, что U + 001F и U + 001D - на самом деле просто прославленные разрывы строк. Кажется странным, что OCR вернет их.

2
ответ дан 7 August 2018 в 21:20

Ящики означают «глиф не найден»; символы в поле являются шестнадцатеричными представлениями кодового пункта в юникоде.

Есть две возможности: кодировка символов искажена или используемый вами шрифт не имеет глифа для этого символа. Это отличная кодировка символа обзора, если вы действительно хотите ее понять: http://trochee.net/2011/05/character-encoding-tutorial/

Любопытно, что U + 001F и U + 001D - на самом деле просто прославленные разрывы строк. Кажется странным, что OCR вернет их.

2
ответ дан 10 August 2018 в 09:38

Ящики означают «глиф не найден»; символы в поле являются шестнадцатеричными представлениями кодового пункта в юникоде.

Есть две возможности: кодировка символов искажена или используемый вами шрифт не имеет глифа для этого символа. Это отличная кодировка символа обзора, если вы действительно хотите ее понять: http://trochee.net/2011/05/character-encoding-tutorial/

Любопытно, что U + 001F и U + 001D - на самом деле просто прославленные разрывы строк. Кажется странным, что OCR вернет их.

2
ответ дан 13 August 2018 в 15:49
  • 1
    Странно, если они являются «прославленными разрывами строк» ​​... почему gedit не просто отображает их как таковые! Действительно, почему tesseractOCR выводит их вместо разрыва строки! – hayd 9 June 2011 в 14:35

Это не какая-то кодировка, которую я узнаю. Я полагаю, что недостающие символы не представляют собой написанные символы, а скорее указывают дополнительную информацию о процессе OCR.

Используя гибкую интерпретацию управляющих кодов ASCII, 0C может представлять собой разрыв страницы, а 0B может быть вкладке или другом пробеле. Предполагается, что 1D и 1F являются «разделителями для обозначения полей структур данных», но с первого взгляда 1F можно было бы кооптировать как неопознанное:

$ hexdump -C -s 0xa0 myfile.txt | grep -C 1 " 1f " 00000250 6c 64 20 6f 66 20 61 6e 63 69 65 6e 74 20 62 65 |ld of ancient be| 00000260 61 75 1f 20 61 20 74 65 6d 70 65 72 61 74 65 2c |au. a temperate,| 00000270 20 68 75 6d 69 64 20 72 65 67 69 6f 6e 20 77 68 | humid region wh| 00000280 6f 73 65 20 0a 6d 69 73 1f 20 75 6e 64 75 6c 61 |ose .mis. undula| 00000290 74 69 6e 67 20 68 69 6c 6c 73 20 68 61 64 20 62 |ting hills had b| -- 00000350 20 33 30 30 20 0a 73 70 65 63 69 65 73 20 6f 66 | 300 .species of| 00000360 20 74 72 65 65 73 20 67 72 65 1f 20 69 6e 63 6c | trees gre. incl| 00000370 75 64 69 6e 67 20 6d 61 70 6c 65 73 2c 20 63 61 |uding maples, ca| -- 000006a0 65 20 61 62 6f 75 74 20 31 30 20 6b 69 6c 6f 6d |e about 10 kilom| 000006b0 65 74 72 65 73 20 61 77 61 1f 20 62 65 79 6f 6e |etres awa. beyon| 000006c0 64 20 61 20 70 61 73 73 20 0a 63 61 6c 6c 65 64 |d a pass .called|

В этом примере байт 1F (f2), w, и y,.

Другая возможность заключается в том, что файл был поврежден во время некоторого преобразования прошлой кодировки. Возможно, метаданные, определяющие шрифты символов, были отброшены или более значимыми, символы вне диапазона были свернуты в ASCII. Это будет согласуется с тем, что персонажи изначально являются редкими лигатурами.

В любом случае информация, необходимая для программного перевода, конечно же, не включена в файл. Если вы не сможете повторно запустить OCR, я думаю, вам не повезло.

0
ответ дан 25 July 2018 в 21:46
  • 1
    Я попробую переписать OCR сам (это может быть более точным, поскольку он был последним). – hayd 7 June 2011 в 15:52
  • 2
    Я снова побежал ОРЗ (используя тессеракт)и это было, по большей части улучшение, однако там были еще какие-то квадратики по всему тексту файла. – hayd 9 June 2011 в 14:23

Квадраты (насколько я могу судить) всегда встречаются в местах, где используются специальные символы набора. Например, верстка ty в виде буквы t, за которой следует буква y в некоторых шрифтах, оставляет дополнительное нежелательное пространство между двумя буквами. По этой причине многие шрифты, используемые для более расширенного набора, имеют для этого дополнительные символы, такие как символ ty, который должен читать «... древняя красота умеренного ...». Поскольку у вас нет этих дополнительных символов (возможно, их невозможно декодировать, поскольку они могут не иметь код ascii / utf-8), вы получаете квадраты.

У меня нет реальной идеи по как скопировать фактический текст (и в этом случае получить t и y как отдельные символы), но люди из TeX, LaTeX и друзей могут помочь - они не обязательно являются экспертами шрифтов, но они все в наборе ...

1
ответ дан 25 July 2018 в 21:46
  • 1
    FWIW, Это называется лигатурами. secure.wikimedia.org/wikipedia/en/wiki/… И ... да: если ваш набор символов не содержит глифа для лигатуры, он будет отображаться как символ-не- найденный. – Amanda 7 June 2011 в 04:40

Это не какая-то кодировка, которую я узнаю. Я полагаю, что недостающие символы не представляют собой написанные символы, а скорее указывают дополнительную информацию о процессе OCR.

Используя гибкую интерпретацию управляющих кодов ASCII, 0C может представлять собой разрыв страницы, а 0B может быть вкладке или другом пробеле. Предполагается, что 1D и 1F являются «разделителями для обозначения полей структур данных», но с первого взгляда 1F можно было бы кооптировать как неопознанное:

$ hexdump -C -s 0xa0 myfile.txt | grep -C 1 " 1f " 00000250 6c 64 20 6f 66 20 61 6e 63 69 65 6e 74 20 62 65 |ld of ancient be| 00000260 61 75 1f 20 61 20 74 65 6d 70 65 72 61 74 65 2c |au. a temperate,| 00000270 20 68 75 6d 69 64 20 72 65 67 69 6f 6e 20 77 68 | humid region wh| 00000280 6f 73 65 20 0a 6d 69 73 1f 20 75 6e 64 75 6c 61 |ose .mis. undula| 00000290 74 69 6e 67 20 68 69 6c 6c 73 20 68 61 64 20 62 |ting hills had b| -- 00000350 20 33 30 30 20 0a 73 70 65 63 69 65 73 20 6f 66 | 300 .species of| 00000360 20 74 72 65 65 73 20 67 72 65 1f 20 69 6e 63 6c | trees gre. incl| 00000370 75 64 69 6e 67 20 6d 61 70 6c 65 73 2c 20 63 61 |uding maples, ca| -- 000006a0 65 20 61 62 6f 75 74 20 31 30 20 6b 69 6c 6f 6d |e about 10 kilom| 000006b0 65 74 72 65 73 20 61 77 61 1f 20 62 65 79 6f 6e |etres awa. beyon| 000006c0 64 20 61 20 70 61 73 73 20 0a 63 61 6c 6c 65 64 |d a pass .called|

В этом примере байт 1F (f2), w, и y,.

Другая возможность заключается в том, что файл был поврежден во время некоторого преобразования прошлой кодировки. Возможно, метаданные, определяющие шрифты символов, были отброшены или более значимыми, символы вне диапазона были свернуты в ASCII. Это будет согласуется с тем, что персонажи изначально являются редкими лигатурами.

В любом случае информация, необходимая для программного перевода, конечно же, не включена в файл. Если вы не сможете повторно запустить OCR, я думаю, вам не повезло.

0
ответ дан 2 August 2018 в 03:22
  • 1
    Я попробую переписать OCR сам (это может быть более точным, поскольку он был последним). – hayd 7 June 2011 в 15:52
  • 2
    Я снова запустил OCR (используя tesseract ), и это было, по большей части, улучшением, однако в текстовом файле все еще были некоторые квадраты. – hayd 9 June 2011 в 14:23

квадраты (насколько я могу судить) всегда происходит в местах, где специальный набор символов были использованы. Например, верстка ty, как буква t буквы [F3] в некоторых шрифтов листья лишние, нежелательные пробел между двумя буквами. По этой причине, многие шрифты, используемые для более продвинутых верстка иметь дополнительные символы для этого, как клавиши [F4] символ, который следует читать: "...древние красоты умеренный...". Поскольку у вас нет этих лишних символов (возможно, вы даже не можете расшифровать их, поскольку они могут не иметь в ASCII/utf-8 код) вы получаете квадратов.

у меня нет реального представления о том, как копировать текст (а в этом случае получить t и y как отдельные персонажи), но люди в Текс, Латекс и друзья могли бы помочь - они не обязательно шрифт экспертов, но они все в верстка...

1
ответ дан 2 August 2018 в 03:22
  • 1
    Чистки рядов, они называются лигатурами. secure.wikimedia.org/wikipedia/en/wiki/... и ... да: если ваш набор символов не содержит глиф лигатура, он появится как символ-не-нашли. – Amanda 7 June 2011 в 04:40

Это не какая-то кодировка, которую я узнаю. Я полагаю, что недостающие символы не представляют собой написанные символы, а скорее указывают дополнительную информацию о процессе OCR.

Используя гибкую интерпретацию управляющих кодов ASCII, 0C может представлять собой разрыв страницы, а 0B может быть вкладке или другом пробеле. Предполагается, что 1D и 1F являются «разделителями для обозначения полей структур данных», но с первого взгляда 1F можно было бы кооптировать как неопознанное:

$ hexdump -C -s 0xa0 myfile.txt | grep -C 1 " 1f " 00000250 6c 64 20 6f 66 20 61 6e 63 69 65 6e 74 20 62 65 |ld of ancient be| 00000260 61 75 1f 20 61 20 74 65 6d 70 65 72 61 74 65 2c |au. a temperate,| 00000270 20 68 75 6d 69 64 20 72 65 67 69 6f 6e 20 77 68 | humid region wh| 00000280 6f 73 65 20 0a 6d 69 73 1f 20 75 6e 64 75 6c 61 |ose .mis. undula| 00000290 74 69 6e 67 20 68 69 6c 6c 73 20 68 61 64 20 62 |ting hills had b| -- 00000350 20 33 30 30 20 0a 73 70 65 63 69 65 73 20 6f 66 | 300 .species of| 00000360 20 74 72 65 65 73 20 67 72 65 1f 20 69 6e 63 6c | trees gre. incl| 00000370 75 64 69 6e 67 20 6d 61 70 6c 65 73 2c 20 63 61 |uding maples, ca| -- 000006a0 65 20 61 62 6f 75 74 20 31 30 20 6b 69 6c 6f 6d |e about 10 kilom| 000006b0 65 74 72 65 73 20 61 77 61 1f 20 62 65 79 6f 6e |etres awa. beyon| 000006c0 64 20 61 20 70 61 73 73 20 0a 63 61 6c 6c 65 64 |d a pass .called|

В этом примере байт 1F (f2), w, и y,.

Другая возможность заключается в том, что файл был поврежден во время некоторого преобразования прошлой кодировки. Возможно, метаданные, определяющие шрифты символов, были отброшены или более значимыми, символы вне диапазона были свернуты в ASCII. Это будет согласуется с тем, что персонажи изначально являются редкими лигатурами.

В любом случае информация, необходимая для программного перевода, конечно же, не включена в файл. Если вы не сможете повторно запустить OCR, я думаю, вам не повезло.

0
ответ дан 4 August 2018 в 19:19
  • 1
    Я попробую запустить себя ОРЗ (это может быть более точным, с момента последнего запуска). – hayd 7 June 2011 в 15:52
  • 2
    Я снова запустил OCR (используя tesseract ), и это было, по большей части, улучшением, однако в текстовом файле все еще были некоторые квадраты. – hayd 9 June 2011 в 14:23

квадраты (насколько я могу судить) всегда происходит в местах, где специальный набор символов были использованы. Например, верстка ty, как буква t буквы [F3] в некоторых шрифтов листья лишние, нежелательные пробел между двумя буквами. По этой причине, многие шрифты, используемые для более продвинутых верстка иметь дополнительные символы для этого, как клавиши [F4] символ, который следует читать: "...древние красоты умеренный...". Поскольку у вас нет этих лишних символов (возможно, вы даже не можете расшифровать их, поскольку они могут не иметь в ASCII/utf-8 код) вы получаете квадратов.

у меня нет реального представления о том, как копировать текст (а в этом случае получить t и y как отдельные персонажи), но люди в Текс, Латекс и друзья могли бы помочь - они не обязательно шрифт экспертов, но они все в верстка...

1
ответ дан 4 August 2018 в 19:19
  • 1
    Чистки рядов, они называются лигатурами. secure.wikimedia.org/wikipedia/en/wiki/... и ... да: если ваш набор символов не содержит глиф лигатура, он появится как символ-не-нашли. – Amanda 7 June 2011 в 04:40

Это не какая-то кодировка, которую я узнаю. Я полагаю, что недостающие символы не представляют собой написанные символы, а скорее указывают дополнительную информацию о процессе OCR.

Используя гибкую интерпретацию управляющих кодов ASCII, 0C может представлять собой разрыв страницы, а 0B может быть вкладке или другом пробеле. Предполагается, что 1D и 1F являются «разделителями для обозначения полей структур данных», но с первого взгляда 1F можно было бы кооптировать как неопознанное:

$ hexdump -C -s 0xa0 myfile.txt | grep -C 1 " 1f " 00000250 6c 64 20 6f 66 20 61 6e 63 69 65 6e 74 20 62 65 |ld of ancient be| 00000260 61 75 1f 20 61 20 74 65 6d 70 65 72 61 74 65 2c |au. a temperate,| 00000270 20 68 75 6d 69 64 20 72 65 67 69 6f 6e 20 77 68 | humid region wh| 00000280 6f 73 65 20 0a 6d 69 73 1f 20 75 6e 64 75 6c 61 |ose .mis. undula| 00000290 74 69 6e 67 20 68 69 6c 6c 73 20 68 61 64 20 62 |ting hills had b| -- 00000350 20 33 30 30 20 0a 73 70 65 63 69 65 73 20 6f 66 | 300 .species of| 00000360 20 74 72 65 65 73 20 67 72 65 1f 20 69 6e 63 6c | trees gre. incl| 00000370 75 64 69 6e 67 20 6d 61 70 6c 65 73 2c 20 63 61 |uding maples, ca| -- 000006a0 65 20 61 62 6f 75 74 20 31 30 20 6b 69 6c 6f 6d |e about 10 kilom| 000006b0 65 74 72 65 73 20 61 77 61 1f 20 62 65 79 6f 6e |etres awa. beyon| 000006c0 64 20 61 20 70 61 73 73 20 0a 63 61 6c 6c 65 64 |d a pass .called|

В этом примере байт 1F (f2), w, и y,.

Другая возможность заключается в том, что файл был поврежден во время некоторого преобразования прошлой кодировки. Возможно, метаданные, определяющие шрифты символов, были отброшены или более значимыми, символы вне диапазона были свернуты в ASCII. Это будет согласуется с тем, что персонажи изначально являются редкими лигатурами.

В любом случае информация, необходимая для программного перевода, конечно же, не включена в файл. Если вы не сможете повторно запустить OCR, я думаю, вам не повезло.

0
ответ дан 6 August 2018 в 03:32
  • 1
    Я попробую переписать OCR сам (это может быть более точным, поскольку он был последним). – hayd 7 June 2011 в 15:52
  • 2
    Я снова побежал ОРЗ (используя тессеракт)и это было, по большей части улучшение, однако там были еще какие-то квадратики по всему тексту файла. – hayd 9 June 2011 в 14:23

Квадраты (насколько я могу судить) всегда встречаются в местах, где используются специальные символы набора. Например, верстка ty в виде буквы t, за которой следует буква y в некоторых шрифтах, оставляет дополнительное нежелательное пространство между двумя буквами. По этой причине многие шрифты, используемые для более расширенного набора, имеют для этого дополнительные символы, такие как символ ty, который должен читать «... древняя красота умеренного ...». Поскольку у вас нет этих дополнительных символов (возможно, их невозможно декодировать, поскольку они могут не иметь код ascii / utf-8), вы получаете квадраты.

У меня нет реальной идеи по как скопировать фактический текст (и в этом случае получить t и y как отдельные символы), но люди из TeX, LaTeX и друзей могут помочь - они не обязательно являются экспертами шрифтов, но они все в наборе ...

1
ответ дан 6 August 2018 в 03:32
  • 1
    Чистки рядов, они называются лигатурами. secure.wikimedia.org/wikipedia/en/wiki/... и ... да: если ваш набор символов не содержит глиф лигатура, он появится как символ-не-нашли. – Amanda 7 June 2011 в 04:40

Квадраты (насколько я могу судить) всегда встречаются в местах, где используются специальные символы набора. Например, набор символов ty в качестве буквы t , за которым следует буква y в некоторых шрифтах, оставляет лишнее нежелательное пространство между двумя буквами. По этой причине многие шрифты, используемые для более расширенного набора, имеют для этого дополнительные символы, такие как символ ty , который должен читать «... old beau ty умеренный ... ». Поскольку у вас нет этих дополнительных символов (возможно, их невозможно декодировать, так как они могут не иметь код ascii / utf-8), вы получаете квадраты.

У меня нет реальной идеи по как скопировать фактический текст (и в этом случае получить t и y как отдельные символы), но люди в TeX, LaTeX и друзья может помочь - они не обязательно эксперты шрифтов, но все они в наборе ...

1
ответ дан 7 August 2018 в 21:20

Это не какая-то кодировка, которую я узнаю. Я полагаю, что недостающие символы не представляют собой написанные символы, а скорее указывают дополнительную информацию о процессе OCR.

Используя гибкую интерпретацию управляющих кодов ASCII , 0C может представлять собой разрыв страницы и 0B могут быть вкладкой или другими пробелами. 1D и 1F должны быть «разделителями для маркировки полей структур данных», но с первого взгляда 1F, по-видимому, можно было кооптировать как unidentified :

   $ hexdump -C -s 0xa0 myfile.txt |  grep -C 1 "1f" 00000250 6c 64 20 6f 66 20 61 6e 63 69 65 6e 74 20 62 65 | ld of an be be |  00000260 61 75 1f 20 61 20 74 65 6d 70 65 72 61 74 65 2c | au.  умеренный, |  00000270 20 68 75 6d 69 64 20 72 65 67 69 6f 6e 20 77 68 |  влажный район wh |  00000280 6f 73 65 20 0a 6d 69 73 1f 20 75 6e 64 75 6c 61 | ose .mis.  undula |  00000290 74 69 6e 67 20 68 69 6c 6c 73 20 68 61 64 20 62 | ting hills имеет b |  - 00000350 20 33 30 30 20 0a 73 70 65 63 69 65 73 20 6f 66 |  300.специалистов |  00000360 20 74 72 65 65 73 20 67 72 65 1f 20 69 6e 63 6c |  деревья gre.  вкл |  00000370 75 64 69 6e 67 20 6d 61 70 6c 65 73 2c 20 63 61 | uding maples, ca |  - 000006a0 65 20 61 62 6f 75 74 20 31 30 20 6b 69 6c 6f 6d | e около 10 килом |  000006b0 65 74 72 65 73 20 61 77 61 1f 20 62 65 79 6f 6e | etres awa.  beyon |  000006c0 64 20 61 20 70 61 73 73 20 0a 63 61 6c 6c 65 64 | d a pass .called |   

В этом примере байт 1F используется дегенеративно вместо ty, , w, и y , .

Другая возможность заключается в том, что файл был поврежден во время некоторого преобразования прошлой кодировки. Возможно, метаданные, определяющие шрифты символов, были отброшены или более значимыми, символы вне диапазона были свернуты в ASCII. Это будет согласуется с символами, которые первоначально являются редкими лигатурами.

В любом случае информация, необходимая для программного перевода, конечно же, не входит в файл. Если вы не сможете повторно запустить OCR, я думаю, вам не повезло.

0
ответ дан 7 August 2018 в 21:20

Квадраты (насколько я могу судить) всегда встречаются в местах, где используются специальные символы набора. Например, набор символов ty в качестве буквы t , за которым следует буква y в некоторых шрифтах, оставляет лишнее нежелательное пространство между двумя буквами. По этой причине многие шрифты, используемые для более расширенного набора, имеют для этого дополнительные символы, такие как символ ty , который должен читать «... old beau ty умеренный ... ». Поскольку у вас нет этих дополнительных символов (возможно, их невозможно декодировать, так как они могут не иметь код ascii / utf-8), вы получаете квадраты.

У меня нет реальной идеи по как скопировать фактический текст (и в этом случае получить t и y как отдельные символы), но люди в TeX, LaTeX и друзья может помочь - они не обязательно эксперты шрифтов, но все они в наборе ...

1
ответ дан 10 August 2018 в 09:38

Это не какая-то кодировка, которую я узнаю. Я полагаю, что недостающие символы не представляют собой написанные символы, а скорее указывают дополнительную информацию о процессе OCR.

Используя гибкую интерпретацию управляющих кодов ASCII , 0C может представлять собой разрыв страницы и 0B могут быть вкладкой или другими пробелами. 1D и 1F должны быть «разделителями для маркировки полей структур данных», но с первого взгляда 1F, по-видимому, можно было кооптировать как unidentified :

   $ hexdump -C -s 0xa0 myfile.txt |  grep -C 1 "1f" 00000250 6c 64 20 6f 66 20 61 6e 63 69 65 6e 74 20 62 65 | ld of an be be |  00000260 61 75 1f 20 61 20 74 65 6d 70 65 72 61 74 65 2c | au.  умеренный, |  00000270 20 68 75 6d 69 64 20 72 65 67 69 6f 6e 20 77 68 |  влажный район wh |  00000280 6f 73 65 20 0a 6d 69 73 1f 20 75 6e 64 75 6c 61 | ose .mis.  undula |  00000290 74 69 6e 67 20 68 69 6c 6c 73 20 68 61 64 20 62 | ting hills имеет b |  - 00000350 20 33 30 30 20 0a 73 70 65 63 69 65 73 20 6f 66 |  300.специалистов |  00000360 20 74 72 65 65 73 20 67 72 65 1f 20 69 6e 63 6c |  деревья gre.  вкл |  00000370 75 64 69 6e 67 20 6d 61 70 6c 65 73 2c 20 63 61 | uding maples, ca |  - 000006a0 65 20 61 62 6f 75 74 20 31 30 20 6b 69 6c 6f 6d | e около 10 килом |  000006b0 65 74 72 65 73 20 61 77 61 1f 20 62 65 79 6f 6e | etres awa.  beyon |  000006c0 64 20 61 20 70 61 73 73 20 0a 63 61 6c 6c 65 64 | d a pass .called |   

В этом примере байт 1F используется дегенеративно вместо ty, , w, и y , .

Другая возможность заключается в том, что файл был поврежден во время некоторого преобразования прошлой кодировки. Возможно, метаданные, определяющие шрифты символов, были отброшены или более значимыми, символы вне диапазона были свернуты в ASCII. Это будет согласуется с символами, которые первоначально являются редкими лигатурами.

В любом случае информация, необходимая для программного перевода, конечно же, не входит в файл. Если вы не сможете повторно запустить OCR, я думаю, вам не повезло.

0
ответ дан 10 August 2018 в 09:38

Квадраты (насколько я могу судить) всегда встречаются в местах, где используются специальные символы набора. Например, набор символов ty в качестве буквы t , за которым следует буква y в некоторых шрифтах, оставляет лишнее нежелательное пространство между двумя буквами. По этой причине многие шрифты, используемые для более расширенного набора, имеют для этого дополнительные символы, такие как символ ty , который должен читать «... old beau ty умеренный ... ». Поскольку у вас нет этих дополнительных символов (возможно, их невозможно декодировать, так как они могут не иметь код ascii / utf-8), вы получаете квадраты.

У меня нет реальной идеи по как скопировать фактический текст (и в этом случае получить t и y как отдельные символы), но люди в TeX, LaTeX и друзья может помочь - они не обязательно эксперты шрифтов, но все они в наборе ...

1
ответ дан 13 August 2018 в 15:49
  • 1
    FWIW, Это называется лигатурами. secure.wikimedia.org/wikipedia/en/wiki/… И ... да: если ваш набор символов не содержит глифа для лигатуры, он будет отображаться как символ-не- найденный. – Amanda 7 June 2011 в 04:40

Это не какая-то кодировка, которую я узнаю. Я полагаю, что недостающие символы не представляют собой написанные символы, а скорее указывают дополнительную информацию о процессе OCR.

Используя гибкую интерпретацию управляющих кодов ASCII , 0C может представлять собой разрыв страницы и 0B могут быть вкладкой или другими пробелами. 1D и 1F должны быть «разделителями для маркировки полей структур данных», но с первого взгляда 1F, по-видимому, можно было кооптировать как unidentified :

   $ hexdump -C -s 0xa0 myfile.txt |  grep -C 1 "1f" 00000250 6c 64 20 6f 66 20 61 6e 63 69 65 6e 74 20 62 65 | ld of an be be |  00000260 61 75 1f 20 61 20 74 65 6d 70 65 72 61 74 65 2c | au.  умеренный, |  00000270 20 68 75 6d 69 64 20 72 65 67 69 6f 6e 20 77 68 |  влажный район wh |  00000280 6f 73 65 20 0a 6d 69 73 1f 20 75 6e 64 75 6c 61 | ose .mis.  undula |  00000290 74 69 6e 67 20 68 69 6c 6c 73 20 68 61 64 20 62 | ting hills имеет b |  - 00000350 20 33 30 30 20 0a 73 70 65 63 69 65 73 20 6f 66 |  300.специалистов |  00000360 20 74 72 65 65 73 20 67 72 65 1f 20 69 6e 63 6c |  деревья gre.  вкл |  00000370 75 64 69 6e 67 20 6d 61 70 6c 65 73 2c 20 63 61 | uding maples, ca |  - 000006a0 65 20 61 62 6f 75 74 20 31 30 20 6b 69 6c 6f 6d | e около 10 килом |  000006b0 65 74 72 65 73 20 61 77 61 1f 20 62 65 79 6f 6e | etres awa.  beyon |  000006c0 64 20 61 20 70 61 73 73 20 0a 63 61 6c 6c 65 64 | d a pass .called |   

В этом примере байт 1F используется дегенеративно вместо ty, , w, и y , .

Другая возможность заключается в том, что файл был поврежден во время некоторого преобразования прошлой кодировки. Возможно, метаданные, определяющие шрифты символов, были отброшены или более значимыми, символы вне диапазона были свернуты в ASCII. Это будет согласуется с символами, которые первоначально являются редкими лигатурами.

В любом случае информация, необходимая для программного перевода, конечно же, не входит в файл. Если вы не сможете повторно запустить OCR, я думаю, вам не повезло.

0
ответ дан 13 August 2018 в 15:49
  • 1
    Я попробую переписать OCR сам (это может быть более точным, поскольку он был последним). – hayd 7 June 2011 в 15:52
  • 2
    Я снова запустил OCR (используя tesseract ), и это было, по большей части, улучшением, однако в текстовом файле все еще были некоторые квадраты. – hayd 9 June 2011 в 14:23

Другие вопросы по тегам:

Похожие вопросы: