Текст внутри файлов имеет квадраты с цифрами
Некоторые текстовые файлы, с которыми я сталкиваюсь, имеют маленькие квадраты с цифрами (вместо определенных символов). Я не могу скопировать и вставить их в Ubuntu, но могу искать и заменять в gedit каждый персонаж индивидуально (вместо того, что я считаю лучшим соответствием), очевидно, это возможно только в том случае, если есть только несколько типов квадратов.
Я склонен полагать, что эти квадраты отображаются, потому что мне не хватает определенных шрифтов... Моя цель - преобразовать это в файл ePub или PDF.
Мой вопрос:
- Какой тип кодирования это? И почему это происходит?
- Если в нем отсутствуют шрифты, могу ли я установить их, и это решит проблему (разрешите мне конвертировать символы в PDF, например, используя
Calibre)? - Есть ли приложение для преобразования моего текстового файла в текстовый файл без этих квадратов вместо замены их похожим символом? Например, символ
в значительной степени yпоэтому я хотел бы, чтобы эта функция заменяла каждый экземпляр с y,
Пример текстового файла находится здесь, и он изначально выглядел так (обратите внимание на неточности OCR ).
Примечание: я не мог получить либо uni2ascii или же iconv работать (хотя, возможно, я не использовал правильные [параметры]), поэтому, пожалуйста, проверьте с данным файлом, прежде чем публиковать решение!
3 ответа
Коробки означают "глиф не найден"; символы в поле являются шестнадцатеричными представлениями кодовой точки в юникоде.
Есть две возможности: искаженная кодировка символов или используемый шрифт не имеет глифа для этого символа. Это отличный обзор кодировки символов, если вы действительно хотите понять это: http://trochee.net/2011/05/character-encoding-tutorial/
Любопытно, что U+001F и U+001D - это просто прославленные разрывы строк. Кажется странным, что OCR вернул бы их.
Квадраты (насколько я могу судить) всегда встречаются в местах, где использовались специальные наборные символы. Например, набор текста ty как письмо t с последующим письмом y в некоторых шрифтах между двумя буквами остается лишнее, нежелательное пространство. По этой причине многие шрифты, используемые для более сложного набора текста, имеют для этого дополнительные символы, например ty персонаж, который должен читать "... древняя красота умеренного...". Поскольку у вас нет этих дополнительных символов (возможно, вы даже не сможете их декодировать, так как они могут не иметь кода ascii/utf-8), вы получите квадраты.
Я не имею ни малейшего представления о том, как скопировать фактический текст (и в этом случае получить t и y как отдельные персонажи), но люди в TeX, LaTeX и друзья могут помочь - они не обязательно являются экспертами по шрифту, но все они в наборе текста...
Это не любая кодировка, которую я узнаю. Я предполагаю, что отсутствующие символы не представляют письменные символы, а скорее указывают на дополнительную информацию о процессе распознавания.
Используя гибкую интерпретацию управляющих кодов ASCII, 0C может представлять разрыв страницы, а 0B может быть вкладкой или другим пробелом. Предполагается, что 1D и 1F являются "разделителями для маркировки полей структур данных", но с первого взгляда можно предположить, что 1F может означать неопознанное:
$ hexdump -C -s 0xa0 myfile.txt | grep -C 1 " 1f "
00000250 6c 64 20 6f 66 20 61 6e 63 69 65 6e 74 20 62 65 |ld of ancient be|
00000260 61 75 1f 20 61 20 74 65 6d 70 65 72 61 74 65 2c |au. a temperate,|
00000270 20 68 75 6d 69 64 20 72 65 67 69 6f 6e 20 77 68 | humid region wh|
00000280 6f 73 65 20 0a 6d 69 73 1f 20 75 6e 64 75 6c 61 |ose .mis. undula|
00000290 74 69 6e 67 20 68 69 6c 6c 73 20 68 61 64 20 62 |ting hills had b|
--
00000350 20 33 30 30 20 0a 73 70 65 63 69 65 73 20 6f 66 | 300 .species of|
00000360 20 74 72 65 65 73 20 67 72 65 1f 20 69 6e 63 6c | trees gre. incl|
00000370 75 64 69 6e 67 20 6d 61 70 6c 65 73 2c 20 63 61 |uding maples, ca|
--
000006a0 65 20 61 62 6f 75 74 20 31 30 20 6b 69 6c 6f 6d |e about 10 kilom|
000006b0 65 74 72 65 73 20 61 77 61 1f 20 62 65 79 6f 6e |etres awa. beyon|
000006c0 64 20 61 20 70 61 73 73 20 0a 63 61 6c 6c 65 64 |d a pass .called|
В этом примере байт 1F используется вырожденно вместо ty,, w,, а также y,,
Другая возможность состоит в том, что файл был поврежден во время некоторого преобразования кодировки. Возможно, метаданные, определяющие шрифты символов, были отброшены, или более значимые символы вне допустимого диапазона были свернуты в ASCII. Это соответствовало бы тому, что персонажи изначально были редкими лигатурами
В любом случае информация, необходимая для программного перевода, безусловно, не включена в файл. Если вы не можете повторно запустить OCR, я думаю, вам не повезло.