Существует ли простой способ определить, сканируется ли PDF?

1. Поместите все файлы pdf в одну папку.
2. Никакой .txt файл в той папке.
3. В терминальном каталоге изменения к той папке с cd <path to dir>
4. Сделайте еще один каталог для не просканированные файлы. Пример:

mkdir ./x 
for file in *.pdf; do
    if [ $(pdftotext "$file")"x" == "x" ] ; then mv "$file" ./x; fi
rm *.txt
done

Просканированные файлы всего PDF останутся в папке, и другие файлы переместятся в другую папку.

Человек, увлеченный своим хобби, предлагает хорошее решение, если отсканированным документам коллекции документов не добавили текст с оптическим распознаванием символов (OCR). Если это - возможность, можно хотеть сделать некоторые сценарии, которые читают вывод pdfinfo -meta и проверки на инструмент раньше создавали файл или использовали стандартную программу Python, которая пользуется одной из библиотек Python для исследования их. Поиск текста с инструментом как strings будет ненадежно, потому что содержание PDF может быть сжато. И проверка инструмента создания не отказоустойчива, также, так как страницы PDF могут быть объединены; я обычно комбинирую текстовые документы PDF с отсканированными изображениями для держания вещей вместе.

Я сожалею, что не могу предложить определенные предложения. Это было некоторое время, так как я ввел по абсолютному адресу в PDF внутреннюю структуру, но в зависимости от того, насколько строгий Ваши требования, можно хотеть знать, что это отчасти сложно.Удачи!

Если это больше о фактическом обнаружении, если бы PDF был создан путем сканирования, а не PDF имеет изображения вместо текста затем, то Вы, возможно, должны были бы вырыть в метаданные файла, не просто содержание.

В целом для файлов я мог найти на своем компьютере и Ваших тестовых файлах, следующее верно:

• Просканированные файлы имеют меньше, чем 1000chars/page по сравнению с не просканированные, у кого всегда есть больше, чем 1000chars/page
• Нескольким независимым просканированным файлам перечислили "Canon" как создателя PDF, вероятно, сославшись на программное обеспечение сканера Canon
• PDFs с "Microsoft Word" как создатель, вероятно, не будут просканированы, поскольку они - экспорт слова. Но кто-то мог просканировать к слову, затем экспортировать в PDF - у некоторых людей есть очень странный рабочий процесс.

Я использую Windows в данный момент, таким образом, я использовал node.js для следующего примера:

const fs = require("mz/fs");
const pdf_parse = require("pdf-parse");
const path = require("path");


const SHOW_SCANNED_ONES = process.argv.indexOf("scanned") != -1;

const DEBUG = process.argv.indexOf("debug") != -1;
const STRICT = process.argv.indexOf("strict") != -1;

const debug = DEBUG ? console.error : () => { };

(async () => {
    const pdfs = (await fs.readdir(".")).filter((fname) => { return fname.endsWith(".pdf") });

    for (let i = 0, l = pdfs.length; i < l; ++i) {
        const pdffilename = pdfs[i];
        try {
            debug("\n\nFILE: ", pdffilename);
            const buffer = await fs.readFile(pdffilename);
            const data = await pdf_parse(buffer);

            if (!data.info)
                data.indo = {};
            if (!data.metadata) {
                data.metadata = {
                    _metadata: {}
                };
            }


            // PDF info
            debug(data.info);
            // PDF metadata
            debug(data.metadata);
            // text length
            const textLen = data.text ? data.text.length : 0;
            const textPerPage = textLen / (data.numpages);
            debug("Text length: ", textLen);
            debug("Chars per page: ", textLen / data.numpages);
            // PDF.js version
            // check https://mozilla.github.io/pdf.js/getting_started/
            debug(data.version);

            if (evalScanned(data, textLen, textPerPage) == SHOW_SCANNED_ONES) {
                console.log(path.resolve(".", pdffilename));
            }
        }
        catch (e) {
            if (strict && !debug) {
                console.error("Failed to evaluate " + item);
            }
            {
                debug("Failed to evaluate " + item);
                debug(e.stack);
            }
            if (strict) {
                process.exit(1);
            }
        }
    }
})();
const IS_CREATOR_CANON = /canon/i;
const IS_CREATOR_MS_WORD = /microsoft.*?word/i;
// just defined for better clarity or return values
const IS_SCANNED = true;
const IS_NOT_SCANNED = false;
function evalScanned(pdfdata, textLen, textPerPage) {
    if (textPerPage < 300 && pdfdata.numpages>1) {
        // really low number, definitelly not text pdf
        return IS_SCANNED;
    }
    // definitelly has enough text
    // might be scanned but OCRed
    // we return this if no 
    // suspition of scanning is found
    let implicitAssumption = textPerPage > 1000 ? IS_NOT_SCANNED : IS_SCANNED;
    if (IS_CREATOR_CANON.test(pdfdata.info.Creator)) {
        // this is always scanned, canon is brand name
        return IS_SCANNED;
    }
    return implicitAssumption;
}

Для выполнения его у Вас должен быть установленный Node.js (должна быть единственная команда), и также необходимо звонить:

npm install mz pdf-parse

Использование:

node howYouNamedIt.js [scanned] [debug] [strict]

 - scanned show PDFs thought to be scanned (otherwise shows not scanned)
 - debug shows the debug info such as metadata and error stack traces
 - strict kills the program on first error

Этот пример не считают законченным решением, но с debug флаг, Вы получаете некоторое понимание метаинформации файла:

FILE:  BR-L1411-3-scanned.pdf
{ PDFFormatVersion: '1.3',
  IsAcroFormPresent: false,
  IsXFAPresent: false,
  Creator: 'Canon ',
  Producer: ' ',
  CreationDate: 'D:20131212150500-03\'00\'',
  ModDate: 'D:20140709104225-03\'00\'' }
Metadata {
  _metadata:
   { 'xmp:createdate': '2013-12-12T15:05-03:00',
     'xmp:creatortool': 'Canon',
     'xmp:modifydate': '2014-07-09T10:42:25-03:00',
     'xmp:metadatadate': '2014-07-09T10:42:25-03:00',
     'pdf:producer': '',
     'xmpmm:documentid': 'uuid:79a14710-88e2-4849-96b1-512e89ee8dab',
     'xmpmm:instanceid': 'uuid:1d2b2106-a13f-48c6-8bca-6795aa955ad1',
     'dc:format': 'application/pdf' } }
Text length:  772
Chars per page:  2
1.10.100
D:\web\so-odpovedi\pdf\BR-L1411-3-scanned.pdf

Наивная функция, которую я записал, имеет 100%-й успех на документах, которые я мог найти на своем компьютере (включая Ваши образцы). Я назвал файлы на основе того, что их состояние прежде запускало программу, чтобы позволить видеть, корректны ли результаты.

D:\xxxx\pdf>node detect_scanned.js scanned
D:\xxxx\pdf\AR-G1002-scanned.pdf
D:\xxxx\pdf\AR-G1002_scanned.pdf
D:\xxxx\pdf\BR-L1411-3-scanned.pdf
D:\xxxx\pdf\WHO_TRS_696-scanned.pdf

D:\xxxx\pdf>node detect_scanned.js
D:\xxxx\pdf\AR-G1003-not-scanned.pdf
D:\xxxx\pdf\ASEE_-_thermoelectric_paper_-_final-not-scanned.pdf
D:\xxxx\pdf\MULTIMODE ABSORBER-not-scanned.pdf
D:\xxxx\pdf\ReductionofOxideMineralsbyHydrogenPlasma-not-scanned.pdf

Можно использовать режим отладки наряду с крошечным битом программирования для обширного улучшения результатов. Можно передать вывод программы к другим программам, это будет всегда иметь один полный путь на строку.

2 путями я могу думать:

1. Используя избранный текстовый инструмент: при использовании просканированного PDF, тексты не могут быть выбраны, скорее поле появится. Можно использовать этот факт для создания сценария. Я знаю в QT C++ существует путь, не уверенный в Linux все же.

2. Поиск слова в файле: В непросканированном PDF Ваш поиск будет работать, однако не в просканированном файле. Просто необходимо найти некоторые слова характерными для всего PDFs, или я сказал бы что поиск буквы 'e' во всем PDFs. Это имеет распределение наибольшей частоты, таким образом, возможности - Вы, найдет его во всех документах, которые имеют текст (Если его gadsby)

например,

grep -rnw '/path/to/pdf/' -e 'e'

Используйте любой из инструментов обработки текста

Я создал сценарий для определения того, является ли PDF-файл OCRd. Основная идея: в PDF-файлах OCRd текст невидим.

Алгоритм проверки того, был ли данный файл PDF (f1) OCRd:

1. создать копию f1, отмеченную как f2
2. удалить весь текст в f2
3. создать изображения (PNG) для всех (или только нескольких) страниц для f1 и f2
4. f1 было OCRd, если все изображения f1 и f2 идентичны.

https://github.com/jfilter/pdf-scripts/blob/master/is_ocrd_pdf.sh

#!/usr/bin/env bash
set -e
set -x

################################################################################
# Check if a PDF was scanned or created digitally, works on OCRd PDFs
#
# Usage:
#   bash is_scanned_pdf.sh [-p] file
#
#   Exit 0: Yes, file is a scanned PDF
#   Exit 99: No, file was created digitally
#
# Arguments:
#   -p or --pages: pos. integer, only consider first N pages
#
# Please report issues at https://github.com/jfilter/pdf-scripts/issues
#
# GPLv3, Copyright (c) 2020 Johannes Filter
################################################################################

# parse arguments
# h/t https://stackoverflow.com/a/33826763/4028896
max_pages=-1
# skip over positional argument of the file(s), thus -gt 1
while [[ "$#" -gt 1 ]]; do
  case $1 in
  -p | --pages)
    max_pages="$2"
    shift
    ;;
  *)
    echo "Unknown parameter passed: $1"
    exit 1
    ;;
  esac
  shift
done

# increment to make it easier with page numbering
max_pages=$((max_pages++))

command_exists() {
  if ! [ -x $($(command -v $1 &>/dev/null)) ]; then
    echo $(error: $1 is not installed.) >&2
    exit 1
  fi
}

command_exists mutool && command_exists gs && command_exists compare
command_exists pdfinfo

orig=$PWD
num_pages=$(pdfinfo $1 | grep Pages | awk '{print $2}')

echo $num_pages

echo $max_pages

if ((($max_pages > 1) && ($max_pages < $num_pages))); then
  num_pages=$max_pages
fi

cd $(mktemp -d)

for ((i = 1; i <= num_pages; i++)); do
  mkdir -p output/$i && echo $i
done

# important to filter text on output of GS (tmp1), cuz GS alters input PDF...
gs -o tmp1.pdf -sDEVICE=pdfwrite -dLastPage=$num_pages $1 &>/dev/null
gs -o tmp2.pdf -sDEVICE=pdfwrite -dFILTERTEXT tmp1.pdf &>/dev/null
mutool convert -o output/%d/1.png tmp1.pdf 2>/dev/null
mutool convert -o output/%d/2.png tmp2.pdf 2>/dev/null

for ((i = 1; i <= num_pages; i++)); do
  echo $i
  # difference in pixels, if 0 there are the same pictures
  # discard diff image
  if ! compare -metric AE output/$i/1.png output/$i/2.png null: 2>&1; then
    echo " pixels difference, not a scanned PDF, mismatch on page $i"
    exit 99
  fi
done