Как создать CLI Web Spider, который использует ключевые слова и фильтрует контент?

Я воссоздал свой сценарий на основе этого ответа , предоставленного @karel . Теперь сценарий использует lynx вместо wget . В результате это становится значительно быстрее.

Текущая версия выполняет ту же работу в течение 15 минут, когда есть два искомых ключевых слова, и только 8 минут , если мы ищем только одно ключевое слово. Это быстрее, чем решение Python , предоставленное @dan .

Кроме того, lynx обеспечивает лучшую обработку нелатинских символов.

#!/bin/bash

TARGET_URL='http://e-bane.net/modules.php?name=Stories_Archive'
KEY_WORDS=('pa4080')  # KEY_WORDS=('word' 'some short sentence')
MAP_FILE='url.map'
OUT_FILE='url.list'

get_url_map() {
    # Use 'lynx' as spider and output the result into a file 
    lynx -dump "${TARGET_URL}" | awk '/http/{print $2}' | uniq -u > "$MAP_FILE"
    while IFS= read -r target_url; do lynx -dump "${target_url}" | awk '/http/{print $2}' | uniq -u >> "${MAP_FILE}.full"; done < "$MAP_FILE"
    mv "${MAP_FILE}.full" "$MAP_FILE"
}

filter_url_map() {
    # Apply some filters to the $MAP_FILE and keep only the URLs, that contain 'article&sid'
    uniq "$MAP_FILE" | grep -v '\.\(css\|js\|png\|gif\|jpg\|txt\) | grep 'article&sid' | sort -u > "${MAP_FILE}.uniq"
    mv "${MAP_FILE}.uniq" "$MAP_FILE"
    printf '\n# -----\nThe number of the pages to be scanned: %s\n' "$(cat "$MAP_FILE" | wc -l)"
}

get_key_urls() {
    counter=1
    # Do this for each line in the $MAP_FILE
    while IFS= read -r URL; do
        # For each $KEY_WORD in $KEY_WORDS
        for KEY_WORD in "${KEY_WORDS[@]}"; do
            # Check if the $KEY_WORD exists within the content of the page, if it is true echo the particular $URL into the $OUT_FILE
            if [[ ! -z "$(lynx -dump -nolist "${URL}" | grep -io "${KEY_WORD}" | head -n1)" ]]; then
                echo "${URL}" | tee -a "$OUT_FILE"
                printf '%s\t%s\n' "${KEY_WORD}" "YES"
            fi
        done
        printf 'Progress: %s\r' "$counter"; ((counter++))
    done < "$MAP_FILE"
}

# Call the functions
get_url_map
filter_url_map
get_key_urls

Для решения этой задачи я создал следующий простой bash-скрипт, который в основном использует инструмент CLI wget.

#!/bin/bash

TARGET_URL='http://e-bane.net/modules.php?name=Stories_Archive'
KEY_WORDS=('pa4080' 's0ther')
MAP_FILE='url.map'
OUT_FILE='url.list'

get_url_map() {
    # Use 'wget' as spider and output the result into a file (and stdout) 
    wget --spider --force-html -r -l2 "${TARGET_URL}" 2>&1 | grep '^--' | awk '{ print $3 }' | tee -a "$MAP_FILE"
}

filter_url_map() {
    # Apply some filters to the $MAP_FILE and keep only the URLs, that contain 'article&sid'
    uniq "$MAP_FILE" | grep -v '\.\(css\|js\|png\|gif\|jpg\|txt\) 
 Скрипт имеет три функции: 
 
 
 
 Первая функция get_url_map() использует wget как --spider (что означает, что он просто проверяет наличие страниц). ) и создаст рекурсивный -r URL $MAP_FILE из $TARGET_URL с уровнем глубины -l2. (Другой пример можно найти здесь:  Конвертировать сайт в PDF ). В текущем случае $MAP_FILE содержит около 20 000 URL-адресов. 
 
 
 
 Вторая функция filter_url_map() упростит содержание $MAP_FILE. В этом случае нам нужны только строки (URL), которые содержат строку article&sid, а их около 3000. Больше идей можно найти здесь:  Как удалить определенные слова из строк текстового файла?  
 
 
 
 Третья функция get_key_urls() будет использовать wget -qO- (как команда curl -  examples ) для вывода содержимого каждого URL из $MAP_FILE и постараюсь найти любой из $KEY_WORDS внутри него. Если какой-либо из $KEY_WORDS найден в содержимом какого-либо конкретного URL, этот URL будет сохранен в $OUT_FILE. 
 
 
 
 В процессе работы вывод скрипта выглядит так, как показано на следующем изображении. Для завершения требуется около 63 минут, если есть два ключевых слова, и  42 минуты , когда выполняется поиск только по одному ключевому слову. 
 
     
 | grep 'article&sid' | sort -u > "${MAP_FILE}.uniq"
    mv "${MAP_FILE}.uniq" "$MAP_FILE"
    printf '\n# -----\nThe number of the pages to be scanned: %s\n' "$(cat "$MAP_FILE" | wc -l)"
}

get_key_urls() {
    counter=1
    # Do this for each line in the $MAP_FILE
    while IFS= read -r URL; do
        # For each $KEY_WORD in $KEY_WORDS
        for KEY_WORD in "${KEY_WORDS[@]}"; do
            # Check if the $KEY_WORD exists within the content of the page, if it is true echo the particular $URL into the $OUT_FILE
            if [[ ! -z "$(wget -qO- "${URL}" | grep -io "${KEY_WORD}" | head -n1)" ]]; then
                echo "${URL}" | tee -a "$OUT_FILE"
                printf '%s\t%s\n' "${KEY_WORD}" "YES"
            fi
        done
        printf 'Progress: %s\r' "$counter"; ((counter++))
    done < "$MAP_FILE"
}

# Call the functions
get_url_map
filter_url_map
get_key_urls

Скрипт имеет три функции:

• Первая функция get_url_map() использует wget как --spider (что означает, что он просто проверяет наличие страниц). ) и создаст рекурсивный -r URL $MAP_FILE из $TARGET_URL с уровнем глубины -l2. (Другой пример можно найти здесь: Конвертировать сайт в PDF ). В текущем случае $MAP_FILE содержит около 20 000 URL-адресов.

• Вторая функция filter_url_map() упростит содержание $MAP_FILE. В этом случае нам нужны только строки (URL), которые содержат строку article&sid, а их около 3000. Больше идей можно найти здесь: Как удалить определенные слова из строк текстового файла?

• Третья функция get_key_urls() будет использовать wget -qO- (как команда curl - examples ) для вывода содержимого каждого URL из $MAP_FILE и постараюсь найти любой из $KEY_WORDS внутри него. Если какой-либо из $KEY_WORDS найден в содержимом какого-либо конкретного URL, этот URL будет сохранен в $OUT_FILE.

В процессе работы вывод скрипта выглядит так, как показано на следующем изображении. Для завершения требуется около 63 минут, если есть два ключевых слова, и 42 минуты , когда выполняется поиск только по одному ключевому слову.