Это немного не по теме, но я надеюсь, что вы, ребята, поможете мне. Я нашел сайт, полный статей, которые мне нужны, но они смешаны с большим количеством бесполезных файлов (в основном, jpgs).
Я хотел бы знать, есть ли способ найти ( не загружать ) все PDF-файлы на сервере, чтобы составить список ссылок. По сути, я просто хотел бы отфильтровать все, что не является PDF, чтобы лучше понять, что скачивать, а что нет.
Обзор
Хорошо, здесь Вы идете. Это - программное решение в форме сценария:
#!/bin/bash
# NAME: pdflinkextractor
# AUTHOR: Glutanimate (http://askubuntu.com/users/81372/), 2013
# LICENSE: GNU GPL v2
# DEPENDENCIES: wget lynx
# DESCRIPTION: extracts PDF links from websites and dumps them to the stdout and as a textfile
# only works for links pointing to files with the ".pdf" extension
#
# USAGE: pdflinkextractor "www.website.com"
WEBSITE="$1"
echo "Getting link list..."
lynx -cache=0 -dump -listonly "$WEBSITE" | grep ".*\.pdf$" | awk '{print $2}' | tee pdflinks.txt
# OPTIONAL
#
# DOWNLOAD PDF FILES
#
#echo "Downloading..."
#wget -P pdflinkextractor_files/ -i pdflinks.txt
Установка
Вы должны будете иметь wget
и lynx
установленный:
sudo apt-get install wget lynx
Использование
Сценарий получит список весь .pdf
файлы на веб-сайте и дампе это к выводу командной строки и к текстовому файлу в рабочем каталоге. Если Вы комментируете "дополнительное" wget
управляйте, чтобы сценарий продолжил загружать все файлы на новый каталог.
Пример
$ ./pdflinkextractor http://www.pdfscripting.com/public/Free-Sample-PDF-Files-with-scripts.cfm
Getting link list...
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/JSPopupCalendar.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/ModifySubmit_Example.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/DynamicEmail_XFAForm_V2.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/AcquireMenuItemNames.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/BouncingButton.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/JavaScriptClock.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/Matrix2DOperations.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/RobotArm_3Ddemo2.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/SimpleFormCalculations.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/TheFlyv3_EN4Rdr.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/ImExportAttachSample.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/AcroForm_BasicToggle.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/AcroForm_ToggleButton_Sample.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/AcorXFA_BasicToggle.pdf
http://www.pdfscripting.com/public/FreeStuff/PDFSamples/ConditionalCalcScripts.pdf
Downloading...
--2013-12-24 13:31:25-- http://www.pdfscripting.com/public/FreeStuff/PDFSamples/JSPopupCalendar.pdf
Resolving www.pdfscripting.com (www.pdfscripting.com)... 74.200.211.194
Connecting to www.pdfscripting.com (www.pdfscripting.com)|74.200.211.194|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 176008 (172K) [application/pdf]
Saving to: `/Downloads/pdflinkextractor_files/JSPopupCalendar.pdf'
100%[===========================================================================================================================================================================>] 176.008 120K/s in 1,4s
2013-12-24 13:31:29 (120 KB/s) - `/Downloads/pdflinkextractor_files/JSPopupCalendar.pdf' saved [176008/176008]
...
простой фрагмент javascript может решить эту проблему: (ПРИМЕЧАНИЕ: я предполагаю, что все pdf файлы заканчиваются на .pdf в ссылке.)
откройте консоль javascript вашего браузера, скопируйте следующий код и вставьте его в консоль js , сделанный!
//get all link elements
var link_elements = document.querySelectorAll(":link");
//extract out all uris.
var link_uris = [];
for (var i=0; i < link_elements.length; i++)
{
//remove duplicated links
if (link_elements[i].href in link_uris)
continue;
link_uris.push (link_elements[i].href);
}
//filter out all links containing ".pdf" string
var link_pdfs = link_uris.filter (function (lu) { return lu.indexOf (".pdf") != -1});
//print all pdf links
for (var i=0; i < link_pdfs.length; i++)
console.log (link_pdfs[i]);
apt-cache rdepends libfdk-aac0
. Возможно, это могло сказать нам что-то...
– IcyIcyIce
16 June 2015 в 10:22