Crawler4j является поисковым роботом Java с открытым исходным кодом, который обеспечивает простой интерфейс для сканирования сети.

Ссылка: https://github.com/yasserg/crawler4j