Вы можете использовать опцию -e robots=off, чтобы игнорировать файл robots.txt. Однако, если веб-сервер не принадлежит вам, игнорирование файла robots.txt считается грубым.