Веб-паук (или веб-краулер, бот, робот) — это программа, которая автоматически просматривает веб-страницы, извлекает данные и переходит по ссылкам для дальнейшего анализа.