Добрый вечер! Нужен алгоритм перебора страниц сайта чтоб перебрать все страницы сайта и распарсить их. Подскажите плз что-нибудь.
получаешь содержимое главной страницы, парсишь оттуда все ссылки, заносишь в базу адрес "/" как спарсено, а ссылки - как не спарсено. затем по каждой ссылке парсишь и т.д... рекурсия в общем.