За последние 24 часа нас посетили 17305 программистов и 1740 роботов. Сейчас ищут 1012 программистов ...

Собственный робот-индексатор

Тема в разделе "Прочие вопросы по PHP", создана пользователем Badnick, 29 дек 2012.

  1. Badnick

    Badnick Активный пользователь

    С нами с:
    27 дек 2012
    Сообщения:
    13
    Симпатии:
    0
    Добрый день уважаемые форумчане. Нужно написать собственного робота индексатора (парсер), который будет заносить страницы, подходящие заранее созданному шаблону, в свой индекс (MySQL). Брать эти страницы он должен гуляя по внутренним ссылкам указаного сайта (дается лишь главная страница - все остальное делает сам скрипт). Лучшим решением, вроде бы как, является cURL, но реализовать данное решение так и не получилось. Возможно набросаете что-нибудь в сыром виде или линк дадите по теме (пусть буржуйский). Спасибо большое.
     
  2. siiXth

    siiXth Активный пользователь

    С нами с:
    14 мар 2010
    Сообщения:
    1.447
    Симпатии:
    1
    если у вас курл по готовым примерам не заработал, то у меня для вас плохие новости :>
    сделайте чтобы заработал, а дальше посмотрим