За последние 24 часа нас посетили 50276 программистов и 1758 роботов. Сейчас ищут 1177 программистов ...

Получить title и meta description сайта...

Тема в разделе "PHP для новичков", создана пользователем Invision, 11 фев 2011.

  1. Invision

    Invision Активный пользователь

    С нами с:
    26 фев 2009
    Сообщения:
    1.437
    Симпатии:
    1
    Адрес:
    Томск
    Вообщем вот такой вопрос, в базе весит около 10000 активных сайтов :shock: нужно написать скрипт скажем из базы берет по одному сайту, коннектится берет данные из title, рефреш и следующий... есть варианты?)
     
  2. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
  3. Invision

    Invision Активный пользователь

    С нами с:
    26 фев 2009
    Сообщения:
    1.437
    Симпатии:
    1
    Адрес:
    Томск
    Ок попробую понятнее. Допустим есть сайт: site.ru, он висит в БД, необходимо соединиться и "парсить данные" из тега <title>текст</title> и в бд записать. Структура примерно такая:

    --url-----title-----
    --site.ru--заколовок №1-----
    --site2.ru--заколовок другой----
    итд
     
  4. Invision

    Invision Активный пользователь

    С нами с:
    26 фев 2009
    Сообщения:
    1.437
    Симпатии:
    1
    Адрес:
    Томск
    Вообщем вывожу:

    $page_content = file_get_contents ('http://test.ru');
    preg_match_all( "|<title>(.*)</title>|", $page_content, $titles);
    print_r ($titles[0][0]);

    и выводится вместе с тегом <title>титл</title> ... а без него как =(
     
  5. Mamont

    Mamont Активный пользователь

    С нами с:
    5 дек 2010
    Сообщения:
    183
    Симпатии:
    0
    print_r ($titles);
    Смотреть исходный код страницы
     
  6. Invision

    Invision Активный пользователь

    С нами с:
    26 фев 2009
    Сообщения:
    1.437
    Симпатии:
    1
    Адрес:
    Томск

    помогло. спс.
     
  7. Invision

    Invision Активный пользователь

    С нами с:
    26 фев 2009
    Сообщения:
    1.437
    Симпатии:
    1
    Адрес:
    Томск
    Вообщем есть проблема с кодировкой, если страница в cp1251 то просто вопросы появляются.. можно ведь как то определить кодировку и выводить в нужной?!(
     
  8. Invision

    Invision Активный пользователь

    С нами с:
    26 фев 2009
    Сообщения:
    1.437
    Симпатии:
    1
    Адрес:
    Томск
    Перекодирую: preg_match("/\<meta[^<>]+charset\s*\=\s*([\w\-]+)/i",$site,$res);
    $codingconvert=mb_convert_encoding($matches[1],'UTF-8','$res[1]');

    Уже менял местами значения итд итп. То кракозябры то вообще нет текста русского... блин что не так делаю(
     
  9. BMWSauber

    BMWSauber Активный пользователь

    С нами с:
    21 ноя 2009
    Сообщения:
    151
    Симпатии:
    0