За последние 24 часа нас посетили 18047 программистов и 1635 роботов. Сейчас ищут 1086 программистов ...

Яндекс робот склеевает разные URL в один

Тема в разделе "Прочие вопросы по PHP", создана пользователем Ваучер, 3 ноя 2020.

  1. Ваучер

    Ваучер Новичок

    С нами с:
    3 ноя 2020
    Сообщения:
    7
    Симпатии:
    0
    Добрый день.

    Возможно, тему выбрал не правильную, извиняюсь, если не туда написал.
    Сайт писал сам с чистого листа. PHP + Smarty. htaccess разбирался тоже с нуля сам долго, но все настроил.
    сайт работает(знаю тормозит) сейчас решаю вопрос с удалением ненужного кода.

    Теперь о проблеме.

    Робот яндекса при обходе склеивает URL страниц
    Вот сайт https://www.profiledoors.ru

    Пример:
    /compack/katalog-dverej/seriya-stk/katalog-dverej/seriya-nk/tekhnicheskie-dannye

    Получается робот слепил в кучу страницы
    /compack - такая страницы есть
    /katalog-dverej/seriya-stk (url не полный не хватает параметра «/katalog-dverej/seriya-stk/czvet-pine-manhattan-grey»)
    /katalog-dverej/seriya-nk(ur lне полный не хватает параметра /katalog-dverej/seriya-nk/czvet-dub-sky-belyonyj»)
    /tekhnicheskie-dannye - такая страницы есть

    Где искать косяки из-за которых яндекс робот так лепит, сайт работает переходы все работают, НО…

    Подскажите что почитать чтобы разобраться.
     
  2. ADSoft

    ADSoft Старожил

    С нами с:
    12 мар 2007
    Сообщения:
    3.861
    Симпатии:
    751
    Адрес:
    Татарстан
    .наверное содержимое этих страниц ну очень похоже с точки зрения пс
     
  3. Ваучер

    Ваучер Новичок

    С нами с:
    3 ноя 2020
    Сообщения:
    7
    Симпатии:
    0
    Да причем тут содержание если он слепливает и делает несуществующий URL
     
  4. ADSoft

    ADSoft Старожил

    С нами с:
    12 мар 2007
    Сообщения:
    3.861
    Симпатии:
    751
    Адрес:
    Татарстан
    А урл точно не существующий?
    А если по нему перейти - что увидим?
     
  5. Ваучер

    Ваучер Новичок

    С нами с:
    3 ноя 2020
    Сообщения:
    7
    Симпатии:
    0
    404 не всегда срабатывает, сейчас сижу разбираюсь, по некоторым некорректным урлам редирект на главную, пока разбираюсь.
     
  6. ADSoft

    ADSoft Старожил

    С нами с:
    12 мар 2007
    Сообщения:
    3.861
    Симпатии:
    751
    Адрес:
    Татарстан
    Вот вам и причина склейки - редирект на одну р ту же страницу, а значит можно склеивать
     
  7. Ваучер

    Ваучер Новичок

    С нами с:
    3 ноя 2020
    Сообщения:
    7
    Симпатии:
    0
    Спасибо понял, роутер криво написал. Надо читать проверять где-то на косячил(
    Еще раз спасибо!
     
  8. miketomlin

    miketomlin Старожил

    С нами с:
    9 авг 2016
    Сообщения:
    3.842
    Симпатии:
    652
    Походу адреса в ссылках каталога относительные, когда должны были быть абсолютные, судя по полному набору компонентов пути ;)

    И к роутеру это относится только если ф-ция построения адресов как-то с ним повязана, иначе дело в самой ф-ции/ее связях.
     
  9. Ваучер

    Ваучер Новичок

    С нами с:
    3 ноя 2020
    Сообщения:
    7
    Симпатии:
    0
    Спасибо проверю исправлю, просто роутер иногда не выдает 404, разбираюсь с этим тоже(
     
  10. miketomlin

    miketomlin Старожил

    С нами с:
    9 авг 2016
    Сообщения:
    3.842
    Симпатии:
    652
    А ну тогда мог и кто-нибудь другой кривую ссылку сделать. Хотя сильно похоже, что вы сами и со ссылками намудрили.
    --- Добавлено ---
    Возможно, это было сделано ранее. Сейчас смотрю, по крайней мере в каталоге вроде адреса в ссылках норм. Их строит одна и та же ф-ция? По одному и тому же шаблону?
     
  11. Ваучер

    Ваучер Новичок

    С нами с:
    3 ноя 2020
    Сообщения:
    7
    Симпатии:
    0
    Да намудрил))) так как переделывал раз 5 htaccess )) пока не разобрался с ним, нашел много косяков, как раз с ссылками что слипались.
    Огромное всем спасибо.
     
  12. miketomlin

    miketomlin Старожил

    С нами с:
    9 авг 2016
    Сообщения:
    3.842
    Симпатии:
    652
    Добрый совет: делай .htaccess как можно проще, а весь роутинг выполняй во фронт-контроллере.
    --- Добавлено ---
    Смотрю, у тебя там и сейчас бездна дублей, получаемая при добавлении произвольной строки GET-параметров.
     
  13. Ваучер

    Ваучер Новичок

    С нами с:
    3 ноя 2020
    Сообщения:
    7
    Симпатии:
    0
    Да с роутером разбираюсь, дубли из-за него((( + чтобы ускорить работу сайта, надо ЧПУ через роутер реализовать, а у меня через .htaccess.
    Так как PHP учу сам и первый год, еще не все изучил, тяжко не все сразу получается. Как говорится если долго мучится, все равно получится! Думаю раздерусь, затянуло стало интересно получать результаты. И даже если не получается ищу варианты и все равно решаю проблему.
    Тут просто как в тупике, вроде все работает, ошибок нет, а яндекс чудит)
    А оказалось ошибки есть, просто не видно.
     
  14. miketomlin

    miketomlin Старожил

    С нами с:
    9 авг 2016
    Сообщения:
    3.842
    Симпатии:
    652
    Осваивайте тестирование. «Обстрелять» сайт запросами по предусмотренным и нет адресам – это первое дело. Что касается, роутера и ЧПУ, можно было взять какой-нибудь фреймворк, раз у вас пока собственных подобных наработок нет. Реализация всего этого через .htaccess – само по себе источник дублей, если не бороться с тем, что сами же и притянули, например рерайт даже целого пути в GET-параметр фронт-контроллера дает дубль вроде /index.php?path=тут_путь. С основами можно ознакомиться в статье Как сделать единую точку входа с ЧПУ?
    --- Добавлено ---
    P.S. Сначала подумал, что с трэйлинг-слешами дубли: /skrytye-dveri/. А потом ввел /skrytye-dveri/rrr и опять увидел дубль ;)