За последние 24 часа нас посетили 20798 программистов и 1135 роботов. Сейчас ищут 338 программистов ...

No parsing allowed

Тема в разделе "PHP для профи", создана пользователем Abyss, 30 авг 2017.

  1. Abyss

    Abyss Старожил

    С нами с:
    12 дек 2015
    Сообщения:
    1.298
    Симпатии:
    218
    Адрес:
    Default city
    Гайз, я правильно понимаю что если при повторном подключении проверять куку N выставленную js-скриптом, то можно успешно отсеивать недопарсеры ?
    Я понимаю что в итоге можно выпарсить хоть js-код на предмет генерации этой куки, но всё же. Каковы Ваши рекомендации по анальной окопке ?
     
  2. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.155
    Симпатии:
    1.769
    Адрес:
    :сердА
    1) От целенаправленного парсера тяжко спастись.
    2) От быдлошкольного легко - просто не грузи контент на страницу. Грузи шапку, подвал, контейнер для контента и JS, который аяксом дернет контент с сервера, передав при этом токены, сгенерированные вместе со страницей.

    Все.

    Нет, это не помешает поисковой индексации. Краулеры гугла потрошат аяксы без проблем. Проверено.
     
  3. MouseZver

    MouseZver Суперстар

    С нами с:
    1 апр 2013
    Сообщения:
    7.734
    Симпатии:
    1.315
    Адрес:
    Лень
    Звучит так - Как будто новая версия машин из фильма терминатор или матрицы, где всем моськи чистят и наконец зло держит верх азаза.
     
    Михаил Запаленов нравится это.
  4. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.155
    Симпатии:
    1.769
    Адрес:
    :сердА
    Согласен, фраза получилась сочная.
     
  5. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.410
    Симпатии:
    1.768
  6. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.068
    Симпатии:
    1.231
    Адрес:
    там-сям
    Если бы ты был прав, @Fell-x27, несчастные не обсуждали бы "pre-rendering" и "ssr".
     
  7. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.155
    Симпатии:
    1.769
    Адрес:
    :сердА
    Эта тема уже обсуждалась неоднократно. И прям тут на форуме выкладывались пруфы от гугла самого, блин. А в консоли вебмастера в гугле можно сделать "просмотреть сайт, как робот" и воочию убедиться, что ajax отрабатывает на отлично. Проверено собственноручно. Не домыслы, не мифы, не хотелки. Факты.

    То, что несчастные ноют - проблемы несчастных и того, что они не в курсе происходящего.
     
  8. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.068
    Симпатии:
    1.231
    Адрес:
    там-сям
    окай ))) раз всё хорошо, не буду тебя разубеждать.
    --- Добавлено ---
    [​IMG]
     
  9. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.155
    Симпатии:
    1.769
    Адрес:
    :сердА
  10. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.068
    Симпатии:
    1.231
    Адрес:
    там-сям
    гугль, значит, заявлял. окай-окай.
    --- Добавлено ---
    даже не пойду. верюб сразу
     
  11. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.155
    Симпатии:
    1.769
    Адрес:
    :сердА
    А вот от гугла - https://developers.google.com/webmasters/ajax-crawling/docs/learn-more
    Вкратце, если не будешь гуглу сам мешать, у гугла не будет проблем с парсингом твоего AJAXа.
    --- Добавлено ---
    Нет, ты лучше верь нытикам и недоделанным СЕОшникам, живущим в мире астрала и духов, которых надо задабривать, а по ссылкам с пруфами, тестами и доками гугла ходить и правда не надо. В 2017 году, когда чуть ли не каждый первый сайт обмазан AJAX-ом по самые помидоры, у поисковиков, разумеется, нет никакого резона решать эту проблему. Она ведь свежа-молода, AJAX всего месяц назад в интернеты завезли.
     
  12. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.068
    Симпатии:
    1.231
    Адрес:
    там-сям
    интернет такая удобная штука, что когда тебе нужен пруф, ты его найдёшь. понадобится противоположный аргумент — да пожалуйста. всё дело в (а) вере, (б) контексте и (в) бабосах. особенно в бабосах.
    одного заказчика могут последовательно окучивать сначала те кто за, а потом те кто против. слава техническому прогрессу.
     
  13. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.155
    Симпатии:
    1.769
    Адрес:
    :сердА
    Ты когда таким демагогом стать успел? Тебя покусали, чтоль?
    Я тебе скинул доку от гугла. Доку. От. Гугла. ДОКУ :)

    А ты мне паришь про "кто хочет тот найдет что угодно, бла бла бла, интернет удобная штука, окучивание заказчиков". Прокидывая, по сути, все мои аргументы просто потому что потому.
     
  14. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.068
    Симпатии:
    1.231
    Адрес:
    там-сям
    если коротко, то angularjs не соответствует твоему "если не будешь гуглу сам мешать".
     
  15. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.155
    Симпатии:
    1.769
    Адрес:
    :сердА
    Если коротко, то это ангуляропроблемы, коих у него и без того полным-полно на самом-то деле. Это не проблемы AJAX-краулинга. Это проблемы убогой архитектуры ангуляра. Хотя гугловые боты умнеют, и мб с ангуляром уже тоже все не так плохо в этом плане. Давно не глядел, как оно там сейчас, хотя наслышан да, что даже pre-render сервисы есть платные(sic!!!!!!!11) для того, чтобы это корыто ублажать.
    --- Добавлено ---
    Ты, к слову, на чем это все шаманишь?
     
  16. Abyss

    Abyss Старожил

    С нами с:
    12 дек 2015
    Сообщения:
    1.298
    Симпатии:
    218
    Адрес:
    Default city
    Я на противоположной стороне в данный момент.
    Но на секундочку представил что описанный момент составил бы проблемы. Ненадолго.
    Поэтому вопрос носил чисто информативный характер. Но, породил лёгкий дискусс, я доволен.
     
  17. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.155
    Симпатии:
    1.769
    Адрес:
    :сердА
    Ну здрасте.
     
  18. Abyss

    Abyss Старожил

    С нами с:
    12 дек 2015
    Сообщения:
    1.298
    Симпатии:
    218
    Адрес:
    Default city
    Дратути.
     
  19. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.410
    Симпатии:
    1.768
    нихрена не понял
     
  20. [vs]

    [vs] Суперстар
    Команда форума Модератор

    С нами с:
    27 сен 2007
    Сообщения:
    10.553
    Симпатии:
    631
    Не гуглом единым...
     
  21. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.068
    Симпатии:
    1.231
    Адрес:
    там-сям
  22. [vs]

    [vs] Суперстар
    Команда форума Модератор

    С нами с:
    27 сен 2007
    Сообщения:
    10.553
    Симпатии:
    631
    Если вы - любители жареного на нерафинированном, дошираков, фастфудов и прочих Ешэк, горячего кофе и чая, но переживаете о всё возрастающем риске рака - у меня для вас хорошая новость (от 1 июня, прост сообщить руки не доходили)! Немецкие исследователи создали Универсальную вакцину против рака (https://lenta.ru/news/2016/06/01/cancer_vaccine/)! Если вы переживаете, что новинка может оказаться не по карману, то вас утешат их австралийские коллеги.Уже на следующий день открыто - Лекарством от рака оказался... аспирин! (https://lenta.ru/news/2016/06/02/salicylic_acid/) Ложку дёгтя добавили 6 июня исследователи из Нью-Йорка - что бы ни сообщали немцы, Найдена причина неизлечимости рака кожи (https://lenta.ru/news/2016/06/06/skin_cancer/). Да что тут говорить, если Взрывы сверхновых звезд назвали причиной появления рака (https://lenta.ru/news/2016/06/10/supernova/)? Разве под силу человеку совладать с космосом?
    Казалось бы, хуже ничего быть не может - но уже через неделю ВОЗ признала горячие кофе и чай источником рака (https://lenta.ru/news/2016/06/16/cancer/). Так вот, любители запить картофель-фри зеленым чаем вместо колы! Воистину, умножая знания - уможаешь скорбь. Высшее образование назвали причиной рака головного мозга (https://lenta.ru/news/2016/06/21/glioma/). Но не так страшно потерять мозг, как всё тело - Алкоголь назвали фатальной причиной рака (https://lenta.ru/news/2016/06/29/alcohol/).
    Большинство сообщений - переводные с английского, и это явно не всё. Можно только пожалеть американцев, которые (вероятно) впали в депрессию и спрятались от Солнца и космоса в бункерах, перестали пить кофе, виски и бросили учебу и подсели на аспирин - иначе как объяснить, что в июле В США зафиксировали резкое снижение заболеваемости раком (https://lenta.ru/news/2016/07/12/mystery/)? К сожалению, раклэс-образ жизни переняли не все - уже на следующий день Рыжеволосым людям пообещали смерть от рака кожи (https://lenta.ru/news/2016/07/13/ginger/).
     
  23. mkramer

    mkramer Суперстар
    Команда форума Модератор

    С нами с:
    20 июн 2012
    Сообщения:
    8.548
    Симпатии:
    1.754
    Ух ты. Яндекс тоже так умеет: https://yandex.ru/support/webmaster/robot-workings/ajax-indexing.xml. Но речь всё же идёт, что в таком случае должно быть две версии страницы, одна для пользователя, другая для паука, в которой уже всё подставлено. Т.е. сделать двойную работу, тогда чем это лучше того, чтобы сразу выдавать собранную версию страниц, где требуется индексация?
     
  24. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.155
    Симпатии:
    1.769
    Адрес:
    :сердА
    Яндекс в этом плане еще из начала 2000х не вылез, да. И пока что не собирается.
    Ничем. Это пререндер-костылище.
     
  25. mkramer

    mkramer Суперстар
    Команда форума Модератор

    С нами с:
    20 июн 2012
    Сообщения:
    8.548
    Симпатии:
    1.754
    @Fell-x27, погоди, может у меня конечно с английским совсем плохо, но гугл тоже самое по ссылке, которую ты привёл, пишет, один в в один: