Гайз, я правильно понимаю что если при повторном подключении проверять куку N выставленную js-скриптом, то можно успешно отсеивать недопарсеры ? Я понимаю что в итоге можно выпарсить хоть js-код на предмет генерации этой куки, но всё же. Каковы Ваши рекомендации по анальной окопке ?
1) От целенаправленного парсера тяжко спастись. 2) От быдлошкольного легко - просто не грузи контент на страницу. Грузи шапку, подвал, контейнер для контента и JS, который аяксом дернет контент с сервера, передав при этом токены, сгенерированные вместе со страницей. Все. Нет, это не помешает поисковой индексации. Краулеры гугла потрошат аяксы без проблем. Проверено.
Звучит так - Как будто новая версия машин из фильма терминатор или матрицы, где всем моськи чистят и наконец зло держит верх азаза.
Эта тема уже обсуждалась неоднократно. И прям тут на форуме выкладывались пруфы от гугла самого, блин. А в консоли вебмастера в гугле можно сделать "просмотреть сайт, как робот" и воочию убедиться, что ajax отрабатывает на отлично. Проверено собственноручно. Не домыслы, не мифы, не хотелки. Факты. То, что несчастные ноют - проблемы несчастных и того, что они не в курсе происходящего.
Держи. Люди, которым надоело ныть, решили сами все протестить http://searchengineland.com/tested-googlebot-crawls-javascript-heres-learned-220157
А вот от гугла - https://developers.google.com/webmasters/ajax-crawling/docs/learn-more Вкратце, если не будешь гуглу сам мешать, у гугла не будет проблем с парсингом твоего AJAXа. --- Добавлено --- Нет, ты лучше верь нытикам и недоделанным СЕОшникам, живущим в мире астрала и духов, которых надо задабривать, а по ссылкам с пруфами, тестами и доками гугла ходить и правда не надо. В 2017 году, когда чуть ли не каждый первый сайт обмазан AJAX-ом по самые помидоры, у поисковиков, разумеется, нет никакого резона решать эту проблему. Она ведь свежа-молода, AJAX всего месяц назад в интернеты завезли.
интернет такая удобная штука, что когда тебе нужен пруф, ты его найдёшь. понадобится противоположный аргумент — да пожалуйста. всё дело в (а) вере, (б) контексте и (в) бабосах. особенно в бабосах. одного заказчика могут последовательно окучивать сначала те кто за, а потом те кто против. слава техническому прогрессу.
Ты когда таким демагогом стать успел? Тебя покусали, чтоль? Я тебе скинул доку от гугла. Доку. От. Гугла. ДОКУ А ты мне паришь про "кто хочет тот найдет что угодно, бла бла бла, интернет удобная штука, окучивание заказчиков". Прокидывая, по сути, все мои аргументы просто потому что потому.
Если коротко, то это ангуляропроблемы, коих у него и без того полным-полно на самом-то деле. Это не проблемы AJAX-краулинга. Это проблемы убогой архитектуры ангуляра. Хотя гугловые боты умнеют, и мб с ангуляром уже тоже все не так плохо в этом плане. Давно не глядел, как оно там сейчас, хотя наслышан да, что даже pre-render сервисы есть платные(sic!!!!!!!11) для того, чтобы это корыто ублажать. --- Добавлено --- Ты, к слову, на чем это все шаманишь?
Я на противоположной стороне в данный момент. Но на секундочку представил что описанный момент составил бы проблемы. Ненадолго. Поэтому вопрос носил чисто информативный характер. Но, породил лёгкий дискусс, я доволен.
Спойлер: оффтоп Если вы - любители жареного на нерафинированном, дошираков, фастфудов и прочих Ешэк, горячего кофе и чая, но переживаете о всё возрастающем риске рака - у меня для вас хорошая новость (от 1 июня, прост сообщить руки не доходили)! Немецкие исследователи создали Универсальную вакцину против рака (https://lenta.ru/news/2016/06/01/cancer_vaccine/)! Если вы переживаете, что новинка может оказаться не по карману, то вас утешат их австралийские коллеги.Уже на следующий день открыто - Лекарством от рака оказался... аспирин! (https://lenta.ru/news/2016/06/02/salicylic_acid/) Ложку дёгтя добавили 6 июня исследователи из Нью-Йорка - что бы ни сообщали немцы, Найдена причина неизлечимости рака кожи (https://lenta.ru/news/2016/06/06/skin_cancer/). Да что тут говорить, если Взрывы сверхновых звезд назвали причиной появления рака (https://lenta.ru/news/2016/06/10/supernova/)? Разве под силу человеку совладать с космосом? Казалось бы, хуже ничего быть не может - но уже через неделю ВОЗ признала горячие кофе и чай источником рака (https://lenta.ru/news/2016/06/16/cancer/). Так вот, любители запить картофель-фри зеленым чаем вместо колы! Воистину, умножая знания - уможаешь скорбь. Высшее образование назвали причиной рака головного мозга (https://lenta.ru/news/2016/06/21/glioma/). Но не так страшно потерять мозг, как всё тело - Алкоголь назвали фатальной причиной рака (https://lenta.ru/news/2016/06/29/alcohol/). Большинство сообщений - переводные с английского, и это явно не всё. Можно только пожалеть американцев, которые (вероятно) впали в депрессию и спрятались от Солнца и космоса в бункерах, перестали пить кофе, виски и бросили учебу и подсели на аспирин - иначе как объяснить, что в июле В США зафиксировали резкое снижение заболеваемости раком (https://lenta.ru/news/2016/07/12/mystery/)? К сожалению, раклэс-образ жизни переняли не все - уже на следующий день Рыжеволосым людям пообещали смерть от рака кожи (https://lenta.ru/news/2016/07/13/ginger/).
Ух ты. Яндекс тоже так умеет: https://yandex.ru/support/webmaster/robot-workings/ajax-indexing.xml. Но речь всё же идёт, что в таком случае должно быть две версии страницы, одна для пользователя, другая для паука, в которой уже всё подставлено. Т.е. сделать двойную работу, тогда чем это лучше того, чтобы сразу выдавать собранную версию страниц, где требуется индексация?
Яндекс в этом плане еще из начала 2000х не вылез, да. И пока что не собирается. Ничем. Это пререндер-костылище.
@Fell-x27, погоди, может у меня конечно с английским совсем плохо, но гугл тоже самое по ссылке, которую ты привёл, пишет, один в в один: