Страницу сайта скрипт в зависимости от входных параметров генерит за 8-10 сек. Как по-вашему, не слишком ли это долго, и будут ли поисковые боты ждать столько?
Предпарсинг делай заранее, не привязывай к обращениям к страницам.Делай парсинг по крону. Еще не забывай что гугл и другие поисковики нормально воспринимают около 200кб кода, все что дальше мало влияет на ранжирование страницы.
Вот те на! Вот так делаешь что-то, делаешь.. потом оказывается что не правильная идеология. А как правильно? Спасибо, Alost, так и сделаю)
А правильно это не через жопу. Гугл не парсит чужие страницы внезапно по твоему запросу. Если конечный потребитель у тебя пользователь, то правильных два варианта. Delayed update on demand. Scheduled update. Первый применяется когда ты не знаешь, что тебе будет нужно. Второй когда знаешь. Если конечный потребитель у тебя Гугл, которому нужно вообще все. То у тебя только один вариант - последний.
Наверное буду совмещать) Т.е. по крону для гугла, а для юзеров - парсить во время запроса, если до этого в базе не было.
kalamfur думаешь гугл не узнает, что ты спиздил это с другого сайта? Если твоя технология только для гугла, то забей...
Нет, почему же не узнает.. Узнает. Тем паче, что доноров скрипт будет искать в Gугле. Вот только он во-первых собирает страничку из нескольких доноров, а во-вторых хитро выбирает и форматирует всё это. Думаю за такое не забанит. ЗЫ: Кто нибудь сплогами занимался?