Возникла такая проблема. На сайте два типа страниц одни *.catalogxxx.htm другие *.descrxxx.htm оба типа генерируются одним скриптом конечно за исключением самой начинки.Не могу сказать после чего но страницы второго типа перестали видится роботами при этом в браузере всё открывается без ошибок.Подскажите в какую стороню копать.
Вы с заголовками ничего не делаете? проверьте статус страниц descrxxx.htm Я делал это тут http://seo.delics.ru/header.php
Результат : HEAD /descr1989.htm HTTP/1.1 Host: www.xxxxxxx.ru User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Connection: Close Статус: 500 HTTP/1.1 500 Internal Server Error Date: Wed, 14 Nov 2007 18:36:38 GMT Content-Type: text/html; charset=windows-1251 Transfer-Encoding: chunked Connection: close Server: Apache Cache-Control: max-age=0 Expires: Wed, 14 Nov 2007 18:36:37 GMT Set-Cookie: Session=1195065397 В robot.txt все открыто
Вот заголовок страницы catalog: <head> <title>Акустика в интернет-магазине акустики xxxxxx.ru</title> <META http-equiv="Content-Type" content="text/html; charset=windows-1251"> <META HTTP-EQUIV="Description" CONTENT="Акустика в интернет-магазине акустики xxxxxx.ru" NAME="Description"> <META HTTP-EQUIV="Keywords" CONTENT="Акустика в интернет-магазине акустики xxxxxx.ru" NAME="Keywords"> <meta name="verify-v1" content="Arocf28y1/rUOMyJESng+VEkgBzlcgukSv7xaWOYIPU=" /> <LINK REL="STYLESHEET" TYPE="text/css" HREF="/styles.css"> </head> А вот страницы descr: <head> <title>Центральный канал Kharma Ceramique Centre Channel 1.0</title> <META http-equiv="Content-Type" content="text/html; charset=windows-1251"> <META HTTP-EQUIV="Description" CONTENT="Центральный канал Kharma Ceramique Centre Channel 1.0" NAME="Description"> <META HTTP-EQUIV="Keywords" CONTENT="Центральный канал Kharma Ceramique Centre Channel 1.0" NAME="Keywords"> <meta name="verify-v1" content="Arocf28y1/rUOMyJESng+VEkgBzlcgukSv7xaWOYIPU=" /> <LINK REL="STYLESHEET" TYPE="text/css" HREF="/styles.css"> </head> В чём разница??? В логах никаких ошибок!
Речь идет о HTTP заголовках. А разница в том, что тут http://seo.delics.ru/header.php?url=htt ... log272.htm - статус страницы 200 а тут http://seo.delics.ru/header.php?url=htt ... cr1915.htm - статус 500 Видимо ваш скрипт написан на perl. И на страницах descr есть ошибки в коде. Поэтому выдается ошибка 500(Внутренняя ошибка сервера) Если не хотите светить сайт, напишите - я отредактирую.