За последние 24 часа нас посетили 16489 программистов и 1827 роботов. Сейчас ищут 1338 программистов ...

robots.txt и git

Тема в разделе "Версионность, тестирование и развёртывание", создана пользователем artoodetoo, 10 дек 2019.

Метки:
  1. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.107
    Симпатии:
    1.243
    Адрес:
    там-сям
    Я предполагаю, что robots.txt надо хранить под контролем версий. И модифицировать его вместе со всем остальным. Но тут возникает заморочка с demo- или staging-версиями сайта. Они очевидно не должны индексироваться поисковиками, а значит для них robots.txt логично сделать таким:
    Код (Text):
    1.  
    2. User-agent: *
    3. Disallow: /
    в то время как на production он должен быть каким-то иным и при этом всём, репозиторий у них один и тот же.

    Мой вариант: хранить в репе не буквально robots.txt, а две или более заготовки и отдавать по запросу `GET /robots.txt` уже скриптом, который учитывает уровень сайта. Уровень задаётся в `.env` а он НЕ хранится в репе, это уже стандарт. В репе хранится только образец для копирования `.env.example`.
    PHP:
    1. public function getRobotsTxt()
    2. {
    3.     $env = config('app.env');
    4.     $fileName = base_path('robots.' . $env);
    5.     if (file_exists($fileName)) {
    6.         return file_get_contents($fileName);
    7.     }
    8.     return file_get_contents(base_path('robots.local'));
    9. }
    Если вы решаете вопрос как-то иначе, прошу делиться. Если вообще не думали об этом, то уже пора :)
     
    mkramer и Roman __construct нравится это.
  2. acho

    acho Активный пользователь

    С нами с:
    28 дек 2016
    Сообщения:
    854
    Симпатии:
    210
    Адрес:
    Санкт-Петербург
    У меня история такая же. Плюс аналогичным путём я отдаю роботс для поддоменов
     
    artoodetoo нравится это.