robots.txt и git

Я предполагаю, что robots.txt надо хранить под контролем версий. И модифицировать его вместе со всем остальным. Но тут возникает заморочка с demo- или staging-версиями сайта. Они очевидно не должны индексироваться поисковиками, а значит для них robots.txt логично сделать таким:

Код (Text):

1.  
2. User-agent: *
3. Disallow: /

в то время как на production он должен быть каким-то иным и при этом всём, репозиторий у них один и тот же.

Мой вариант: хранить в репе не буквально robots.txt, а две или более заготовки и отдавать по запросу `GET /robots.txt` уже скриптом, который учитывает уровень сайта. Уровень задаётся в `.env` а он НЕ хранится в репе, это уже стандарт. В репе хранится только образец для копирования `.env.example`.

PHP:

1. public function getRobotsTxt()
2. {
3.     $env = config('app.env');
4.     $fileName = base_path('robots.' . $env);
5.     if (file_exists($fileName)) {
6.         return file_get_contents($fileName);
7.     }
8.     return file_get_contents(base_path('robots.local'));
9. }

Если вы решаете вопрос как-то иначе, прошу делиться. Если вообще не думали об этом, то уже пора