Как создать robots.txt (видео)

папки типа admin img лучше закрывать слэшем на конце

не раскрыта тема как засунуть созданный локально robots.txt на сайт... ;)

Alex Klo, папки типа admin вообще лучше не указывать в robots.txt. Но написал я по двум причинам: доступно для понимания + летняя шумиха про индексацию закрытых частей сайта.

Поясните почему, пожалуйста.

Принято. Письмо даже тетька писала с вопросом где находится корень сайта. Только это видео не о том как залить, а о том как создать. Перегружать информацией в одном видео — это плохо.

тоже хотел сказать именно это - отвлекли сотрудники в скайпе...

тоже верно

при отсутствии слеша под это ( /admin ) правило могут попасть файлы вида admin.php

указывая /admin/ мы точно знаем, что указываем именно папку

Присоединяюсь, тема как закачать роботс на сервере не раскрыта. Низачот. Ждем следующего видео по установке роботса на сайт.

Роботс без цицек не интересен)

тут как бы не курилка...

кстати, должен предупредить - прямая закачка роботса на сайт не всегда полезна - есть CMS, которые обрабатывают виртуальное наличие роботса для конкретного сайта из списка! через механизм ЧПУ...

А, в этом смысле.

Если сервер виртуально обрабатывает запрос к роботсу врядли будет обращаться к файлу в корне, а выдаст свой вариант. И в конце, какая разница механизм чпу отдает роботс или показывается правила составленные вами.

тут может быть коллизия

Дим, ну однозначно надо голосовые комментарии.

Я лично нихрена не вижу что ты там делаешь.

Надо подробно объяснять что да как, так как видео будут смотреть, как полные школоло так и профи.