Как-то залил на сервер файл, с очень странным названием. И решил посмотреть его через IE. И вот однажды я обнаружил по логам интересную штуку: яндекс-бот, регулярно просматривал этот файл. Самое интересно что ссылок нигде на этот файл не устанавливал! У меня два бара, от Яндекс и от Google. Google молчит, а яндекс бегает.
Вывод один – яндекс-бар сохраняет ссылки. Хм… Разве это правильно, честно?
Всегда думал: зачем прописывать в robots.txt то, на что не идут ссылки. А теперь я поменял свое мнение поэтому.
Напоследок хотел бы сказать, что гугл тоже не очень хорош. Сложилось впечатление, что ему все равно на robots.txt. Т.к. перед тем как запустить сайт, я прописал все директории которые не следует сканировать. Так он это проигнорировал, и мало того, поместил все это в серпе..
эх…
izvenite no nam nado sdelat test
vi ved ne bydete protiv admini