В чем прикол файла robots.txt? В большинстве инструкций, которые я находил, выходит, что этот файл попросту блокирует все страницы сайта и не позволяет поисковикам индексировать содержимое. Или я неправильно что-то понял? Объясните, какой наиболее правильный и полезный для поисковой оптимизации файл robots.txt, может, шаблон какой есть? Кто с ними работал - разъясните, что к чему.

файл роботс не блокирует, а наоборот разрешает присковикам индексировать сайт... Но... если быть более точным, все зависит от того, что ты напишешь в этом файле, ты можешь запретить индексировать или разрешить.

Вот полезная информация по robots.txt: http://robotstxt.org.ru/