Какие из современных поисковиков учитывают robots.txt? Google - его игнорирует уже давно.