User-Agent: Googlebot
Disallow:
User-agent: *
Disallow:
# запретить всем роботам индексировать ссылки,
#которые начинаются с /news
 
User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow:
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng
 
User-agent: Yandex
Disallow:
#Яндексу разрешить все.