User-agent: * # применимо для всех роботов
Disallow: / # блокирует доступ ко всему сайту