Разные тарифные планы имеют свои ограничения и если у вас самый дешевый тарифный план, то оптимизация нагрузки на сервер особенно актуальна.
Нагрузка на процессор сервера может производиться поисковыми роботами, делающими слишком частые обращения к сайту при его индексировании.
В данном случае можно задать задержку для индексирования страниц:
User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /component/ Crawl-delay: 4 # задает таймаут в 4 секунды
Директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").