Robots.txt – jest jednym z mechanizmów Robots Exclusion Protocol. To mały plik zawierający instrukcje dla botów skanujących stronę, pozwalających lub zabraniających wejścia na pewne obszary strony. Rozwiązanie to stosuje się między innymi po to, aby witryna nie była przeciążona żądaniami. Dzięki niemu możemy zablokować dostęp wyszukiwarkom do stron, które nie są istotne z punktu widzenia wyników wyszukiwania. Robots.txt jest niezbędny przede wszystkim na dużych i skomplikowanych stronach zawierających spore ilości dynamicznej treści.
