Robots.txt

Plik robots.txt jest jednym z podstawowych sposobów powiadamiania wyszukiwarki, który informuje roboty wyszukiwarek, czy mogą bądź nie mogą wejść na Twoją stronę. Jego modyfikacja należy do podstawowych elementów optymalizacji strony WWW. Wszystkie główne wyszukiwarki obsługują podstawową funkcjonalność, którą oferuje. Istnieje kilka dodatkowych reguł, które są używane przez kilka wyszukiwarek, które mogą czasami okazać się przydatne. Choć konstrukcja pliku wygląda bardzo prosto, popełnienie nawet małego błędu w pliku robots.txt może poważnie zaszkodzić witrynie! Pozycjonowanie stron w takim przypadku będzie nieskuteczne. Najważniejsze informacje na temat robots.txt.

Plik robots.txt jest plikiem tekstowym, tworzonym zgodnie ze ścisłą składnią. Zostanie odczytany przez roboty wyszukiwarek. Składnia jest ścisła, ponieważ musi być odczytywana komputerowo. W pliku robots.txt dostępne są przede wszystkim dwie główne dyrektywy: Disallow (blokująca dostęp) oraz Allow (zezwalająca na dostęp). Przykłady użycia:

Przykład użycia dyrektywy Allow - odblokowujemy cały serwis:

User-agent: *
Allow: /

Przykład użycia dyrektywy Disallow - blokujemy cały serwis:

User-agent: *
Disallow: /