Metatag <meta name=”robots”> jest zapisany w części <head> strony. Pełni te same funkcje co plik robots.txt – zapewnia możliwość kontrolowania indeksowania treści i linków do stron poprzez odpowiednie wartości atrybutu content:
- follow/nofollow – rozważ lub zignoruj linki;
- indeks/noindex – indeksuj lub nie indeksuj zawartości strony (często tekstowej);
- all/none – skrót odpowiadający wpisom „follow, indeks”/ „nofollow, noindex”;
- noarchive – zabrania archiwizacji strony. Użycie tej wartości uniemożliwia dostęp do strony z archiwum wyszukiwarki.
W przeciwieństwie do pliku robots.txt, metatag o tej samej nazwie ma nieco ograniczoną funkcjonalność. Działa wyłącznie w obrębie strony. W osobnym pliku możesz wyłączyć indeksowanie całych katalogów. Pod innymi względami metody te są równoważne. Wyszukiwarki zalecają używanie metatagu robots, gdy webmaster nie ma dostępu do folderu głównego zasobu.
W przypadku zidentyfikowania sprzecznych poleceń, pierwszeństwo ma polecenie bardziej rygorystyczne. Na przykład, jeśli plik zawiera indeks, a metatag go nie zawiera, robot wyszukujący zaindeksuje tekst.
Główne przypadki użycia
Wszystkie kombinacje są używane podczas konfiguracji witryny internetowej. Pozwalają na wyraźniejsze zarządzanie wagą, zapewniając jednocześnie dodatkową ochronę przed nakładaniem się filtry dla nieunikalnej treści.
Używanie „treści = śledź, indeksuj” lub „treść = wszystko”
Domyślnie ustawione jest zezwolenie na indeksowanie linków i tekstu. Dlatego w większości przypadków nie ma sensu umieszczać tego kodu w metatagu. Wyjątek - strona znajduje się w katalogu, który podlega całkowitemu zakazowi indeksowania poprzez plik robots.txt. Jednak takie podejście może skomplikować pracę z zasobem ze względu na nieoczywiste zachowanie kodu. Lepiej je zignorować.
Używanie „treści = nofollow, indeks”
Indeksowanie treści bez kliknięcia i uwzględnienia masy linków na stronie jest stosowane dość często. To pozwala:
- unikać przenoszenia wagi do innych zasobów lub stron;
- jaśniej zarządzaj PR;
- twórz strony z dużą liczbą linków. Na przykład listy przydatnych linków dla użytkowników. Zakaz indeksowania pokaże robotowi wyszukiwania, że nie jest to spam ani nadmierna optymalizacja.
Metatagu o podobnej treści nie należy używać podczas wymiany linków z innym zasobem. Jest to co najmniej nieetyczne i może spowodować zerwanie współpracy.
Używanie „content = follow, noindex”
Ta opcja treści tagu jest odpowiednia dla ogłoszeń, drugiej i kolejnych stron paginacji, podglądów i innych elementów powielających główną treść. Sok z linku zostanie przeniesiony. Robot wyszukiwania będzie podążał za linkami, aby zaindeksować ich zawartość.
Ta opcja tagu jest odpowiednia, gdy na stronie znajduje się nieunikalna treść. Na przykład rozporządzenia i akty prawne, a także inne powszechnie stosowane dokumenty, w których nie zaleca się wprowadzania zmian.
Używanie „content = nofollow, noindex” lub „content = none”
Zakaz indeksowania tekstów i linków jest istotny przy publikowaniu informacji poufnych, które nie powinny być dostępne za pomocą zapytań. Ale takie środki nie zawsze działają. Dotyczy to szczególnie wyszukiwarki Google. Należy pamiętać, że metatag ma charakter doradczy.
W wyszukiwarce Yandex nie ma takiego problemu. Aby ograniczyć indeksowanie strony przez robota wyszukującego, należy zastosować hasło lub inny identyfikator wymagający ręcznego wpisania. Dlatego niektóre strony, których indeksowanie jest zabronione, mogą pojawić się w wynikach wyszukiwania.
