Koszyk, konto użytkownika, checkout, wyniki wyszukiwania wewnętrznego
czy strony podziękowania zazwyczaj nie mają powodu pojawiać się w Google.
Nie oznacza to jednak, że każdą taką podstronę powinieneś od razu
zablokować w robots.txt.
Przy porządkowaniu indeksacji trzeba rozróżnić dwie rzeczy: czy strona ma być indeksowana oraz czy Googlebot ma ją crawlowć. To dwa różne cele i wymagają różnych rozwiązań.
noindex służy do wykluczenia strony z wyników wyszukiwania.
Aby Google zobaczyło noindex, robot musi móc wejść na URL.
robots.txt kontroluje crawling, ale nie jest narzędziem do trwałego usuwania URL-a z indeksu.
Adresów z noindex nie powinienem jednocześnie promować w sitemapie XML.
Na małych stronach crawl budget zwykle nie jest głównym problemem SEO.
Nie każda formalna podstrona, np. polityka prywatności, wymaga noindex.
Najpierw: crawl budget nie jest problemem każdej strony
Pojęcie crawl budget brzmi poważnie i przez lata narosło wokół niego sporo mitów.
Przy bardzo dużych sklepach, portalach lub witrynach generujących ogromną liczbę adresów optymalizacja crawlingu może mieć duże znaczenie.
Jeżeli masz jednak stronę firmową z kilkudziesięcioma lub kilkuset URL-ami, usunięcie dwóch podstron technicznych z indeksu nie sprawi nagle, że Google zacznie crawlowć witrynę kilka razy skuteczniej.
Które strony techniczne zwykle nie powinny trafiać do Google?
| Typ podstrony | Czy zwykle chcę ją indeksować? | Uwagi |
|---|---|---|
| Koszyk | Nie | Nie jest stroną wejścia odpowiadającą na typowe zapytanie z Google. |
| Checkout | Nie | To element procesu zakupowego. |
| Moje konto | Nie | Strona funkcjonalna, często wymagająca logowania. |
| Wyniki wyszukiwania wewnętrznego | Zwykle nie | Mogą generować dużą liczbę niskiej jakości URL-i. |
| Polityka prywatności | Zależy | Nie musi być automatycznie oznaczana noindex. |
| Regulamin | Zależy | Może pozostać publiczną i indeksowalną stroną. |
| Strona podziękowania | Nie | Zwykle nie powinna być organiczną stroną wejścia. |
Noindex – podstawowe narzędzie do wykluczenia strony z wyników
Jeżeli strona ma pozostać dostępna dla użytkownika, ale nie chcę jej w wynikach Google, najczęściej wykorzystuję dyrektywę:
<meta name="robots" content="noindex, follow">Po ponownym odwiedzeniu strony Google może odczytać tę informację i usunąć URL z wyników wyszukiwania.
Najczęstszy błąd: noindex i blokada robots.txt jednocześnie
Na pierwszy rzut oka brzmi logicznie:
nie chcę strony w Google, więc dodaję noindex
i blokuję ją jeszcze w robots.txt.
User-agent: *
Disallow: /koszyk/
Problem polega na tym, że jeśli Googlebot nie może wejść na stronę,
może również nie zobaczyć znajdującego się na niej noindex.
Robots.txt nie służy do usuwania strony z Google
Plik robots.txt przede wszystkim kontroluje dostęp robota do określonych adresów.
Sam zakaz crawlowania nie daje gwarancji, że URL przestanie być znany Google. Wyszukiwarka może odkryć sam adres np. przez linkowanie.
Jeżeli celem jest usunięcie dostępnej strony z indeksu, korzystam z mechanizmu przeznaczonego właśnie do kontroli indeksacji.
Więcej o tym pliku opisałem również w poradniku: robots.txt w WordPressie – jak ustawić go poprawnie pod SEO?
Co z narzędziem „Usunięcia” w Search Console?
Może być przydatne, gdy zależy mi na szybkim tymczasowym ukryciu URL-a w wynikach wyszukiwania.
Nie traktuję go jednak jako trwałego rozwiązania.
Równolegle trzeba wdrożyć właściwy mechanizm na stronie,
np. noindex, 404, 410 albo przekierowanie.
Co zrobić z trwale usuniętą stroną?
Jeżeli URL nie jest już potrzebny i nie posiada sensownego odpowiednika, może zwracać 404 albo 410.
Nie przekierowuję każdej nieistniejącej strony do strony głównej tylko po to, żeby pozbyć się błędów 404. Przekierowanie powinno prowadzić do rzeczywiście odpowiadającego zasobu.
Podstrony techniczne a mapa witryny XML
Sitemapę traktuję jako listę adresów, które chcę ułatwić Google do odnalezienia i indeksowania.
Dlatego koszyk, konto, checkout czy URL-e z noindex
nie powinny jednocześnie znajdować się w sitemapie.
WooCommerce – co sprawdzam?
- Stronę koszyka.
- Checkout oraz jego endpointy.
- Moje konto i podstrony konta użytkownika.
- Parametry związane z dodawaniem produktów do koszyka.
- Wewnętrzną wyszukiwarkę produktów.
- Filtry i sortowanie kategorii.
- Strony wyników bez wartości SEO.
- Sitemapę generowaną przez wtyczkę SEO.
Przy sklepach WooCommerce uważam również, żeby przypadkowo nie wykluczyć adresów potrzebnych do odkrywania kategorii i produktów.
A co z polityką prywatności?
Nie wrzucam jej automatycznie do jednego worka z koszykiem czy kontem użytkownika.
To normalna publiczna strona z informacjami dla użytkownika.
Jeżeli właściciel witryny nie chce jej w wynikach,
można zastosować noindex,
ale sama indeksacja polityki prywatności nie jest poważnym problemem SEO.
Jak znaleźć niepotrzebne URL-e?
- Analizuję raport indeksowania w Google Search Console.
- Wykonuję crawl strony np. Screaming Frogiem.
- Sprawdzam sitemapę XML.
- Analizuję adresy zawierające parametry.
- Sprawdzam wyszukiwarkę wewnętrzną.
- Analizuję URL-e generowane przez WooCommerce i dodatkowe wtyczki.
- Przy dużych serwisach sprawdzam również logi serwera.
Najlepsza metoda zależy od celu
| Cel | Najczęściej stosowane rozwiązanie |
|---|---|
| Strona ma działać, ale nie być w Google | noindex |
| Strona została trwale usunięta | 404 lub 410 |
| Stary URL ma bezpośredni nowy odpowiednik | 301 |
| Chcę szybko tymczasowo ukryć wynik | Narzędzie „Usunięcia” + trwałe rozwiązanie na stronie |
| Nie chcę crawlowania określonej sekcji | robots.txt, jeśli rzeczywiście jest to właściwy cel |
Nie usuwaj stron z indeksu tylko dlatego, że nie sprzedają
Podstrona może nie generować bezpośredniej sprzedaży, a mimo to być użyteczna dla klienta i wspierać wiarygodność witryny.
Dlatego podczas audytu SEO nie przygotowuję automatycznej listy „noindex wszystkiego technicznego”. Najpierw analizuję funkcję strony, jej wartość oraz sposób odkrywania.
Google indeksuje adresy, których nie chcesz w wynikach?
Mogę przeanalizować raport indeksowania, sitemapę, robots.txt, meta robots oraz strukturę WordPressa lub WooCommerce i wskazać, które URL-e warto pozostawić, wykluczyć albo uporządkować.
Najczęstsze pytania o usuwanie stron z indeksu Google
Czy noindex zatrzymuje Googlebota?
Nie. Googlebot musi odwiedzić stronę, żeby zobaczyć dyrektywę noindex. Noindex kontroluje indeksowanie, a nie samo crawlowanie.
Czy robots.txt usuwa stronę z Google?
Nie jest to właściwe narzędzie do usuwania URL-a z wyników. Robots.txt przede wszystkim kontroluje dostęp robota do strony.
Czy koszyk WooCommerce powinien mieć noindex?
Najczęściej tak, ponieważ jest częścią procesu zakupowego i zwykle nie ma wartości jako organiczna strona wejścia.
Czy polityka prywatności powinna mieć noindex?
Nie ma takiego obowiązku. Może pozostać indeksowalna. Jeżeli właściciel witryny nie chce jej w wynikach, może zastosować noindex.
Czy crawl budget jest ważny dla małej strony firmowej?
Zwykle nie jest najważniejszym problemem. Znacznie większe znaczenie ma przy bardzo dużych i szybko zmieniających się serwisach.
Jak szybko usunąć URL z wyników Google?
Można skorzystać z narzędzia „Usunięcia” w Search Console, ale jednocześnie warto wdrożyć trwałe rozwiązanie, np. noindex, 404, 410 lub odpowiednie przekierowanie.
Kamil Sudoł – freelancer WordPress & SEO. Od 2015 roku tworzę i rozwijam strony internetowe oraz sklepy WooCommerce, a także zajmuję się SEO i widocznością firm w Google. Na blogu publikuję praktyczne materiały dotyczące WordPressa, SEO, UX i marketingu internetowego.
