Nie każda podstrona firmowej witryny musi lądować w Google. Czasem chcesz, żeby strona była dostępna dla osoby, która ma jej adres, ale nie wyskakiwała w wynikach. Innym razem chodzi o coś grubszego: materiał ma być prywatny i nie powinien otworzyć go nikt bez uprawnień. To nie jest ten sam problem, więc nie ma też jednego magicznego przycisku „znikaj”.
W tym miejscu pojawiają się trzy narzędzia: noindex, robots.txt i ochrona hasłem. Każde robi inną robotę. Pomylenie ich może skończyć się tak, że strona nadal będzie wisieć w Google albo poufny plik będzie dostępny dla każdego, kto zdobędzie adres. Spokojnie — zaraz rozłożymy temat na części bez technicznego dymu.
Najpierw: chcesz ukryć stronę przed Google czy przed ludźmi?
Trzy narzędzia, trzy różne zadania
Najpierw nazwij cel. Jeśli chodzi o to, żeby dana strona, plik albo zasób nie pojawiał się w wynikach Google, interesuje Cię noindex. Ta reguła mówi wyszukiwarce: „możesz zobaczyć stronę, ale nie pokazuj jej w wynikach”. Publiczna strona nadal może być dostępna dla osoby, która zna bezpośredni adres.
robots.txt dotyczy czegoś innego. Steruje tym, czy robot może pobierać wskazane strony lub pliki. To kontrola crawlowania, a nie gwarantowane usuwanie adresu z wyników. Z kolei hasło ogranicza dostęp ludziom. Jest właściwe wtedy, gdy treść ma być prywatna albo poufna.
- Noindex: kontroluje obecność w wynikach Google.
- Robots.txt: kontroluje możliwość pobierania treści przez robota.
- Hasło: ogranicza dostęp osobom bez uprawnień.
Prosta zasada: nie chcesz wyniku w Google — myślisz o noindex. Nie chcesz, żeby ktokolwiek wszedł do treści — myślisz o ochronie dostępu. Robots.txt zostawiasz do sytuacji, w których naprawdę chodzi o ograniczenie pobierania.
Noindex — gdy strona może być publiczna, ale nie ma pojawiać się w Google
Noindex a robots.txt — najważniejsza różnica
Reguła noindex informuje Google, aby nie pokazywał konkretnej strony, pliku lub zasobu w wynikach wyszukiwania. Może być przekazana jako meta tag albo nagłówek HTTP X-Robots-Tag. Ten drugi wariant przydaje się także dla plików innych niż HTML, na przykład PDF-ów, nagrań wideo lub obrazów.
Jest tu jeden ważny haczyk. Google musi móc pobrać stronę, żeby odczytać noindex. Jeśli wcześniej zablokujesz ten sam adres w robots.txt, robot może nie zobaczyć reguły. Wtedy próbujesz powiedzieć „nie pokazuj tej strony”, ale jednocześnie zamykasz drzwi przed wiadomością z tą instrukcją. Techniczny paradoks, ale całkiem praktyczny.
Dlatego noindex i robots.txt nie są zamiennikami. Noindex steruje obecnością w wynikach, a robots.txt steruje pobieraniem. Przed dodaniem noindex sprawdź też, czy dana podstrona nie jest ważna sprzedażowo, usługowo, lokalizacyjnie albo informacyjnie. Łatwo schować coś, co jednak przydaje się klientom.
robots.txt — do czego naprawdę służy
Dlaczego adres może nadal wisieć w Google
Plik robots.txt może powiedzieć robotowi, żeby nie pobierał wskazanych stron lub plików. To bywa przydatne, gdy celem jest ograniczenie crawlowania wybranych zasobów. Nie jest jednak magiczną gumką do wymazywania adresów z Google i nie jest mechanizmem bezpieczeństwa.
Google może znaleźć zablokowany adres dzięki odnośnikowi z innego miejsca. Skoro nie pobierze treści, może nie poznać jej zawartości, ale sam adres nadal może pojawić się w wynikach. Czasem będzie widoczny bez pełnego opisu albo z ograniczonymi informacjami. Czyli strona niby zamknięta dla robota, a adres nadal robi sobie wycieczkę po wyszukiwarce.
Najważniejszy wniosek brzmi: samo robots.txt nie jest właściwym sposobem na trwałe ukrywanie publicznej strony w wynikach. Jeśli chcesz kontrolować widoczność adresu, dobierz narzędzie do tego celu. A jeśli treść jest poufna, nie opieraj jej ochrony na robots.txt.
Hasło — kiedy nie chcesz, żeby ktokolwiek zajrzał
Noindex nie zastąpi ochrony dostępu
Noindex jest rozwiązaniem dotyczącym widoczności w wyszukiwarce. Nie blokuje wejścia osobie, która ma bezpośredni adres. Jeśli strona jest publiczna, noindex nie zmienia tego faktu. Po prostu mówi Google, żeby nie wyświetlał jej w wynikach.
Hasło wybierasz wtedy, gdy treść ma być dostępna tylko dla określonych osób. Może chodzić o prywatny panel, roboczy projekt, materiały dla klienta albo poufne pliki. W takim przypadku nie wystarczy liczyć na to, że Google nie pokaże adresu. Potrzebujesz ograniczenia dostępu.
W skrócie: publiczne, ale niewidoczne w Google — noindex. Dostępne wyłącznie dla uprawnionych — hasło albo inne ograniczenie dostępu. Treści prywatnych nie zabezpieczaj samym noindex, bo to tak, jakby powiesić kartkę „proszę nie zaglądać” na drzwiach bez zamka.
Strona już jest w Google? Plan działania krok po kroku
Szybkie zniknięcie a rozwiązanie docelowe
Jeśli strona już pojawia się w Google, najpierw ustal, co ma stać się z jej treścią. Nie ma sensu wykonywać przypadkowych ruchów tylko dlatego, że adres pojawił się w wynikach.
- Jeśli strona może być publiczna, ale nie ma być widoczna w Google, zastosuj noindex.
- Jeśli treść nie powinna już istnieć, rozważ jej usunięcie.
- Jeśli informacje są nieaktualne, możesz je zaktualizować zamiast chować stronę.
- Jeśli materiał jest prywatny lub poufny, zastosuj ochronę hasłem albo inne ograniczenie dostępu.
- Po zmianie sprawdź konkretny adres w Google Search Console, zwłaszcza za pomocą inspekcji URL.
Gdy wynik musi zniknąć szybko, można użyć narzędzia Removals w Google Search Console. To rozwiązanie doraźne. Zgłoszenie działa czasowo, zwykle przez około sześć miesięcy, więc nie zastępuje trwałej zmiany. W praktyce najpierw wdrażasz metodę docelową, a Removals traktujesz jako szybkie przyspieszenie usunięcia wyniku.
Przy noindex pamiętaj, że strona może przez chwilę nadal pojawiać się w wynikach, dopóki Google nie odwiedzi jej ponownie i nie odczyta zmiany. Jeśli adres jest zablokowany w robots.txt, Google może nie mieć jak tej reguły odczytać.
Co zwykle można wyłączyć z indeksowania na stronie firmy
Najpierw sprawdź wartość dla klienta
Google nie publikuje zamkniętej, uniwersalnej listy podstron firmowych, które zawsze należy wyłączyć z indeksowania. Można jednak praktycznie rozważyć noindex dla wersji testowych, roboczych, duplikatów oraz mało wartościowych wariantów technicznych adresów. To rekomendacje do oceny, a nie automatyczna recepta dla każdej strony.
Treści prywatne i poufne to osobna sprawa. Ich nie wystarczy oznaczyć noindex — trzeba ograniczyć dostęp. Noindex może dotyczyć widoczności w Google, ale nie zastępuje zabezpieczenia materiału.
Przed zmianą zadaj sobie kilka prostych pytań:
- Czy podstrona odpowiada na realne pytanie klienta?
- Czy wspiera sprzedaż, kontakt albo przedstawia usługę?
- Czy zawiera ważne informacje o lokalizacji?
- Czy jest jedynym miejscem, w którym opisujesz konkretną ofertę?
Nie wykluczaj automatycznie stron sprzedażowych, usługowych, lokalizacyjnych ani ważnych informacyjnych. To, że podstrona wygląda skromnie albo nie jest efektowna, nie oznacza jeszcze, że jest zbędna.
Mini-checklista przed kliknięciem „noindex”
Pięć pytań przed zmianą
Zanim schowasz adres, przejdź przez tę krótką checklistę. Pięć minut myślenia może oszczędzić późniejszego szukania, dlaczego ważna podstrona przestała być widoczna.
- Co dokładnie chcę ukryć? Wynik Google, pobieranie treści przez robota czy dostęp ludzi?
- Kto ma móc wejść na adres? Jeśli każdy, noindex może wystarczyć. Jeśli tylko wybrane osoby, potrzebna jest ochrona dostępu.
- Czy strona jest ważna dla klientów? Sprawdź, czy nie odpowiada na pytania, nie wspiera sprzedaży i nie opisuje istotnej usługi lub lokalizacji.
- Czy Google może odczytać noindex? Jeśli używasz tej reguły, nie blokuj wcześniej pobrania strony w robots.txt.
- Co sprawdzę po zmianie? Zweryfikuj konkretny adres w Google Search Console, najlepiej przez inspekcję URL.
Jeśli wynik już istnieje i potrzebujesz szybkiego zniknięcia, możesz dodać Removals, ale pamiętaj o jego czasowym charakterze. Trwałe rozwiązanie nadal musi wynikać z celu: noindex, usunięcie lub aktualizacja treści albo ochrona hasłem.
Najkrócej: noindex służy do niewyświetlania strony w Google, robots.txt do sterowania pobieraniem, a hasło do ochrony dostępu. Przy istniejącym wyniku najpierw wybierz metodę docelową, potem ewentualnie użyj Removals jako szybkiego wsparcia i sprawdź adres w Search Console. Nie chowaj w ciemno podstron ważnych dla klientów. Napisz do Szwagra i opowiedz, czego potrzebujesz — strony, grafiki, filmu albo tekstów.
