Prilikom redizajna sajta, osim na regularne SEO zahteve, onpage optimizaciju i sve faktore koji se podrazumevaju kada je reč o optimizaciji sajtova, treba obratiti pažnju i na sledeću situaciju koja se često previdi u procesu rada. Naime, webdizajneri i developeri prilikom rada na redizajnu, obično na serveru gde se sajt nalazi naprave folder, gde aplouduju nove fajlove kako bi klijent video novi izgled i dao eventualne sugestije. Ako je adresa sajta Klijent.com radna verzija se može, recimo, pogledati na Klijent.com/novi-sajt/. Recimo da se sajt radi 10 dana, odnosno da određene stranice stoje na /novi-sajt/ adresi 10 dana. Može se desiti da Google primeti te nove stranice sa novim (iako trenutnim) adresama i ubaci ih u svoj indeks. U tom slučaju nepovoljnost je dvojaka:
- Nove stranice (adrese) će imati dupli sadržaj, isti sadržaj na pravoj i privremenoj adresi.
- Nakon uklanjanja privremenih adresa (brisanja /novi-sajt/ foldera) desiće se da u Google indeksu postoje adrese koje ne postoje na sajtu (404 greška)
Ovo drugo se može rešiti 301 redirekcijom kasnije, i nije veliki problem. Međutim, dupli sadržaj može biti problem. Kako bi se sve to izbeglo, jednostavno nakon što se napravi privremeni folder, u robots.txt fajlu se zabrani pristup botovima (uključujući i Google) tom folderu. Nakon toga nema brige i može se slobodno raditi na redizajnu.
Ukoliko se ide na “noindex meta tag” na samim stranicama umesto robots.txt fajla, treba znati da Google često ignoriše taj meta tag, te to nije najpouzdanije rešenje.