Tweakers.net uit Google-index verdwenen
Sinds gisteren is Tweakers.net, één van de grootste online tech communities en recentelijk overgenomen door VNU, uit de Google-index verdwenen. De precieze oorzaak daarvan wordt nog onderzocht. Het lijkt er op dat Tweakers.net om onbekende reden een ‘penalty’ heeft gekregen waardoor de vermelding uit de index is gegooid aldus Arjen van der Meijden.
Ruben Timmerman, die eerder vandaag de Rabobank-case onderzocht, denkt dat er een andere reden is voor de verwijdering uit de index en schrijft het toe aan een fout in de robot.txt. Een fout die eerder ook door Kieskeurig.nl werd gemaakt.
Wat de oorzaak ook is, feit blijft dat het rommelt bij Google. Zoals eerder gezegd heeft Marketingfacts op dit moment ook te kampen met enorme schommelingen in bezoek vanuit Google.
Oprichter/partner Upstream, Marketingfacts, Arnhem Direct, SportNext, TravelNext, RvT VPRO, Bestuur Luxor Live, social business, onderwijs, fotografie en vader!
lijkt me toch niet aan google liggen?
ze hadden gewoon alles met 301 redirects van http://www.tweakers.net naar tweakers.net moeten redirecten lijkt me?
Klopt het dan dat ze het met 301 redirects hadden kunnen (moeten?) doen?
Da’s een (groot) deel van de oplossing, maar meestal komt er nog wel wat meer bij kijken. Ik ken de specifieke situatie bij Tweakers niet goed genoeg om daar een precies antwoord op te geven.
@Metis: Inderdaad een 301 HTTP-redirect van de oude naar de nieuwe URLs is de normale manier. Robots.txt-restricties op het oude adres is nergens voor nodig. Het is zelfs beter de robots toegang te verlenen, zodat ze de 301 kunnen oppikken 🙂 Zodoende houd je de bezoekers en (in enige mate) de pagerank van deeplinks naar oude URLs.
@Remi: Volgens mij komt er verder niks bijzonders bij kijken en hangt het niet van de specifieke situatie af. Normaliter is het een heel gewone vierregelige configuratie van Apache. Of bedoel je dat ze misschien IIS gebruiken 🙂
@ Rene,
Nee ze gebruiken wel Apache 😉
Dit soort migraties van de www-versie naar de non-www-versie gaan vaak samen met andere aanpassingen. In dat geval komen er meer dingen bij kijken. Maar als het puur en alleen het weghalen van het subdomein ‘www’ is, zou een simpele 301 wel voldoende moeten zijn.
Je zou ook nog sitemaps en removal tools kunnen gebruiken, maar vooral van die laatste hoor/ lees ik te veel spookverhalen van ‘per ongeluk’ compleet verwijderde sites.
@Remi
Google sitemaps is inderdaad een nuttig hulpmiddel. De removal tool zou ik ook mijden.
Waarom men toch met al die kunstgrepen probeert om een URL – die jarenlang goed genoeg was – een paar weken eerder uit de index te krijgen dan zonder die kunstgrepen toch wel gebeurt is mij een groot raadsel. Mijn migratieplan zou zijn:
9:00 uur: 301 redirect in httpd.conf zetten
9:01 uur: apachectl configtest en reload
9:02 uur: testen
9:04 uur: koffie drinken
9:15 uur: naar huis, de werkdag zit er weer op
Overigens, de redirect van non-www naar www (of desnoods andersom) is natuurlijk iets wat je gelijk bij de initiële configuratie moet regelen en niet nadat je 10 jaar lang zorgvuldig inkomende deeplinks en zoekmachineposities hebt opgebouwd.
Een paar insignificante sites in Nederland pakken hun SEO niet heel handig aan en dan rommelt het opeens bij Google?
Het aardige is dat tweakers.net die 301’s al lang heeft. Elke www. url wordt al een tijd doorverwezen naar de versie zonder www.
Het aanpassen van de robots.txt en gebruik van url removal tool was dus helemaal niet nodig, een klein beetje geduld had veel beter geholpen 🙂
Tweakers.net staat inmiddels weer gewoon in de Google index. Het probleem was niet de robots.txt, maar het lag bij Google zelf. T.net heeft een exclusion request voor http://www.tweakers.net gedaan, met als ongewenst side-effect dat tweakers.net (dus zonder www) ook werd uitgesloten.
Blijkbaar is het erg prettig als je de juiste mensen hiervoor weet te benaderen, want ze zijn gewoon weer vindbaar 🙂
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!