Vertel Google wanneer een pagina niet meer beschikbaar is

Vertel Google wanneer een pagina niet meer beschikbaar is

Google heeft sinds kort een nieuwe toevoeging in hun Robots Exclusion Protocol: de unavailable_after regel. Hoe werkt dat dan precies? Je plaatst de volgende regel in de <head> van de betreffende pagina:

<meta name=“googlebot” content=“unavailable_after: 25-Aug-2007 15:00:00 EST”>

(datum en tijd volgens RFC 850 formaat)

En op de ingestelde datum zal Google de pagina geautomatiseerd als een removal request indienen. Dat betekent dat het nog enkele dagen (volgens Google 1 dag) kan duren alvorens de pagina echt uit de index is verdwenen.

Doel volgens Google
Google geeft als redenen voor het opvoeren van deze nieuwe regel het kunnen uitsluiten van pagina’s die na een bepaalde datum niet meer toegankelijk moeten zijn. Dit kunnen tijdelijke acties zijn of pagina’s die na een bepaalde periode achter een betaalde inlog verdwijnen. En je wilt bezoekers niet frustreren met een pagina die niet meer bestaat of niet meer te lezen is.

Mening
Persoonlijk snap ik het nut niet echt, als ik een actie heb die verlopen is wil ik de actiepagina nog wel even behouden. Die actiepagina heeft waarschijnlijk een stuk populariteit opgebouwd waardoor hij nog veel bezoek trekt, ik kan dat bezoek na de actie dan verwijzen naar andere acties of interessante pagina’s. Natuurlijk volgt er een lichte ‘teleurstelling’ bij de bezoeker, maar met het aanbieden van goede alternatieven zal dat geen probleem opleveren.

Het andere voorbeeld van pagina’s die na een bepaalde periode achter een betaalde inlog verdwijnen: die pagina’s zijn waarschijnlijk al gescraped door andere sites dus eenmaal openbaar is altijd openbaar. En ook die pagina’s wil je in de Google zoekresultaten houden zodat je bezoekers de optie om te betalen aan kunt bieden. Wanneer je het zoekresultaat helemaal verwijderd trekt hij geen enkel bezoek meer, en dat lijkt me niet handig. Natuurlijk zal de pagina wel langzaam wegzakken in de resultaten aangezien ook Google niet meer bij de echte content kan, maar zo lang hij nog bezoekers trekt wil je hem in de index hebben.

Iemand anders die een goede reden kan bedenken voor het toepassen van die nieuwe element?


Geplaatst in

Delen

0
0


Er zijn 20 reacties op dit artikel

  • Ik kan niet anders zeggen dan dat ik het helemaal met je eens ben André. Maar misschien zijn er argumenten die wij over het hoofd zien. Ik denk dat de nieuwe functie vooral bedoeld is in de hoop dat mensen het gaan gebruiken, zodat het voor Google makkelijker wordt om zijn index schoner te houden. En, om bij je voorbeeld aan te sluiten, na het aflopen van je actie de actie van de concurrent automatisch naar boven te laten doorschuiven. Maar ja, daar heb je als website-eigenaar zelfs niks aan natuurlijk.

    geplaatst op
  • Als hierdoor een andere (actuele, waardevolle) pagina van je site hierdoor een treetje hoger komt kan ik me voorstellen dat je een verouderde pagina laat verdwijnen. Helaas heb je niet in de hand of dat je eigen pagina of de pagina van je concurrent wordt.
    De bezoeker zal niet blij worden van een niet bestaande/relevante pagina. In plaats van Google de pagina te laten verwijderen kun je als site-eigenaar misschien beter een voor de bezoeker interessante referrer-oplossing bieden: De pagina is niet meer beschikbaar maar wél hebben wij de volgende pagina's voor u ...

    geplaatst op
  • Ik vraag me trouwens af wat de invloed zou zijn als je dit consequent toepast. Als je netjes aangeeft bij tijdelijke pagina's wanneer ze niet meer beschikbaar/relevant zijn, zou dit dan misschien een algemeen positieve uitwerking kunnen hebben op de waardering vanuit Google voor je site?

    geplaatst op
  • Vind het eigenlijk ook maar een rare metatag. Denk dat het inderdaad, zoals Sint al aangeeft, bedoeld is om de index schoon te houden met als doel (denk ik) de snelheid garanderen van de zoekmachine.

    Overigens zijn ze ook met weer een nieuwe metatag gekomen: de X-robots-tag. Bedoeld voor niet HTMl documenten zoals PDF, Word en .txt. Zo kun je toch metatags meegeven aan die documenten (plaatsen in de HTTP-Header).

    geplaatst op
  • Extra mark-up voor een onnozel doel, dat is het. Ik houd niet van specifieke mark-up, net als het rel='nofollow' attribuut.
    En als je dan toch de pagina weg wilt hebben, kun je beter de methode gebruiken die je in die link gaf, denk ik dan.

    geplaatst op
  • @Sint: Ik zou niet weten waarom dit een positieve uitwerking zou moeten hebben. Het is hooguit een signaal naar Google dat je je rommel opruimt. Maar het lijkt me hoogst onwaarschijnlijk dat ze hier iets mee doen. Als dat wel zo zou zijn zou ik elke week een nieuwe pagina lanceren om hem de week daarna automatisch te laten verwijderen ;)

    Het is hetzelfde verhaal als met de bounce-rate, het is mogelijk aangetoond dat Google hier iets mee doet. Maar zeker weten doen we het ook niet aangezien al die onderzoeken beïnvloed worden door externe factoren.

    geplaatst op
  • Ja, ik kan me indenken dat als je bepaalde pagina's offline haalt (verlopen, verouderd, etc) dat het soms verstandig is om ze ook uit google te halen om een 404 te voorkomen. Ik snap dat het bij google vooral bedoeld is om op voorhand actie pagina's te verwijderen, maar.... je kan het dus ook inzetten lijkt me om snel(ler) verwijderde pagina's te verwijderen, of begrijp ik het nu verkeerd?

    geplaatst op
  • @Bas: klopt, als je weet dat je een bepaald deel van je site weg gaat doen kun je dat deel voorzien van deze meta. Maar je kan ook net zo goed een removal request doen in je Webmaster Console.

    geplaatst op
  • Ik neem aan dat deze tag met name bedoeld is voor veiling- en tweedehandswebsites, zoals eBay en Marktplaats. Er is immers niks vervelenders voor bezoekers dan op een verlopen advertentie binnen te komen.

    geplaatst op
  • Maar een removal request doen in je webmaster console kan je niet als je website extern wordt gemaakt cq beheert.
    Bedrijven die de bouw en het onderhoud van hun website uitbesteden hebben dus wél voordeel aan deze nieuwe tag.

    Immers kan het designburo nu aangeven tot wanneer de pagina geldig is. Als je zelf de website beheert is het nutteloos. Gebeurd het extern dan kan het dus denk ik best nuttig zijn :)

    geplaatst op
  • Dat is een goede Wiep...

    Toch zou ik dan (als ik Marktplaats zou zijn) op deze pagina advertenties tonen van gelijke aard, op deze manier ben je de bezoeker niet kwijt maar help je hem of haar door suggesties aan te bieden...

    geplaatst op
  • @Martin

    Goed punt! Maar zou het dan niet beter zijn om eenmalig een mooie (gebruiksvriendelijke) 404 pagina te laten maken met links naar andere onderdelen van je website? Dan houd je de bezoekers wel op je site...

    geplaatst op
  • @Wiep: daarvoor is het ook niet echt handig aangezien je niet precies weet wanneer de advertentie niet meer beschikbaar zal zijn. En op het moment dat je dat wel weet kun je die tag wel plaatsen maar zal je eerst moeten wachten op een bezoek van de spider voordat Google uberhaupt weer dat je een pagina weg wilt hebben.

    @Martin: het mag geen probleem zijn als je website extern beheerd word. Laat gewoon het verificatie bestand van de Google Webmaster Console van jouw account plaatsen. Dan kun jij vanaf die console gewoon url's verwijderen. Het plaatsen van dat bestandje is een eenmalige actie.

    geplaatst op
  • Ik ben het met André eens dat als een webbureau een meta-tag kan plaatsen met een unavailable_after per pagina, ze net zo goed een verificatiebestand of verificatiemetatag kunnen plaatsen voor de webmaster console. Dan hoeft er ook niet iets gemaakt te worden dat een pagina een verloopdatum zou moeten kunnen kennen.

    Ander idee is dat dit waardevol is bij pagina's en site die niet vaak worden geupdate en dus niet vaak wordt gespiderd. Als Google een pagina bijvoorbeeld maar eens per maand komt spideren kan het zo zijn dat'ie vier weken onterecht in de SERP's staat, ook al wordt al een 404-error gegeven.
    Ik heb geloof ik al ergens anders gezegd dat het logischer was geweest als deze meta-tag onderdeel was geworden van de Sitemaps-standaard, omdat daar ook al andere meta-datum over pagina's is ondergebracht, bijvoorbeeld de laatste update.

    geplaatst op
  • @André: zowel Marktplaats- als eBay advertenties hebben een beperkte houdbaarheid, waarvan de lengte van te voren bekend is. Bij Marktplaats is dit geloof ik een maand en bij eBay een dag of 8.

    In Nederland is dit niet zo'n ontzettend groot probleem (hangt natuurlijk van de zoekopdracht af), maar probeer maar eens een top 10 op een gebruiksproduct zonder bv eBay of Ricardo te vinden. Ik (als gebruiker) zou het erg fijn vinden als het aantal verlopen eBay veilingen op deze manier kan worden teruggebracht.

    geplaatst op
  • @Wiep: maar bij Marktplaats kun je een advertentie verlengen, dus die tag plaatsen lijkt me niet erg gebruikersvriendelijk. eBay is inderdaad een goed voorbeeld: die datums liggen aardig vast.

    geplaatst op
  • Maar als we kijken naar de snelheid van google op dit moment dan verwacht ik dat de Marktplaats 410's het toch wel snel doen in Google?

    Of blijven de marktplaats advertenties langer dan 1 dag staan als google eenmaal de 410 heeft gezien?

    Ps. Google berichten doen het toch altijd goed op mf.nl.

    geplaatst op
  • @Gerben: die snelheid van Google is voornamelijk gericht op nieuwe blogposts, en niet op bestaande pagina's. Het kan dus wel even duren voor de 410's opgepakt worden.

    geplaatst op
  • Een dergelijke functionaliteit bestaat al langer, het is alleen nieuw dat je een datum kunt instellen. Ik heb er destijds voor gekozen omdat ik door duizenden bezoekers werd bezocht via Google. Nadat ik me had laten verwijderen, ontving ik nog steeds bezoekers van Google doordat ik een extern plaatje op mijn pagina had gelinkt. Het systeem is dus nog niet eens 100 procent waterdicht. Verder vind ik dat niet de webmaster, maar Google zelf moet bepalen wanneer een pagina verwijdert wordt.

    geplaatst op
  • @Tobias: jij hebt dus pagina's verwijderd omdat ze veel bezoek uit Google trokken?

    En ik ben het niet met je laatste zin eens. De webmaster is ten alle tijde diegene die beslist over het wel of niet laten indexeren van zijn pagina's. Natuurlijk speelt Google wel een rol als het gaat om het verwijderen van zooi en spam.

    geplaatst op

Plaats zelf een reactie

Log in zodat je (in het vervolg) nóg sneller kunt reageren

Vul jouw naam in.
Vul jouw e-mailadres in. Vul een geldig e-mailadres in.
Vul jouw reactie in.

Herhaal de tekens die je ziet in de afbeelding hieronder


Let op: je reactie blijft voor altijd staan. We verwijderen deze dus later niet als je op zoek bent naar een nieuwe werkgever (of schoonmoeder). Reacties die beledigend zijn of zelfpromotioneel daarentegen, verwijderen we maar al te graag. Door te reageren ga je akkoord met onze voorwaarden.