Veel blogs niet klaar voor ‘big time’ hits

Ik ben de afgelopen week echt tientallen blogs tegengekomen die aan populariteit (tijdelijk) ten onder waren gegaan. Ze waren bijvoorbeeld geSlashDotted, geBoingBoingd of geDIGGed, en moesten de ongebreidelde toename van hits en bandbreedte met down time bekopen:
“Update: We got TUAW’d and DIGG’d so the bandwidth has been slammed. At this rate, the movies will probably go down by the end of the day, because over 500gbs of bandwidth has been used up. If they are not loading, please check back later, they will be back as soon as possible.”
Gepost in:
17 Reacties
Martijn
Yes... Ik ken het gevoel.... ;-)
The Digg Effect
http://www.freshcreation.nl/comments.php?id=2_0_1_0_C
geplaatst op 04-02-2006 om 18:32 uur
Mark de Kock, Sara Lee
Clicks zijn leuk maar wanneer houdt de relevantie en doel van de traffic op en betaal je enkel de kosten van het verkeer vraag ik me af
geplaatst op 04-02-2006 om 19:15 uur
Eijkb
Ik denk dat Marketingfacts het ook niet redt bij zo'n massieve toeloop van bezoekers. Als je op een virtual host draait op een server met nog wat tientallen of honderden sites die verkeer hebben gaat het gerarandeerd mis.
geplaatst op 04-02-2006 om 21:04 uur
Bastien
Bij de Kim Komando Show (radio VS), sturen ze voordat ze iemand Cool Site of The Day maken een email. Zo word je gewaarschuwd dat je mogelijk flink veel bezoekers gaat krijgen en kan je er vantevoren (een beetje) op inspelen.
Ik kan me goed voorstellen dat veel mensen helemaal niet op zulke grote bezoekersaantallen zitten te wachten, ook vanwege de mogelijke extra kosten van dataverkeer. Hoewel zo veel bezoekers ook wel weer stoer is natuurlijk...
geplaatst op 04-02-2006 om 22:35 uur
reet
ach, gisteren en vandaag in het totaal 500 gig moeten stampen en de server heeft het toch aardig getrokken... (af en toe wat wachtende processen moeten killen, maar het draait allemaal prima)
geplaatst op 05-02-2006 om 00:19 uur
Marco Derksen, Upstream
Ik had niet anders verwacht reet ;-)
Ook Marketingfacts kan overigens wel wat traffic verwerken. Heb inmiddels een pakket voor 300 Gb dataverkeer per maand. Vrees alleen bij teveel gelijktijdige bezoekers dat MySQL het niet meer trekt.
geplaatst op 05-02-2006 om 00:32 uur
Eijkb
Kijk, een beetje webserver kan makkelijk 500gb per dag zoals Reet zegt, of 300gb per maand zoals Marco vertelt verwerken. Het gaat eerder om de grote toeloop in korte tijd. Dan heb je de tijd niet meer om wachtende processen te killen en inderdaad, de mysql database zal het zwaar gaan krijgen. Om zo'n toeloop te verwerken moet je configuratie daarop aangepast worden. Wel zo fijn als je dat van te voren weet en je zelf of je hoster de know-how heeft om dit te realiseren in korte tijd (en niet, zoals in de link van Martijn, pas op de maandag na het weekend :+). Zou het persoonlijk wel een uitdaging vinden (als technisch medewerker van d-hosting.nl).
geplaatst op 05-02-2006 om 08:54 uur
Marco Derksen, Upstream
Vandaag opnieuw een voorbeeld (alhoewel het hier niet gaat om een blog). De Deense cartoons die spotten met de profeet Mohammed hebben geleid tot antisemitische cartoons van de Arabisch Europese Liga. Op de website van de AEL waren zaterdag twee van dergelijke spotprenten te zien aldus NU.nl. Op de een deelt Hitler met Anne Frank het bed; op de ander twijfelt iemand aan de Holocaust. Wie op dit moment de website van AEL wil bekijken krijgt de volgende foutmelding:
geplaatst op 05-02-2006 om 11:32 uur
reet
tja, maar dit is geen hardwareprobleem, de AEL site heeft gewoon een harde bandbreedte limiet. als die overschreden is, dan gaat de site op zwart (wit in dit geval). Zolang de AEL niet meer centjes ophoest om meer bandbreedte in koopt, zal dit blijven gebeuren.
als de server hier niet trekken, krijg je een time out melding
geplaatst op 05-02-2006 om 11:51 uur
Marco Derksen, Upstream
Mee eens, maar je zou eens moeten weten hoeveel blogs een harde bandbreedte limiet hebben!
geplaatst op 05-02-2006 om 11:59 uur
reet
hehe, heel veel :-)
geplaatst op 05-02-2006 om 12:09 uur
Jochem
Zo moeilijk is het niet om als blog hier iets aan te doen. Als je weet van jezelf dat je een 'goede' weblog bent, dan zorg je bijvoorbeeld toch dat de data gewoon gecached wordt? Hetzij op server niveau (als je de server in eigen beheer hebt), of via wat simpele html pagina's die één keer per 5 minuten door php worden herschreven (of als je nieuws post, worden herschreven) (voor als je een virtueel accountje hebt).
Zelf hebben we nog niet vaak meegemaakt dat er sites werden geslashdot (wel ooit een zwaar script (plotte grafiekjes on-the-fly met data van buitenaf) wat in een comment op t.net stond... dat voelde we wel, maar niemand ondervond eigenlijk last).
Jochem
geplaatst op 05-02-2006 om 14:29 uur
Raceman
Ik ben het wel met Jochem eens.
Ik had een site met zo'n 1500 Gb dataverkeer per maand. Als je even geen budget hebt voor hardware, dan merk je eigenlijk wel hoeveel er nog te tunen valt aan de softwarematige kant.
Vooral caching is een goede oplossing als je mysql problemen verwacht. Ook het tunen van je mysql omgeving scheelt een hoop. Dit zijn zaken die je al vooraf kan regelen. Als iemand er documentatie over zoekt hoor ik het wel, kan ik nog wel terug vinden.
geplaatst op 08-02-2006 om 13:58 uur
Roy
@raceman: je mag mij wel wat van die informatie toesturen, ben daar wel erg benieuwd naar.
geplaatst op 08-02-2006 om 15:56 uur
Annet, Droombos Design
@raceman
beetje late reactie, maar ook ik wil wel wat info over dit onderwerp
geplaatst op 14-03-2006 om 22:36 uur
Carl Mangold
@Annet: Goed leesvoer met betrekking tot het tunen van mySQL vind je in het boek 'MySQL Database Design and Tuning', ISBN 0672327651, van pakweg 40 euro. Ik heb met tips uit dit boek sommige queries meer dan tien maal kunnen versnellen.
geplaatst op 14-03-2006 om 23:08 uur
Annet, Droombos Design
Dank je Carl, voor de tip!
geplaatst op 14-03-2006 om 23:12 uur
Plaats een reactie