Serverproblemen, altijd lastig!

27 november 2006, 07:55

Serverproblemen, altijd lastig!De regelmatige bezoeker van dit weblog zal het ongetwijfeld hebben gemerkt de laatste tijd, Marketingfacts is soms slecht tot helemaal niet bereikbaar. Afgelopen zaterdag was het weer raak en lagen we er zelfs een halve dag uit. Nu zullen de grote weblogs die gebruik maken van een MySQL-database dit ongetwijfeld herkennen want naarmate hun database meer wordt gevuld, er meer bezoek komt en er steeds meer zoekopdrachten worden losgelaten op de database, heeft dit een enorme impact op de performance van de site. In ieder geval tijd voor Marketingfacts om over te gaan naar een dedicated server. De afgelopen weken draaiden we tijdelijk op een testserver maar als alles goed gaat gaan we vanmiddag definitief over naar een eigen server. Bij het overzetten kan het zijn dat Marketingfacts tijdelijk niet bereikbaar is. Daarvoor onze excuses en we hopen natuurlijk snel weer terug te zijn!

Marco Derksen
Partner bij Upstream

Oprichter/partner Upstream, Marketingfacts, Arnhem Direct, SportNext, TravelNext, RvT VPRO, Bestuur Luxor Live, social business, onderwijs, fotografie en vader!

Categorie
Tags

28 Reacties

    Emanuel

    Succes met de overgang marco. Wat zijn eigenlijk de specs van de nieuwe server?


    27 november 2006 om 08:10
    media

    Ik moet eerlijk zeggen dat ik niet alles begrijp wat in die specs staan maar in het kort komt het neer op het volgende:

    – Intel Dual Core 2.40 Ghz processor

    – 4096 mb intern geheugen

    – 2 x 250 Gigabyte opslag (RAID 1 configuratie)


    27 november 2006 om 08:26
    Ivo

    Succes met de migratie!

    Is het toeval dat adformatie op hetzelfde moment er ook uitlag en beiden in de iprange van digitalus zitten?


    27 november 2006 om 08:50
    canol

    succes Marco

    (jammer dat je zaterdag offline was tijdens mijn presentatie in Turkije)


    27 november 2006 om 09:28
    Jelle Bos

    Dus jullie worden vanmiddag weer gehackt 😉

    Succes met de migratie!


    27 november 2006 om 10:07
    Elja

    Klinkt als een behoorlijk stevige server.

    Ben nu wel benieuwd hoeveel bezoekers je per dag wel niet hebt.. 😉

    Succes met de migratie!

    Elja


    27 november 2006 om 10:13
    Arash

    – Intel Dual Core 2.40 Ghz processor

    – 4096 mb intern geheugen

    – 2 x 250 Gigabyte opslag (RAID 1 configuratie)

    Zeer zwaar systeem voor een weblog. Wat is de argumentatie geweest?


    27 november 2006 om 10:24
    Annet

    Toevallig de jongens van Prolocation? Succes!


    27 november 2006 om 10:24
    Jurjen de Vries

    Marco. Wellicht ten overvloede, maar zorg dat de persoon die de server inricht/beheerd ook genoeg fine-tuned op gebiedt van apache/php/mysql . Dit scheelt vaak ook enorm in snelheid/bereikbaarheid. Als je er vraagtekens bij hebt, weet je me te vinden 🙂


    27 november 2006 om 11:12
    Anders

    Je fiest heeft een lekke band dus je stapt over op een straaljager 🙂


    27 november 2006 om 11:17
    ssmeding

    Goed te horen dat de bereikbaarheid van MF structureel verbeterd wordt!

    Wat Jurjen ook al zegt: met optimalisatie is meer winst te behalen dan het verhogen van je resources. Het is bijvoorbeeld helemaal niet nodig om de voorpagina, berichten en reacties elke keer uit de database te trekken. Voor drukke sites is het vaak efficiënter om deze content weg te schrijven in cachebestanden zodat deze rechtstreeks in de site geplaatst kunnen worden, zonder connecties en queries naar de database.


    27 november 2006 om 11:23
    Frankvdk

    Ik geloof dat die nu op de nieuwe server draait, kreeg net namelijk nog een melding dat apache werd geinstalleerd en nu doet die het alweer ! Succes met de verdere finetuning!


    27 november 2006 om 13:51
    Polle

    Lijkt met weinig problemen allemaal te gaan, Marco.


    27 november 2006 om 14:05
    Wouter Neyndorff

    Soepele overgang volgens mij 🙂 Goed gedaan Marco (en team)!

    Wij gaan morgen over naar onze nieuwe bakken..

    gr. wouter.


    27 november 2006 om 14:13
    John de Vroede

    Wow, super config. succes marco! gr.John


    27 november 2006 om 19:57
    media

    Jeetje, wat een dag en eindelijk weer online!

    We moeten nog even voorzichtig zijn met juichen; de site is inderdaad redelijk probleemloos overgezet (behalve dat ik zelf door een DNS-cache zojuist pas weer op marketingfacts kan komen!) maar de MySQL-database moet nog verhuizen (zal in de loop van deze week gebeuren verwacht ik).

    Arash, waarom vind je dit een (te) zwaar systeem voor een weblog als Marketingfacts? Hadden we met minder gekund? Vergeet niet dat het aantal concurent users overdag soms erg hoog kan zijn. Blogs als Geenstijl, Retecool, etc. draaien allemaal op meerdere servers heb ik mij laten vertellen.


    27 november 2006 om 20:24
    mangold

    Rare manier van verhuizen, hoor. Ik had bijvoorbeeld eerst die mySQL database overgezet, omdat juist dáár de meeste druk ligt. En ik zie ook niet in waarom een website voor zo’n verhuizinkje plat moet.


    27 november 2006 om 20:51
    media

    Carl, het zit ons (en digitalus) de laatste tijd niet echt mee. Vanmiddag was er een fikse storing waardoor een groot deel van hun serverpark plat lag. Dat had dus niets met de verhuizing te maken maar was een ongelukkige samenloop van omstandigheden. De keuze om eerst de site en later de database te verhuizen begrijp ik ook niet helemaal maar ik ben dan ook geen systeembeheerder. Wat ik er van begrepen heb is dat de verhuizing naar een nieuwe server niet gepaard is gegaan met het plat gaan van de site maar wel tot vertraging heeft geleid bij sommige providers om de nieuwe site te vinden (via DNS Server).


    27 november 2006 om 20:58
    Arash

    Ik heb geen inzicht in jouw stats mbt serverload, memory usage, diskspaceusage enz. de stats van de vorige server en de hoeveelheid sites en mysqlprocessen dat het systeem maandelijks moest verwerken.

    Wel schrik ik van de stats. 4GB ram en een dual core 2.4Ghz lijken mij veel te zwaar voor deze weblog.

    Met de juiste optimalisatie, ben ik er van overtuigde dat je met veel minder kan en toch voldoende ruimte overhoud voor een sterke groei en pieken.

    Zoals Carl aangeeft is het niet gebruikelijk om de mysql server later te verhuizen.

    Welke applicaties draaien er op de server dat je 4GB aan ram nodig hebt? Waarom 250GB?

    Marketingfacts kan je niet vergelijken met Geenstijl en Retecool. De (flash) videos, (flash) games, audio bestanden en overige visualisaties en multimedia content belasten de server veel zwaarder dan een weblog zoals Marketingfacts.

    Jouw nieuwe server is een prachtig apparaat, echter het lijkt mij niet een kostefficiënt systeem.


    27 november 2006 om 22:35
    media

    @Jurjen: nogmaals dank voor de tip!

    @Arash: ik heb eerlijk gezegd geen idee of ik, zoals Anders aangeeft, overstap op een straaljager. Ze hebben me deze server voorgesteld, ik heb het voorgelegd aan de mensen die er verstand van hebben en ze hebben me verteld dat het een prima keuze was.

    Overigens, zware server of niet, als het hele serverpark plat ligt dan hebben we er nog weinig aan. Gisteravond was het rond de klok van twaalf opnieuw hommeles bij Digitalus. Wat ze daar de laatste tijd aan het doen zijn mag Joost weten, maar ik begin er inmiddels wel enorm van te balen.


    28 november 2006 om 05:31
    Jochem van L.

    Arash: Hoewel ik verder ook niet weet waarom er 4GB in moet en zoveel opslag, is de processor natuurlijk makkelijk te verklaren: Er wordt niet veel anders meer verkocht, als je met een Intel aan de gang wilt. En veel server-cpu’s hebben niet meer kleinere broertjes of zusjes of zijn absoluut niet wenselijk als je naar de toekomst kijkt.

    Enige waar Marketingfacts verschilt met Geenstijl zijn het aantal reacties (load op de database server met name) en de extraatjes als de genoemde videos en games. Deze belasten de server niet echt (enkel meer verkeer), tenzij de videos op de server zelf omgezet worden naar flash (dat is zwaar). Flash is namelijk allemaal clientside en heeft dus eenzelfde impact als het downloaden van een foto van dezelfde grootte (of eender welk type bestand).

    Mooi apparaat, maar ik zet inderdaad ook m’n vraagtekens bij met name de hoeveelheid geheugen (is vaak ook een dure zaak) en bij de hoeveelheid opslag (hoewel SATA 250GB niet zoveel hoeft te kosten).


    28 november 2006 om 05:31
    media

    @Jochem: onze reactie kruisen elkaar (zie mijn reactie hierboven). Ik zal vandaag nog eens navragen waarom we zo’n zware server hebben!


    28 november 2006 om 05:33
    Maarten

    Jongens wat een discussie om de zwaarte van de server. Wat heb je liever? Genoeg capaciteit zodat je ff vooruitkunt voor een paar centen extra? Of continue tegen de boundaries aanlopen? Het ijzer is gewoon goed, niks meer aan doen zou ik zeggen. Alleen over de database keuze (MySQL) is meer te zeggen en behoeft wellicht beter ijzer en zeker configuratie. Afhankelijk tuurlijk wat je allemaal met de database doet en hoe je het doet (denk idd aan indexes, connection pooling, caching ect). Maar de ketting is zo sterk als de zwakste schakel.


    28 november 2006 om 06:47
    media

    Maarten, goed punt! De zwakste schakel is absoluut de database die er om de haverklap uitligt. Of het nu met ExpressionEngine (de weblogtool die wij gebruiken) te maken heeft of met de instellingen is mij nog niet helemaal duidelijk. Feit is wel dat er maar iets hoeft te gebeuren in het netwerk van Digitalus of we de databaseverbinding ligt er uit. Maar ook daar wordt aan gewerkt!


    28 november 2006 om 06:54
    ssmeding

    @Gertjan: als je bij elke redactionele handeling de cachefiles vernieuwt heb je altijd een actuele versie. Omdat er meer lezers dan posters zijn op MF, zal dit de parsetime waarschijnlijk flink kunnen verlagen.

    Hoewel er natuurlijk niet één universele oplossing voor optimalisatie is. Elke site heeft wat dat betreft zijn eigen specifieke kenmerken, zowel wat de techniek als het verkeer betreft.

    Het is duidelijk dat de specificaties van de dedi-server gekozen zijn met het oog op groei. Ik hoop dat we de komende tijd, tegelijk met optimalisatie van de techniek onder de motorkap van de site, mogen profiteren van een snellere site. Wat zoals we weten een belangrijke rol speelt in de gebruikerservaring van website bezoekers 🙂


    28 november 2006 om 10:19
    media

    Mede dankzij alle tips hier hebben we (of eigenlijk de jongens van Onstuimig), de serverload drastisch weten te verlagen en daarmee de performance weten te verbeteren. Verder is nu de complete verhuizing achter de rug dus als alles goed is zijn vanaf nu geen storingen meer (fingers crossed).


    29 november 2006 om 21:01

Marketingfacts. Elke dag vers. Mis niks!