Serverproblemen, altijd lastig!

Serverproblemen, altijd lastig!

Serverproblemen, altijd lastig!De regelmatige bezoeker van dit weblog zal het ongetwijfeld hebben gemerkt de laatste tijd, Marketingfacts is soms slecht tot helemaal niet bereikbaar. Afgelopen zaterdag was het weer raak en lagen we er zelfs een halve dag uit. Nu zullen de grote weblogs die gebruik maken van een MySQL-database dit ongetwijfeld herkennen want naarmate hun database meer wordt gevuld, er meer bezoek komt en er steeds meer zoekopdrachten worden losgelaten op de database, heeft dit een enorme impact op de performance van de site. In ieder geval tijd voor Marketingfacts om over te gaan naar een dedicated server. De afgelopen weken draaiden we tijdelijk op een testserver maar als alles goed gaat gaan we vanmiddag definitief over naar een eigen server. Bij het overzetten kan het zijn dat Marketingfacts tijdelijk niet bereikbaar is. Daarvoor onze excuses en we hopen natuurlijk snel weer terug te zijn!


Geplaatst in

Delen

0
0


Er zijn 28 reacties op dit artikel

  • Succes met de overgang marco. Wat zijn eigenlijk de specs van de nieuwe server?

    geplaatst op
  • Ik moet eerlijk zeggen dat ik niet alles begrijp wat in die specs staan maar in het kort komt het neer op het volgende:

    - Intel Dual Core 2.40 Ghz processor
    - 4096 mb intern geheugen
    - 2 x 250 Gigabyte opslag (RAID 1 configuratie)

    geplaatst op
  • Succes met de migratie!

    Is het toeval dat adformatie op hetzelfde moment er ook uitlag en beiden in de iprange van digitalus zitten?

    geplaatst op
  • succes Marco
    (jammer dat je zaterdag offline was tijdens mijn presentatie in Turkije)

    geplaatst op
  • Dus jullie worden vanmiddag weer gehackt ;)

    Succes met de migratie!

    geplaatst op
  • Klinkt als een behoorlijk stevige server.
    Ben nu wel benieuwd hoeveel bezoekers je per dag wel niet hebt.. ;)

    Succes met de migratie!

    Elja

    geplaatst op
  • - Intel Dual Core 2.40 Ghz processor
    - 4096 mb intern geheugen
    - 2 x 250 Gigabyte opslag (RAID 1 configuratie)


    Zeer zwaar systeem voor een weblog. Wat is de argumentatie geweest?

    geplaatst op
  • Toevallig de jongens van Prolocation? Succes!

    geplaatst op
  • Marco. Wellicht ten overvloede, maar zorg dat de persoon die de server inricht/beheerd ook genoeg fine-tuned op gebiedt van apache/php/mysql . Dit scheelt vaak ook enorm in snelheid/bereikbaarheid. Als je er vraagtekens bij hebt, weet je me te vinden :-)

    geplaatst op
  • Je fiest heeft een lekke band dus je stapt over op een straaljager :)

    geplaatst op
  • Goed te horen dat de bereikbaarheid van MF structureel verbeterd wordt!

    Wat Jurjen ook al zegt: met optimalisatie is meer winst te behalen dan het verhogen van je resources. Het is bijvoorbeeld helemaal niet nodig om de voorpagina, berichten en reacties elke keer uit de database te trekken. Voor drukke sites is het vaak efficiënter om deze content weg te schrijven in cachebestanden zodat deze rechtstreeks in de site geplaatst kunnen worden, zonder connecties en queries naar de database.

    geplaatst op
  • Ik geloof dat die nu op de nieuwe server draait, kreeg net namelijk nog een melding dat apache werd geinstalleerd en nu doet die het alweer ! Succes met de verdere finetuning!

    geplaatst op
  • Lijkt met weinig problemen allemaal te gaan, Marco.

    geplaatst op
  • Soepele overgang volgens mij :) Goed gedaan Marco (en team)!
    Wij gaan morgen over naar onze nieuwe bakken..

    gr. wouter.

    geplaatst op
  • Wow, super config. succes marco! gr.John

    geplaatst op
  • Jeetje, wat een dag en eindelijk weer online!

    We moeten nog even voorzichtig zijn met juichen; de site is inderdaad redelijk probleemloos overgezet (behalve dat ik zelf door een DNS-cache zojuist pas weer op marketingfacts kan komen!) maar de MySQL-database moet nog verhuizen (zal in de loop van deze week gebeuren verwacht ik).

    Arash, waarom vind je dit een (te) zwaar systeem voor een weblog als Marketingfacts? Hadden we met minder gekund? Vergeet niet dat het aantal concurent users overdag soms erg hoog kan zijn. Blogs als Geenstijl, Retecool, etc. draaien allemaal op meerdere servers heb ik mij laten vertellen.

    geplaatst op
  • Rare manier van verhuizen, hoor. Ik had bijvoorbeeld eerst die mySQL database overgezet, omdat juist dáár de meeste druk ligt. En ik zie ook niet in waarom een website voor zo'n verhuizinkje plat moet.

    geplaatst op
  • Carl, het zit ons (en digitalus) de laatste tijd niet echt mee. Vanmiddag was er een fikse storing waardoor een groot deel van hun serverpark plat lag. Dat had dus niets met de verhuizing te maken maar was een ongelukkige samenloop van omstandigheden. De keuze om eerst de site en later de database te verhuizen begrijp ik ook niet helemaal maar ik ben dan ook geen systeembeheerder. Wat ik er van begrepen heb is dat de verhuizing naar een nieuwe server niet gepaard is gegaan met het plat gaan van de site maar wel tot vertraging heeft geleid bij sommige providers om de nieuwe site te vinden (via DNS Server).

    geplaatst op
  • Ach, in ICT land kan het altijd beter ;-) DNS had bijvoorbeeld geen probleem hoeven te zijn. Ik zal de technische details verder achterwege laten. Maar je komt de bezoeker toch mooi tegemoet met zo'n eigen server, en dat heb je toch maar weer mooi geflikt :-)
    Voorlopig heb je een systeem waarmee je denk ik een lange tijd vooruit kunt gaan, zeker als zoals Gertjan aangeeft de caching toegepast wordt.

    @Gertjan. Vaak helpt het flink tunen van Mysql zelf (soort table opbouw, soorten indexes, links etc) ook nog een hoop. Het is alleen weer wat technischer.
    http://xiffy.nl/weblog/tut/mysqlquerycache.php is een 3-delige Nederlandstalige mysql tuning serie.
    En nog een wat oudere, http://gert.sos.be/nl/articles/mysql_tuning/

    Succes met tunen!

    geplaatst op
  • Ik heb geen inzicht in jouw stats mbt serverload, memory usage, diskspaceusage enz. de stats van de vorige server en de hoeveelheid sites en mysqlprocessen dat het systeem maandelijks moest verwerken.

    Wel schrik ik van de stats. 4GB ram en een dual core 2.4Ghz lijken mij veel te zwaar voor deze weblog.

    Met de juiste optimalisatie, ben ik er van overtuigde dat je met veel minder kan en toch voldoende ruimte overhoud voor een sterke groei en pieken.

    Zoals Carl aangeeft is het niet gebruikelijk om de mysql server later te verhuizen.

    Welke applicaties draaien er op de server dat je 4GB aan ram nodig hebt? Waarom 250GB?

    Marketingfacts kan je niet vergelijken met Geenstijl en Retecool. De (flash) videos, (flash) games, audio bestanden en overige visualisaties en multimedia content belasten de server veel zwaarder dan een weblog zoals Marketingfacts.

    Jouw nieuwe server is een prachtig apparaat, echter het lijkt mij niet een kostefficiënt systeem.

    geplaatst op
  • @Jurjen: nogmaals dank voor de tip!

    @Arash: ik heb eerlijk gezegd geen idee of ik, zoals Anders aangeeft, overstap op een straaljager. Ze hebben me deze server voorgesteld, ik heb het voorgelegd aan de mensen die er verstand van hebben en ze hebben me verteld dat het een prima keuze was.

    Overigens, zware server of niet, als het hele serverpark plat ligt dan hebben we er nog weinig aan. Gisteravond was het rond de klok van twaalf opnieuw hommeles bij Digitalus. Wat ze daar de laatste tijd aan het doen zijn mag Joost weten, maar ik begin er inmiddels wel enorm van te balen.

    geplaatst op
  • Arash: Hoewel ik verder ook niet weet waarom er 4GB in moet en zoveel opslag, is de processor natuurlijk makkelijk te verklaren: Er wordt niet veel anders meer verkocht, als je met een Intel aan de gang wilt. En veel server-cpu's hebben niet meer kleinere broertjes of zusjes of zijn absoluut niet wenselijk als je naar de toekomst kijkt.

    Enige waar Marketingfacts verschilt met Geenstijl zijn het aantal reacties (load op de database server met name) en de extraatjes als de genoemde videos en games. Deze belasten de server niet echt (enkel meer verkeer), tenzij de videos op de server zelf omgezet worden naar flash (dat is zwaar). Flash is namelijk allemaal clientside en heeft dus eenzelfde impact als het downloaden van een foto van dezelfde grootte (of eender welk type bestand).

    Mooi apparaat, maar ik zet inderdaad ook m'n vraagtekens bij met name de hoeveelheid geheugen (is vaak ook een dure zaak) en bij de hoeveelheid opslag (hoewel SATA 250GB niet zoveel hoeft te kosten).

    geplaatst op
  • @Jochem: onze reactie kruisen elkaar (zie mijn reactie hierboven). Ik zal vandaag nog eens navragen waarom we zo'n zware server hebben!

    geplaatst op
  • Jongens wat een discussie om de zwaarte van de server. Wat heb je liever? Genoeg capaciteit zodat je ff vooruitkunt voor een paar centen extra? Of continue tegen de boundaries aanlopen? Het ijzer is gewoon goed, niks meer aan doen zou ik zeggen. Alleen over de database keuze (MySQL) is meer te zeggen en behoeft wellicht beter ijzer en zeker configuratie. Afhankelijk tuurlijk wat je allemaal met de database doet en hoe je het doet (denk idd aan indexes, connection pooling, caching ect). Maar de ketting is zo sterk als de zwakste schakel.

    geplaatst op
  • Maarten, goed punt! De zwakste schakel is absoluut de database die er om de haverklap uitligt. Of het nu met ExpressionEngine (de weblogtool die wij gebruiken) te maken heeft of met de instellingen is mij nog niet helemaal duidelijk. Feit is wel dat er maar iets hoeft te gebeuren in het netwerk van Digitalus of we de databaseverbinding ligt er uit. Maar ook daar wordt aan gewerkt!

    geplaatst op
  • @Marco. Wellicht handig om te weten welke wensen je hebt aangegeven. Misschien weet niet iedereen hier van je plannen zoals het TV deel, waarbij je dus wel filmpjes gaat uitzenden. Misschien heb je dit wel aangegeven bij je hosters, en hebben ze mede om dit soort redenen deze server aangeraden.
    Mocht je alleen puur voor marketingfacts gegaan zijn, dan had je het denk ik voorlopig ook wel gered met een Pentium 4 en 1 á 2 Gb.

    Wat de problemen betreft, vraag ze anders elke keer even een duidelijke rapportage van het probleem. Als je deze met ons deelt, zijn er hier zo te lezen wel genoeg mensen die aan kunnen geven of dat kan of niet. Op http://www.digitalus.nl/index.php?path=&mid=26&lang=1 staat ook een storingsrapport van hun, maar die vind ik vrij beperkt. De stroomstoring die ze in september hadden, lag denk ik niet aan hun. De netwerk problemen zijn er wel veel, en heb ik dan wel m'n vraagtekens bij wat er nou steeds mis gaat. Op http://noc.digitalus.nl/ hebben ze overigens iets meer informatie staan over hun netwerk.

    Nog wat andere informatie over Digitalus:
    - http://www.webhosters.nl/gegevens.php?id=1373 (vergelijk/reactie site)
    - http://uptime.netcraft.com/up/graph?mode_u=on&mode_w=on&site=http://www.digitalus.nl (wat netwerk info)
    - http://www.webhostingtalk.nl/toevoegen-aanpassen-netwerk/99036-nieuw-toegestane-netwerken-forum-2.html?highlight=digitalus (overigens weinig connecties (peering/transit) naar andere netwerken...

    geplaatst op
  • @Gertjan: als je bij elke redactionele handeling de cachefiles vernieuwt heb je altijd een actuele versie. Omdat er meer lezers dan posters zijn op MF, zal dit de parsetime waarschijnlijk flink kunnen verlagen.

    Hoewel er natuurlijk niet één universele oplossing voor optimalisatie is. Elke site heeft wat dat betreft zijn eigen specifieke kenmerken, zowel wat de techniek als het verkeer betreft.

    Het is duidelijk dat de specificaties van de dedi-server gekozen zijn met het oog op groei. Ik hoop dat we de komende tijd, tegelijk met optimalisatie van de techniek onder de motorkap van de site, mogen profiteren van een snellere site. Wat zoals we weten een belangrijke rol speelt in de gebruikerservaring van website bezoekers :-)

    geplaatst op
  • Mede dankzij alle tips hier hebben we (of eigenlijk de jongens van Onstuimig), de serverload drastisch weten te verlagen en daarmee de performance weten te verbeteren. Verder is nu de complete verhuizing achter de rug dus als alles goed is zijn vanaf nu geen storingen meer (fingers crossed).

    geplaatst op

Plaats zelf een reactie

Log in zodat je (in het vervolg) nóg sneller kunt reageren

Vul jouw naam in.
Vul jouw e-mailadres in. Vul een geldig e-mailadres in.
Vul jouw reactie in.

Herhaal de tekens die je ziet in de afbeelding hieronder


Let op: je reactie blijft voor altijd staan. We verwijderen deze dus later niet als je op zoek bent naar een nieuwe werkgever (of schoonmoeder). Reacties die beledigend zijn of zelfpromotioneel daarentegen, verwijderen we maar al te graag. Door te reageren ga je akkoord met onze voorwaarden.