Nationale Oliebollentest

N a t i o n a l e O l i e b o l l e n t e s t

Nieuwe opzet vanaf 2015

Introductie

In 1993 organiseerde het Algemeen Dagblad voor de eerste keer de Nationale Oliebollentest. In 2002 werd met het invoeren van de euro ook de jaarlijkse oliebollentest in een nieuw jasje gestoken: een andere onderzoeksmethode werd ingevoerd, andere keurmeesters aangesteld en een breed consumentenpanel keurde de oliebollen. Vanaf dat moment nam ook het aantal bemonsterde verkooppunten van 60 naar 159 in 2014 spectaculair toe. In 2005 werd tevens voor de eerste keer het vetpercentage gemeten. Details over opzet, uitvoering en de resultaten, zoals die tot 2014 door het AD werden gepubliceerd, kunt U lezen op mijn webpagina Oliebollen.

Nieuwe opzet

Bestond het consumentenpanel van het Centrum voor Smaakonderzoek tot 2014 uit twaalf personen, vanaf 2015 keuren twintig personen de oliebollen blind op
uiterlijk korst en binnenkant
mondgevoel korst en binnenkant
smaak
hoeveelheid vulling en
luchtigheid kruim.
Nieuw is ook dat na het opmaken van een voorlopige ranglijst een herkeuring volgt. Om toevalstreffers uit te sluiten worden de nummers 1 tot en met 10 en de laatste vijf opnieuw bezocht en bemonsterd. De ranglijst komt tot stand op basis van de door de panelleden gegeven waardering.

Steekproef is achilleshiel

Ondanks de (beperkte) herkeuringen blijft het nemen van steekproeven de achilleshiel van de Nationale Oliebollentest en kunnen ook met de nieuwe opzet toevaltreffers niet worden voorkomen. Dat proef je ook in de kritiek van menig (banket)bakker en gebakkraamhouder, die het AD wijzen op de (veel) hogere scores die hen door het Nederlands Bakkerij Centrum te Wageningen of door het Echte Bakkersgilde, eveneens te Wageningen gevestigd, werden toegekend. Of speelt 'de slager keurt zijn eigen vlees' hierbij een rol? De Nationale Oliebollentest verdient zondermeer het predicaat 'onafhankelijk'.
Twee gebakkraamhouders, de ene moest genoegen nemen met eindcijfer 5 en de ander met eindcijfer 4,5 haalden hun gram met respectievelijk 'Wij stellen uw mening niet op prijs' en 'wij nemen jullie onderzoek niet erg serieus'. Zij en andere onvoldoende scorende oliebollenbakkers kunnen zich beter afvragen of zij voldoen aan een paar basisregels: Gebruik ik verse olie en ververs ik de olie op tijd? Bak ik op de juiste temperatuur (180 graden Celsius)? En belangrijk voor een luchtige oliebol: Geef ik het beslag in een verwarmde ruimte voldoende tijd om te rijzen? Basisregels waaraan zelfs thuisbakkers gemakkelijk kunnen voldoen. Laat staan professionele bakkers.

Alle kritiek ten spijt verdient de Nationale Oliebollentest het predicaat eerlijk. Er wordt niet gesjoemeld, maar met de steekproefsgewijze opzet valt de nadruk te veel op toevalstreffers. En daarin hebben de critici gelijk. Beter zou zijn alle verkooppunten voor een tweede keer te bezoeken en te bemonsteren. Nog beter zou zijn - maar dat wordt wel een zeer kostbare opzet - bij ieder verkooppunt op drie verschillende dagen oliebollen te kopen en te keuren en de drie eindcijfers te middelen.

Resultaten

In cijfers	2015	2016
Aantal verkooppunten	164 waarvan 99 gebakkramen	160 waarvan 91 gebakkramen
Aantal gekochte oliebollen (met krenten en/of rozijnen)	3.743, kosten € 3.200	2.977, kosten € 3.000
Prijs (aanbiedingen uitgesloten)	max. 1 euro - min. 70 eurocent	max. 1 euro - min. 50 eurocent
Gewicht (gram)	max. 136 - min. 58	max. 121,6 - min. 61,5
Hoeveelheid vet (percentage)	max. 18,3 - min. 4,0	max. 18,8 - min. 4,0

Prijs

In 2002 werd voor de eerste keer afgerekend in euro's. De gemiddelde prijs, aanbiedingen niet meegerekend, die de consument aan de kraam of in de winkel betaalde, was 60 eurocent. Voor het goedkoopste bolletje betaalde men in 2002 35 eurocent. Het AD serveerde ze af met 'oliebollen ruiken naar muf ondergoed' (banketbakker) en 'niet gaar' (marktkraam).
De maximumprijs steeg in 2006 met een forse klap van 75 eurocent naar één euro en bleef met een uitschieter in 2011 op hetzelfde niveau. In dat jaar kostte een volkoren oliebol van een Amsterdamse banketbakker één euro en twintig cent, maar hij sloeg met een score van 4,5 de plank volledig mis. Gelet op de voortdurende stijging van de gemiddelde prijs naar 93 cent in 2016 verhoogden steeds meer oliebollenbakkers in de loop van de jaren de prijs per oliebol.

Een dure oliebol is nog geen smaakvolle oliebol!

Dat was de conclusie die het AD in 2013 trok. Die conclusie staat in 2015 nog recht overeind. 55 van de 164 verkooppunten rekenden € 1 voor een losse oliebol. Met 47 verkooppunten waren de gebakkraamhouders in de meerderheid, acht (banket)bakkers vroegen de hoofdprijs. Bij tweederde van de duurste oliebollen (waardering 6,5 of lager en allemaal gekocht bij een gebakkraam) liet de smaak te wensen over of waren de bollen niet of nauwelijks te pruimen. Meest gelezen uitspraken: taaie korst, nat, klef, ongaar en vulling aan de zuinige kant.

In 2016 bleef bovenstaande conclusie recht overeind staan. Bij 71 van de 160 oliebollenbakkers lagen de oliebollen voor € 1 per stuk in de vitrine. In 23 gevallen waren de bollen volgens het smaakpanel niet meer waard dan een 4,5. Tien verkooppunten, op een na allemaal gebakkramen, verkochten zelfs 'oneetbare oliebollen'. Onbegrijpelijk dat de vijf laagste verkooppunten in de rangschikking de herkansing niet aangrepen om zich te revancheren.

Gewicht

Het lichtste bolletje weegt in 2015 slechts 58 gram, de zwaarste bol is met 136 gram meer dan twee keer zo zwaar. Het 'muizenhapje' uit de Betuwse Gebakkraam in Culemborg is met € 1 niet alleen een dure bol maar verdient niet meer dan een 5. Volgens een van de leden van het consumentenpanel was de smaak beneden peil: 'Ik wil de smaak beoordelen, maar dan moet die er wel zijn.' 'Weinig vulling, voornamelijk smaak van deeg en olie.' De zwaarste bol, gebakken in de Hollandse gebakkraam in IJsselstein, smaakt naar vis en wordt afgestraft met eindcijfer 3,5. Een wanprestatie voor € 1 per los verkochte oliebol.
De smulpapen die december 2015 in Maarssen voor € 1 per stuk een oliebol kochten bij Bakkerij Olink waren spekkoper: 113 gram zwaar en met eindcijfer 10- nipt tweede achter winnaar Meesterbakker Voskamp in Spijkenisse. Toeval bestaat deze keer niet, want beide bakkers behoorden in voorgaande jaren tot de besten.

Bakkerij Snoep in Rhenen verkocht in 2016 de lichtste oliebollen, de 61,5 gram zware bolletjes (gemiddeld testgewicht) serveerde het smaakpanel af met een 3,5. 'Dit lijkt nog het meest op te zoet krentenbrood met het uiterlijk van een wrattenzwijn', was het venijnige commentaar van het AD en de redactie voegde daaraan toe: 'Als hij de kans krijgt, moet Snoep zich maar aanmelden voor bakles'. Ron's gebakkraam in Dordrecht verkocht met 121,6 gram de zwaarste oliebollen. Duur (€ 1) én slecht (4,5): 'vette korst', 'ondefinieerbare bijsmaak'.

Hoeveelheid vet

In 2012 werd vet als zesde smaak toegevoegd aan het rijtje zoet, zout, zuur, bitter en umami. In welke mate is het vetgehalte in een oliebol van invloed op het smaakoordeel van het consumentenpanel?
Het laboratorium van EurofinsǀLabCo in Barendrecht bepaalt, volgens een gestandaardiseerde methode, de hoeveelheid vet in de oliebollen. Een wettelijk norm ontbreekt, maar een 'normale' oliebol bevat negen procent vet. Meer of minder vet dan 'normaal' is niet alles bepalend, maar de hoeveelheid vet beïnvloedt de smaak wel. 19 van de 22 superbollen (eindcijfer 8,5 en hoger) bevatten in 2015 meer dan wat normaal wordt geacht. De overige drie bevatten net iets meer of iets minder vet. De vetste oliebol is een superbol en werd gebakken door Jan Vermolen in zijn gebakkraam aan het Spui in Den Haag: eindcijfer 8,5, € 1 voor een losse oliebol, 18,3 % vet, 97 gram zwaar, 'knapperige korst, goed gevuld, mooie afbeet'. De vreugde was groot: 'We hebben met zijn allen de brief opengemaakt en en daarna staan juichen als kleine kinderen.'
De magerste bollen, in vetpercentage variërend van 3,99 tot 6,98, werden in 2015 niet hoger gewaardeerd dan met eindcijfer 5. Een vergelijkbaar beeld laat 2016 zien: op een handvol na scoorden de magerste bollen, variërend van 4,0 tot 7,2 % vet, (dik) onvoldoende.
Voorzichtigheidshalve zou je kunnen stellen: een vette oliebol streelt de smaakpupillen meer dan een magere.

Die conclusie staat haaks op de conclusie die ik trok naar aanleiding van de testresultaten die in 2000 in het januarinummer van de Consumentengids werden gepubliceerd: Ongeacht welke van de twee oliebollenmixen, nam de smaak af met de toename van het vetgehalte. Dat gold echter voor een beperkte testopzet: zes doe-het-zelvers bakten destijds oliebollen op basis van twee verschillende mixen, van Koopmans en van Honig.

Vet is een gecompliceerde smaakmaker, want het smaakoordeel zal ongetwijfeld ook afhangen van de versheid van de olie en uit welke zaden de olie is geperst. Een oliebol die gebakken is in (te) oude olie of olie waarin andere snacks of vis zijn gefrituurd, zal zonder twijfel worden afgeserveerd.

Oordeel smaakpanel

De top onder de oliebollenbakkers
	Winnaar	2	3
2011	Richard Visser's gebakkraam, Rotterdam		Oliebollenkraam Muller, Nieuwerkerk aan den IJssel Echte Bakker Vliegende Hond, Wolvega Hollandse Gebakkraam Gerrie Bischoff, De Meern
2012	Bakkerij Olink, Maarssen	Richard Visser's gebakkraam, Rotterdam	Hollandse Gebakkraam Dennis Smit, Ouderkerk aan de Amstel Echte Bakker Vliegende Hond, Wolvega Gebackerij Van Dongen, Made Oud Hollandse Gebakkraam Veldmeijer, Hendrik-Ido-Ambacht
2013	Richard Visser's gebakkraam, Rotterdam	Bakkerij Klootwijk, Capelle aan den IJssel	Meesterbakker Voskamp, Spijkenisse Toet de echte bakker, Apeldoorn Brood- en banketbakkerij Ruud & Chantal Gremmee, Rossum Bakkerij Holtkamp, Schipluiden
2014	Bakkerij Brokking, IJsselstein	De Verswinkel Ruud & Chantal Gremmee, Rossum Richard Visser's gebakkraam, Rotterdam Bakkerij Olink, Maarssen	Meesterbakker Voskamp, Spijkenisse Bakkerij Jongerius, Zoetermeer Hollandse Gebakkraam Richard Voets, Tilburg
2015	Meesterbakker Voskamp, Spijkenisse	Bakkerij Olink, Maarssen	Brood- en Banketbakkerij Jan Pieter Duin, Tiel Richard Visser's gebakkraam, Rotterdam Gebakkraam Nico Sterrenberg, Schiedam Bakkerij Vliegendehond, Wolvega Bakkerij Eshuis, Moerkapelle
2016	Meesterbakker Voskamp, Spijkenisse	Bakkerij Brokking, IJsselstein Bakkerij Aad Klootwijk, Capelle aan den IJssel	Vroeg, Bunnink Bakkerij Jonker, Oldebroek Bakkerij Jansen en Terpstra, Oosterwolde Gebakkraam Richard Visser, Rotterdam Bakker Roel, Smaragdplein, Utrecht (onderdeel van de bakkerijketen Roel-Brokking, maar meedingend met eigen receptuur)

Toelichting: Om de jaarlijkse testen met elkaar te kunnen vergelijken, is het aantal verkooppunten ieder jaar gesteld op 100.

Slecht / oneetbaar: eindcijfer minder dan 5; Onvoldoende: eindcijfer 5 en 5,5 ; Voldoende: eindcijfer van 6 tot en met 8; Superbollen: eindcijfer 8,5 en hoger. Kwalificatie 'superbol' is van de auteur.

Een trendbreuk in 2015?
De resultaten van de 23e Nationale Oliebollentest wijzen in die richting. De herkeuring van de tien beste en de vijf minst scorende verkooppunten in de voorlopige ranglijst kan een rol hebben gespeeld. Meer voor de hand ligt dat de anonimiteit, die in 2015 werd logelaten, veel meer van invloed is geweest. De bakkers die zichzelf hadden aangemeld, hoorden vooraf wanneer de oliebollen zouden worden opgehaald en werden daardoor in de gelegenheid gesteld extra hun best te doen.
Van de 164 verkooppunten scoorden 133 (meer dan 80 %) een voldoende. De laatste zes jaren was dat hooguit 70 %, met als dieptepunt 2010 met 55 % voldoendes. In dezelfde periode bleef het percentage superbollen ongeveer gelijk. Eindcijfers lager dan 3,5 werden in tegenstelling tot voorgaande jaren niet uitgedeeld.

De trend naar meer voldoendes zette niet door in 2016. In tegenstelling tot voorgaande jaren was 2016 zelfs een mager jaar, want 4 op de 10 oliebollenbakkers slaagden er niet in een 6 of hoger te scoren. In de onderste regionen van de ranglijst vielen nogal wat oliebollenbakkers kompleet door de mand. Dertien verkooppunten verkochten misbaksels of anders gezegd: drie kregen het predicaat 'zeer slecht' en tien sloten de ranglijst met 'oneetbaar'.

Nek-aan-nekrace
Het was tussen zeven oliebollenbakkers een nek-aan-nekrace om de hoogste eer. Meesterbakker Voskamp in Spijkenisse (10) won nipt van Bakkerij Olink in Maarssen(10-), de overige vijf volgden op korte afstand met een half punt minder. Beiden geen eendagsvliegen, die al meerdere keren bewezen een superbol te kunnen bakken. Voskamp won eerder in 2010 en Olink, die vanaf 2005 regelmatig tot de besten behoorde, won in 2012 de Nationale Oliebollentest. De eerste plaats betekende voor Arnold Krabbedijk en Dick van Dalen topdrukte en weinig nachtrust. Ze zagen zich geplaatst voor een enorme opgave: in luttele dagen meer dan 500.000 oliebollen bakken! Daarvoor hebben de beide 'bollebozen' vijf baklijnen ter beschikking waarmee ieder uur 12.500 bolletjes beslag goudbruin gebakken kunnen worden.
De bakkers van Voskamp mochten zich in 2016 opnieuw de 'beste oliebollenbakker van Nederland' noemen. Olink zakte met een eindscore van 7,5 naar de 29ste plaats. 'Olink is een fantastische bakker', de smaak is goed, 'maar veel panelleden hebben moeite met het vetgehalte'. Een zware bol (ruim 118 gram) die met 16,7 % vet kennelijk zwaar op de maag ligt.
Ivo Vliegendehond in Wolvega wordt wel de beste bakker in Noord-Nederland genoemd. Net zomin een eendagsvlieg, want zowel in 2011 als in 2012 en 2015 bakte hij superbollen. Het AD: 'Een oliebol waarover uitsluitend lovende woorden zijn te schrijven.' Maar Vliegendehond viel in 2016 met eindcijfer 7 en een 57ste plaats ver terug. 'Een te uitgesproken vruchtensmaak' oordeelde het smaakpanel.
Richard Visser, die jaar in jaar uit de rij wachtenden voor zijn Rotterdamse kraam niet kan overzien, was met eindcijfer 9,5 en een vierde plaats licht teleurgesteld. Na negen de keer de beste oliebol gebakken te hebben, had hij in 2015 graag voor de tiende keer willen winnen. Hoewel nog steeds een superbol bakkend zal Visser in 2016 opnieuw teleurgesteld zijn geweest. Menig oliebollenbakker zal toch dromen van een zevende plaats met een negen als eindcijfer?

Onvoldoende (5,5 en 5)
Van de 164 verkooppunten slaagden 23 oliebollenbakkers, waaronder negentien gebakkraamhouders, er niet in een lekkere oliebol te bakken. Het consumentenpanel waardeerde hun baksels niet hoger dan met eindcijfer 5,5 en 5. Werk aan de winkel dus voor deze bakkers. Gelukkig voor oliebollenetend Nederland neemt de kwaliteit toe. Dat valt af te lezen aan de blauwe staafjes in de grafiek, die een dalende trend van slechte bakkers laten zien. Die trend zette in 2016 niet door, zoals ik hierboven reeds concludeerde. Van de 160 verkooppunten bakten 25 oliebollenbakkers een weinig smaakvolle bol.

NATIONALE OLIEBOLLENTEST NA 25 JAAR GESTOPT

Bakker Klootwijk (Rotterdam, winkelcentrum Alexandrium) is de laatste winnaar van de 25ste editie van de Nationale Oliebollentest. Door de aanhoudende kritiek van oliebollenbakkers publiceerde het AD op 28 december 2017 slechts de 75 beste oliebollenbakkers. Dat maakte het mij onmogelijk de resultaten te analyseren en te publiceren zoals de bezoekers van mijn website dat gewend waren. De in 2016 georganiseerde Nationale Oliebollentest is daarmee de laatste op deze pagina.

Niet iedereen is het eens met de verdwijning van de smaaktest zoals bleek uit de reacties op de stelling Bravotest oliebollen slappe hap. De aanpassing dat de krant [Algemeen Dagblad] alleen nog positieve zal uitspreken 'gaat veel te ver'. 'Bij een echte test horen ook onvoldoendes. En zolang de beoordeling eerlijk gebeurd en niet onnodig hard wordt nagetrapt is niemand daarop tegen. Maar op een test van oliebollen en haring met louter complimenten zit niemand te wachten. Een bravotest van oliebollen is slappe hap.' 88 procent van de 220 uitgebrachte stemmen was het met deze stelling eens. [IJmuider Courant, 28 en 29 dcecember 2017].

Echter, oliebollenbakkers twijfelden aan de eerlijkheid van de oliebollentest. Vooral de grievende teksten schoten hen in het verkeerde keelgat. 'Scherpe recensies kunnen misschien amusant zijn, maar zoals ik in december al in de krant schreef: leedvermaak is geen vermaak.' Aldus hoofdredacteur Hans Nijenhuis in onderstaande verklaring in het AD van 2 juni 2018.

Nu het haringseizoen er weer aankomt rijst de vraag of de AD Haringtest ook weer terugkeert. Nee, die keert niet terug. We hebben besloten niet door te gaan met onze nationale smaaktests. Over smaak valt namelijk, zo bleek vorig jaar, wel degelijk te twisten. Te veel wat ons betreft. Wij testen en vergelijken om u te helpen de beste producten te vinden, niet om middenstanders te kwetsen.
Zowel de Haring- als de Oliebollentest werd in 2017 onderwerp van kritiek. Bij de Haringtest zouden onze keurmeesters niet objectief zijn, de begeleidende tekst bij hun oordelen soms onnodig grievend. Bij de Oliebollentest wisten de bakkers die zichzelf voor de test opgaven wel van te voren dat de keurmeesters langs zouden komen, de anderen niet. En ook daar waren onze woorden over de bakkers die onderaan eindigden snoeihard.
De ernstigste beschuldigingen betroffen de Haringtest en repten van gebrek aan objectiviteit en zelfs belangenverstrengeling bij onze keurmeesters. Een onderzoeker van de Universiteit van Tilburg, Ben Vollaard, ging hierin het verst. Hij heeft geen bewijs geleverd en AD heeft besloten tegen Vollaard een officiële klacht in te dienen bij de Commissie Wetenschappelijke Integriteit van de universiteit. Onze klacht: hij baseerde zijn onderzoek deels op foutieve gegevens en berekeningen.
Wat betreft die grievende teksten bij de oordelen: daar hebben de critici gelijk. Ook wij vonden bij nader inzien dat we die beter anders hadden kunnen formuleren. Scherpe recensies kunnen misschien amusant zijn, maar zoals ik in december al in de krant schreef: leedvermaak is geen vermaak.
Geen groots opgezette Haring-, Friet en Oliebollentests meer dus. Laten we smaak maar laten wat het misschien toch vooral is: een kwestie van smaak.

Meer lezen over oliebollen en ander kermisgebak?

Lees dan Groninger kermis, met uitgebreide informatie over de ontwikkelingen die de recepten voor het maken van oliebollen, poffertjes, wafels, appelbeignets en appelflappen in de tijd doormaakten. Aangevuld met recepten voor de thuisbakker.

Heeft U vragen? Mist U informatie of heeft U tips? Deponeer ze in mijn elektronische brievenbus.

Nieuwe pagina, uitgebracht op 16 februari 2016. Voor het laatst bijgewerkt op 7 juni 2018.