Classement, notes, concours… Faut-il leur faire confiance ?
Les études citées portent principalement sur la dégustation et la compétition viticole. Je postule que ces résultats peuvent être extrapolés à la dégustation de bière.
Depuis des années experts, magazines et compétitions s’attèlent à comparer, noter et classifier les vins entre eux. Cette mode se développe le monde de la bière.
Ces classements et compétitions ont un impact commercial non négligeable mais de nombreuses études montrent qu’elles n’ont pas le sens scientifique impartial qu’on aimerait leur accorder. Ils ne peuvent donc pas être considérés comme une référence quand à la qualité d’un produit par rapport à un autre. Mais est-ce pour autant une raison pour les bouder ?
Un impact commercial colossal
La raison principale de l’existence de ces classements et systèmes de notations est qu’ils remportent un franc succès auprès des consommateurs. Malgré diverses tentatives de comparaison des vins par attributs gustatifs, c’est toujours la note qui marche le mieux. On le voit par exemple avec le succès de classements devenus référence comme celui du Wine Spectator, vendu à des centaines de milliers d’exemplaires. En effet dans un monde où l’on a accès a une énorme variété de produits, ces classements semblent offrir une manière rationnelle d’effectuer un choix d’achat.
Et cette influence sur la décision du choix à l’achat se traduit par un impact commercial énorme pour les producteurs mis en avant. Par exemple passer de 89/100 à 90/100 peut démultiplier les ventes d’un même produit.
Photo: beer buyer
Des effets négatifs pour les produits ?
Un premier effet de l’utilisation de ces classifications et de leur importance commerciale, est une uniformisation de la production vers des types considérés comme plus susceptibles de gagner. Uniformisation qui se fait au détriment du terroir et de la diversité.
Il y a également un risque de conflit d’intérêt et de corruption, inhérent à toute entreprise subjective aux retombées financières importantes.
Comment définir la “qualité” ?
On peut se demander ce qu’est la “qualité” d’un produit gastronomique comparé à un autre ? Y a-t-il vraiment un sens à classifier deux produits l’un par rapport à l’autre dans l’absolu ?
La perception gustative consiste en un ensemble complexe d’interactions entre stimulations gustatives et olfactives. Le goût d’un vin est constitué de plusieurs centaines de composés organiques volatils, et les meilleurs des experts ne sont capables d’en identifier que 3 ou 4. Elle dépend en plus en partie de nos gènes (un exemple ici) soumis comme on le sait à une grande variabilité inter individuelle. Une étude montre par exemple comment notre perception du goût de la coriandre varie d’un individu à l’autre selon la variation d’un de nos gènes.
Photo: coriandre
Elle varie aussi pour un même individu qui va être influencé par ses attentes et son environnement. Cette étude et celle-ci montrent comment par exemple l’ajout de colorant rouge (sans goût) dans du vin blanc influence la perception gustative. Ou celle-ci montre comment un élément de l’environnement (ici le prix affiché de la bouteille pour un même vin) va activer différemment la zone du cerveau consacrée au plaisir. Quand à la dégustation en aveugle, exposés à une suite d’odeurs classiques des experts se sont trompé dans 25% des cas.
Finalement, une bière non filtrée et non pasteurisée est un produit vivant qui évolue avec le temps.
La perception gustative semble donc bien trop complexe et variable pour pouvoir la mesurer et la quantifier de manière scientifique.
On peut légitimement questionner l’idée d’essayer de dire quel vin ou quelle bière est “le ou la meilleur(e)”. Au mieux il représentera le goût de du/des dégustateur(s) à un moment donné.
Que valent les concours ?
Cela se répercute dans la pratique des concours. Malgré tous les efforts mis à essayer de rendre le protocole de dégustation le plus neutre et impartial possible, les résultats sont trop variables pour être considérés comme significatifs.
Cette étude montre que lorsque l’on a demandé a un groupe d’experts de classifier des vins en se basant sur 12 critères bien définis (alcool, tanins, sucre…), ils étaient en désaccord significatif sur 9 de ces 12 critères. Cette même étude montre qu’en présentant à l’aveugle à des experts 3 vins dont 1 seul était différent, ils ont été incapable dans 30% des cas de dire lequel était l’intrus.
Malgré tous leurs efforts, les concours ne peuvent pas être considérés comme une référence impartiale. Sans compter qu’il ne faut pas sous-estimer la part de chance liée à une victoire.
Quid des sites participatifs ?
On pourrait se dire que les sites participatifs tels que Beer Advocate et Rate Beer dont les notes sont la moyenne de milliers d’avis, ont plus de sens statistiquement parlant. En effet plutôt que représenter l’avis de quelques “experts” à un moment donné, ils représentent un avis “moyen”, qui pourrait sembler comme une référence plus neutre par rapport à laquelle se positionner. Mais là encore, une étude nous montre que ces classements participatifs sont variables et extrêmement sensibles aux conditions initiales. Transposés à la classification de bière ces résultats nous montrent que les gens auront tendance à mieux noter une bière déjà bien notée et vice versa, et que si on recommençait à zéro plusieurs fois ces classements, où qu’on les faisait faire à plusieurs populations indépendantes, les classements seraient totalement différents, ne représentant donc pas “une” moyenne générale.
Un bon point cependant ! Malgré, une grande variation dans l’ensemble des résultats, jamais un produit avec des défauts ne finit premier ou bien classé. Cela se joue toujours entre des produits qui passent un certain seuil de qualité objective (les bières dans leur style et sans défaut tel que le diacétyle, l’oxydation, les problèmes de carbonatation…). Mais au delà de cette utilité, plus aucune prédiction n’est possible.
Doit-on rationaliser le plaisir ?
Quels est la valeur de ces plateformes visant à rationaliser un plaisir, qui par définition tient de l’irrationnel ?
Ne sont-elle pas juste une illustration de la quête désespérée de l’homme moderne à vouloir tout maîtriser, tout connaitre, tout comparer, tout noter pour prendre LA bonne décision ? Ces processus ne contribuent-ils pas juste à rendre la vie moins chaleureuse, faussement rationnelle, faussement rassurante, uniforme et sans âme ?
Photo: man drinking beer
Les études présentées nous disent principalement une chose : ce n’est pas parce qu’une bière finit bien classée qu’elle sera votre favorite. Même si, par un effet pervers de suggestion elles risquent de vous influencer dans ce sens, et donc au final gâcher un peu votre plaisir. (Si on vous dit – avant de goûter – que A est meilleure que B, et bien il y à de plus fortes chances que vous trouviez que A soit meilleure que B).
De plus, leur impact commercial grandissant, risque de faire que l’on encourage potentiellement des dynamiques économiques et commerciales néfastes (corruption, manipulation, uniformisation…).
Le tout à mon avis est d’essayer de ne pas trop se laisser influencer et de bien chercher à connaitre ses propres goûts avant tout, quitte à sortir des sentiers battus. C’est comme ça que vous ferez les plus belles découvertes !
Et finalement, en tant que brasseur, faut-il boycotter les concours et les classements comme nous l’y a récemment invité Jacob McKean, le créateur de Modern Times ?
Là, pour le coup je suis plus modéré, s’il y a bien un avantage à ces concours c’est qu’ils permettent de mettre en avant des producteurs (de talent ET chanceux !) et tant qu’ils existent, je ne vois pas pourquoi un brasseur se priverait de risquer un bon coup de pub à moindres frais !
Image à la une: Beer flight