Le mythe de la notation absolue
Posté : 21 mars 2016 11:31
Certains (je ne donnerais pas les noms de contributeurs de forums voisins auxquels je pense) semblent estimer qu'à un vin donné correspondrait une note "objective", sorte de graal du dégustateur parfait, omnipotent et extra-lucide, qui saurait faire abstraction de l'intégralité de ses préférences personnelles pour juger le vin seul.
Du coup, les mêmes estiment qu'il est anormal que de grosses différences de note apparaissent lorsqu'un groupe déguste un même vin au même moment. Ca me semble évidemment complètement absurde, et le mieux à faire pour démonter ce genre d'arguments est d'exploiter les notes publiques de certains groupes expérimentés.
On trouvera une première et excellente illustration de la relativité des notes en consultant les compilations effectuées par Bertrand Le Guern sur son site, à partir notamment des dégustations du Grand Jury de Jacques Luxey. Je prends l'exemple de la dégustation de St-Emilion 1986, uniquement parce que Jean-Luc Thunevin, qui y avait participé, en parlait l'été dernier.
Les notes brutes sont visibles sous ce lien. Les vins sont affichés en ligne, les dégustateurs en colonne, et même si les noms de la plupart d'entre eux ne me parlent pas (ça date un peu), on constatera via les quelques indices laissés par JLT qu'il s'agit de dégustateurs expérimentés, professionnels du vin pour la plupart.
Dès la 1e ligne de résultats, pour le château La Dominique, on voit que les notes vont pour un même vin de 62 à 90 !
Bon, ok, tous ne notant certainement pas avec un même référentiel (il suffit de voir en bas de page que les moyennes individuelles des dégustateurs sur l'ensemble de la dégustation vont de 56.9 à 72 ...), une harmonisation peut être effectuée. Cette correction consiste à transformer les notes de façon à ce que tous les dégustateurs aient une même moyenne et un même écart-type. Pour rappel l'écart-type ne correspond pas à l'écart min-max, mais à la moyenne quadratique des écarts par rapport à la moyenne.
Le résultat montre que les écarts sont toujours conséquents : il y a 2 vins pour lesquels l'écart-type dépasse 8 points, et à l'opposé 3 vins pour lesquels il est inférieur à 4 pts.
Pour le vin le moins "dispersé" (Canon), l'écart entre les notes min et max est de 11 points !
Même après la correction "de Luxey" (voir dans l'aide les explications, il s'agit principalement de virer les notes "aberrantes"), l'écart min-max pour Canon demeure de 6.7 points.
Ramené aux notes sur 20 utilisées sur la plupart des forums francophones, cela correspond donc à un écart compris entre 1 et 1.5 point après harmonisation. On est donc loin du 1/2 point (sans harmonisation !) qu'acceptent les plus intégristes de la note absolue que j'évoquais en début de billet.
Du coup, les mêmes estiment qu'il est anormal que de grosses différences de note apparaissent lorsqu'un groupe déguste un même vin au même moment. Ca me semble évidemment complètement absurde, et le mieux à faire pour démonter ce genre d'arguments est d'exploiter les notes publiques de certains groupes expérimentés.
On trouvera une première et excellente illustration de la relativité des notes en consultant les compilations effectuées par Bertrand Le Guern sur son site, à partir notamment des dégustations du Grand Jury de Jacques Luxey. Je prends l'exemple de la dégustation de St-Emilion 1986, uniquement parce que Jean-Luc Thunevin, qui y avait participé, en parlait l'été dernier.
Les notes brutes sont visibles sous ce lien. Les vins sont affichés en ligne, les dégustateurs en colonne, et même si les noms de la plupart d'entre eux ne me parlent pas (ça date un peu), on constatera via les quelques indices laissés par JLT qu'il s'agit de dégustateurs expérimentés, professionnels du vin pour la plupart.
Dès la 1e ligne de résultats, pour le château La Dominique, on voit que les notes vont pour un même vin de 62 à 90 !
Bon, ok, tous ne notant certainement pas avec un même référentiel (il suffit de voir en bas de page que les moyennes individuelles des dégustateurs sur l'ensemble de la dégustation vont de 56.9 à 72 ...), une harmonisation peut être effectuée. Cette correction consiste à transformer les notes de façon à ce que tous les dégustateurs aient une même moyenne et un même écart-type. Pour rappel l'écart-type ne correspond pas à l'écart min-max, mais à la moyenne quadratique des écarts par rapport à la moyenne.
Le résultat montre que les écarts sont toujours conséquents : il y a 2 vins pour lesquels l'écart-type dépasse 8 points, et à l'opposé 3 vins pour lesquels il est inférieur à 4 pts.
Pour le vin le moins "dispersé" (Canon), l'écart entre les notes min et max est de 11 points !
Même après la correction "de Luxey" (voir dans l'aide les explications, il s'agit principalement de virer les notes "aberrantes"), l'écart min-max pour Canon demeure de 6.7 points.
Ramené aux notes sur 20 utilisées sur la plupart des forums francophones, cela correspond donc à un écart compris entre 1 et 1.5 point après harmonisation. On est donc loin du 1/2 point (sans harmonisation !) qu'acceptent les plus intégristes de la note absolue que j'évoquais en début de billet.