Sur les classements des MBa (source EBF octobre 2001) ou l'envers du décor

La publication régulière de tableaux de classements des MBA ou des business schools (les fameux rankings) est devenue une grande affaire pour les journaux et des magazines tels que Business week, le Wall Street Journal, Forbes, US News and World report et le World Financial Times– et la tendance n’est pas près de s’inverser. Les publications s’intéressent aujourd’hui particulièrement aux programmes d’executive education et aux MBA à temps partiel, sans pour autant baisser la garde sur les programmes à temps plein. On peut s’attendre dans les mois à venir à la publication de nouvelles enquêtes qui feront les titres des journaux, ce qui ne va pas faire diminuer le taux d’adrénaline des doyens de business schools.

Les journalistes qui élaborent ces tableaux se justifient en rappelant qu’il est de leur responsabilité d’assurer l’information du public, en l’occurrence les « clients » de ces formations de MBA. Face à la variété ahurissante des programmes proposés et au besoin peu discutable d’une information impartiale sur leur qualité, la publication de tableaux de ranking doit être considérée comme fondée. La plupart des Business schools adoptent, il est vrai, un point de vue différent. Tout en ne niant pas le sens d’initiatives visant à proposer une matière structurée apte permettant à l’usager de trouver sa voie dans l’offre foisonnante de MBA, beaucoup de responsables expriment en privé un point de vue très critique. Il s’agit selon eux d’une véritable malédiction - une sorte de loterie coûteuse en temps et sans intérêt, gérée par les intervenants auto-désignés utilisant les méthodologies les plus incertaines, parfaitement inéquitables par exemple pour des régions particulières du monde (notamment l’Europe).

La question centrale pour les étudiants, les recruteurs et quiconque s’intéresse au secteur des formations avancées en management est simple: au fond qui a raison ? Cet article (basé sur des discussions avec plusieurs experts et ma propre analyse) renverse la charge de la preuve sur les rankings - en se référant tout particulièrement à trois des classements de MBA les plus influents, ceux effectués par Business Week, Le Financial Times, et le Wall Street Journal – en s’appliquant à mettre à jour les règles du « ranking game ».

Les premiers classements de business schools ont été publiés par Business Week en 1988. Ils furent salués d’abord avec étonnement puis traités avec une certaine dérision lorsque l’on s’aperçut qu’une école rigoureusement inconnue - Kellogg (Northwestern) – avait été inexplicablement classée parmi les meilleures. Ils allaient tout de même apporter sur la durée une secousse bénéfique à un enseignement américain figé dans ses certitudes et dans ses coteries d’établissements traditionnels, comme Harvard, Stanford ou Wharton . En publiant ses classements Business Week mettait à l’épreuve un consensus confortable, en exploitant des éléments sur la satisfaction des clients (étudiants et recruteurs) sur la base d’un échantillon étendu d’établissements. Ce type de travaux eut un attrait croissant dès lors que se confirmait dans les années 90 une forte demande pour les MBA et les cours « exécutifs ». En parallèle on observait un regroupement de l’offre et une tendance à la globalisation du marché.

Selon l’association des MBA il y a actuellement dans le monde de l’ordre de 1.500 programmes de MBA répondant à des critères minimaux, et pratiquement autant - comme la South American University of England and Wales (sic) - qui se situent en deça de ces normes. La nécessité de conseils d’orientation est particulièrement vive sur le marché émergent de l’Europe - un point souligné lors une conférence récente sur les formations de gestion organisée par EBF pour la Business school de Haarlem en Hollande au cours de laquelle les étudiants en formation continue ont souligné l’importance de la généralisation d’une accréditation et d’un contrôle de qualité plus assuré. Mais la publication de classements business schools telle quelle est faite actuellement est-elle la bonne solution au problème ? Même ceux qui se situent aux premières places s’interrogent : les classements sont-ils vraiment fiables, peut-on imaginer que la méthodologie retenue soit plus scientifique et réellement équitable, aident-ils véritablement le marché elles prétendent servir ?

le plaidoyer contre les classements se développe sur la base des arguments suivants :

Le choix dune méthodologie objective est une tâche impossible.

Toutes les grandes classes d’indicateurs utilisés- satisfaction des étudiants, niveaux de salaire, points de vue des recruteurs – sont séduisants mais potentiellement fallacieux (voir l’analyse du Financial Tiimes, du Wall Street Journal et des classements de Business week). Les tableaux de classement supposent d’ailleurs à tort que les besoins de tous les employeurs et étudiants sont identiques qu’il y a un ensemble simple d’indicateurs auxquels ils peuvent être rapportés. La meilleure école, est au fond celle qui parvient à bien apparier les forces de l’établissement avec les aspirations et les valeurs de l’individu de l’autre.

Quels que soient les avertissements au lecteur de quelques publications recommandant une lecture prudente des classements, les conclusions retenues dans les titres des articles sont souvent prises hors du contexte par les étudiants potentiels. "Ne pensez pas que les responsables de classements soient totalement naïfs" ma dit récemment un doyen européen de premier plan. Un responsable d’un de ces classements ma pris en grippe et ça fait vraiment mal. Les étudiants, le corps enseignant et les anciens élèves sont extraordinairement attentifs aux classements – quoiqu’ils en disent publiquement - et les managers des écoles savent que finalement un mauvais classement peut compromettre gravement leur carrière. "je connais des écoles aux USA où on a dit au personnel d’encadrement qu’ils perdraient leur travail si leur école ne progressait pas de cinq places dans les classements ", dit un professeur européen. les classements sont maintenant si répandus et ont une telle influence que les stratégies et la gestion courante des écoles en sont totalement biaisées. Sur un marché devenu ultra-compétitif on attend des Business schools aient la même conscience de marque que celle des entreprises les plus commerciales.

Mais la pression sur ceux qui complètent des questionnaires, répondent à des questions, ou recherchent des quantités de données énormes pour les rankings ne se justifie pas si les méthodologies ne sont finalement assurées. La multiplication des classements, d’ailleurs, est en passe de donner une tournure malsaine à tout ce qui touche à la réputation des établissements de formation à la gestion, selon deux chercheurs de l’université de Smeal de l’état de Penn, qui ont interviewé récemment les patrons des 50 principales Business schools des USA plus tôt cette année. « Les classements ont désormais leur vie propre, et les écoles doivent non seulement les dépister, mais essayer activement de se conformer à leurs conditions, aussi bien que s’appliquer à les changer, tout en tant de préserver l’intégrité des formations de business", observent Kevin Corley, un doctorant dans le département de gestion de Smeal et un des auteurs de l’étude. Il est clair que l’approche diversifiée des Européens à l’éducation de gestion rend les comparaisons très difficiles et l’inspiration très nord-amércaine des systèmes de jugement donne automatiquement un handicap de départ aux écoles européennes. Tout ce qui touche à l’appréciation des périodes de stages ne convient pas pour des étudiants étudiant sur les programmes d’un MBA dune année qui sont la norme disent au Royaume-Uni, en France ou en Suisse.

Un manque de discussion ?

Pourquoi y a il si peu de débats au sujet des classements de business schools? l’association AMBA - qui gère un système d’accréditation pour les MBA européens - a pris une position appuyée sur le sujet. Et l’organisation European Quality Link for Business Schools and Management Education (EQUAL) qui regroupe sept associations nationales et trois régionales en Europe, qui représentant entre elles plus de 750 Business Schools - a produit deux brochures intitulées "une approche responsable des tableaux de classement", une pour des étudiants et les employeurs, une autre pour les medias. Mais les efforts développés par des organismes représentatifs ou les groupes de Business Schools pour définir des mesures raisonnables n’ont abouti à rien. Un autre aspect est que les doyens et les enseignants sont peu disposés à parler en public sur le sujet. Quelques personnalités européennes tels que professeur David Norburn, doyen de l’Imperial College de Londres, et professeur Leo Murray, directeur à l’école de Cranfield de management ont exprimé des réserves profondes - mais la grande majorité des patrons des Business Schools préfèrent baisser la tête, en imaginant avec inquiétude que toute critique pourrait altérer leurs rapports avec les journalistes qui écrivent à leur sujet (qui dans une certaine mesure font et défont leur réputation). Beaucoup de business schools, à l’évidence, sont coupables d’hypocrisie – déplorant en privé les méthodologies et l’absence d’équité des classements mais se vantant fièrement au sujet de leur bon rating dans des tableaux de classement (League table).

Les tables bisannuelles de Business week ont eu une énorme influence aux USA - et sont prises de plus en plus en considération en Europe. La méthodologie repose sur des enquêtes de satisfaction des étudiants et des recruteurs. Pour l’enquête la plus récente sur les MBA (octobre 2000) 16.843 étudiants des promotions 2000 issues de 82 Business schools participantes ont reçu un questionnaire en 37 points traitant des aspects les plus variés depuis la teneur des cours de-business jusqu’à la qualité des bureaux de placement. Le taux de réponse était de 60 pour cent. La moitié du niveau de satisfaction des étudiants (comptabilisé pour 45 pour cent du total) venait de cette enquête des étudiants, le reste venant des points de vue de diplômés des deux sondages précédents pour s’assurer que les changements à court terme n’influencent pas à l’excès les résultats. Pour recueillir le point de vue des employeurs (pris en compte lui aussi pour 45 pour cent du total) les enquêtes ont été envoyées à 419 sociétés qui ont été invités à classer les 20 premières écoles selon la qualité estimée des étudiants et leur expérience propre. Pour la première fois en 2000 une nouvelle composante « capital intellectuel » représentant 10 pour cent de la pondération globale a été ajouté. Les classements de Business week ont fait l’objet de vives critiques pour diverses de raisons, dont l’influence jugée excessive des recruteurs. Si ceux-ci sont certainement les clients principaux des écoles de management, les enseignants se sont plaints que des écoles inquiètes pour leur classement, se sentent forcées de se présenter des étudiants demandeurs d’emploi aux entreprises se présentant sur le campus, aux dépens des études. "il est assez courant que les étudiants manquent 20 pour cent de leurs cours (et peut-être bien plus de leur d’attention) par des activités non adaptées à l’étude mais à obtenir un travail", déplore un professeur. Au départ on peut penser qu’il n’y a rien de mieux que de recueillir des avis d’étudiants des Business schools pour donner leurs avis. Cependant, l’enquête de Business week ne peut pas être un sondage totalement fiable de points de vue d’étudiant puisque les répondants ne peuvent pas comparer leur propre école d’affaires à ceux où ils ne se sont pas allés. D’ailleurs, les étudiants sont informés (s’ils ne le savaient pas déjà) que la valeur du MBA qu’ils obtiendront dépendra du classement de l’école dans le marché – ce qui a toute chance d’influencer leurs jugements. Faire une enquête de satisfaction auprès des clients des formations en gestion n’est pas la même chose que demander à un client de Sony ce qu’il a pensé à son plus dernier lecteur de CD - le second a peu ou pas de droit acquis. "je suis prêt à parier que toutes les écoles ont d’excellents classements médians... et ne différent qu’en fonction des avis dune petite minorité brailleuse (et stupide) d’étudiants contrariés, dit le même professeur. La vulnérabilité de l’enquête de Business week sur ces points est apparue l’année dernière quand le magazine a averti des écoles quelles seraient pénalisées si on avait la preuve qu’elles essayaient d’influencer l’opinion des étudiants.

Les classements des Business Schools du FT (Financial Times) sont largement considérés comme parmi le plus approfondis - mais pas nécessairement moins les moins imparfaits. En effet l’étendue et la complexité mêmes de l’évaluation - un spectre large d’indicateurs couvrant la progression, la diversité et la recherche individuelle de carrière – soulève des critiques de fond, sur le droir que le journal s’est en apparence arrogé de fixer une norme de ce qui constituerait une bonne Business Schools internationale. "les critères que nous avons choisis reflètent à notre avis les éléments les plus importants d’un programme de MBA, tout en permettant des comparaisons globales entre les écoles ", écrit FT dans son enquête sur les Business Schools en janvier cette année. Le simple fait de prendre en compte les reproches et de rechercher à être totalement juste - un compliment salué par un certain nombre de doyens - renforce simplement une impression d’une vison prométhéenne du rôle du journal? On relève comme failles dans la méthodologie de FT, l’existence d’un biais négatif pour les écoles européennes, l’accent excessif sur le salaire et les augmentations de salaire réalisés par des anciens élèves, et les pondérations jugées arbitraires données à des sujets comme la part d’étudiantes et d’enseignantes, la proportion d’étrangers chez les étudiants et le corps enseignant. FT cherche en réalité à revoir sa copie pour couper cours à ces reproches de biais et à ces attaques sur sa méthodologie. Les 20 critères retenus font l’objet d’une scrupuleuse, les données sur les salaires étant par exemple, normalisées (parce qu’ils sont enregistrés dans différentes devises) par conversion en dollars USA avec des taux de change assurant une parité de pouvoir d’achat selon les estimations données par la banque mondiale. Le salaire de référence prend en compte 50 pour cent du salaire moyen des diplômés de la promotion concernée et 25 pour cent des salaires des promotions des deux années précédentes pour compenser des fluctuations éventuelles sur le court terme. Il y a d’autres ajustements pour la variation des salaires entre différents secteurs. Malgré ces raffinements les critères détaillés du FT peuvent être contestés sur un certain nombre de points comme :la pondération élevée dans les classements - 40 pour cent du total – pour l’évolution des salaires (en niveaux absolus et sous l’angle de l’augmentation de depuis le L’entrée dans le MBA). Les écoles qui admettent typiquement les étudiants mûrs avec une rémunération de départ plus élevée se plaignent que le bonus potentiel de salaire est moindre que pour ceux qui joignent la classe à un âge inférieur avec seulement des deux à trois années de l’expérience professionnelle. Les étudiants qui créent une entreprise - ces individus courageux qui acceptent souvent une diminution substantielle de salaire pendant un certain nombre d’années pour établir leurs propres affaires – portent tort à leur alma mater dans le processus. D’ailleurs, le postulat de FT estimant que tout les étudiants de MBA sont pilotés par appât du gain, sinon par la crainte de perdre leur investissement, est sûrement contestable. "demander à un de nos étudiants quelle a été son augmentation après un cours de MBA - comme si c’était le but principal de l’exercice – est tellement inapproprié que ça en devient tout à fait ridicule", dit un Européen impliqué en fournissant les données de son école aux rankers. La définition de ce que recouvre le concept de corps enseignant international - ceux dont la nationalité est différente de leur pays d’emploi, est pour le moins douteuse. Je peux montrer du doigt les Américains de notre corps enseignant qui passent 50 pour cent de leur temps à voyager en Asie et qui sont plus internationaux et ouverts bien occupés que d’autres qui ont été nés avec un passeport différent , observent un officier de programme des USA. la cotation de la recherche et des estimations doctorales. La cotation des recherches en 2001 a été déterminée par des publications de corps enseignant en 35 journaux internationaux scolaires et de praticien - la majeure partie deux nord-américains. Un nombre élevé d’étudiants doctoraux aucun doute souligne la crédibilité scolaire dune école - mais on pourrait jugé plus approprié de lier l’efficacité dune école à la capacité de son corps enseignant (par exemple dans le cadre de visites d’entreprises ayant eu un impact positif) de diffuser le savoir utile et donner de bons conseil pratiques.

Le WSJ Wall Street Journal- qui a produit ses premiers classements en association avec Harris interactif à fin avril 2001 – s’est positionné sur une approche moins scolaire que la plupart. C’est en partie pour produire des résultats franchement surprenants ( et apte à faire les titres) - Wharton 18ème, Virginie trente-deuxième, Colombie trente-quatrième, MIT trente-huitième, Fuqua quarante-quatrième et Stanford quarante-cinquième sur les 50 premiers classés - mais également en raison de sa méthodologie qui s’est fondée exclusivement sur les vues des recruteurs d’ entreprise. Des contacts ont été pris en ligne avec 1600 recruteurs de MBA qui ont permis d’établir des appréciations basées sur des perceptions de l’école et de ses étudiants (80 pour cent du total) et d’y adjoindre l’évaluation de 12 critères portant sur les étudiants et de 13 sur l’école et deux critères mixtes ) dont la capacité de l’école à être reconnue (20 pour cent) définies par le nombre de recruteurs évaluant cette école. Malgré les efforts du WSJ de démontrer la rigueur de son approche, l’exercice a été largement attaqué. Peut-être la réfutation la plus détaillée vient dans un papier écrit par John Lynch de l’école de Fuqua - un membre de corps enseignant qui enseigne les techniques d’analyses de marché. Lynchez a demandé à ses étudiants d’analyser l’enquête de WSJ et a formulé ses propres éléments de réponse à partir des observations suivantes : Le WSJ a utilisé un sous-ensemble des recruteurs biaisé et susceptible de manipulation . Plutôt que de retenir un échantillonnage aléatoire de tous les recruteurs ayant visité une école, il a permis à des écoles de choisir quels recruteurs dune compagnie seraient invités à participer à l’étude. Il a encouragé des écoles à faire des appels de relance aux recruteurs quand le taux de réponse initial était bas. Des 1600 répondants totaux, 700 ont été sollictés par l’intermédiaire d’une ligne directe spéciale vers laquelle les écoles pouvaient diriger des recruteurs. le pourcentage des recruteurs coopérant spontanément était si bas que l’étude ne pouvait plus être validée. Dans la liste de recruteurs au commencement invités à participer une grande majorité a décliné. Fuqua, par exemple, a au commencement fourni 80 noms. Beaucoup plus tard on lui a invité à donner 400 noms de sorte que Le WSJ ait pu atteindre ses objectifs minimaux. Mais on peut diffcilement imaginer que ceux qui acceptent de participer ont la même attitude comme ceux qui ont décliné . Les enquêteurs ont laissé certains des répondants décider les écoles ( de une à trois) ils évalueraient. Lorsque les répondants ont été ainsi auto-sélectionnés pour une enquête sur une école donnée on ne peut pas extrapoler les résultats obtenus à l’ensemble des recruteurs intervenant dans cette école . D’ailleurs, parce que la plupart des recruteurs ont seulement évalué l’école désignée plutôt que toutes les écoles visitées dans l’année , les avis de petits recruteurs visitant seulement un ou deux écoles ont été sur-représentés en comparaison des grands recruteurs visitant beaucoup d’écoles. Même si les groupes des répondants avaient été choisis aléatoirement – ce qui n’était vraiment pas le cas - les dimensions de l’échantillon étaient trop petites pour permettre des comparaisons significatives entre les écoles. Tout en reconnaissant ces imperfections techniques, un autre observateur chevronné des classements (appartenant à une école du top ten dans les classements de WSJ) tentait de modérer ces critiques : « rappelez-vous que les premiers efforts de Business week ont été considérés comme parfaitement non-conventionnels et quasiment inexacts ». Peut-être l’approche sélective du Wall street journal reste une approximation raisonnable de ce que les recruteurs veulent – et au fond il ne s’agit peut-être que d’une manière d’optimiser la recherche d’informations et d’une capacité à transformer la connaissance en action. Au moins l’enquête ne prétend pas être une mesure définitive de qualité - elle mesure sans ambiguïté une chose (ce que les clients pensent) et si les gens estiment que le passage dans un MBA peut être utile .

En conclusion que nous réserve l’avenir ? Ce qui est sûr c’est que nous conserverons les tableaux de ranking : ils sont la source de trop de recettes publicitaires en améliorant de façon parfois spectaculaire la diffusion des magazines spécialisés qui les publient. Les média concernés se sentent en tout cas totalement légitimes dans leur entreprise qui vise simplement à mesurer de la satisfaction du client final d’une offre particulière. Par ailleurs il n’y a pas de vraie raison de s’inquiéter des plaintes des écoles qui contestent une estimation jugée trop faible. Il est également peu probable que surgissent demain d’autres formes de classement sur la base de nouveaux jeux de critères. En réalité tout ceci renvoie au lecteur la responsabilité de l’interprétation des résultats – en particulier pour éviter de ne pas réagir trop directement aux fluctuations observées dune année à l’autre. Il est également souhaitable que les business schools restent mesurées dans leur utilisation des résultats. Il reste également à attendre des publications, qu’elles reconnaissent avec plus de franchises les limitations de leurs méthodes. Traduction CEFI d’un article de Tim Dickson est directeur à l’European Business Forum (Novembre 2001)

Autre commentaire tiré de www.mbainfo.com : Ostensibly the objective (of Rankings) is to inform the market about the standing and repute of programs and Schools. Unfortunately the criteria for the rankings differ so much and frequently are not declared, so such rankings can be rather misleading. Thus - for example - a ranking of Schools based on recruiters' opinions of the quality of their MBA output will be relevant for a School with a large full time program - but will say little about one which concentrates on part time, distance and executive programs. A ranking influenced by the average GMAT score of those entering the program will probably say less about programs outside of the USA. The ranking of AACSB programs will ignore most non American programs. Most major Business Schools and most major programs will appear in the top league on some ranking at some time or another. That's probably a better indicator of the standing of the School than any one 'league table' since the diversity of Schools and programs now is so large - that no single method of ranking will do justice to all types.