Performance-based accountability systems: types, instrumental logics and effects on effectiveness and equity in educational systems in Europe and Canada. A comparative study using PISA 2012.
Systèmes d’accountability basés sur la performance: types, logiques instrumentales et effets sur l’efficacité et l’équité scolaires des systèmes éducatifs d’Europe et du Canada. Une étude comparative à partir des données PISA 2012
Résumé
In the last decades accountability, has become a centerpiece of the renewed governance of the education systems. Under the influence of New Public Management, the introduction of performance-based accountability systems (PBAS) is considered a political solution to the supposed crisis affecting education systems. While PBAS are aimed at improving student performance and at closing the achievement gap, there is little evidence that PBAS have a positive impact on school effectiveness and equity in education systems.
This international comparative quantitative study aims to provide some insights into the relationship between PBAS, effectiveness and equity (equal opportunities of results, equality of outcomes and equality of basic skills) in the European and Canadian education systems. It uses a broad but operational acceptance of the concept of accountability that takes into account the result-based regulation tools that are put in place at the school level in order to steer the system.
The study is based on a secondary analysis of OECD PISA 2012 data. It is based on a sample of 59 education systems and use multivariate analyses (principal component analysis, cluster analysis, ANOVA, simple and multiple regressions) to characterize the PBAS in the education systems of Europe and Canada on one side, and to analyse their impact on effectiveness and equity in these education systems on the other.
Three instrumental logics emerge from the results, which underpin PBAS: 1) a logic that rests on monitoring and evaluating the actors’s performance at the school level; 2) a logic that relies on direct incentives for teachers; 3) a logic that rests on school performance comparisons and involves internal mechanisms aimed at improving school results. Underpinned by distinct regulation tools, these logics are articulated within empirical types of PBAS which allow us to differentiate between the education systems of Europe and Canada: 1) an accountability of lesser intensity, 2) an accountability focused mainly on evaluation and performance monitoring, 3) an accountability articulating performance monitoring, external comparison/internal improvement of school performance, 4) a high intensity accountability favoring incentives for teachers.
Nevertheless, we find little evidence that PBAS have a significant influence on effectiveness and equity in education systems. The effects of PBAS, if any, are in most cases weak and are cancelled out when other key factors are taken into account (public spending in education, variation in student socioeconomic backgrounds, horizontal and vertical stratification of education systems). However, incentives for teachers and PBAS that favor this type of device seem to be significantly linked to lower effectiveness levels, and to higher inequalities in outcomes and basic skill levels. In the end, our results suggest that PBAS do not provide the effectiveness and equity in education systems they promise.
L’accountability est devenue, dans les dernières décennies, la voie privilégiée d’une gouvernance renouvelée des systèmes d’éducation. Sous l’influence du New Public Management, l’introduction de systèmes d’accountability basés sur la performance (SABP) est envisagée comme une solution politique à la crise postulée des systèmes éducatifs. Les SABP devraient ainsi concourir à l’amélioration des performances des élèves et à la réduction des inégalités scolaires, néanmoins la littérature peine à voir émerger un consensus sur ces questions.
Privilégiant une acception large, mais opérationnelle de l’accountability, prenant en compte les instruments mobilisés au sein des systèmes éducatifs pour réguler le fonctionnement des établissements scolaires sur base de leurs résultats, cette recherche quantitative comparative internationale analyse les effets des SABP sur les degrés d’efficacité et d’équité scolaires des systèmes éducatifs d’Europe et du Canada.
L’étude repose sur une analyse secondaire des données du PISA 2012 et porte sur un échantillon de 59 systèmes d’éducation. Elle mobilise des analyses multi-variées (analyse en composantes principales, analyses de classification hiérarchique, ANOVA, régressions simples et multiples) pour d’une part caractériser les SABP dans les systèmes éducatifs d’Europe et du Canada et, d’autre part, analyser leurs effets sur l’efficacité et l’équité scolaires.
Les résultats du premier volet de recherche font émerger trois logiques instrumentales au cœur des SABP : 1) une logique d’évaluation et de régulation selon la performance ; 2) une logique reposant sur la mise en place d’incitatifs directs pour les enseignants, 3) une logique articulant comparaison externe et dispositifs internes d’amélioration des performances des écoles. Sous-tendues par des instruments distincts, ces logiques s’articulent au sein de quatre types de SABP qui permettent de différencier les systèmes d’éducation d’Europe et du Canada : 1) une accountability de faible intensité et peu instrumentée, 2) une accountability axée principalement sur l’évaluation de la performance, 3) une accountability articulant suivi de la performance et comparaison externe/amélioration interne de la performance des établissements scolaires; 4) une accountability de forte intensité prévoyant des incitatifs directs pour les enseignants.
Les résultats du second volet de recherche suggèrent que les effets des SABP sur l’efficacité et d’équité scolaire des systèmes éducatifs de l’échantillon sont, le cas échéant, faibles et s’annulent le plus souvent lorsque des facteurs clefs sont pris en compte (dépenses publiques en éducation, variation du niveau socioéconomique des élèves, stratification horizontale et verticale des systèmes scolaires). Si la mise en place d’incitatifs pour le corps enseignants, et le type de SABP privilégiant ce type de dispositifs, apparaissent significativement liés à des degrés d’efficacité scolaire plus faibles, d’inégalités de résultats et des acquis de base plus élevés, nos résultats invitent finalement à dresser un constat plus que mitigé quant à la capacité des SABP à tenir leurs promesses d’efficacité et d’équité scolaires.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...