Digital Dashboards for Summative Assessment and Indicators Misinterpretation: A Case Study

Over the last decade, teachers in France have been increasingly pressured to use digital learning environments, and to shift from grade-based to skill-based assessment. Educational dashboards, which measure student input electronically, could foster such a transition by providing insights into learners’ performances. However, such dashboards could also foster data misinterpretation during the summative assessment process, should the indicators that they display be used without a proper understanding of what they reflect. This article presents a methodology to detect potential mistakes in the interpretation of the indicators in the context of inquiry-based learning. During the design of a learning environment, we analyzed, through analytics and classroom observations in primary and middle schools, the issues that could arise from the use of a dashboard. Our data suggest that the amount of information practitioners needed to collect to make indicators relevant was burdensome, making the dashboard unfit for assessment purposes at the scale of a classroom.Au cours de la décennie écoulée, les enseignants de France ont été de plus en plus poussés, d’une part, à adopter l’évaluation par compétences, et d’autre part, à utiliser des applications numériques. Les tableaux de bord qui mesurent les actions des utilisateurs de ces applications peuvent faciliter cette transition en apportant des indications sur les performances des apprenants. Néanmoins, dans une perspective d’évaluation sommative, une question se pose quant à la capacité des enseignants à interpréter correctement les indicateurs mis à leur disposition. Cet article présente une étude de cas à visée méthodologique qui a pour objectif d’identifier de potentiels problèmes d’interprétation d’indicateurs lors de l’évaluation d’une démarche d’investigation. Durant la conception d’une application numérique, le CNEC, nous avons analysé, par le moyen de traces d’interaction et d’une étude de terrain au collège et à l’école primaire, les éléments susceptibles d’affecter l’utilisation d’un tableau de bord. Nous montrons que la quantité de données à collecter pour rendre pertinent l’usage des indicateurs rend leur utilisation compliquée dans un contexte d’évaluation sommative à l’échelle d’une classe entière

Évaluation des technologies éducatives émergentes : Les aléas de la conception, un facteur d’instabilité pour la définition des problématiques de recherche?

In France, research laboratories are increasingly asked to join educational technology design projects, in which they are not in a position in which they can influence design choices significantly. To produce scientific results, researchers are faced with the need to formulate their research questions so that the inevitable hazards of long-term design projects do not significantly affect the productivity of their work. In this contribution, based on a case study, the Student-Researcher Digital Notebook, we highlight the trajectories of different research questions. Some remained unchanged, while the others needed to disappear or evolve due to technical issues with the prototype. A question appeared during the design process when the opportunity arises to produce original results. We detail the reasons behind these choices.En Francia, regularmente se solicita a los laboratorios que apoyen proyectos de diseño de tecnologías educativas, sin que necesariamente los coloquen en condiciones de influir fuertemente en dicho proceso de diseño. Para poder producir resultados científicos, los investigadores se enfrentan a la necesidad de formular sus problemas de tal manera que los inevitables problemas de los proyectos de diseño a largo plazo no afecten significativamente la productividad de su trabajo. En esta contribución basada en un estudio de caso, el Cuaderno Digital del Alumno-Investigador, volvemos a varias trayectorias de problemas. Unos no cambiaron, pero otros tuvieron que desaparecer o evolucionar ligeramente debido a problemas técnicos con el prototipo. Un problema aparezco durante el diseño, cuando surge la oportunidad de producir resultados originales. Este último se abandono por razones científicas. Detallamos las razones detrás de estas elecciones.En France, on demande de manière croissante aux laboratoires d’accompagner les projets de conception de technologies éducatives, sans nécessairement les mettre en position d’influer significativement sur ledit processus de conception. Pour pouvoir produire des résultats scientifiques, les chercheurs sont mis face à la nécessité de formuler leurs problématiques de sorte que les inévitables aléas de projets de conception inscrits dans la durée n’affectent pas de manière conséquente la productivité de leur travail. Dans cette contribution fondée sur un cas d’étude, le Carnet Numérique de l’Élève-Chercheur, nous revenons sur les trajectoires de plusieurs problématiques explorées dans le cadre de sa conception. Là où certaines sont imperméables aux difficultés du projet, d’autres doivent disparaître ou évoluer du fait de problèmes techniques rencontrés par le prototype, voire apparaissent en cours de conception, quand apparaît l’opportunité de produire des résultats originaux. Nous détaillons, sous la forme d’un retour d’expérience, les raisons sous-tendant ces choix

Étayer des démarches d’investigation avec le numérique : Difficultés rencontrées lors de la mise à l’épreuve d’une application

The Student-Researcher Digital Notebook (SRDN) is a learning environment whose primary function is to scaffold inquiry-based learning, notably improving the phrasing of scientific claims like hypotheses or research questions. We carried out a field study with four teachers in two elementary schools and two middle schools to see how  practitioners used the technologyWe used Engeström’s activity theory, and more specifically, the notion of contradiction, to identify the tensions that arose from using the scaffolds that we had designed. Although the objectives underlying the SRDN were aligned with official curricula, the teachers appeared reluctant to be constrained by scaffolds into inquiry-based learning approaches that they were not familiar with. It increased the risk of misuse of the features that we had designed. Scaling up teacher training through such digital scaffolds, one project\u27s initial goals, appeared likely to fail.El CDAI (Cuaderno Digital del Alumno-Investigador) es un entorno de aprendizaje cuya función es reforzar el aprendizaje basado en la indagación, en particular para mejorar la redacción de afirmaciones científicas como hipótesis o preguntas de investigación. Estudiamos cómo los docentes utilizaron el CDAI en dos escuelas primarias y dos escuelas secundarias. Usamos la teoría de la actividad de Engeström, y más específicamente la noción de contradicción, para identificar las tensiones que surgieron del uso de las bases que habíamos diseñado. Aunque los objetivos subyacentes del CDAI estaban alineados con los planes de estudio oficiales, los maestros parecieron reacios a verse incentivados a aplicar una forma de aprendizaje basado en indagación que no conocían. Ello aumentó el riesgo de usar de forma errónea las bases que habíamos diseñado, limitando la posibilidad de utilizar dichas bases para la formación continua de los docentes, uno de los objetivos iniciales del proyecto.Le Carnet Numérique de l’Élève-Chercheur (CNEC) est une application dont la fonction principale est d’étayer des démarches d’investigation. Il vise notamment à faciliter la rédaction de propositions scientifiques : questions, formulation d’hypothèses ou de protocoles. Au cours d’une étude de terrain menée auprès de quatre enseignants dans deux écoles primaires et deux collèges, nous nous sommes intéressé aux modes d’appropriation de la technologie par les praticiens. Nous avons mobilisé la théorie de l’activité d’Engeström pour appréhender, au prisme de la notion de contradiction, les tensions que génère en classe l’utilisation des étayages. Bien que les intentions didactiques portées par le CNEC soient alignées avec les programmes, elles entrent en contradiction avec la manière dont les praticiens mènent généralement une démarche d’investigation. Le risque de dévoiement des fonctionnalités s’en trouve accru, ce qui limite la possibilité d’utiliser les étayages pour la formation continue des enseignants, l’un des rôles qui leur avait été initialement attribu

Certificats de MOOC : débats passés et présents sur un objet en évolution rapide

During the early 2010s, MOOCs acquired a considerable notoriety ; hundreds of thousands of their certificates, free at first, flooded the Web. Many believed that the end of the diplomas as we knew them was near. Some started comparing the success of these courses based on the number of certificates that were delivered. More often than not, the increasingly numerous debates over these questions tended to forget the diversity of situations these certificates encompassed. Some indeed validated skills, but most of them were the digital equivalent of an attendance sheet, as suggested by an investigation we carried out into course designers’ motivations. After interpreting this diversity, we focus here on the debates brought about by the renewal of these certificates. They are no longer free, and the private sector has gained momentum, which leads to many questions over the future of this new generation of certificates in academia.Durante el inicio de la decada 2010, MOOCs ganan en notoriedad ; cientos de miles de certificados, gratis al principio, invaden la Web. Muchos creian que estabamos testigos de la muerte de los diplomas, y para medir el exito de un curso, utilisaban como base de comparación el número de certificados emitidos. Frecuentemente, olviden en estes debates que los certificados diferen mucho entre cursos. Unos validan conocimientos, pero la mayoria representan el equivalente de una hoja de asistencia, como lo sugere un estudio que hicimos. Interpretamos esta diversidad, y abordamos los debates que provocó la evolución de los certificados. La gratuidad ha casi desaparecido, y el sector privado ganó importancia, cuestionando el futuro de los certificados de MOOCs en el mundo académico.Au début des années 2010, les MOOC acquièrent une notoriété, et leurs certificats, dans un premier temps, déferlent par centaines de milliers sur la Toile. D’aucuns crient à la mort des diplômes tels que nous les connaissons, et comparent le succès des différentes formations sur la base du nombre de certificats délivrés. Les débats sur ces questions prennent en ampleur, oblitérant souvent le fait que ces certificats recouvrent des réalités variées. Là où certains valident effectivement des acquis, beaucoup sont l’équivalent numérique de feuilles de présence. Après avoir montré et interprété cet état de fait sur la base de propos récoltés au cours d’une enquête menée auprès de concepteurs de MOOC, nous revenons sur les débats engendrés par les évolutions récentes de ces certificats. La gratuité a presque disparu, le secteur privé a commencé à se faire sa place dans l’univers  MOOC, ce qui ne manque pas de questionner le devenir des certificats nouvelle génération dans le milieu académique

Instrumentation numérique de la rédaction incrémentale : leçons tirées de la mise à l’épreuve du carnet numérique de l’élève chercheur

We studied how the introduction of the CNEC, a learning environment whose function is to foster iterative writing, affected the interactions between pupils and teachers in a sample of elementary and middle schools. Based on class observations and focus groups and through the lens of activity theory, we study the difficulties associated with the implementation of iterative writing, before and after the introduction of the CNEC. Our results corroborate the hypothesis that digital artifacts can improve the regulation of class activity in the context of inquiry-learning, compared to their paper equivalents. Parallelly, our results suggested that the perception students had of their own mistakes seems to change in a context of iterative writing, since the remarks of the teacher on such mistakes are less considered as a punishment. Observations also suggested that new contradictions could arise of the will of teachers to use both paper-based and digital artifacts to perform iterative writing, and due to the increased time the formulation of feedbacks requires. Keywords: iterative writing, evaluation, virtual learning environmentDans une perspective d’évaluation d’EIAH (environnements informatiques pour l’apprentissage humain), nous étudions dans cette recherche les changements de pratiques d’enseignement liés à l’utilisation, en contexte scolaire, du CNEC (carnet numérique de l’élève chercheur), une application numérique instrumentant la rédaction incrémentale entre l’enseignant et les élèves. Au prisme du concept de contradiction développé dans la théorie de l’activité d’Engeström, nous cherchons à appréhender les difficultés associées à la rédaction incrémentale. Pour cela, nous avons mené des groupes de discussion et des observations en classe, avant et après l’introduction de l’application. Nos résultats corroborent l’hypothèse selon laquelle, dans un contexte de démarche d’investigation, l’instrumentation numérique de cette approche permet de mieux réguler l’activité des élèves que l’instrumentation papier. Par ailleurs, les entretiens collectifs révèlent que le rapport que les élèves entretiennent aux erreurs s’en trouve modifié, la correction de celles-ci étant moins considérée comme une sanction. La nécessité pour l’enseignant d’investir davantage de temps dans la formulation des retours ainsi que la multiplication des instruments, avec une redondance partielle entre instruments papier et instruments numériques, permettent de croire que de nouvelles contradictions pourraient émerger avec l’utilisation d’un tel EIAH. Mots-clés : rédaction incrémentale, EIAH, évaluation, numériqu

Utilisation de tableaux de bord numériques pour l’évaluation des compétences scolaires : une étude de cas

Au cours de la dernière décennie, deux injonctions se sont intensifiées au niveau du système scolaire français : utiliser davantage le numérique en classe d’une part, et développer « l’approche par compétences « d’autre part. Les tableaux de bord associés à des artefacts numériques ont été utilisés dans de nombreux contextes éducatifs, et se situent à la confluence de ces deux injonctions. Nous explorons au prisme de la théorie de l’activité d’Engeström les contradictions qu’induirait l’introduction d’un tel artefact dans les pratiques d’évaluation des compétences scolaires. La contribution est fondée sur une étude de cas, la conception d’une application numérique instrumentant la démarche d’investigation. Des entretiens collectifs fondés sur des maquettes sont menés avec un panel d’enseignants. Soit le coût temporel de l’appropriation du tableau de bord est jugé trop élevé pour permettre une application, soit il y a dévolution à l’artefact d’une partie trop importante du diagnostic, grâce à l’interopérabilité croissante entre outils d’évaluation. Aveugles aux caractéristiques des élèves et aux spécificités des situations didactiques, les applications risquent de produire des diagnostics aberrants.Over the course of the last decade, teachers have been increasingly pressured to use digital artefacts in the classroom, and to shift from grade-based assessment to skill-based assessment. Dashboards have been used in various educational settings; they could help bridge the gap between these two expectations. Based on Engeström’s activity theory, we explore the contradictions that could rise if educational dashboards were to be used in an evaluation context. This article is based on a case study, the design of an application. Collective semi-structured interviews based on dashboards’ mock-ups were conducted with a panel of teachers from both elementary and middle school. Either the additional time required to deepen the evaluation is too high to enable the use of the dashboard, or the teacher would rather save time by relying heavily on the diagnostic abilities of the application. Given that the artefact is blind to the characteristics of both the didactic situation and of the learners, the dashboard is likely to produce incoherent diagnostics

Rapport scientifique de synthèse de la recherche Cahier numérique de l'élève chercheur (CNEC)

Le texte qui suit est fondé sur un travail collectif mené pendant 3 années au sein du projet EFRAN Les savanturiers du numérique

Stratégies d'analyse et fouille de données éducatives : des modèles pour guider le travail de fouille

Je vous propose aujourd'hui de nous attarder sur deux éléments : la "distillation de données pour le jugement humain", et la fouille médiée par des modèles. Cet article s'inscrit dans une série de billets consacrés aux techniques d'analyse en Educational Data Mining (fouille de données éducatives). La lecture des articles précédents est nécessaire pour mieux comprendre la démarche. Data distillation for Human Judgement Dans certains cas, les humains peuvent faire des inférences à propos des ..

Les grandes lignes de ma thèse sur les MOOC

Il y a quelques billets, je vous ai présenté mes questions de recherches. Il est temps maintenant de vous présenter les grandes orientations méthodologiques de mon travail, les données que je compte mobiliser, et tout le tintouin. Les quelques données sur lesquelles se base l’article de Koller et al. (2013) que nous évoquions l'autre fois - article fondateur s'il en est - ouvrent des pistes pour mieux appréhender la question des faibles taux de certification des MOOC, mais elles sont fragment..

Numériques pédagogiques

Ce carnet de recherche porte sur l'utilisation du numérique à des fins pédagogiques aux différents niveaux du système éducatif. Il traitera aussi bien de l'apprentissage en ligne via les MOOC, ou Massive Open Online Courses, que de l'utilisation du numérique en classe pour l'enseignement de la démarche scientifique. La recherche sur les MOOC s'inscrit dans le champ des sciences de l'éducation, à l'intersection de la sociopédagogie de l'autoformation et de l'étude des EIAH, ou Environnements I..