The challenges regarding data production
El texto en español está abajo./ Le texte français est ci-dessous
César Guadalupe is a Doctor of Education (Sussex), M.A. Social and Political Thought (Sussex) and Sociologist (PUCP). He is a Senior Lecturer-Researcher at the Universidad del Pacífico (Peru). Previously he served for eleven years at the UNESCO Institute for Statistics, and UNESCO/Santiago. He is a member of the Peruvian National Education Council (2014–2020) and its current Chair (2017–2020).
Abstract– This article identifies some major issues regarding the generation and availability of data on youth and adult education. It discusses the production of data on programmes and enrolment, as well as financing and issues related to the identification of the target populations. A special focus is set on the realm of testing skills and competences, given their complexity as well as the paramount profile and importance that they have acquired in recent years. The article stresses the fact that technical attributes of data generation endeavours are contingent upon their purposes. A non-technocratic and more politically-sensitive approach to data generation is promoted.
Systematic data on youth and adult education are scarce, and their quality is often not properly documented or known. This is somewhat typical of a field that is too often overlooked, also in educational policies.
Apart from neglecting practices, there might be other factors preventing the development of a body of evidence that can play a role, not only regarding the analysis and debates on youth and adult education, but also in raising its profile.
This article looks at four areas in which data are scarce or not systematic: (i) programmes and enrolment data; (ii) learning outcomes; (iii) population to be served; and (iv) financing.
Each of these areas faces particular issues. Understanding them will enable stakeholders to better align their data-related activities by having an organised frame of reference.
Educational programmes and enrolment
Youth and adult education programmes are highly diverse in the way they are organised and delivered, as well as which agencies are involved in organising and delivering them. The purposes that they aim to serve are equally diverse. In comparison to regular school programmes for children, however, the world of youth and adult education seems to be much more difficult to grasp.
We can nevertheless sort youth and adult education programmes into three main categories: (i) programmes that are equivalent to those recognised as “official” in the country, that is leading towards official certifications that open up opportunities for further studies in the formal education system; (ii) programmes with specific purposes that serve specific needs and do not lead to formal certifications; and (iii) a combination of the first two.
The first group of programmes can be mapped into the national qualifications structure, and into the International Standard Classification of Education (UNESCO/UIS 2013). The organisation of enrolment and graduation records should facilitate that transfer. The second group of programmes represents a different challenge, since there is no need to map them into formal tracks, unless a standard compilation of data is needed for some specific purposes. In this case, a flexible classification scheme that acknowledges the nature of these programmes (as continuing education not leading to formal certificates) is called for.
In both cases (as well as in those cases that combine the two), agreement among stakeholders is needed. Some might need to accept that data generation might not have the exact form that they would like it to, but that there is a more general benefit stemming from being able to portray a comprehensive and reliable map of youth and adult education programmes in general.
As soon as the previous issue is sorted out, we need to focus on recording enrolment information. Here we must differentiate between two distinct observational units: (i) individuals and (ii) units of service (individuals served by a given programme). A typical issue stems from confounding these two things: An individual can be registered in more than one programme, and this individual should therefore be counted as one (if the focus is placed on headcounts), but there might be many units of service. Adding up participants in different programmes does not necessarily yield a total number of participants as individuals. The only exception is when enrolment in a given programme precludes enrolment in another programme in a given period of time.
“Measuring learning outcomes is probably the most difficult and most debated area of data generation in education.”
Now, recording units of service entails a risk of counting programmes that are extremely diverse as if they were equivalent. For instance, a six-hour programme should not count as equivalent to a one-semester part-time programme. This is especially true if one is interested in acquiring information on financing and allocation of resources. Using some equivalent unit such as credit hours is one way to sort out this problem.
It would therefore ultimately be possible to report participants (as headcounts), as well as units of service in equivalents of participant hours/days/credits.
Learning outcomes
Measuring learning outcomes is probably the most difficult and most debated area of data generation in education. As in any information generation endeavour, the key question is how to identify, from the very beginning, the purpose(s) that the data generation effort is going to serve. If comparison (in time, across groups) is important (to identify progress, or gaps), that purpose should be ensured in every step along the way. This includes the way in which measuring instruments are built and administered.
Programmes are usually structured to help teachers or facilitators provide a comprehensive assessment of participants’ progress and achievements. Those assessment efforts are necessarily focused on each particular setting, and therefore mobilise different criteria. This makes it difficult to generate aggregated data that is meaningful beyond a simple (and not very specific) counting of those who pass/fail/complete a programme. We are left without any certainty with regard to the actual competences that attendees have developed. It is also difficult to track progress over time when the actual criteria used for assessing might change (if one wants to measure change, it is important not to change the measure).
From these final elements stems the fact that standardised measures of skills and competences might be needed. However, testing competences is a complex task that poses challenges pertaining to several aspects, including validity and reliability issues. In this regard, it is important to pay due attention to the complexity of testing (American Educational Research Association et al. 2014), and to be wary of proposals that offer a cheap, quick fix to a complex problem.
For instance, a test can be designed in such a way as to rank individuals (differentiating between those who perform better/worse than others, regardless of the performance level that they achieve; this is what is usually known as a norm-referenced test), or to identify how they perform as compared to an expectation explicitly stated as a sort of standard or performance level (this is known as a criterion-references test), or a combination of those (Glaser 1963). This has major consequences on deciding which questions (items that include a stimulus and a question or task) are included in a particular test.
A test should also be able to properly represent what it claims to measure (“construct validity”). It should be able to capture the main components of that construct (“content validity”). It should also be valid in relation to a particular observable behaviour that it is intended to describe (“concurrent validity”) or anticipate (“predictive validity”). Finally, it is important that when designing a measurement mechanism, attention is given to the consequences (“consequential validity”) that it can have on the social setting in which it operates (Zumbo & Hubley 2016).
The last element also points towards considering the overall institutional context and conditions under which a particular test is designed, administered and used. Data can be mobilised for different purposes, including some controversial political ends (Gorur 2015, 2017; Grek 2009, 2015; Guadalupe 2017; Hamilton 2012).
We also need to consider the way in which data will be processed and analysed. Current testing practices tend to rely on mathematical models grouped under the label Item Response Theory (Baker 2001; Hambleton & Jones 1993; Hambleton et al. 1991). This approach allows for a more precise way of addressing the actual attributes that individual questions (items) have when applied to a given population and, therefore, it allows identifying issues pertaining to how different populations respond to different questions which might affect the usability of some items for having reliable comparable data (Zumbo 1999, 2007).
Finally, if a particular test is going to be administered to individuals from different cultural and linguistic backgrounds, some specific issues arise in relation to the translation and adaptation of tests (Hambleton 2005; Hambleton et al. 2005).
The target population
Youth and adult education programmes are increasingly important in a world that is becoming progressively aware that education and learning take place along the whole course of life. This frequently makes it tricky to have a definition of the target population to be served, thus making it impossible to properly estimate the coverage of these programmes beyond a simple measure of the “number of participants”.
A first way of addressing this topic requires differentiating according to the intentionality of the programmes: (i) programmes that have a remedial component in relation to failure to complete compulsory education, and (ii) programmes that go beyond remedial purposes.
It is clear that the first group of programmes should have a definite target population: those who did not complete (or even start) compulsory schooling when they were supposed to. Household survey data can be used to estimate this segment of the population (Guadalupe et al. 2016; Guadalupe & Taccari 2004; UNESCO Santiago 2004), and these estimates are of paramount importance to avoid a trend towards self-complacent practices that are too focused on what we do, and neglect what we have to do. At the same time, estimates of the number of people who did not complete compulsory schooling might underestimate the need for remedial programmes since, unfortunately, many people complete schooling without developing the competences and skills that they should. Estimating this additional need can be done by surveying the distribution of competences among adults.
For non-remedial programmes, there is no clear or precise way of identifying a target population; thus, coverage can be estimated only as a proportion of the whole youth and adult population.
Collecting data on financing
This is probably the most problematic area because of the diversity of ways in which information is recorded in governmental sources, but also for the huge practical challenges entailed in trying to compile organised and systematic data from non-governmental sources. Having standard definitions of major components (current expenditure as opposed to investments; salaries as distinct from other current expenses; overheads or administrative costs) is not always an easy thing to do.
At the same time, information on finance should be read against some sort of benchmark that would provide indications of the level of sufficiency of the resources invested. Establishing a benchmark is difficult (UNESCO Santiago 2007) since it requires one to have a clear estimation of needs (which are diverse, so that addressing them involves diverse costs). We must also disregard the oversimplifications that have populated the world of education for decades, such as establishing a magical (impossible to sustain) fixed percentage of something (production, public expenditure, etc.) that appears as applicable everywhere (as if diversity did not exist), in a world where diversity and change are the rules and for long periods of time (as if change did not exist).
The next move is yours
This article is a quick summary of the major issues pertaining to the realm of data generation in youth and adult education. Data generation (not collection, since data is not a natural element that can be collected like berries, but consists of social constructions based on concepts, interests, ideas, etc.) cannot be taken as a simple issue or as something purely technical, void of political and ideological elements. On the contrary, decisions on what data should be produced, how that data should be generated, compiled, analysed and reported, are fundamentally grounded on the purposes and agendas that a particular agent wants to advance (Guadalupe 2015). Therefore, a substantive and explicit definition of purpose(s) is the cornerstone of any data generation endeavour.
At the same time, the previous point should not be used as an alibi to justify any decision regarding data: There are specific complexities and attributes that need to be properly factored into any data generation effort if sound, useful data is to be produced and reported. Cheap and quick “fixes” usually disregard the scientific properties that sound data have and, therefore, its usability. It is usually better not to have any data and be aware of this lack of evidence than to have poor data and assume that we have something on which we can rely. The first situation leads to careful action (including addressing the information gap), while the second leads to mistakes that affect people’s lives.
References
American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014): Standards for educational & psychological tests. Washington, DC: AERA.
Baker, F. B. (2001): The basics of item response theory (2nd ed.). USA: ERIC Clearinghouse on Assessment and Evaluation.
Glaser, R. (1963): Instructional technology and the measurement of learning outcomes: Some questions. In: American Psychologist, 18(8), 519–521. https://bit.ly/2vgo7Bd.
Gorur, R. (2015): Assembling a Sociology of Numbers. In: Hamilton, M.; Maddox, B. and Addey, C. (eds.): Literacy as Numbers: Researching the Politics and Practices of International Literacy Assessment Regimes, 1–16. Cambridge: Cambridge University Press.
Gorur, R. (2017): Towards productive critique of large-scale comparisons in education. In: Critical Studies in Education, 58(3), 1–15. https://bit.ly/2Mbw1Ce.
Grek, S. (2009): Governing by Numbers: The PISA “Effect” in Europe. In: Journal of Education Policy, 24(1), 23–37.
Grek, S. (2015): Transnational education policy-making: international assessments and the formation of a new institutional order. In: Hamilton, M.; Maddox, B. and Addey, C. (eds.): Literacy as numbers: researching the politics and practices of international literacy assessment, 35–52. Cambridge: Cambridge University Press.
Guadalupe, C. and Taccari, D. (2004): Conclusión Universal de la Educación Primaria: ¿cómo evaluar el progreso hacia esta meta? Santiago de Chile: UNESCO. https://bit.ly/2M9UmIl
Guadalupe, C. (2015): Contar para que cuente: una introducción general a los sistemas de información educativa. Lima: Universidad del Pacífico. https://bit.ly/2n5LFUU
Guadalupe, C.; Castillo, L. E.; Castro, M. P.; Villanueva, A. and Urquizo, C. (2016): Conclusión de estudios primarios y secundarios en el Perú: progreso, cierre de brechas y poblaciones rezagadas (Documentos de Discusión No. DD1615). https://bit.ly/2OEy8zQ
Guadalupe, C. (2017): Standardisation and diversity in international assessments: barking up the wrong tree? In: Critical Studies in Education, 58(3), 326–340. https://bit.ly/2vpWhRW
Hambleton, R. K. et al. (1991): Fundamentals of Item Response Theory. Newbury Park, London, New Delhi: Sage.
Hambleton, R. K. and Jones, R. W. (1993): An NCME Instructional Modul on Comparison of Classical Test Theory and Item Response Theory and their Applications To Test Development. In: Educational Measurement: Issues and Practice, 12(3), 38–47. https://bit.ly/2J6bmi7
Hambleton, R. K. (2005): Issues, Designs and Technical Guidelines for Adapting Tests Into Multiple Languages and Cultures. In: Hambleton, R. K.; Merenda, P. and Spielberger, C. (eds.): Adapting Psychological and Educational Tests for Cross-Cultural Assessment, 38(3). Mahwah, NJ: Lawrence Erlbaum Associates.
Hambleton, R. K.; Merenda, P. and Spielberger, C. (eds.) (2005): Adapting educational and psychological tests for cross-cultural assessment. Mahwah, NJ: Lawrence Erlbaum Associates.
Hamilton, M. (2012): Literacy and the Politics of Representation. Oxon: Routledge.
UNESCO Santiago (2004): La conclusión universal de la educación primaria en América Latina: ¿Estamos realmente tan cerca? Santiago de Chile: UNESCO. https://bit.ly/2vvmPBt
UNESCO Santiago (2007): Educación de calidad para todos: un asunto de Derechos Humanos. Santiago de Chile: UNESCO. https://bit.ly/2f0VWOK
UNESCO/UIS (2013): International Standard Classification of Education. ISCED 2011. Montreal: UNESCO/UIS.
Zumbo, B. (1999): A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-type (Ordinal) Item Scores. Ottawa: Directorate of Human Resources Research and Evaluation, Department of National Defense.
Zumbo, B. (2007): Three Generations of DIF Analyses: Considering Where It Has Been, Where It Is Now, and Where It Is Going. In: Language Assessment Quarterly, 4(2), 223–233. https://bit.ly/2LO0OsE
Zumbo, B. and Hubley, A. M. (2016): Bringing consequences and side effects of testing and assessment to the foreground. In: Assessment in Education: Principles, Policy & Practice, 23(2), 299–303. https://bit.ly/2vbhJuZ
Los desafíos que plantea la generación de datos
César Guadalupe arts en pensamiento social y político (Sussex) y sociólogo (PUCP). Es profesor-investigador en la Universidad del Pacífico (Perú). Anteriormente trabajó durante once años en el Instituto de Estadística de la UNESCO y en UNESCO Santiago. Es miembro (2014-2020) y actual presidente (2017-2020) del Consejo Nacional de Educación de Perú.
Resumen – En este artículo se identifican algunos de los principales obstáculos que se afrontan en la generación y disponibilidad de datos sobre educación de jóvenes y adultos. Se analiza la generación de datos sobre programas y matrícula, al igual que sobre financiación y problemas que surgen cuando se trata de identificar las poblaciones destinatarias. Se hace especial hincapié en la evaluación mediante test de las habilidades y competencias, teniendo en cuenta la complejidad, el destacado perfil y la importancia que han adquirido estos test durante los últimos años. En el artículo se destaca el hecho de que los atributos técnicos de los procesos de generación de datos dependen de los objetivos que se persiguen. Se sugiere basar la generación de datos en un enfoque no tecnocrático y de mayor sensibilidad política.
Los datos sistemáticos sobre la educación de jóvenes y adultos son escasos, y por lo general no se tiene información sobre su calidad o ésta no ha sido debidamente documentada. Se trata de un fenómeno habitual en un campo que es ignorado con demasiada frecuencia, también en las políticas educativas.
Fuera de esa actitud de desinterés puede haber otros factores que entorpecen el desarrollo de un conjunto de evidencias que no solo pueda influir en el análisis y los debates en torno a la educación de jóvenes y adultos, sino que además le permita a ésta adquirir mayor notoriedad.
En este artículo se exploran cuatro áreas en las que los datos son escasos o no son sistemáticos: (i) datos sobre programas y matrícula; (ii) resultados de aprendizaje; (iii) población destinataria; (iv) financiación.
Cada una de estas áreas afronta dificultades específicas. Una vez que los actores involucrados logren comprenderlas, y cuenten con un marco de referencia estructurado, serán capaces de coordinar más eficazmente sus actividades de gestión de datos.
Programas educativos y matrícula
Los programas de educación de jóvenes y adultos son sumamente diversos en cuanto a la manera de organizarlos e impartirlos, y en cuanto a las entidades encargadas de esas tareas. Igualmente variados son los objetivos que pretenden alcanzar. En comparación con los programas escolares tradicionales destinados a niños y niñas, la educación de jóvenes y adultos se presenta como un ámbito mucho más difícil de abordar.
Así y todo, es posible clasificar los programas de educación de jóvenes y adultos en tres categorías principales: (i) programas equivalentes a aquellos que gozan de acreditación “oficial” en el país, es decir, que conducen a la obtención de certificados oficiales que permiten realizar estudios superiores en el sistema de educación formal; (ii) programas para fines específicos que satisfacen determinadas necesidades y no conducen a la obtención de certificados formales; y (iii) una combinación de las dos modalidades anteriores.
El primer grupo de programas puede incluirse en la estructura nacional de cualificaciones y en la Clasificación Internacional Normalizada de la Educación (UNESCO/UIS 2013). Las organizaciones encargadas de los registros de matrícula y graduación deberían facilitar la transferencia. El segundo grupo de programas plantea una dificultad distinta, ya que no es necesario insertarlos en trayectorias formales, a menos que se requiera una compilación normalizada de datos para un determinado fin. En tal caso, será preciso recurrir a un sistema de clasificación flexible en el que se reconozca la naturaleza de estos programas (iniciativas de educación continua que no conducen a la obtención de certificados formales).
En ambos casos (y también cuando se combinan las dos alternativas) es menester que las partes involucradas lleguen a un acuerdo. Es probable que algunas de estas partes deban aceptar que, si bien la generación de datos no adoptará la forma exacta que habían deseado, se obtendrá un beneficio más general gracias a la posibilidad de trazar un mapa integral y confiable de los programas de educación para jóvenes y adultos en general.
“La medición de los resultados de aprendizaje es quizás el área más compleja y polémica de la generación de datos sobre educación.”
Una vez superado el escollo anterior, debemos concentrarnos en el registro de información sobre matrícula. En este caso hay que establecer una diferencia entre dos elementos de observación claramente distinguibles: (i) las personas y (ii) las unidades beneficiarias (las personas a las que está destinado un determinado programa). Uno de los problemas más comunes es el que surge cuando se confunden ambos componentes: una persona puede ser inscrita en más de un programa, y por tanto debe ser contabilizada como una sola (si el énfasis se pone en la cantidad total de personas), pero puede haber muchas unidades beneficiarias. El hecho de sumar los participantes de distintos programas no necesariamente arroja una cantidad total de participantes como individuos. La única excepción se da cuando la matrícula en un determinado programa impide la matrícula en otro programa durante un período determinado.
Ahora bien, el registro de unidades beneficiarias entraña el riesgo de considerar programas que son sumamente diversos como si fueran equivalentes. Por ejemplo, un programa de seis horas no debería considerarse equivalente a un programa de jornada parcial que dura un semestre. Lo anterior es especialmente relevante cuando lo que nos interesa es obtener información sobre financiación y asignación de recursos. Una de las maneras de sortear este obstáculo consiste en emplear alguna unidad equivalente, como las horas de crédito.
Por consiguiente, en último término sería posible dar a conocer el número de participantes (como cantidad total de personas) y las unidades beneficiarias empleando equivalentes de horas/días/créditos de participación.
Resultados de aprendizaje
La medición de los resultados de aprendizaje es quizás el área más compleja y polémica de la generación de datos sobre educación. Tal como ocurre en toda iniciativa de generación de información, la pregunta clave es cómo identificar desde un comienzo el (los) objetivo (s) que se pretende alcanzar. Si la comparación (a lo largo de un período o entre distintos grupos) es un aspecto importante (para medir el progreso realizado o detectar lagunas de información), el logro de ese objetivo debería ser asegurado en cada etapa sucesiva del proceso. Ello incluye la manera en que se diseñan y gestionan los instrumentos de medición.
Por lo general, los programas se planifican con el fin de ayudar a los maestros o instructores a proporcionar una evaluación integral del progreso y los logros de los participantes. En esa labor de evaluación es preciso concentrarse en cada entorno particular y, por tanto, aplicar diferentes criterios. Por ello no resulta fácil generar datos agregados que sean significativos y vayan más allá de un mero (y no muy específico) recuento de los alumnos que concluyen exitosamente o no logran completar un programa. Carecemos de toda evidencia respecto de las competencias que efectivamente han adquirido los participantes. También es difícil hacer un seguimiento del progreso a lo largo del tiempo si los criterios reales de evaluación utilizados cambian (cuando uno desea medir los impactos, es importante mantener invariable el criterio de medición).
De estos últimos razonamientos surge la eventual necesidad de emplear parámetros estandarizados para medir las aptitudes y competencias. Con todo, medir las competencias a través de test es una tarea compleja que plantea dificultades en distintos aspectos, incluidos la validez y la fiabilidad. En este contexto, es importante prestar debida atención a la dificultad de llevar a cabo los test (American Educational Research Association y otros 2014) y considerar con cautela las propuestas que ofrecen una solución barata y rápida a un problema complejo.
Por ejemplo, un test puede ser diseñado de tal manera que clasifique a los participantes (diferenciándolos entre los que obtienen mejor o peor puntaje que los demás, independientemente del nivel de rendimiento que lleguen a alcanzar; es lo que se conoce comúnmente como test normalizado) o evalúe su desempeño con referencia a una cifra esperada expresada de manera explícita como norma o nivel de rendimiento (lo que se conoce como test referidos a criterios), o una combinación de ambos (Glaser 1963). Ello influye poderosamente en las decisiones sobre las preguntas (ítems que contienen un estímulo y una pregunta o tarea) que son incluidas en un determinado test.
Un test debería describir adecuadamente lo que pretende medir (“validez de constructo”). Debería incluir los principales componentes de ese constructo (“validez del contenido”). También debería ser aplicable en relación con un determinado comportamiento observado que se pretende describir (“validez concurrente”) o predecir (“validez predictiva”). Por último, es importante que al momento de diseñar un mecanismo de medición se preste atención a las consecuencias (“validez consecuencial”) que puede tener en el entorno social en que opera (Zumbo y Hubley 2016).
Este último elemento también apunta a la consideración del contexto y las condiciones institucionales generales en que se diseña, aplica y emplea un determinado test. Los datos pueden ser manejados para alcanzar distintos objetivos, entre ellos algunos fines políticos polémicos (Gorur 2015, 2017; Grek 2009, 2015; Guadalupe 2017; Hamilton 2012).
También debemos considerar la manera en que los datos serán procesados y analizados. Las actuales prácticas para aplicar test tienden a basarse en modelos matemáticos agrupados bajo la denominación de teoría de respuesta al ítem (Baker 2001; Hambleton y Jones 1993; Hambleton y otros 1991). Este enfoque incluye un método más preciso para abordar los atributos de determinadas preguntas (ítems) cuando se aplican a una determinada población y, por tanto, permite identificar aspectos relativos a la manera en que diferentes poblaciones responden a distintas preguntas que podrían influir en la posibilidad de usar algunos ítems para obtener datos comparables que sean confiables (Zumbo 1999, 2007).
Por último, si un determinado test va a ser aplicado a personas de distintos ambientes culturales y lingüísticos, surgen algunos problemas específicos respecto de la traducción y adaptación de los test (Hambleton 2005; Hambleton y otros 2005).
La población destinataria
Los programas de educación de jóvenes y adultos cobran cada vez más importancia en un mundo que está adquiriendo progresivamente conciencia de que la educación y el aprendizaje se realizan durante toda la vida. Así pues, definir la población destinataria es por lo general una tarea difícil, por lo que resulta imposible determinar adecuadamente la cobertura de estos programas más allá de un simple cálculo del “número de participantes”.
Un primer método para abordar este tema requiere hacer una diferenciación según la intencionalidad de los programas: (i) programas que tienen un componente de recuperación en relación con el hecho de no haber concluido la educación obligatoria, y (ii) programas que van más allá de los fines de recuperación.
Resulta evidente que el primer grupo de programas debería contar con una población destinataria claramente definida: las personas que no completaron (o ni siquiera comenzaron) la educación obligatoria cuando se esperaba que lo hicieran. Se pueden utilizar los datos de encuestas domiciliarias para realizar estimaciones en este segmento de la población (Guadalupe y otros 2016; Guadalupe y Taccari 2004; UNESCO Santiago 2004). Esas cifras son de enorme importancia para evitar la tendencia a adoptar prácticas autocomplacientes que se concentran demasiado en lo que hacemos y no prestan atención a lo que debemos hacer. Al mismo tiempo, las estimaciones del número de personas que no completaron la enseñanza obligatoria podrían llevar a subestimar la necesidad de contar con programas de recuperación ya que, desgraciadamente, muchos alumnos terminan la etapa escolar sin haber desarrollado las competencias y las aptitudes esperadas. Para determinar la necesidad de programas de recuperación, se podría analizar la distribución de competencias entre los adultos.
En el caso de los programas sin carácter recuperativo no existe una manera clara o precisa de identificar una población destinataria, por lo que la cobertura solo puede determinarse como una proporción de la población total de jóvenes y adultos.
Recopilación de datos sobre financiación
Esta es tal vez el área más problemática debido a la enorme variedad de métodos con que se registra la información en las oficinas gubernamentales, y además a la enorme dificultad práctica que supone el intento de obtener datos estructurados y sistemáticos de fuentes no gubernamentales. No siempre resulta fácil establecer definiciones normalizadas de los componentes principales (gastos corrientes como algo diferente de las inversiones; sueldos como algo distinto de otros gastos corrientes, gastos generales o costos administrativos).
Por otra parte, la información sobre las finanzas debería ser interpretada con referencia a algún tipo de parámetro que proporcione un indicador del grado de disponibilidad de los recursos invertidos. Es difícil establecer un parámetro (UNESCO Santiago 2007), ya que se necesita contar con una estimación clara de las necesidades (las cuales son múltiples, por lo que para abordarlas hay que afrontar diversos costos). También debemos desechar las simplificaciones excesivas que han circulado durante décadas en el ámbito educativo, como la de establecer un porcentaje fijo ideal (imposible de sostener) de algo (producción, gasto público, etc.) que parece ser aplicable durante períodos prolongados (como si no existiera el cambio) en cualquier ámbito (como si no existiera la diversidad) en un mundo donde la diversidad y el cambio son la norma.
El próximo paso lo tienen que dar ustedes
Este artículo constituye un breve resumen de las principales dificultades que se afrontan en la tarea de generar datos sobre educación de jóvenes y adultos. La generación de datos (no la recopilación, ya que los datos no son un elemento natural que pueda ser recolectado como los frutos rojos, sino que corresponden a construcciones sociales basadas en conceptos, intereses, ideas, etc.) no puede ser considerada una tarea sencilla o una actividad meramente técnica, desprovista de una dimensión política o ideológica. Por el contrario, las decisiones sobre qué datos hay que producir, cómo deben generarse, compilarse, analizarse y darse a conocer, se basan fundamentalmente en los objetivos y en las agendas que un determinado actor procura promover (Guadalupe 2015). Por consiguiente, una definición sustantiva y explícita de los objetivos constituye la piedra angular de cualquier iniciativa de generación de datos.
Al mismo tiempo, el argumento anterior no debería emplearse como pretexto para justificar cualquier decisión relativa a los datos: existen complejidades y atributos específicos que hay que tener debidamente en cuenta en cualquier proceso de generación de datos si se pretende producir y dar a conocer datos fiables y útiles. En las soluciones “de parche” baratas y rápidas por lo general se desestiman las propiedades científicas de datos fidedignos y, por tanto, su facilidad de uso. Con frecuencia resulta preferible no contar con ningún dato y ser consciente de esta falta de evidencias que disponer de datos insuficientes y suponer que son una fuente de información confiable. La primera situación conduce a adoptar medidas precautorias (entre ellas, tratar de corregir los déficits de información), en tanto que la segunda lleva a cometer errores que afectan la vida de las personas.
Referencias
American Educational Research Association, American Psychological Association y National Council on Measurement in Education (2014): Standards for educational & psychological test. Washington, DC: AERA.
Baker, F. B. (2001): The basics of item response theory (2nd ed.). USA: ERIC Clearinghouse on Assessment and Evaluation.
Glaser, R. (1963): Instructional technology and the measurement of learning outcomes: Some questions. En: American Psychologist, 18(8), 519–521. https://bit.ly/2vgo7Bd.
Gorur, R. (2015): Assembling a Sociology of Numbers. En: Hamilton, M.; Maddox, B. y Addey, C. (eds.): Literacy as Numbers: Researching the Politics and Practices of International Literacy Assessment Regimes, 1–16. Cambridge: Cambridge University Press.
Gorur, R. (2017): Towards productive critique of large-scale comparisons in education. En: Critical Studies in Education, 58(3), 1–15. https://bit.ly/2Mbw1Ce.
Grek, S. (2009): Governing by Numbers: The PISA “Effect” in Europe. En: Journal of Education Policy, 24(1), 23–37.
Grek, S. (2015): Transnational education policy-making: international assessments and the formation of a new institutional order. En: Hamilton, M.; Maddox, B. y Addey, C. (eds.): Literacy as numbers: researching the politics and practices of international literacy assessment, 35–52. Cambridge: Cambridge University Press.
Guadalupe, C. y Taccari, D. (2004): Conclusión Universal de la Educación Primaria: ¿cómo evaluar el progreso hacia esta meta? Santiago de Chile: UNESCO. https://bit.ly/2M9UmIl
Guadalupe, C. (2015): Contar para que cuente: una introducción general a los sistemas de información educativa. Lima: Universidad del Pacífico. https://bit.ly/2n5LFUU
Guadalupe, C.; Castillo, L. E.; Castro, M. P.; Villanueva, A. y Urquizo, C. (2016): Conclusión de estudios primarios y secundarios en el Perú: progreso, cierre de brechas y poblaciones rezagadas (Documentos de Discusión No. DD1615). https://bit.ly/2OEy8zQ
Guadalupe, C. (2017): Standardisation and diversity in international assessments: barking up the wrong tree? En: Critical Studies in Education, 58(3), 326–340. https://bit.ly/2vpWhRW
Hambleton, R. K. et al. (1991): Fundamentals of Item Response Theory. Newbury Park, Londres, Nueva Delhi: Sage.
Hambleton, R. K. y Jones, R. W. (1993): An NCME Instructional Modul on Comparison of Classical Test Theory and Item Response Theory and their Applications To Test Development. En: Educational Measurement: Issues and Practice, 12(3), 38–47. https://bit.ly/2J6bmi7
Hambleton, R. K. (2005): Issues, Designs and Technical Guidelines for Adapting Test Into Multiple Languages and Cultures. En: Hambleton, R. K.; Merenda, P. y Spielberger, C. (eds.): Adapting Psychological and Educational Test for Cross-Cultural Assessment, 38(3). Mahwah, Nueva Jersey: Lawrence Erlbaum Associates.
Hambleton, R. K.; Merenda, P. y Spielberger, C. (eds.) (2005): Adapting educational and psychological test for cross-cultural assessment. Mahwah, Nueva Jersey: Lawrence Erlbaum Associates.
Hamilton, M. (2012): Literacy and the Politics of Representation. Oxford: Routledge.
UNESCO Santiago (2004): La conclusión universal de la educación primaria en América Latina: ¿Estamos realmente tan cerca? Santiago de Chile: UNESCO. https://bit.ly/2vvmPBt
UNESCO Santiago (2007): Educación de calidad para todos: un asunto de Derechos Humanos. Santiago de Chile: UNESCO. https://bit.ly/2f0VWOK
UNESCO/UIS (2013): International Standard Classification of Education. ISCED 2011. Montreal: UNESCO/UIS.
Zumbo, B. (1999): A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-type (Ordinal) Item Scores. Ottawa: Directorate of Human Resources Research and Evaluation, Department of National Defense.
Zumbo, B. (2007): Three Generations of DIF Analyses: Considering Where It Has Been, Where It Is Now, and Where It Is Going. En: Language Assessment Quarterly, 4(2), 223–233. https://bit.ly/2LO0OsE
Zumbo, B. y Hubley, A. M. (2016): Bringing consequences and side effects of testing and assessment to the foreground. En: Assessment in Education: Principles, Policy & Practice, 23(2), 299–303. https://bit.ly/2vbhJuZ
La production d’informations et ses défis
César Guadalupe est titulaire d’un doctorat en éducation (Sussex) et d’une maîtrise en pensée politique et sociale (Sussex), et il est sociologue (PUCP). Il est enseignant-chercheur à l’Universidad del Pacífico (Pérou). Auparavant, il a travaillé pendant onze ans à l’Institut de statistique de l’UNESCO, et à l’UNESCO/Santiago. Il est membre du Conseil national péruvien de l’éducation (2014-2020) dont il est l’actuel président (2017-2020).
Résumé – Cet article met en lumière un certain nombre de questions importantes concernant la production et la disponibilité d’informations sur l’éducation des jeunes et des adultes. Il aborde la génération de données concernant les programmes et leurs effectifs ainsi que les financements et les questions liées à l’identification des populations cibles. Il accorde une attention particulière aux tests de connaissances et de compétences du fait de leur complexité ainsi que du profil et de l’importance prépondérants qu’ils ont acquis ces dernières années. Cet article souligne le fait que les caractéristiques techniques des efforts entrepris pour produire des informations dépendent de l’objectif visé. Il préconise à ce propos une approche non technocratique et plus sensible au plan politique.
Les informations systématiques sur l’éducation des jeunes et des adultes sont peu nombreuses, et leur qualité est rarement présentée convenablement ou connue. C’est assez typique d’un domaine trop souvent négligé – entre autres aussi dans les politiques de l’éducation.
Outre cette négligence, d’autres facteurs pourraient non seulement empêcher de réunir des éléments susceptibles de jouer un rôle en ce qui concerne l’analyse et les débats sur l’éducation des jeunes et des adultes, mais aussi d’en améliorer le profile.
Cet article se penche sur quatre domaines dans lesquels les informations sont rares ou ne sont pas systématiques : (i) les informations sur les programmes et les inscriptions ; (ii) les résultats de l’apprentissage ; (iii) la population à desservir et (iv) le financement.
Chacun de ces domaines se trouve confronté à des problèmes qui lui sont propres. Les comprendre permettra aux parties prenantes de mieux aligner leurs activités liées aux informations en disposant d’un cadre de référence organisé.
Les programmes éducatifs et leurs effectifs
Les programmes d’éducation pour les jeunes et les adultes sont très divers non seulement de par leur organisation et la façon dont ils sont mis en œuvre, mais aussi de par les organismes qui participent à ces activités. Leurs objectifs sont tout aussi variés. Par rapport aux programmes scolaires ordinaires destinés aux enfants, les programmes d’éducation ouverts aux jeunes et aux adultes sont beaucoup plus difficiles à cerner.
Nous pouvons néanmoins les classer dans trois catégories principales : (i) les programmes équivalents à ceux reconnus comme « officiels » dans le pays, qui mènent à des examens permettant d’obtenir des diplômes officiels donnant la possibilité de poursuivre des études dans le système d’éducation formelle ; (ii) les programmes avec des objectifs spécifiques destinés à répondre à des besoins particuliers et ne menant pas à des diplômes formels et (iii) un mélange des deux.
« Mesurer les résultats de l’apprentissage est probablement le domaine le plus difficile et le plus débattu en matière de génération de données relatives à l’éducation. »
Le premier groupe de programmes peut être défini comme entrant dans la structure des qualifications nationales et dans la classification internationale type de l’éducation (UNESCO/UIS 2013). L’organisation des inscriptions et de l’enregistrement des diplômes doit faciliter le transfert. Le second groupe pose un autre défi étant donné qu’il n’y a aucune nécessité de faire entrer les programmes qui en font partie dans des voies formelles, sauf s’il est nécessaire dans à des fins particulières de fournir une compilation standard d’informations. Dans ce cas, il est nécessaire de disposer d’un système de classification souple, reconnaissant la nature de ces programmes (en tant que programmes de formation continue ne menant pas à des certificats formels).
Dans les deux cas (de même que dans les cas où les deux types de programmes sont combinés), les intervenants doivent se mettre d’accord. Certaines d’entre eux devront se résoudre à accepter que la production d’informations ne se présente pas forcément sous la forme qu’ils souhaiteraient exactement, mais qu’il est globalement plus profitable de pouvoir faire une description complète et fiable des programmes d’éducation ouverts aux jeunes et aux adultes en général.
Dès que cette question a été mise au point, il faut se concentrer sur le recensement d’informations relatives aux effectifs des programmes. Il convient ici de différencier entre deux éléments d’observation distincts : (i) les individus et (ii) les unités de service (des individus desservis par un programme donné). L’un des problèmes courants vient du fait que l’on confond les deux : un individu peut être inscrit à plus d’un seul programme. Aussi convient-il de ne le compter qu’une seule fois (si l’on s’intéresse au comptage des effectifs), alors qu’il peut y avoir de nombreuses unités de service. Additionner les participants à différents programmes ne permet pas forcément de recueillir un nombre total de participants individuels. La seule exception : quand l’inscription à un programme donné exclut l’inscription à un autre programme pendant une durée déterminée.
Par contre, recenser les unités de service entraîne le risque de compter des programmes extrêmement différents comme s’ils étaient équivalents. Par exemple, un programme de six heures ne devrait pas compter comme l’équivalent d’un programme étalé sur un semestre à temps partiel. C’est vrai en particulier si l’on souhaite obtenir des informations concernant le financement et l’affectation de ressources. Utiliser des unités équivalentes comme, par exemple, des crédits pourrait être une façon de régler ce problème.
Ainsi serait-il finalement possible de recenser les participants (calcul des effectifs) de même que les unités de service en effectuant ce calcul en équivalents d’heures/de jours/de crédits des participants.
Les résultats de l’apprentissage
Mesurer les résultats de l’apprentissage est probablement le domaine le plus difficile et le plus débattu en matière de génération de données relatives à l’éducation. Comme dans toute tentative entreprise pour générer des informations, la question essentielle ici consiste à déterminer comment identifier dès le départ l’objectif/les objectifs poursuivi(s) avec la production de ces données. Si la dimension de comparaison (dans le temps, entre des groupes) est importante (pour déterminer des progrès ou des écarts), il convient de veiller à la prendre en compte à chaque étape tout au long du processus. Ceci inclut la façon dont les instruments de mesure sont conçus et gérés.
Les programmes sont d’habitude structurés pour aider les enseignants ou les facilitateurs à fournir une évaluation complète des progrès et résultats des participants. Ces évaluations sont nécessairement axées sur chaque contexte particulier, et réunissent par conséquent différents critères. Il est de ce fait difficile de produire des données agrégées utiles au-delà d’un pur comptage (pas très spécifique) des personnes ayant réussi/échoué à un programme ou étant allé jusqu’au bout de celui-ci. Nous n’obtenons ainsi aucune certitude quant aux compétences réelles que les participants ont acquises. Il est par conséquent difficile de suivre les progrès au fil du temps quand le véritable critère utilisé pour procéder à l’évaluation peut changer (si l’on veut mesurer le changement, il est important de ne pas changer l’unité de mesure) – d’où le fait qu’il pourrait être nécessaire de disposer de systèmes standardisés de mesure des connaissances et compétences. Toutefois, tester des compétences est une tâche complexe qui pose des difficultés liées à différentes questions, entre autre à la validité et à la fiabilité. À cet égard, il est important d’accorder l’attention qui convient à la complexité de la procédure de test (American Educational Research Association et coll. 2014) et de se méfier des propositions qui offrent une solution bon marché et rapide à un problème complexe.
Par exemple, un test peut être conçu de manière à constituer un classement parmi des individus (en faisant la différence entre ceux qui ont de meilleurs/de plus mauvais résultats que les autres, quel que soit le niveau de leurs résultats ; c’est ce l’on appelle généralement un test normatif). Il peut aussi être conçu pour identifier la façon dont les gens réussissent par rapport à une attente formulée explicitement comme une sorte de standard ou de niveau de résultats (c’est ce que l’on appelle un test critérié). Il peut aussi combiner ces deux approches (Glaser 1963). Ceci a des répercussions majeures sur le choix des questions (items incluant un stimulus et une question ou une tâche) incluses dans un test donné.
Un test devrait être capable de représenter correctement ce qu’il affirme vouloir mesurer (« validité conceptuelle ou de construit »). Il devrait être en mesure de saisir les éléments essentiels de ce construit (« validité de contenu »). Il devrait aussi être valable du point de vue de ce qui relève d’un comportement observable particulier qu’il entend décrire (« validité convergente ») ou anticiper (« validité prédictive »). Enfin, il est primordial lors de la conception d’un mécanisme de mesure de s’intéresser aux conséquences (« validité conséquentielle ») qu’il peut avoir sur l’environnement social au sein duquel il intervient (Zumbo et Hubley 2016).
Ce dernier élément attire également l’attention sur l’importance de tenir compte de la situation institutionnelle globale et sur les conditions dans lesquelles un test donné a été conçu, géré et utilisé. On peut rassembler des informations dans des buts divers, y compris à des fins politiques sujettes à controverse (Gorur 2015, 2017 ; Grek 2009 ; Guadalupe 2017 ; Hamilton 2012).
Nous devons aussi prendre en compte la façon dont les informations vont être traitées et analysées. Les pratiques actuelles en matière de tests ont tendance à s’appuyer sur des modèles mathématiques regroupés sous l’intitulé théorie des réponses aux items (Baker 2001 ; Hambleton et Jones 1993 ; Hambleton et coll. 1991). Cette approche permet d’aborder avec davantage de précisions les véritables attributs qu’ont des questions (items) individuelles lorsqu’on les applique à une population donnée, et elle permet par conséquent d’identifier des sujets en rapport avec la façon dont des populations fournissent des réponses différentes à des questions, ce qui peut se répercuter sur l’exploitabilité de certaines questions lorsqu’il s’agit d’obtenir des informations comparables qui sont fiables (Zumbo 1999, 2007).
Enfin, si un test particulier doit être géré par des individus de différents milieux culturels et linguistiques, certaines questions spécifiques seront suscitées en rapport avec la traduction et l’adaptation de ce test (Hambleton 2005 ; Hambleton et coll. 2005).
La population cible
Les programmes d’éducation destinés aux jeunes et aux adultes revêtent une importance croissante dans un monde qui prend progressivement conscience du fait que l’éducation et l’apprentissage se déroulent tout au long de la vie. Il est de ce fait souvent difficile de trouver une définition de la population cible à desservir, ce qui empêche de dresser une estimation correcte de la couverture de ces programmes au-delà d’une simple mesure du « nombre de leurs participants ».
Une première façon d’aborder ce sujet consiste à faire des distinctions en fonction de l’intention des programmes : (i) les programmes avec un élément de remise à niveau lié au fait de ne pas avoir réussi à aller jusqu’au bout de la scolarité obligatoire et (ii) les programmes qui vont au-delà de la démarche de remise à niveau.
Il est clair qu’il faudrait faire correspondre une population cible définie au premier groupe de programmes : une population composée de personnes n’ayant pas terminé (voire même pas commencé) la scolarité obligatoire au moment où elles étaient supposées le faire. On peut utiliser pour cela les résultats d’une enquête réalisée auprès des ménages pour dresser une estimation de ce segment de population (Guadalupe et coll. 2016 ; Guadalupe et Taccari 2004 ; UNESCO Santiago 2004), ce type d’estimations étant éminemment important pour éviter une propension à des pratiques complaisantes, trop axées sur ce que nous faisons et négligeant ce que nous devons faire. En même temps, les estimations du nombre de personnes n’ayant pas achevé la scolarité obligatoire peut conduire à une sous-estimation de la nécessité de disposer de programmes de remise à niveau. Malheureusement en effet, beaucoup de gens achèvent leur scolarité sans avoir acquis les connaissances et compétences qu’ils auraient dues. On peut dresser une estimation de cette nécessité supplémentaire en réalisant une enquête sur la distribution des compétences au sein de la population adulte.
En ce qui concerne les programmes non axés sur la remise à niveau, il n’existe aucun moyen clair ni précis d’identifier une population cible. Par conséquent, la couverture ne peut être estimée que sous la forme d’un pourcentage de la population des jeunes et des adultes.
Recueillir des données sur les financements
Il s’agit probablement du domaine le plus problématique du fait de la diversité des façons dont les informations sont recensées dans les sources gouvernementales, mais aussi des immenses difficultés pratiques qui surgissent lorsque l’on tente de compiler des données organisées et systématiques à partir de sources non gouvernementales. Disposer de définitions standard pour des éléments importants (dépenses courantes par opposition aux investissements ; salaires en tant que dépenses distinctes d’autres dépenses courantes ; frais généraux ou frais administratifs) n’est pas toujours chose aisée.
En même temps, les informations concernant les finances devraient être interprétées par rapport à un point de référence qui fournirait un certain nombre de renseignements sur le degré de suffisance des ressources investies. Il est difficile de déterminer un point de référence (UNESCO Santiago 2007) étant donné qu’il est pour cela nécessaire d’avoir une estimation précise des besoins (qui sont divers, de sorte qu’y répondre entraîne des coûts eux aussi divers). Nous devons également ignorer les simplifications excessives qui ont peuplé l’univers de l’éducation pendant des décennies, par exemple en déterminant un pourcentage magique (impossible à respecter) pour quelque chose (production, dépenses publiques, etc.) qui semble applicable partout (comme si la diversité n’existait pas), dans un monde un monde ou la diversité et le changement sont des règles qui sont là pour durer (comme si le changement n’existait pas).
À présent, à vous de jouer !
Cet article propose un bref résumé des questions essentielles liées au domaine de la production d’informations en matière d’éducation des jeunes et des adultes. La génération de données (pas leur collecte puisque les données ne sont pas des éléments naturels susceptibles d’être cueillis comme des fruits mais qu’elles sont des constructions sociales reposant sur des concepts, des intérêts, des idées, etc.) ne peut pas être considérée comme une simple question ou comme quelque chose de purement technique, dépourvu d’éléments politiques et idéologiques. Inversement, les décisions concernant le choix des données à générer et la façon de les produire, de les compiler, de les analyser et de les communiquer reposent fondamentalement sur les buts et priorités qu’un acteur particulier souhaite faire progresser (Guadalupe 2015). Par conséquent la pierre angulaire de tout effort entrepris pour produire des données consiste en une définition substantielle et explicite du ou des buts de cette production d’informations.
En même temps, ce point ne devrait pas être utilisé comme alibi pour justifier une décision concernant les données : certaines difficultés et attributs spécifiques doivent être correctement pris en compte dans toute génération de données si l’on veut produire et communiquer des informations solides et utiles. Les solutions bon marché et rapides font généralement fi des propriétés scientifiques que les données solides possèdent et qui les rendent par conséquent exploitables. Généralement, il vaut mieux ne pas disposer d’informations et être conscient de cette absence de preuves plutôt que d’avoir des données de mauvaise qualité en pensant que nous tenons des éléments auxquels nous pouvons nous fier. La première situation conduit à agir avec circonspection (y compris en abordant le manque d’informations) alors que la seconde entraîne des erreurs qui affectent la vie des gens.
Références
American Educational Research Association, American Psychological Association et National Council on Measurement in Education (2014) : Standards for educational & psychological tests. Washington, DC : AERA.
Baker, F. B. (2001) : The basics of item response theory (2e éd.). USA : ERIC Clearinghouse on Assessment and Evaluation.
Glaser, R. (1963) : Instructional technology and the measurement of learning outcomes: Some questions. Dans : American Psychologist, 18(8), 519-521. https://bit.ly/2vgo7Bd
Gorur, R. (2015) : Assembling a Sociology of Numbers. Dans : Hamilton, M. ; Maddox, B. et Addey, C. (dir. publ.) : Literacy as Numbers: Researching the Politics and Practices of International Literacy Assessment Regimes, 1-16. Cambridge : Cambridge University Press.
Gorur, R. (2017) : Towards productive critique of large-scale comparisons in education. Dans : Critical Studies in Education, 58(3), 1-15. https://bit.ly/2Mbw1Ce
Grek, S. (2009) : Governing by Numbers: The PISA “Effect” in Europe. Dans : Journal of Education Policy, 24(1), 23-37.
Grek, S. (2015) : Transnational education policy-making: international assessments and the formation of a new institutional order. Dans : Hamilton, M ; Maddox, B. et Addey, C. (dir. publ.) : Literacy as Numbers: Researching the Politics and Practices of International Literacy Assessment, 35-52. Cambridge : Cambridge University Press.
Guadalupe, C. et Taccari, D. (2004) : Conclusión Universal de la Educación Primaria: ¿cómo evaluar el progreso hacia esta meta? Santiago du Chili : UNESCO. https://bit.ly/2M9UmIl
Guadalupe, C. (2015) : Contar para que cuente: una introducción general a los sistemas de información educativa. Lima : Universidad del Pacífico. https://bit.ly/2n5LFUU
Guadalupe, C. ; Castillo, L. E. ; Castro, M. P. ; Villanueva, A. et Urquizo, C. (2016) : Conclusión de estudios primarios y secundarios en el Perú: progreso, cierre de brechas y poblaciones rezagadas (Documentos de Discusión no DD1615). https://bit.ly/2OEy8zQ
Guadalupe, C. (2017) : Standardisation and diversity in international assessments: barking up the wrong tree? Dans : Critical Studies in Education, 58(3), 326-340. https://bit.ly/2vpWhRW
Hambleton, R. K. et coll. (1991) : Fundamentals of Item Response Theory. Newsbury Park, Londres, New Delhi : Sage.
Hambleton, R. K. et Jones, R. W. (1993) : An NCME Instructional Modul on Comparison of Classical Test Theory and Item Response Theory and their Applications To Test Development. Dans : Educational Measurement: Issues and Practice, 12(3), 38-47. https://bit.ly/2J6bmi7
Hambleton, R. K. (2005) : Issues, Designs and Technical Guidelines for Adapting Tests Into Multiple Languages and Cultures. Dans : Hambleton, R. K. ; Merenda, P. et Spielberger, C. (dir. publ.) : Adapting Psychological and Educational Tests for Cross-Cultural Assessment, 38 (3). Mahwah, NJ : Lawrence Erlbaum Associates.
Hambleton, R. K. ; Merenda, P. et Spielberger, C. (dir. publ.) (2005) : Adapting Psychological and Educational Tests for Cross-Cultural Assessment, 3-38. Mahwah, NJ : Lawrence Erlbaum Associates.
Hamilton, M. (2012) : Literacy and the Politics of Representation. Oxon : Routledge.
UNESCO Santiago (2004) : La conclusión universal de la educación primaria en América Latina: ¿Estamos realmente tan cerca? Santiago du Chili : UNESCO. https://bit.ly/2vvmPBt
UNESCO Santiago (2007) : Educación de calidad para todos: un asunto de Derechos Humanos. Santiago du Chili : UNESCO. https://bit.ly/2f0VWOK
UNESCO/UIS (2013) : International Standard Classification of Education. ISCED 2011. Montréal : UNESCO/UIS.
Zumbo, B. (1999) : A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-type (Ordinal) Item Scores. Ottawa :
Directorate of Human Resources Research and Evaluation, Department of National Defense.
Zumbo, B. (2007) : Three Generations of DIF Analyses: Considering Where It Has Been, Where It Is Now, and Where It Is Going. Dans : Language Assessment Quarterly, 4(2), 223-233. https://bit.ly/2LO0OsE
Zumbo, B. et Hubley, A. M. (2016) : Bringing consequences and side effects of testing and assessment to the foreground. Dans : Assessment in Education: Principles, Policy & Practice, 23(2), 299-303. https://bit.ly/2vbhJuZ
https://bit.ly/2vbhJuZ
Links to the AED 85/2018 publication in three languages: English, French, Spanish
Estos son los links para acceder a la publicación en tres idiomas: Inglés, Francés, Español
Voici les liens vers la publication en trois langues: Anglais , Français, Espagnol
Comments
Leave a Reply
*
AMOUGOU Martial Patrice
March 19, 2019
I am Martial Patrice AMOUGOU from INJS, Yaoundé. I am pleased to meet a colleague who raises the issue of the adult education information system. In my country, Cameroon, a study on this issue was carried out in 2012 by the Ministry of Basic Education (MINEDUB) in collaboration with UNESCO. A very good initiative that unfortunately remained in the drawers of the desks. There are good proposals for the monitoring system and updates. But who is responsible for its operation? Noone.
First of all, in the field, there is a problem with the maintenance of statistics that is not part of the administrative culture, especially in these institutions in charge of adult education. More serious is the problem of collecting this information, which requires either IT resources or travel for missions dedicated to this purpose. Given our socio-economic context, this question remains an illusion. But with the will and commitment of MINEDUB’s decentralized structures, collection can be done in stages and provide a good national basis.
___________________________________
Bonjour,
je suis Martial Patrice AMOUGOU de l’INJS de Yaoundé. Je suis heureux de rencontrer un collègue qui soulève la question du système d’information en éducation des adultes. dans mon pays le Cameroun, une étude a été commise en 2012 sur cette question par le Ministère de l’Education de Base (MINEDUB) en collaboration avec l’Unesco. une très bonne initiative qui malheureusement est restée dans les tiroirs des bureaux. il y a de bonnes propositions quant au dispositif de suivi, aux des mises à jour. Mais qui en assure le fonctionnement? Personne.
d’abord sur le terrain, il y a un problème de tenue des statistiques qui ne rentre pas dans la culture administrative, surtout dans ces institutions chargées de l’éducation des adultes. Plus grave est le problème de collecte de ces informations qui sollicite soit des moyens informatiques, soit des déplacements pour des missions dédiées à cet effet. Vu notre contexte socioéconomique, cette question reste une illusion. Mais avec de la volonté et l’engagement des structures déconcentrées du MINEDUB, la collecte peut se faire par palier et donner une bonne base nationale.
Yanina Sofia Paolasso
March 21, 2019
Dear all, the construction of statistical data, its link with learning and even more, with the correlation of economic resources and their distribution in this framework is a very important subject. In Argentina there are inconclusive debates in relation to the subject, since some positions or approaches associate the construction of statistics to a mere distribution of economic resources.
Like Martial Patrice AMOUGOU, in the country, this is still an issue to continue working on, as sometimes the data collected lack legitimacy, or have been weakly compiled … Thank you for your contribution!
_______________________________
Estimados buen día, vaya tema el de la construcción de datos estadísticos, su vinculación con el aprendizaje y más aún, con el correlato de los recursos económicos y su distribución en este marco. En la Argentina hay debates inconclusos en relación con la temática, pues algunos posicionamientos o enfoques asocian la construcción de estadística a una mera distribución de recursos económicos.
Al igual que Martial Patrice AMOUGOU, en el país, sigue siendo un temática a seguir trabajando, en ocasiones los datos recabados carecen de legitimidad, o han sido debilmente confeccionados… Gracias por el aporte!