Resumen

Este artículo presenta los resultados de un análisis bibliométrico en la base de datos Scopus sobre la observación por pares en el aula. Para ello, se utilizan palabras clave extraídas de la literatura y del Tesauro de la UNESCO: observación entre pares, evaluación formativa, retroalimentación, evaluación, aprendizaje de estudiantes y profesores, retroalimentación, evaluación por pares. Se analiza un total de 308 documentos, con apoyo de los softwares Biliometrix y VOSviewer. Entre los resultados se destacan dos etapas de desarrollo; una en 2018 como momento inicial y de fuerte productividad, y otra en 2021 compuesta de dos grandes nodos relacionados con otros menores, entre los que destacan conceptos como: humans, human y education; las áreas de estudio más intensas en producción son ciencias sociales (280), psicología (42), artes y humanidades (30). Al analizar el área geográfica en donde se produce el mayor número de trabajos investigados, Estados Unidos y Europa mantienen una clara predominancia en productividad científica establecida en la base de datos Scopus. Finalmente, considerando el lapso de los temas identificados en este estudio, es necesario realizar más investigaciones sobre el uso de nuevas herramientas en el desarrollo de investigación de observaciones por pares en aulas escolares y su trabajo práctico.

Palabras clave: observación entre pares, evaluación formativa, evaluación docente, evaluación, retroalimentación, evaluación por pares, desarrollo profesional docente

Abstract

This article presents the results of a bibliometric analysis in the Scopus database on peer observation in the classroom. For this purpose, key words extracted from the literature and the UNESCO Thesaurus are used: peer observation, formative assessment, feedback, evaluation, student and teacher learning, feedback, peer assessment. A total of 308 documents were analyzed, with the support of Bibliometrix and VOSviewer software. Among the results, two stages of development stand out, 2018 as the initial and of strong productivity, and 2021, 2 large nodes and their relationship with other smaller ones among which stand out concepts such as: humans, human and education; the most intense areas of study in production are social sciences (280), psychology (42), arts and humanities (30). When analyzing the geographic area where the largest number of research papers are produced, the United States and Europe maintain a clear predominance in scientific productivity established in the SCOPUS database. Finally, considering the time span of the topics identified in this study, more research should be conducted on the use of new tools in the development of peer observation research in school classrooms and its practical work.

Keywords: peer observation, formative evaluation, teacher evaluation, assessment, feedback, peer evaluation, teacher professional development

1. Introducción

La evaluación del desempeño profesional docente es un tema que va cobrando cada vez más importancia entre los encargados de formular la política pública en educación, así como también entre los investigadores. A diario más profesorado, directivos y representantes políticos se enfrentan a diversas polémicas sobre la pertinencia de evaluar a los docentes, los mecanismos y procedimientos que deben emplearse para realizar dicha actividad y, sobre todo, las consecuencias que de ella se derivan para el profesorado (Gajardo et al., 2020).

Según Iglesias et al. (2021), la evaluación docente no es un asunto nuevo, puesto que podemos rastrear su origen internacional desde mediados del siglo XX. Se trata de uno de los mayores desafíos de los países que conforman la Unión Europea (UE), en los que se busca mejorar el aprendizaje del alumnado. No obstante, y de acuerdo con las evidencias, el impacto de un docente calificado sobre el estudiantado es inmensurable, ya que no solo influye en el campo educativo, sino también en lo que respecta a su futuro laboral y en la vida del educando (Aravena-Gaete y Garín, 2021).

Bailey (2006) define la observación entre pares en el aula como la descripción, sin prejuicios, de los eventos que suceden en las clases susceptibles de ser analizados, a los que puede otorgárseles una interpretación. Del mismo modo, afirma que este es un proceso consistente en observar en forma sistemática los sucesos involucrados en la enseñanza y el aprendizaje como una manera común de obtener información que puede servir de ayuda para que los docentes den sentido a ciertas situaciones educativas, evalúen la eficacia de las prácticas implementadas y diseñen planes de mejora. Por su parte, Malderez, (2003) argumenta que la observación es una herramienta que posee múltiples facetas que resultan útiles para el aprendizaje, puesto que ofrece un amplio abanico de experiencias y procesos que pueden convertirse en parte fundamental del crecimiento profesional de los docentes.

Este estudio busca establecer un conocimiento sobre la literatura existente y las principales tendencias de investigación en el área de estudio. Se parte de la base de que para alcanzar una educación de calidad es necesario disponer de docentes de calidad y se considera explícitamente cómo ha evolucionado la investigación en esta área de estudio y cómo se han focalizado los esfuerzos para aumentar dicha calidad. De ahí que resulta estratégica la formación inicial del profesorado, contar con una carrera docente atractiva para el estudiantado y generar mecanismos para mantenerlo motivado, contexto en el cual la evaluación entre pares aparece como una oportunidad de aprendizaje (Gajardo et al., 2020).

2. Fundamentación: la evaluación docente

2.1. Objetivos de la evaluación docente

El sistema de escolarización y las prácticas docentes han estado bajo un análisis incesante y crítico a lo largo del tiempo. Por esta razón, la necesidad de identificar las debilidades presentes en las prácticas educativas del profesorado se ha convertido en foco de interés mundial, ya que se busca crear mejoras en los resultados académicos del estudiantado (Richardson, 2005). Este objetivo ha despertado la necesidad de evaluar las prácticas educativas que se realizan diariamente en los centros educativos.

Podemos destacar diversas razones que hacen que la evaluación de las prácticas docentes sea un tema cada vez más relevante, siendo fundamental conocer el estado del arte en países en que es significativa la investigación en este ámbito; entre otras finalidades, ese análisis puede servir como parte de una evaluación formativa para la valoración sumativa del desempeño (Orsmond et al., 2013).

Para mejorar la práctica docente es imprescindible que esta sea evaluada, ya que esto supone ser y estar consciente de la realidad para transformarla en una mejora común. De ahí que una bibliometría beneficia el conocimiento de las líneas temáticas vanguardistas en esta área de estudio (Loughran, 2007). Por otro lado, cuando se evalúa se promueve un mejor conocimiento de la práctica docente con el objetivo de impulsar iniciativas que contribuyan a una enseñanza de mejor calidad (Jons, 2019). Sin embargo, hay que realizarla siempre teniendo como finalidad la valoración crítica de la planificación y de la acción educativa de una comunidad escolar en su contexto de trabajo, entendiendo que se persigue una formación y un proceso de aprendizaje orientados a mejorar la acción educativa, así como que la evaluación se convierta en un factor decisivo para el cambio y la innovación (Ferreira-De Sousa, 2020; Grant y Booth, 2009). Por ello, la observación entre pares docentes es una práctica que se ha incorporado en los centros educativos y se ha transformado en una rutina habitual de evaluación entre el profesorado (Parra-León y García-Martínez, 2021).

La evaluación entre pares como estrategia exige una perspectiva de evaluación dirigida a comprender el aprendizaje de los docentes, ofreciendo algunas pautas y principios para apoyar su formación y su desarrollo profesional (Correa y Rueda-Beltrán, 2012).

La evaluación se produce en consonancia con la instrucción y el aprendizaje, siendo necesario informar sobre la reorientación y la regulación del desarrollo en el crecimiento de la competencia y agregar un valor al reconocimiento, la interpretación y la utilización de las experiencias de enseñanza de acuerdo con los objetivos (Zimmermann, 2000).

De igual forma, Brandenburg (2004) indica que la cantidad de información de retroalimentación proporcionada durante la evaluación entre pares influye en su aceptación y en el crecimiento profesional docente, lo que se expresa en la acción posterior.

La evaluación entre pares, en esencia, es un proceso de evaluación social en el que los demás brindan y reciben retroalimentación, con el objetivo de mejorar el desempeño del alumnado (Shute, 2008).

En la formación del profesorado, los docentes, a menudo, trabajan y practican juntos durante la enseñanza y tutoría práctica (Hattie y Timperley, 2007). También en los programas de desarrollo profesional, los maestros trabajan juntos como colegas y comparten experiencias de aprendizaje. Este entorno proporciona una plataforma para la evaluación entre pares en la que los alumnos se evalúan entre sí como amigos críticos (Edwards et al., 2002; Espejo et al., 2021).

2.2. Importancia de la evaluación docente

Hay muchas razones por las que evaluar al profesorado y la práctica docente. Entre otras finalidades, esta actividad puede servir como parte de una evaluación formativa para la valoración sumativa del desempeño, para ser tenida en cuenta en la planificación del desarrollo profesional, o como apoyo para decidir sobre el cambio en la situación laboral (Ahmad, 2020; Razo et al., 2022).

No obstante, es indiscutible que para mejorar la práctica docente es imprescindible que esta sea evaluada, ya que esto significa ser y estar consciente de la realidad para transformarla en pos de una mejora común (Contreras, 2018). Por otro lado, cuando se evalúa se promueve un mejor conocimiento de la práctica docente con el objetivo de impulsar iniciativas que contribuyan a una enseñanza de mejor calidad (Peña-Carillo, 2005; Kuh, 2016). Para ello, la evaluación ha de ser entendida como un proceso de reflexión sobre la práctica, que puede ser impulsado por agentes externos (Ortega, 2015). Sin embargo, hay que realizarla teniendo como finalidad la valoración crítica de la planificación y de la acción educativa de una comunidad escolar en su contexto de trabajo, entendiendo que se persigue una formación y un proceso de aprendizaje orientados a mejorar la acción educativa, así como que la evaluación se convierta en un factor decisivo para el cambio y la innovación (Contreras, 2018; Pierce et al., 2018).

Por un lado, evaluar la práctica docente no es sinónimo de valorar y medir la acción docente. Dicha actividad en el aula es uno de los procesos, pero la figura docente no es solo una persona experta en su área, sino también un especialista en el diseño y desarrollo del aprendizaje, así como también en el análisis y evaluación de su propia práctica docente (Stigmar, 2016). Sin embargo, la evaluación de la práctica docente debe comprenderse como una muestra del compromiso con la sociedad (Troncoso y Hawes, 2006).

Actualmente se conoce que los factores asociados con los resultados escolares son diversos y múltiples. Muchos estudios han identificado el desempeño docente como el componente más relevante del efecto de la escuela en el aprendizaje del estudiantado (Bell y Mladenovic, 2008). Por ello, es importante asumir que la meta fundamental de la evaluación docente es mejorar la enseñanza y los resultados que obtienen los discentes (Carless, 2019). En consecuencia, la evaluación docente siempre ha de caracterizarse por los propósitos formativos, es decir, ofrecer retroalimentación al profesorado para que pueda mejorar (Dos-Santos,2016). Además, la evaluación debe ayudar a identificar los mecanismos de capacitación y los apoyos necesarios para que los docentes puedan mejorar su desempeño de forma efectiva (Bell y Thomson, 2018; Imbernón, 2011).

Finalmente, Ravela (2009) sostiene que en el sistema educativo se pueden reconocer los procesos de evaluación docente con diferentes objetivos, como:

1. Seleccionar candidatos que aspiran a cursar carreras docentes.
2. Identificar a quienes no son aptos para la actividad docente.
3. Identificar a los docentes más competentes para ofrecer incentivos que los retengan en la docencia, así como para que estos puedan asumir roles de tutoría y orientación a otros profesores.
4. Crear mecanismos de formación continua mediante la supervisión y revisión de la propia práctica de manera reflexiva y colectiva.

2.3. Tipos de evaluación

Sin duda la eficacia y profesionalidad del profesorado influye significativamente en el aprendizaje del estudiantado y finalmente en su rendimiento escolar. Por tanto, es de suma importancia que las prácticas docentes sean efectivas y se enfoquen en un óptimo aprendizaje(Yiend et al., 2014). A nivel internacional, son muchos los sistemas escolares que en una búsqueda de mejora de sus prácticas escolares han llegado a introducir la observación entre pares como una técnica efectiva que se utiliza para promover el crecimiento del profesorado y sus prácticas dentro del aula (Whipp y Pengelley, 2017). A continuación se reseñan algunas de las principales modalidades:

• Autoevaluación: implica una reflexión por parte del profesorado sobre la calidad de su práctica docente, ya que se considera una acción imprescindible para conseguir una mayor implicación de este y, al mismo tiempo, asegurar el enfoque formativo. Según García-Sanz (2014), la autoevaluación es utilizada por la mayoría de los países con objetivos de gestión de rendimiento. Para ello, existe una variante que se basa en ofrecerle al profesorado rellenar un cuestionario que un grupo de evaluación externo utiliza para obtener información más concreta (McArthur, 2019).
• Evaluación por pares: es una técnica de calificación en la que son los propios docentes quienes califican las actividades de sus compañeros y, a su vez, los evaluadores también son evaluados por los primeros (Harsell, 2010; Villardón-Gallego, 2006). Según Vera-Cazorla (2014), algunas de las ventajas de este tipo de evaluación es que los profesores desarrollan las capacidades de evaluar y, sobre todo, justificar las decisiones, así como también promueven la capacidad de identificar los puntos fuertes y débiles del trabajo, estimulando así la metacognición.
• Evaluación externa: se trata de una evaluación realizada por una persona externa sobre otra acerca de su trabajo, su rendimiento y su actuación. Es un proceso muy importante en la educación debido a la gran riqueza de los datos que aporta, pero también posee una gran complejidad como consecuencia de la dificultad que supone valorar la labor de otras personas (Canabal y Margalef, 2017; Villa-Sánchez y Poblete-Ruiz, 2011).

2.4. Técnicas e instrumentos de evaluación al docente

Las técnicas son utilizadas por el evaluador para la recogida sistemática de la información sobre el sujeto evaluado. Pueden ser de varios tipos, tales como la observación y las entrevistas (Margalef, 2014; William, 2011).

El uso de la observación como técnica de evaluación es un reto de alta complejidad, no solo por la naturaleza de lo observado en cuanto constructo multidimensional, sino porque es necesario previamente entrenar al observador a través de una pauta adecuadamente operacionalizada y específicamente definida, a fin de asegurar que su observación se realice desde parámetros pertinentes que faciliten una confiabilidad y validez a la medición. Fuertes-Camacho (2011) establece la existencia de distintas formas de observación:

• Observación directa e indirecta
• Observación participante y no participante
• Observación estructurada y no estructurada
• Observación de campo
• Observación individual y de equipo

Según Santos (2016), los instrumentos son herramientas tangibles utilizadas por la persona evaluadora para sistematizar las valoraciones sobre diferentes aspectos.

Es importante tomar en consideración que los docentes que son objeto de evaluación pueden sentirse más confiados cuando quienes les observan son compañeros que comparten características similares y están especializados en las mismas áreas docentes (Hernández-Elizondo y Salicetti-Fonseca, 2018). Así, pueden involucrarse más fácilmente en una autorreflexión como parte del proceso de evaluación y compartir la información, y los comentarios evaluativos pueden ser más ricos y precisos. Además, el proceso puede animar a la colaboración profesional y al diálogo entre docentes, facilitando de este modo la mejora de la práctica profesional (Mollo-Flores y Medina-Zuta, 2020; Bizarro et al., 2019).

La revisión y análisis de documentos para la cual se ideó esta investigación es una tarea delicada y se recomienda que sea realizada por especialistas cualificados con experiencia en revisiones sistemáticas, que hayan sido formados y seleccionados con rigor bajo un protocolo previamente definido, además de que cuenten con suficiente tiempo para desempeñar esta función (Segura, 2017; Tunstall y Gipps, 2011).

3. Método

3.1. Análisis cuantitativo: aspectos bibliométricos

La bibliometría es entendida como la aplicación de la matemática y los métodos estadísticos a fuentes escritas a fin de alcanzar resultados de procesos investigativos y de la comunicación que consideren elementos propios de una categorización o clasificación de la producción científica, relacionada con aspectos como autores, título de la publicación, tipo de documento, idioma, resumen y palabras clave o descriptores (Meho y Yang, 2007). De este modo, la bibliometría permite generar un panorama histórico y actual de las principales corrientes de investigación y de la relación existente entre universidades y principales autores en un campo de estudio determinado. Según plantea Johnson (2012), los análisis bibliométricos tienen hoy en día un peso muy relevante para las revistas y los investigadores noveles, siendo el primer acercamiento a una línea de trabajo, ya que buena parte de la producción científica se fundamenta en su difusión y en el impacto de las publicaciones y de los investigadores generadores de información académica; de ahí que constituya un indicador de calidad que se presenta como un referente al momento de iniciar una investigación. No obstante, para Kamalski y Kirby (2012), la bibliometría, dado su carácter multidisciplinar, se nutre de áreas como la estadística, la sociología y la informática para obtener sus resultados; con este fin utilizalas bases de datos que contienen los documentos de la producción científica que son analizados, con los cuales pueden realizarse estudios de orden más profundo, y que tendrán como consecuencia la generación de nueva literatura resultante de investigar entre los referentes principales de un área o campo de investigación. Según Kostoff et al. (2005), la bibliometría es una rama de la cienciometría que se enfoca principalmente en el cálculo y el análisis de los valores que pueden cuantificarse en la producción científica, los cuales serán un punto de partida como evidencias para futuras investigaciones; se entiende el análisis bibliométrico como una técnica de investigación validada en múltiples campos como los negocios, nuevas tecnologías, elecciones públicas (Wagner et al., 2011), la cual facilita el análisis mediante softwares de categorización en la identificación de tendencias de conocimiento a través de la aplicación de métodos cuantitativos que enriquecen, entre otras fases de la investigación, la revisión bibliográfica (Ariza et al., 2011). Entre los principales indicadores bibliométricos utilizados con más frecuencia encontramos la productividad de las publicaciones, los autores, las instituciones editoras y los lugares de edición; el análisis de la producción por su temática, el análisis de citas y los índices de impacto, entre otros.

Finalmente, Granados et al. (2011) mencionan que el diseño metodológico se inicia al momento de analizar los contenidos a través de palabras clave, resúmenes y títulos que permiten identificar los principales factores en la innovación, generando una fuente de entrada a los capítulos o trabajos que serán parte del marco teórico que guiará las futuras investigaciones.

Para lograr una especificación más amplia de la progresión estadística de las publicaciones utilizamos indicadores que proporcionan tal detalle, como:

• Ley de Lotka: ley de cuantificación bibliométrica basada en una distribución de probabilidades discreta que describe la productividad de autores (Urbizagástegui-Alvarado y Suárez, 2008). Es la descripción de una relación cuantitativa entre los autores y los artículos científicos producidos en un campo dado y en un periodo de tiempo. El mayor número de autores publican el menor número de trabajos, mientras que el menor número de autores publica un mayor número de trabajos, siendo este el grupo más prolífico.
• Ley de Bradford: descripción de una relación cuantitativa entre las revistas y los artículos científicos contenidos en una bibliografía sobre un tema determinado. Es conocida, además, como la ley de dispersión de la literatura científica de Bradford y distribución de Bradford (Urbizagástegui-Alvarado y Suárez, 2008).
• Índice h: es un sistema de medición de la calidad profesional de los científicos basado en la relevancia de su producción científica, el cual tiene en cuenta el conjunto de las publicaciones más citadas de un investigador y el número de citas de cada uno de estos trabajos (Ortega-Rubio et al., 2021). Según este modelo, un investigador tiene un índice h de X cuando X de sus artículos han recibido al menos X citas cada uno. Por ejemplo, un índice h=6 significa que un autor tiene 6 artículos que al menos han recibido 6 citas cada uno.

Entre los aspectos bibliométricos considerados en este estudio, el de Grant y Booth (2009) es uno de los más destacados. Estos autores señalan que la revisión bibliométrica describe materiales publicados que proporcionan un examen de la literatura reciente o actual , a los que se les realiza una síntesis de forma textual o gráfica de la información y un análisis de su contribución o valor; de esta forma obtendremos el estado actual de las principales investigaciones realizadas, con lo cual podremos generar líneas de acción para profundizar en aquellas que estén más débiles y conocer las temáticas más preponderantes. Mediante estas métricas se obtendrá el estado actual de la temática, identificando los principales referentes y líneas temáticas de acción. Esta metodología comprende una amplia gama de temas con distintos niveles de exhaustividad que pueden incluir resultados de investigación, lo que indica que en este tipo de revisiones se analizan materiales que han sido sometidos a un proceso de revisión por pares. omo objetivo específico, está la caracterización de la producción científica sobre observaciones entre pares en aulas que representan el estado actual del arte, según indicadores bibliométricos.

En esta investigación, la búsqueda de los artículos consideró la base de datos Scopus, siendo realizada entre los meses de enero y octubre de 2022; para ello se utilizaron palabras clave, en su versión en inglés, extraídas de la literatura y del Tesauro de la UNESCO: observación entre pares, evaluación formativa, retroalimentación, evaluación, aprendizaje de estudiantes y profesores, retroalimentación, evaluación por pares . En la Tabla 1 se muestra la ecuación de búsqueda utilizada. Se encontraron una total de 308 documentos con un promedio de 3,73 años desde su publicación; en ellos, se verifica una media de 10,66 citas por documento y una media de 1,99citas al año por documento. De la información encontrada, resalta la utilización de 13888 referencias con 507 palabras clave, proporcionadas por los autores en un rango de 890 que participaron como primer autor o en alguna otra posición dentro de la investigación; la media de coautores por documento es de 3,04 artículos.

Tabla 1
Ecuación de búsqueda avanzada (Scopus)

Ecuación
TITLE-ABS-KEY (Peer observation OR peer evaluation) OR TITLE-ABS-KEY (formative assessment*) AND TITLE-ABS-KEY ("evaluation" OR "feedback" OR "elementary school" OR “Elementary education”) AND TITLE-ABS-KEY (teacher assessment*)

3.2. Procedimiento de selección

Inicialmente se analizaron los resultados arrojados por la ecuación construida con las palabras clave y los conectores, de forma tal de obtener la mayor cantidad de datos cuantitativos posible y generar un barrido de la información de manera bibliométrica. Los indicadores bibliométricos de rendimiento se perfilan como idóneos para enlazar la producción científica con contribuciones a la cuantificación del conocimiento. Al aplicar la ecuación, la búsqueda inicial proporcionó un total de 308 artículos, de los cuales se obtuvieron diversos indicadores, tales como: producción por año de publicación; documentos por fuente; documentos por autor; documentos por afiliación; producción científica según el país; documentos por área de estudio; fuentes de patrocinador; el gráfico h; citas promedio por año; gráfico de tres campos (diagrama de Sankey); fuentes locales citadas; agrupación de fuentes a través de la ley de Bradford, ley de Lotka; dinámica de palabras de los resúmenes, ocurrencias anuales versus años.

Los resultados fueron analizados, ordenados y presentados mediante Biliometrix (Aria y Cuccurullo, 2017) y VOSviewer (Van-Eck y Waltman, 2010), herramientas de software que permiten construir y visualizar redes bibliométricas. Estas redes pueden incluir, por ejemplo, revistas, investigadores o publicaciones individuales, y pueden construirse sobre la base de la citación, el acoplamiento bibliográfico, la cocitación o las relaciones de coautoría.

4. Resultados

En esta sección se presentan los resultados referidos a los aspectos bibliométricos obtenidos al analizar la totalidad de artículos (n=308) encontrados en la búsqueda. Se trabaja mediante las plataformas de Bibliometrix y VOSviewer.

4.1. Indicadores de productividad

Producción por año de publicación

En la Figura 1 es posible apreciar la producción científica sobre el tema en estudio analizado en el periodo de tiempo 2012/2022; esta muestra que la producción va aumentando constantemente en el tiempo; además, los años más productores corresponden a 2021 (60 documentos), 2018 (48) y 2019 (43). De esta forma, podemos ver que el área se ve emergente en relación con la productividad en ámbitos investigativos.

Documentos por fuente

De acuerdo con lo que muestra la Figura 2, las fuentes que presentan una constancia en productividad se evidencian a través de: BMC Medical Education (16 en total), su área de estudio es Social Sciences; Frontiers in Education (13), área de estudio Social Sciences; Estudios Pedagógicos (8), área de estudio: Social Sciences: Education, PlosOne (7), área de estudio: Multidisciplinary; Academic Medicine (6), área de estudio: Social Sciences.

Documentos por autor

Respecto de las autorías de los trabajos, según se muestra en la Figura 3, destacan cuatro autores con tres publicaciones: Brown G. T. L., de la University of Auckland, Auckland, Nueva Zelanda; DeLuca, Christopher, en Queen’s University, Kingston, Canadá; Strijbos, Jan Willem, en Rijksuniversiteit Groningen, Groningen, Países Bajos; Ufer, Stefan, en Ludwig-Maximilians-Universität München, Munich, Alemania. Todos con tres artículos publicados.

Documentos por afiliación

Según la información entregada en el gráfico de la Figura 4, las instituciones declaradas por los autores con mayor cantidad de documentos científicos son: la Universidad de Valladolid, con 11; la Universidad de Groningen, con 7, y la Universidad Autónoma de Madrid, también con 7.

Producción científica según el país

Para identificar la producción científica según el país de afiliación de los autores, la Figura 5 presenta un cartograma en el cual el color azul intenso da cuenta de los países con mayor producción, versus los azules más degradados, que presentan menor investigación científica. De esta forma, España lidera esta posición con 72 documentos, seguida del Reino Unido (34) y EE. UU. (34), Países Bajos (28), Noruega (13), Chile (11), Canadá (9) y Nueva Zelanda (9), entre otros.

Gráfico de tres campos

Para establecer una relación entre los países, autores y universidades, se presenta el diagrama de Sankey (1898) de la Figura 6, en el que se observa que Países Bajos es el más productor, con un primer autor en más de una investigación, siendo Ufer y Cabus los principales exponentes; asimismo, las universidades con más afiliaciones son la de Valladolid y Maastricht (campo medio en números de elementos, 26, en zonas izquierda, central y derecha).

Documentos por área de estudio

Como se ve en la Figura 7, el orden de los 308 documentos según su cantidad en las respectivas áreas de conocimiento es el siguiente: Ciencias sociales (280), Psicología (42), Artes y Humanidades (30), Ciencias y Computación (28), Salud profesional (18), Multidisciplinarios (6), Enfermería (4), Ciencias de la decisión.

Fuentes de patrocinio

En relación con la producción por patrocinadores de financiación (Figura 8), la Organización Holandesa para la Investigación Científica es la institución que se presenta como la mayor patrocinante, con 5 artículos, y la Comisión Europea con 3, al igual que el Instituto de Ciencias de Educación, la Fundación Nacional de Ciencias y el Departamento de Educación de EE. UU.

Agrupación de fuentes por medio de la ley de Bradford

La ley de Bradford (1934) nos proporciona una descripción de la relación cuantitativa entre las revistas y los artículos científicos contenidos en una bibliografía. En este estudio se manifiesta que la producción de artículos en las revistas posee una distribución altamente desigual, ya que la mayoría de estos se concentra en una pequeña población de revistas, mientras que una pequeña proporción de artículos se dispersa sobre una alta cantidad de revistas. En este sentido, y de acuerdo con el gráfico de la Figura 9, encontramos las revistas: Frontiers in Education (11), BMC Medical Education (10) y Estudios Pedagógicos (8) como las principales agrupaciones o publicaciones productoras.

La distribución de Bradford es útil para identificar las revistas emergentes, aquellas que son fundamentales para un tema porque producen la mayor parte del contenido.

Crecimiento de las fuentes a lo largo del tiempo

Los principales productores en esta línea temática se ven representados por las fuentes BMC Medical Education, Estudios Pedagógicos y Academic Medicine, donde se observan los mayores crecimientos a lo largo de los años de investigación, evidenciando una evolución creciente en el tiempo. La Figura 10 muestra el continuo crecimiento en el manejo de los tiempos de producción recurrentes en las investigaciones analizadas.

Producción de los autores a lo largo del tiempo

La Figura 11 proporciona una visión sobre el comportamiento de la producción de los investigadores a lo largo del tiempo; el disco o burbuja destaca los años de mayor impacto según el número de citas logrado y la línea representa su evolución temporal; un disco en un año determinado significa que el autor publicó al menos un documento en ese año; el tamaño del disco es proporcional al número de documentos del autor publicados en ese año; la intensidad del color es proporcional al total de citas por año del documento publicado en ese año. La mayoría de los artículos se han publicado desde el año 2012 en adelante. De acuerdo con la Figura 11, DeLuca, Strijbos y Ufer son los más representativos y con mayor número de citas, según los nodos observados.

Productividad del autor, a través de la ley de Lotka

Registra la relación cuantitativa entre autores y artículos que se han publicado en un determinado periodo de tiempo, permitiendo verificar que el mayor número de autores publican el menor número de documentos y, a su vez, el menor número de autores pública un mayor número de investigaciones. En esta investigación, y de acuerdo con la Tabla 2 y la Figura 12, encontramos 95 investigadores (autores y coautores) con participación en al menos 1 documento.

Tabla 2
Relación cuantitativa entre autores y artículos

Documentos escritos	N.º de autores	Proporción de autores
1	847	0.952
2	39	0.044
3	4	0.004

4.2. Indicadores de tendencia

Palabras clave utilizadas en resúmenes de artículos

De acuerdo con lo mostrado en la Figura 13, los principales conceptos utilizados en resúmenes de artículos seleccionados (“nube”) son: human, education, female y teacher; de esta forma, se logra generar un panorama de los temas presentados por los autores en las investigaciones estudiadas.

Palabras clave proporcionadas en las investigaciones en títulos. Mapa de superficie

En la Figura 14 se observa la distribución de las palabras clave declaradas por los autores en los artículos científicos. En ella vemos que la palabra clave más frecuente, dado que ocupa mayor superficie, es education (6%), seguida de human (6%), female (5%) y humans (5%). A su vez, en el gráfico de superficies es posible visualizar la frecuencia de diferentes conceptos considerados en esta investigación y que poseen una predominancia menor en cuanto a su utilización, pero que describen claramente nuestro eje central de estudio.

Red de co-ocurrencia

La Figura 15 muestra una red de co-ocurrencia entre diversas palabras clave utilizadas en las investigaciones. Se aprecian 2 grandes nodos y su relación con otros menores. Las que poseen mayor frecuencia son: humans, human y education; asimismo, es posible analizar la interacción de los nodos de menor recurrencia según los ejes temáticos de implicancia y lo aislado que se encuentran algunos conectores utilizados esporádicamente.

4.3. Indicadores de impacto

El índice h

El gráfico de la Figura 16 muestra y compara la productividad y el impacto del trabajo publicado por académicos. Se basa en el mayor número de artículos incluidos que han tenido al menos el mismo número de citas. El gráfico muestra una línea de 45 grados que modela una relación 1:1 entre publicar artículos y ser citado. El historial de publicaciones de un autor se muestra en este gráfico, comenzando con su publicación con las citas más altas hasta las más bajas. Se muestra de forma gráfica el índice h. Vemos en el gráfico el punto exacto donde el número de citaciones (eje Y) y el número de documentos (eje X) coinciden. El cruce señala el índice h, 25 en este caso, lo que indica que 25 documentos tienen al menos 25 citas. Entre los datos relevantes se muestra que un documento presenta el mayor número de citas, 237.

Citas promedio por año

Al analizar la media de citas que muestran los documentos en los últimos años, según la línea que marca la media de las citas de las investigaciones, los años 2014, 2015 y 2019 son los periodos con mayor impacto en el ámbito de la investigación. La Figura 17 muestra la línea media de citas y los años según su evolución.

Fuentes locales citadas

El gráfico de la Figura 18 muestra las revistas más citadas por los documentos considerados en este análisis, así como la cantidad de veces que se han incluido en estas publicaciones. Las revistas más citadas y que generan el mayor impacto en los autores a través de sus referencias utilizadas son Frontiers in Education (11), BMC Medical Education (10) y Estudios Pedagógicos (8).

5. Discusión y conclusiones

Usando la herramienta analítica proporcionada por Scopus y los mapas de conocimiento de co-ocurrencia generados por VOSviewer, este estudio de revisión analizó el desarrollo de investigaciones que tienen como objetivo el trabajo de observaciones por pares en aulas escolares en materiales publicados en la última década (2012-2021). Los hallazgos clave y las tendencias de investigación propuestas se resumen a continuación.

De acuerdo con los resultados de la investigación de la distribución anual, se encontraron dos etapas de desarrollo: el año 2018 como la inicial y de fuerte productividad, y el año 2021 como la de máximo desarrollo. Los conceptos de observación entre pares, evaluación formativa, evaluación docente, evaluación, retroalimentación, evaluación por pares, desarrollo profesional docente, fueron elementos clave de nuestra ecuación de búsqueda, permitiendo observar la popularidad de la temática en varios campos, particularmente en el área de investigación educativa; junto con ello, se pudieron conocer los diversos campos de investigación, jerarquías y clasificación según las áreas de estudio y nodos de trabajo entre investigadores. Por lo tanto, se espera que la tendencia de rápido desarrollo observada en este estudio continúe y se incremente, generando líneas de acción más robustas en la observación entre pares.

Una serie de análisis de mapeo de co-ocurrencia basados en conceptos utilizados en resúmenes de artículos arrojaron que entre los más recurrentes se encuentran humanidades, educación, femenino (género) y profesor, y permitieron visualizar los temas atractivos y principales al considerar la producción científica sobre el desarrollo de observaciones entre pares en aulas de centros educativos. De esta manera se puede establecer la preponderancia de elementos transversales a la observación en el aula y la implicancia de estos elementos con la temática de fondo, la cual busca establecer referentes importantes para mejorar la literatura y el marco teórico de un futuro trabajo investigativo. Los nodos resultantes del trabajo bibliométrico realizado nos hacen señalar la importancia de profundizar en un lenguaje en común, que tenga como propósito el trabajo colaborativo, asociativo y de profundas corrientes en pos del trabajo entre pares. Un dominio temático emergente para el desarrollo entre diversas palabras clave utilizadas en las investigaciones se aprecia al analizar dos grandes nodos y su relación con otros menores, entre los que destacan conceptos como: humans, human y education. Por lo tanto, aunque estos estudios cubren una amplia gama de temas relacionados con observaciones por pares en aulas escolares, los hallazgos de este trabajo bibliométrico revelaron que se necesita más investigación focalizada en las temáticas que recogimos en las palabras clave generadas para la ecuación inicial de búsqueda y en áreas como la investigación en educación infantil, educación secundaria y educación superior, el desarrollo de un material constructivo, de diálogo y de experiencias innovadoras, siendo conscientes del potencial de la educación y el desarrollo de otras habilidades (creatividad, colaboración, resolución de problemas). Para el contenido de la investigación sobre el desarrollo de observaciones por pares en aulas escolares, las áreas de estudio más intensas en producción son Ciencias Sociales (280), Psicología (42), Artes y Humanidades (30), Ciencias y Computación (28), resultados que se reflejan en los análisis contenidos una vez categorizados los documentos presentes en la base de datos Scopus. De acuerdo con los resultados obtenidos, se alienta a los investigadores a continuar con los temas de investigación actuales, enfocándose especialmente en la integración de los principios pedagógicos o las estrategias de enseñanza en la educación, así como en la formación docente.

Numerosos institutos de investigación e investigadores han contribuido al campo de la investigación de observaciones por pares en aulas escolares. Las prolíficas organizaciones de investigación incluyeron la Universidad de Valladolid con 11, la Universidad de Groningen con 7 y la Universidad Autónoma de Madrid con 7. El estudio identificó a 10 investigadores que pueden considerarse prominentes en la comunidad de investigación de observaciones por pares, y cada uno contribuyó con tres o más publicaciones. Sin embargo, se identificaron colaboraciones y asociaciones limitadas entre los investigadores y los institutos de investigación, surgiendo las colaboraciones en su mayoría entre investigadores de una misma organización. Por lo tanto, se debe alentar una mayor colaboración entre académicos con diferentes intereses de investigación o de diferentes disciplinas para enriquecer el estudio de las observaciones por pares en aulas escolares.

Al analizar el área geográfica en donde se produce el mayor número de trabajos investigados, Estados Unidos y Europa mantienen una clara predominancia en la productividad científica establecida en la base de datos Scopus, constatación que genera inquietud sobre las aportaciones en el ámbito académico que se desarrollan en América, Oceanía, África y Asia, continentes en los cuales se encuentra el mayor número de países en el subdesarrollo o en vías de conquistar avances en materia científica, lo cual marca con mayor fuerza las diferencias e inequidades en el acceso de las personas al conocimiento, la buena cultura y la puesta en práctica de los hallazgos investigativos en el área de estudio abordada.

Finalmente, considerando el lapso de los temas identificados en este estudio, es aconsejable incrementar las investigaciones sobre el uso de nuevas herramientas en el desarrollo de investigación de observaciones por pares en aulas escolares. Una futura investigación contemplaría diferentes parámetros y una revisión sistemática con los cuales obtener una mayor repercusión de los resultados, detalle y filtrado de investigaciones. En este sentido, el número de descargas y referencias actualizadas tendrían una repercusión mayor en el ámbito científico, quedando patentes gracias al número de citas por artículo que aportan las bases de datos y que, hasta el presente en el área profesional científica, se desconocen en esta área de investigación. En conclusión, esta investigación presenta un análisis actualizado de las investigaciones de observaciones por pares en aulas escolares en los documentos indexados en la base de datos Scopus. Así, se considera que una futura línea de investigación en metaanálisis podría considerar diversos ejes temáticos trasversales a las áreas de educación, con el objetivo de evidenciar un panorama más amplio para estas aplicaciones en contextos escolares.