Sistema de evaluación


Evaluaciones Latindex e información para solicitar evaluación
Evaluaciones UCR índex para revistas UCR
Requisitos para la evaluación UCR índex
Antigua evaluación UCR índex
Nueva evaluación UCR índex 5.0

UCR índex

El UCR índex es un índice que se creó en la Universidad de Costa Rica, con el objetivo de medir la calidad de las revistas académicas que publica la institución.

Historia

Para elaborar la primera versión del índice, además del conocimiento sobre la realidad de las revistas costarricenses, se tomó en cuenta cinco indicadores, los cuales fueron extraídos de la literatura existente en el campo de la comunicación científica: Publindex-Colombia, el Índice de Revistas Mexicanas, el Núcleo Básico de Revistas ArgentinasQualis de Brasil y DICE de España.

En adición a estos elementos, la información fue complementada con la aplicación de una ENCUESTA  a las personas editoras de 40 revistas de la Universidad  (con 32 respuestas obtenidas), que mostraron su situación actual relacionada con los recursos humanos, materiales, financieros y las características de gestión editorial. Los datos recopilados fueron confrontados con información facilitada por el grupo de personas editoras en una autoevaluación aplicada en diciembre 2011. 

Adicionalmente, desde el 2010 se han recolectado algunos indicadores de las revistas, lo que  ha permitido dar seguimiento a su situación. Estos datos se han actualizado con las evaluaciones aplicadas año a año, lo que nos permite obtener datos para la mejora continua en la gestión de las revistas institucionales, y además, establecer la hoja de ruta de las capacitaciones técnicas anuales para las personas editoras.

Por último, con el objetivo de actualizar los indicadores que conformaban el índice, se desarrollan reuniones con las personas editoras de revistas y las autoridades de la Vicerrectoría de Investigación, desde el año 2011 hasta la actualidad.

El UCR índex se encuentra en su quinta versión (2017), y se ha adecuado a las nuevas necesidades y tendencias de las revistas, que ahora optan por la publicación en línea. En relación con su versión anterior, se eliminaron las divisiones por cuartiles para la clasificación por notas. De esta manera,  se evalúa y muestra el rendimiento histórico de cada revista por constructo (3: visibilidad, gestión y contenido) y en cada uno de los indicadores

UCR índex Versión 5.0

Esta versión del UCR índex responde a las nuevas necesidades dirigidas a las revistas de la Universidad de Costa Rica. En esta versión se profundiza en la medición de la calidad en aspectos de rigurosidad, sistematicidad, originalidad y posibilidad de comprobación del contenido publicado. Esta clasificación pretende hacer una radiografía sobre la calidad de las publicaciones y funcionar como un criterio, para que las autoridades competentes puedan tomar las decisiones y hacer análisis sobre la situación de las revistas.

Los resultados de la evaluación son actualizados una vez al año, luego de la evaluación de las revistas con el sistema Latindex, en el mes de noviembre. Las evaluaciones UCR índex son exclusivas y obligatorias para las revistas oficiales de la Universidad de Costa Rica.

Personas editoras de revistas científicas de la UCR, durante la presentación de la quinta versión del UCR índex, 6 de marzo de 2017

Requisitos de evaluación

Los criterios previos para poder participar en la evaluación de las revistas son:

  1. Solamente participarán revistas editadas por la Universidad de Costa Rica y que son oficiales, según acuerdo de la comisión editorial del SIEDIN.

  2. Solamente participarán revistas que se encuentren en el catálogo Latindex.

  3. Solamente se evaluará en formato electrónico por medio del Portal de Revistas de la Universidad de Costa Rica.

  4. La revista debe tener un ISSN electrónico

Además, en el momento de la evaluación, debe haber publicado un número más reciente al último evaluado.

Nota importante: El 30 de junio es la fecha límite para el envío de todas las evidencias necesarias para el proceso de evaluación. 

Si desea realizar una apelación, cuenta con 5 días a partir de la recepción del resultado.

Indicadores UCR índex Versión 5.0

Si desea conocer los antiguos indicadores (válidos hasta 2016), presione aquí.

Estos contenidos son basados en tres grandes constructos que se subdividen en un listado específico de indicadores. A continuación puede consultar este listado:

Nuevos indicadores UCR índex

Mención de los meses de publicación
  • La revista debe mencionar en la tabla de contenidos los meses que comprende el fascículo.
Cumplimiento de la periodicidad
  • La revista debe publicar cada fascículo el primer mes que corresponda con su periodicidad; una publicación posterior al mes indicado no dará por cumplido el criterio. Una revista con periodicidad irregular no cumple este criterio.
Cantidad de artículos publicados
  • La revista debe publicar al menos 15 artículos al año, que serán contabilizados para el año inmediato anterior al periodo de evaluación. No se tomará en cuenta las notas técnicas, reseñas, estudios de caso, ensayos, obituarios, notas y cualquier otra tipología documental diferente al artículo.
Cuerpo editorial internacional
  • De la totalidad de miembros del Cuerpo Editorial un 66,7% deben tener afiliación institucional diferente al país de origen de la publicación. Para aquellos miembros que no cuenten con afiliación completa, que incluya nombre completo de la institución y país, se tomarán como nacionales.
Evaluadores externos
  • El 80% de los artículos publicados en el fascículo en evaluación, deben tener evaluadores externos a la institución editora. Si un artículo incluye más de un evaluador, se decidirá si el artículo es externo por mayoría simple, si no hay mayoría será considerado como interno.
Diversidad de idioma
  • Toda la información incluida en la página de inicio de la revista debe estar al menos en dos idiomas. Asimismo, el título, resumen y palabras clave de todos los documentos estarán al menos en dos idiomas, y uno de ellos debe ser inglés, tanto en sus textos completos como en sus metadatos.
Autores internacionales
  • Un 50% de los documentos publicados deben proceder de autores extranjeros.
  • Artículos en coautoría entre extranjeros y nacionales son tomados en cuenta como artículos internacionales. Artículos con coautoría únicamente nacional no cumplen el criterio. Este criterio aplica a todos los tipos de documentos publicados por la revista, y aplica para el año anterior inmediato.
Índices selectivos rigurosos
  • Sistemas de información en que se incluye la revista, que aplican criterios de selección claros, y son aprobados por un comité científico. Ver lista oficial.
  • Si tiene 2 o más = 1, si tiene 0 o 1 = 0 (de acuerdo al percentil 75 de la cantidad de índices en el año de las revistas evaluadas)
Índices medianamente rigurosos
  • Sistemas de información en que se incluye la revista, y que aplican criterios de selección claros, y son aprobados por un comité interno. Ver lista oficial.
  • Si tiene 3 o más = 1, si tiene de 0 a 2 = 0 (de acuerdo al percentil 75 de la cantidad de índices en el año de las revistas evaluadas)
Índices poco rigurosos
  • Sistemas de información en que se incluye la revista, que únicamente aplican criterios de selección, sin comité de revisión. Ver lista oficial. Si tiene 4 o más=1, si tiene de 0 a 3=0, (de acuerdo al percentil 75 de la cantidad de índices en el año de las revistas evaluadas)
Índices no selectivos
  • La revista está incluida en índices, directorios y bases de datos que no realizan ningún proceso formal de selección para las revistas de su colección. Ver lista oficial.
  • Si tiene 3 o más=1, si tiene de 0 a 2=0 (de acuerdo al percentil 75 de cantidad de índices en el año de las revistas evaluadas)
Guía de evaluación para el arbitraje
  • La revista debe tener una guía o formulario de evaluación para los evaluadores de los artículos. Esta guía puede estar en su página oficial, o de ser privada; en este caso, debe ser enviada al equipo UCR índex antes del 30 de junio de cada año. *La Vicerrectoría conservará la información como privada y no será divulgada ni compartida.
Lista de evaluadores de la revista La revista debe suministrar la lista de evaluadores de cada fascículo. Dicha lista debe estar disponible al momento de la publicación, ya sea enviada al equipo UCR índex o ser incluída en la página oficial. La lista deberá seguir la siguiente estructura:
  • Datos del número: Título de la Revista, Volumen, número, año.
  • Título de los artículos;
  • Nombre de las personas revisoras de cada uno de los artículos;
  • Afiliación completa (nombre de la institución y país) de los revisores.
La lista debe estar ordenada por artículos. Procedimiento para la evaluación
  • La revista debe indicar claramente el procedimiento que utiliza para la evaluación de los artículos (doble ciego, ciego simple, arbitraje abierto u otro), y mencionar el tiempo estimado de duración de este proceso.
Exigencia de originalidad
  • Debe indicarse de forma explícita en el sitio web de la revista que se exige y considerarán solo artículos originales.
Uso y aplicación de una norma internacional para las citas y referencias
  • La revista debe indicar de forma explícita la norma internacional que utiliza para las citas y referencias, y debe cumplir fielmente los criterios que esta plantea. Las modificaciones a la norma hacen que se incumpla el criterio.
Código ético
  • La revista debe incluir en su sitio oficial el código ético que aplica. Este puede ser propio de la revista o de carácter externo. En caso de estar adscrita a códigos externos, se deberá brindar la información pertinente y se comprobará directamente con el ente emisor.
Sistema de detección de plagio.
  • La revista debe incluir en su sitio oficial el procedimiento de detección de plagio que utiliza, tomando en cuenta al menos estos aspectos: 1. Método y técnica de detección 2. Medidas que toman al confirmar detección del plagio.

Nuevo método UCR índex

Por medio de estos indicadores se ha construido la siguiente fórmula que mostrará la nota final de cada revista. A continuación, se muestra la fórmula y los indicadores que la componen:

Fórmula para el cálculo, UCR índex 5.0

Notación de la fórmula

Notación

g:

Gestión Editorial

MMP:

Mención de los meses de publicación según la  periodicidad de la revista:

CAP:

Cantidad de artículos publicados

CP:

Cumplimiento de la periodicidad

CEI:

Comité editorial internacional

EE:

Evaluadores externos

DI:

Diversidad de idioma

v:

Visibilidad

AI:

Autores internacionales

ISR:

Índices selectivos rigurosos

IMR:

Índices medianamente rigurosos

IPR:

Índices poco rigurosos

INS:

Índices no selectivos

c:

Contenido

GEA:

Guía de evaluación para el arbitraje

LER:

Lista de evaluadores de la revista

PE:

Procedimiento para la evaluación

EO:

Exigencia de originalidad

UAN:

Uso y aplicación de una norma internacional para referencias bibliográficas

CE:

Código ético

SDP:

Sistema de detección de plagio.

Evaluación 2018
Indicador y reactivo Ponderación 
Gestión Editorial 1/3
Mención de los meses de publicación según la periodicidad de la revista: 0,110
Cantidad de artículos publicados 0,110
Cumplimiento de la periodicidad 0,265
Comité editorial internacional 0,140
Evaluadores externos 0,265
Diversidad de idioma 0,110
Visibilidad 1/3
Autores internacionales 0,130
Índices selectivos rigurosos 0,600
Índices medianamente rigurosos 0,130
Índices poco rigurosos 0,070
Índices no selectivos 0,070
Contenido 1/3
Guía de evaluación para el arbitraje 0,170
Lista de evaluadores de la revista 0,075
Procedimiento para la evaluación 0,170
Exigencia de originalidad 0,170
Uso y aplicación de una norma internacional para referencias bibliográficas 0,075
Código ético 0,170
Sistema de detección de plagio. 0,170