Sistema de evaluación

Evaluaciones Latindex e información para solicitar evaluación
Evaluaciones UCR índex para revistas UCR
Requisitos para la evaluación UCR índex
Antigua evaluación UCR índex
Nueva evaluación UCR índex 5.0

UCR índex

El UCR índex es un índice que se creó en la Universidad de Costa Rica, con el objetivo de medir la calidad de las revistas académicas que publica la institución.

Historia

Para elaborar la primera versión del índice, además del conocimiento sobre la realidad de las revistas costarricenses, se tomó en cuenta cinco indicadores, los cuales fueron extraídos de la literatura existente en el campo de la comunicación científica: Publindex-Colombia, el Índice de Revistas Mexicanas, el Núcleo Básico de Revistas Argentinas, Qualis de Brasil y DICE de España.

En adición a estos elementos, la información fue complementada con la aplicación de una ENCUESTA  a las personas editoras de 40 revistas de la Universidad  (con 32 respuestas obtenidas), que mostraron su situación actual relacionada con los recursos humanos, materiales, financieros y las características de gestión editorial. Los datos recopilados fueron confrontados con información facilitada por el grupo de personas editoras en una autoevaluación aplicada en diciembre 2011. 

Adicionalmente, desde el 2010 se han recolectado algunos indicadores de las revistas, lo que  ha permitido dar seguimiento a su situación. Estos datos se han actualizado con las evaluaciones aplicadas año a año, lo que nos permite obtener datos para la mejora continua en la gestión de las revistas institucionales, y además, establecer la hoja de ruta de las capacitaciones técnicas anuales para las personas editoras.

Por último, con el objetivo de actualizar los indicadores que conformaban el índice, se desarrollan reuniones con las personas editoras de revistas y las autoridades de la Vicerrectoría de Investigación, desde el año 2011 hasta la actualidad.

El UCR índex se encuentra en su quinta versión (2017), y se ha adecuado a las nuevas necesidades y tendencias de las revistas, que ahora optan por la publicación en línea. En relación con su versión anterior, se eliminaron las divisiones por cuartiles para la clasificación por notas. De esta manera,  se evalúa y muestra el rendimiento histórico de cada revista por constructo (3: visibilidad, gestión y contenido) y en cada uno de los indicadores. 

UCR índex Versión 5.0

Esta versión del UCR índex responde a las nuevas necesidades dirigidas a las revistas de la Universidad de Costa Rica. En esta versión se profundiza en la medición de la calidad en aspectos de rigurosidad, sistematicidad, originalidad y posibilidad de comprobación del contenido publicado. Esta clasificación pretende hacer una radiografía sobre la calidad de las publicaciones y funcionar como un criterio, para que las autoridades competentes puedan tomar las decisiones y hacer análisis sobre la situación de las revistas.

Los resultados de la evaluación son actualizados una vez al año, luego de la evaluación de las revistas con el sistema Latindex, en el mes de noviembre. Las evaluaciones UCR índex son exclusivas y obligatorias para las revistas oficiales de la Universidad de Costa Rica.

Personas editoras de revistas científicas de la UCR, durante la presentación de la quinta versión del UCR índex, 6 de marzo de 2017

Requisitos de evaluación

Los criterios previos para poder participar en la evaluación de las revistas son:

  1. Solamente participarán revistas editadas por la Universidad de Costa Rica y que son oficiales, según acuerdo de la comisión editorial del SIEDIN.

  2. Solamente participarán revistas que se encuentren en el catálogo Latindex.

  3. Solamente se evaluará en formato electrónico por medio del Portal de Revistas de la Universidad de Costa Rica.

  4. La revista debe tener un ISSN electrónico. 

  5. Para la revisión de los criterios a evaluar, la evidencia debe estar completa en todos los idiomas disponibles en la página web de la revista (si un criterio no cuenta con la información en esos idiomas disponibles, no se otorgará el punto). 

  6. En el momento de la evaluación, la revista debe haber publicado un número más reciente al último evaluado el año anterior.

Fechas importantes:  https://ucrindex.ucr.ac.cr/fechas-importantes-evaluacion/

Si desea realizar una apelación, cuenta con 5 días a partir de la recepción del resultado.

Indicadores UCR índex Versión 5.0

Si desea conocer los antiguos indicadores (válidos hasta 2016), presione aquí.

Estos contenidos son basados en tres grandes constructos que se subdividen en un listado específico de indicadores. A continuación puede consultar este listado:

Nuevos indicadores UCR índex

Mención de los meses de publicación
  • La revista debe indicar en la tabla de contenidos los meses que comprende el fascículo, y además, si se estableció el modelo de publicación continua, debe indicarse si se trata de un número abierto.
Cumplimiento de la periodicidad
  • La revista debe publicar cada fascículo el primer mes que corresponda con su periodicidad; una publicación posterior al mes indicado no dará por cumplido el criterio. Una revista con periodicidad irregular no cumple este criterio.
Cantidad de documentos arbitrados publicados
  • Se contabilizarán los documentos correspondientes al año inmediato anterior, según las siguientes características: los tipos documentales que se considerarán son artículo, ensayo, nota técnica, caso clínico, revisión. Todos los tipos documentales deberán ser producto de trabajo académico y de investigación original y revisados por pares. Esto debe estar descrito detalladamente en la página web.
  • El conteo de documentos de cada revista se realizará según la lista establecida por área disciplinar:
    1. Grupo A: Agroalimentarias, Biología, Salud. Mínimo 20 documentos al año.
    2. Grupo B: Ingeniería, Matemática, Geología, Física, Arquitectura, Humanidades, Letras, Artes, Lingüística y Ciencias Sociales. Mínimo 15 documentos al año.

*Nota: Este conteo por área disciplinar iniciará aplicación en la evaluación 2022-2023.

Cuerpo editorial internacional
  • De la totalidad de miembros del Cuerpo Editorial un 66,7% deben tener afiliación institucional diferente al país de origen de la publicación. Los miembros que no cuenten con afiliación completa, que incluya nombre completo de la institución y país, se tomarán como nacionales.
Evaluadores externos
  • El 80% de los artículos publicados en el fascículo en evaluación, deben tener evaluadores externos a la institución editora. Si un artículo incluye más de un evaluador, se decidirá si el artículo es externo por mayoría simple, si no hay mayoría será considerado como interno.
Diversidad de idioma
  • Toda la información incluida en la página de inicio de la revista debe estar al menos en dos idiomas. Asimismo, el título, resumen y palabras clave de todos los documentos publicados en la página web, estarán al menos en dos idiomas, y uno de ellos debe ser inglés, tanto en sus textos completos como en sus metadatos.
Documentos publicados con autoría internacional
  • Un 50% de los documentos publicados deben proceder de personas autoras extranjeras.
  • Documentos en coautoría entre extranjeros y nacionales son tomados en cuenta como artículos internacionales. Documentos con coautoría únicamente nacional no cumplen el criterio. Este criterio aplica para el año anterior inmediato y para todos los tipos de documentos publicados por la revista.
Índices selectivos rigurosos
  • Sistemas de información en que se incluye la revista, que aplican criterios de selección claros, y son aprobados por un comité científico. Ver lista oficial.
  • Si tiene 2 o más = 1, si tiene 0 o 1 = 0 (de acuerdo al percentil 75 de la cantidad de índices en el año de las revistas evaluadas)
Índices medianamente rigurosos
  • Sistemas de información en que se incluye la revista, y que aplican criterios de selección claros, y son aprobados por un comité interno. Ver lista oficial.
  • Si tiene 3 o más = 1, si tiene de 0 a 2 = 0 (de acuerdo al percentil 75 de la cantidad de índices en el año de las revistas evaluadas)
Índices poco rigurosos
  • Sistemas de información en que se incluye la revista, que únicamente aplican criterios de selección, sin comité de revisión. Ver lista oficial. Si tiene 4 o más=1, si tiene de 0 a 3=0, (de acuerdo al percentil 75 de la cantidad de índices en el año de las revistas evaluadas)
Índices no selectivos
  • La revista está incluida en índices, directorios y bases de datos que no realizan ningún proceso formal de selección para las revistas de su colección. Ver lista oficial.
  • Si tiene 3 o más=1, si tiene de 0 a 2=0 (de acuerdo al percentil 75 de cantidad de índices en el año de las revistas evaluadas)
Guía de evaluación para el arbitraje
  • La revista debe tener una guía o formulario de evaluación para las personas evaluadoras de los artículos. Esta guía puede estar en su página oficial, o ser privada; en este caso, debe ser enviada junto con el formulario de solicitud de evaluación o de manera previa al equipo UCR índex. La Vicerrectoría conservará la información como privada y no será divulgada ni compartida.
Lista de personas evaluadoras de la revista
  • Las personas encargadas de la revista deben suministrar una lista de personas evaluadoras cada vez que se publique un nuevo fascículo de la revista. Según su tipo de publicación practicada, estas listas deberán ser enviadas al equipo UCR índex una vez finalizado cada fascículo, adjuntadas con el formulario de evaluación o publicadas en su página oficial. Además, cada lista deberá tener el mismo orden de los documentos presentados en la tabla de contenidos del fascículo y tendrá la siguiente estructura:
      • Datos del número: Título de la revista, volumen, número, año.
      • Título exacto de los artículos.
      • Nombre y afiliación completa (nombre de la institución y país) de las personas revisoras de cada uno de los artículos. En el caso de revistas con acuerdos rígidos de confidencialidad, cada una de las listas puede presentarse sin nombres de las personas, pero con sus afiliaciones completas.
    *Nota: El nombre de la persona evaluadora puede ser anonimizado o seudonimizado.
Procedimiento para la evaluación de documentos
  • La revista debe indicar claramente el procedimiento para la evaluación de los documentos (revisión preliminar por persona editora, Comité Editorial, control de plagio…), así como la metodología de evaluación (tipo de arbitraje: doble ciego, ciego simple, abierto u otro). Debe indicarse la duración total del proceso de evaluación de los documentos, desde su recepción hasta la aceptación.
Exigencia de originalidad
  • Debe indicarse de forma explícita en el sitio web de la revista que se exige y se considerará solo artículos originales.
Uso y aplicación de una norma internacional para las citas y referencias
  • La revista debe indicar de forma explícita la norma internacional que utiliza para las citas y referencias, y debe cumplir fielmente los criterios que ésta plantea. Asimismo, se verificará su aplicación en los documentos publicados. Las modificaciones a esta norma resultan en incumplimiento del criterio.
Código ético
  • La revista debe incluir en su sitio oficial el código ético que aplica. Este puede ser propio de la revista o de carácter externo. En caso de estar adscrita a códigos externos, se deberá brindar la información pertinente y se comprobará directamente con el ente emisor. Se debe señalar las prácticas no aceptadas y las medidas que implica infringir dicho código.
Sistema de detección de plagio.
  • La revista debe incluir en su sitio oficial, el procedimiento de detección de plagio que utiliza, y considerará al menos estos aspectos: 1. Método y técnica de detección 2. Medidas que toman al confirmar plagio.

Nuevo método UCR índex

Por medio de estos indicadores se ha construido la siguiente fórmula que mostrará la nota final de cada revista. A continuación, se muestra la fórmula y los indicadores que la componen:

Fórmula para el cálculo, UCR índex 5.0

Notación de la fórmula

Notación
g:

Gestión Editorial

MMP:

Mención de los meses de publicación según la  periodicidad de la revista:

CAP:

Cantidad de artículos publicados

CP:

Cumplimiento de la periodicidad

CEI:

Comité editorial internacional

EE:

Evaluadores externos

DI:

Diversidad de idioma
v:

Visibilidad

AI:

Autores internacionales

ISR:

Índices selectivos rigurosos

IMR:

Índices medianamente rigurosos

IPR:

Índices poco rigurosos

INS:

Índices no selectivos
c:

Contenido

GEA:

Guía de evaluación para el arbitraje

LER:

Lista de evaluadores de la revista

PE:

Procedimiento para la evaluación

EO:

Exigencia de originalidad

UAN:

Uso y aplicación de una norma internacional para referencias bibliográficas

CE:

Código ético

SDP:

Sistema de detección de plagio.
Evaluación 2018
Indicador y reactivo Ponderación 
Gestión Editorial 1/3
Mención de los meses de publicación según la periodicidad de la revista: 0,110
Cantidad de artículos publicados 0,110
Cumplimiento de la periodicidad 0,265
Comité editorial internacional 0,140
Evaluadores externos 0,265
Diversidad de idioma 0,110
Visibilidad 1/3
Autores internacionales 0,130
Índices selectivos rigurosos 0,600
Índices medianamente rigurosos 0,130
Índices poco rigurosos 0,070
Índices no selectivos 0,070
Contenido 1/3
Guía de evaluación para el arbitraje 0,170
Lista de evaluadores de la revista 0,075
Procedimiento para la evaluación 0,170
Exigencia de originalidad 0,170
Uso y aplicación de una norma internacional para referencias bibliográficas 0,075
Código ético 0,170
Sistema de detección de plagio. 0,170