Criterios de evaluación Latindex, Catálogo 2.0

Objetivo

El objetivo de esta nueva lista de características es reforzar el papel pedagógico y didáctico que Latindex ha venido desempeñando con los editores desde la aparición del primer Catálogo en 2002. La actualización de la metodología resultaba necesaria para adaptarla a los nuevos procesos de comunicación científica que se están dando en el mundo a través de revistas disponibles en línea.

Con esta nueva metodología -y con en el reacomodo de características, especialmente las que han sido integradas al grupo de “obligatorias”-, se busca que los editores estén informados sobre las reglas que privarán en la conformación del Catálogo 2.0 en cada uno de los centros nacionales. En el diseño de esta nueva propuesta, se ha considerado el reto adicional que para Latindex representa aplicar un mismo modelo de calificación a revistas con diferentes objetivos (investigación, técnicas y de divulgación), de diferentes disciplinas, y en países que tienen también distintos grados de desarrollo económico, científico y social.

Cada una de las características que conforman el Catálogo 2.0 de Latindex se comprueba única y exclusivamente con la información visible y consultable en el sitio web institucional u oficial de cada revista; de esta manera también se estimula la observancia de normas y buenas prácticas editoriales en la gestión y diseño de las páginas web.

Se considera sitio web institucional el que está bajo la responsabilidad directa de la entidad editora de la revista. Se considera sitio web oficial aquel que, por encargo de la institución editora, es administrado por otras organizaciones o empresas para la gestión, edición y acceso completo a los contenidos de la revista. Los sitios web oficiales serán considerados para calificación únicamente cuando la revista no cuente, al momento de la calificación, con un sitio web institucional o éste no se encuentre actualizado. Tanto los sitios web institucionales, como los oficiales, podrán estar dedicados a una sola revista o ser parte de un portal integrado por varias revistas.

Con esta política, se busca impulsar la profesionalización de los equipos editoriales institucionales, para que las revistas no dependan de iniciativas externas para el acceso a sus contenidos y su difusión. Asimismo, se promueve la construcción de revistas digitales capaces de generar servicios y atender a sus usuarios con base en sus propias políticas. Esta situación da libertad a las instituciones responsables para integrar servicios de valor añadido de interés propio, facilidades para la interoperabilidad, mejorar su posicionamiento web, al publicar desde su propio dominio web, así como formar recursos humanos locales para dichas tareas.

Con esta propuesta se pretende darle al Catálogo una nueva categoría como referencia confiable de revistas de alta calidad académica, al mismo tiempo que funciona como un compendio de buenas prácticas editoriales para revistas disponibles en línea.

Plan de trabajo

A partir de octubre de 2018 comenzó a aplicarse la nueva metodología. Cada centro nacional ha iniciado el proceso de calificación de revistas en línea, siempre basados en la presente metodología. Los centros nacionales de acopio pueden calificar revistas a partir de listados preparados con antelación o bien, a petición de las personas editoras interesadas en que su revista sea calificada.

El lanzamiento del Catálogo 2.0 supone “empezar de cero”, por lo que el número de revistas que se muestre en el sitio web se irá incrementando conforme avance el trabajo en cada país participante. Sin embargo, los resultados obtenidos con el Catálogo 1.0 (2002-2017) seguirán consultables en el registro de cada revista, solamente como una referencia histórica.

Requisitos de postulación

1. Para ser calificadas, las revistas deberán tener dos años de antigüedad en su versión en línea.
2. Las revistas deberán tener un sitio web institucional u oficial dedicado, donde se hará la comprobación del cumplimiento de cada una de las características.
3. El sitio web de la revista debe permitir el acceso libre a todos los contenidos. Esto significa que la nueva lista de criterios no puede ser aplicada a revistas de acceso restringido, a menos que se abra un acceso para la calificación de Latindex.
4. No se calificarán revistas digitalizadas en un solo archivo PDF en el que se integren todos los documentos o artículos publicados (comúnmente denominado “de capa a capa”). Cada artículo publicado debe ser consultado de manera independiente.

Metodología de aplicación

1. La calificación no se aplicará a las versiones en línea disponibles en plataformas que agregan contenidos de revistas editadas en diferentes instituciones o países, como SciELO, Redalyc, Imbiomed, REDIB o similares, debido a que estas iniciativas aplican políticas de permanencia, por lo que el acceso a los contenidos de una revista no están asegurados a largo plazo.
2. Cada característica cumplida equivale a un punto. Para ingresar al Catálogo las revistas deben cumplir las siete características básicas obligatorias y al menos 23 de las restantes características para un mínimo de 30, lo que representa el 80% de cumplimiento.
3. La comprobación de las características se realiza sobre un solo fascículo, el más reciente, excepto para aquellas características en las que se considere necesario un mayor número de fascículos para comprobar su cumplimiento consistente.
4. Para disponer de información completa del proceso de calificación, se busca que todas las características sean corroboradas y calificadas. Sin embargo, un centro nacional puede decidir no completar la calificación si una revista falla una de las siete características obligatorias, en cuyo caso no se grabará la calificación en el sistema de ingreso de datos.
5. Todas las calificaciones son públicas: las aprobatorias y las no aprobatorias. Si un centro de acopio determina no hacer públicas las calificaciones reprobatorias, deberá utilizar un formulario para realizar calificaciones fuera de línea.
6. Cada centro nacional informará a las personas editoras sobre los procesos de recalificación o revisión en el Catálogo 2.0. Después de aplicar la nueva metodología a una revista, se recomienda que su recalificación se efectúe hasta un año después.

Catálogo 2.0

Listado de características

Descripción de las características

Total de características: 38

CARACTERÍSTICAS BÁSICAS

Total de características: 7, todas obligatorias

1. Responsables editoriales

La revista debe mencionar el nombre de la persona editora responsable científica y los nombres de las personas que conforman los cuerpos editoriales (comité editorial, consejo editorial, consejo de redacción u otras denominaciones). Los miembros de los cuerpos editoriales deberán aparecer listados por su nombre. Para calificar será indispensable que se cumpla con todos estos requerimientos y que la información sea visible en el sitio web.

Nota de aplicación: En todos los casos debe tener el nombre completo y mencionar quién es el responsable científico. 

2. Generación continua de contenidos  

La revista debe demostrar la generación ininterrumpida de nuevos contenidos durante los últimos dos años consecutivos, conforme la periodicidad declarada.

Nota de aplicación: Si la revista tiene menos de dos años de publicarse no calificará para el Catálogo Latindex. Si la revista presenta atrasos en la publicación del último año, debió publicar correctamente el año anterior con respecto a su periodicidad. Si la revista no publicó un nuevo fascículo desde su última calificación no podrá ser calificada de nuevo. Esta característica deberá ser corroborada en los tres últimos fascículos publicados  

Para que una nueva revista sea tomada en cuenta para evaluación, debe cumplir la siguiente cantidad de fascículos

1. si es mensual, se puede realizar la evaluación a partir del fascículo 25.
2. si es bimestral se puede realizar la evaluación a partir del fascículo 13.
3. si es trimestral, se puede realizar la evaluación a partir del fascículo 9.
4. si es cuatrimestral, se puede realizar la evaluación a partir del fascículo 7.
5. si es semestral o bianual, se puede realizar la evaluación a partir del fascículo 5.
6. si es anual, se puede realizar la evaluación a partir del fascículo 3 (a partir del tercer año de existencia)
7. si es bienal, se puede realizar la evaluación a partir del fascículo 3 (seis años después de la publicación del primer fascículo)

3. Identificación de la autoría 

Todos los documentos publicados en la revista deben estar firmados por las personas autoras o tener declaración de autoría institucional o indicar su origen.

4. Entidad editora de la revista

Deberá aportarse en lugar visible el nombre de la entidad o institución editora de la revista la cual deberá ser de toda solvencia académica, así como su dirección postal completa y de correo electrónico.

Nota de aplicación: La entidad editora es la institución que edita la revista, tomando en cuenta el más alto nivel de la afiliación, por ejemplo, una universidad (no sus facultades o institutos). Entiéndase solvencia académica como la certificación o grado académico del y los miembros de los cuerpos editoriales que demuestre su peso en el área de estudio, aplicando tanto a instituciones u organismos editores, como a personas que fungen como entidad editora. No se dará por cumplida esta característica cuando haya falta de información sobre la entidad editora, ya que se incurre en las malas prácticas típicas de las revistas denominadas espurias, depredadoras o fraudulentas.

5. Instrucciones para publicar

Estas instrucciones deben aparecer siempre en el sitio web de la revista.

6. Sistema de arbitraje

En la revista debe detallarse el procedimiento empleado para la selección de los artículos a publicar. El arbitraje deberá ser externo a la revista e indicar el tipo de revisión, se deberá incluir la instancia responsable de la decisión final.

Nota de aplicación: se verificará que se incluya cada uno de los pasos que deben cumplir los artículos para ser aceptados por la revista para su publicación, que recurran a personas evaluadoras externas, así como a la instancia que aprobará el artículo después de su evaluación. Se aceptará como arbitraje externo el realizado por comités o cuerpos editoriales asesores permanentes de la revista. No se considerará como arbitraje externo el realizado por el equipo interno de trabajo de la revista, es decir, el equipo técnico y las autoridades de la organización editora. El tipo de revisión aplicado podrá ser ciego (doble o simple), en línea o abierto (interactividad con los árbitros y lectores en general) u otros más que puedan surgir en el futuro.

7. ISSN

Las revistas en línea deben contar con su propio ISSN digital. No se da por cumplido si aparece únicamente el ISSN para la versión impresa de la revista.

CARACTERÍSTICAS DE PRESENTACIÓN

Total de características: 7

8. Navegación y funcionalidad en el acceso a contenidos  

Debe contar con sumarios, tablas de contenido o una estructura que permita el acceso a los artículos en un máximo de tres clics desde su página principal.

Nota de aplicación: los tres clics se empiezan a contar a partir de la página inicial del sitio web de la revista.

9. Acceso histórico al contenido  

La revista debe facilitar acceso a todos sus contenidos o al menos a los publicados durante los últimos cinco años.

Nota de aplicación: Si la revista tiene menos años, el acceso debe darse a los años de existencia. 

10. Mención de periodicidad  

La revista debe mencionar su periodicidad, el número de fascículos que editará al año o en su caso, la declaración de publicación continua. En todos los casos debe incluir las fechas que cubre.

“Las fechas que cubre” es el periodo que corresponde a cada fascículo publicado. Ejemplo: 2 (1) enero-julio 2015. Si es una revista anual es válido decir: Publica cada diciembre con una periodicidad anual. En el caso de que la revista adopte la modalidad de publicación continua, deberá declarar la fecha de publicación de cada artículo y los períodos de sus fascículos.

11. Membrete bibliográfico al inicio del artículo

La revista debe incluir el membrete bibliográfico al inicio o al final de la página inicial de cada artículo. El membrete debe contener al menos: título completo o abreviado de la revista, fecha que cubre y la numeración de la revista (volumen, número, parte o sus equivalentes).

Nota de aplicación: Si falta alguno de estos elementos no califica para este criterio. El membrete debe estar presente en todos los formatos de lectura. En revistas que incluyen una portada al artículo, si el membrete aparece solamente en dicha portada no se da por cumplido el criterio.

12. Afiliación institucional de los miembros de los cuerpos editoriales

La revista debe proporcionar los nombres completos de las instituciones a las que están adscritos los miembros de los diferentes cuerpos editoriales o en su caso declaración de trabajador independiente. No basta que se indique solamente el país

Nota de aplicación: En la mención de la afiliación de los miembros de los cuerpos editoriales es obligatorio el uso del nombre completo de la institución. Cada afiliación debe incluir el país de la institución. En caso de no contar con afiliación debe indicar “trabajador independiente”, “investigador independiente” o equivalente.

13. Afiliación de las personas autoras  

En cada documento deberá constar el nombre completo de la institución de trabajo de la persona autora, o en su caso, la declaración de persona trabajadora independiente.

Nota de aplicación: En la mención de la afiliación de las personas autoras es obligatorio el uso del nombre completo de la institución. Cada afiliación debe incluir ciudad y país de la institución. En caso de no contar con afiliación debe indicar “trabajador independiente”, “investigador independiente” o equivalente. Cada autor debe tener su afiliación institucional y debe ser fácil de reconocer en todos los casos. Si para algún autor no se puede reconocer su afiliación se perderá este criterio.

14. Fechas de recepción y aceptación de originales  

En los artículos (originales, de revisión y ensayos) deben constar las fechas de recepción y aceptación de originales. Califica solamente si indican ambas fechas.

CARACTERÍSTICAS DE GESTIÓN Y POLÍTICA EDITORIAL

Total de características: 8

15. Definición de la revista

En la página de la revista deberá mencionarse el objetivo, su cobertura temática y el público al que va dirigida.

Nota de aplicación: Si no se incluyen los tres elementos, el punto no se otorga.

16. Documentos con autoría externa

Al menos el 50% de los trabajos publicados deben provenir de autores externos a la entidad editora y a sus cuerpos editoriales. En el caso de las revistas editadas por asociaciones, se considerarán autores pertenecientes a la entidad editora los que forman parte de la directiva de la asociación o que figuran en el equipo editorial de la revista.

Nota de aplicación: Para contabilizar el porcentaje, se revisará en los artículos originales de investigación, en los artículos de revisión, artículos de opinión, ensayos y casos clínicos, sí existe al menos una “autoría externa” a la institución editora de la revista. Los miembros de los cuerpos editoriales serán considerados como internos, así como los autores adscritos a la entidad editora. Para considerar una autoría como externa, se tomará en cuenta el más alto nivel de la afiliación, por ejemplo, una universidad (no sus facultades o institutos). Esta característica deberá ser corroborada en los tres últimos fascículos publicados.

17. Apertura editorial

Al menos dos terceras partes de los miembros de los órganos editoriales colegiados (comités o consejos de la revista) deberán pertenecer a instituciones diferentes a la entidad editora.

Nota de aplicación: Para efectuar el cálculo se considerarán todos los órganos editoriales colegiados (comité o consejo editorial, comité científico o internacional, consejo asesor o equivalentes) así como las personas con cargos de responsabilidad (persona directora, editora o coordinadora) aunque la revista no los incluya en los comités. Si la revista no menciona claramente las afiliaciones instituciones de los miembros, se perderá este criterio. La entidad editora es la institución que edita la revista según el criterio 4. Para considerar a un miembro como externo, se tomará en cuenta el más alto nivel de la afiliación, por ejemplo, una universidad (no sus facultades o institutos).

18. Servicios de información  

La revista debe estar incluida en algún servicio de índices y resúmenes, directorios, catálogos, portales de revistas, hemerotecas virtuales, sistemas de categorización o listas del núcleo básico de revistas nacionales, entre otros servicios de información, que sean selectivos.

Nota de aplicación: La revista debe mencionar en qué servicios de indexación está incluida y como mínimo debe estar en un servicio selectivo de indexación, que no sea Latindex. Si la revista menciona un índice en el que no está indexada, perderá este punto. La persona documentalista debe corroborar cada servicio listado. Los índices contenidos en https://beallslist.net/misleading-metrics/ no serán considerados para dar por cumplida esta característica.  

19. Cumplimiento de periodicidad  

La revista debe ser publicada al inicio del periodo declarado. Para las publicaciones con periodicidades trimestral, cuatrimestral y semestral deberán hacerlo dentro del primer mes. En revistas de publicación continua, se dará por cumplida la característica cuando la revista haya publicado, dentro de su periodicidad declarada, al menos un artículo al momento de la calificación.

Nota de aplicación: El inicio del periodo declarado depende de las fechas que cubre el fascículo. Si la revista es anual y declara que la fecha de publicación es diciembre, entonces deberá publicarse a inicios del mes de diciembre. El documentalista verificará que la revista publicó en los tiempos que correspondía y la cantidad de fascículos según el criterio 10. No cumplirá la característica cuando se integren en un solo volumen, números atrasados que no fueron publicados cuando correspondía. Ejemplo: “vol. 53 Núm. 1 y 2 año: 2015”. Los números extraordinarios o especiales no serán evaluados. Esta característica deberá ser corroborada en los tres últimos fascículos publicados.

20. Políticas de acceso y reuso

La revista debe informar con claridad cuáles son las políticas de derechos de autor que establece respecto al acceso a sus archivos; cuáles derechos conservan y cuáles ceden a las personas autoras y lectoras.

Nota de aplicación: Se debe especificar la forma en que la revista permite a lectores y autores reutilizar la información que contiene. Por ejemplo uso de licencias Creative Commons que establecen los permisos sobre los materiales.

21. Código de ética

La revista debe informar y describir las normas o códigos de ética que utiliza, los cuales pueden ser internacionales, institucionales o propios.

Nota de aplicación: Pueden ser los establecidos por el Committee on Publication Ethics (Code of Conduct and Best Practices Guidelines for Journals Editors, COPE), por el International Committee of Medical Journal Editors (ICJME) o algún otro. En el caso de revistas que mencionen adhesión a alguno de estos sistemas, se deberá corroborar su pertenencia a dicha organización para darlo por cumplido.

22. Detección de plagio

La revista debe manifestar cuáles son las políticas para la detección de plagio.

Nota de aplicación: No es indispensable que utilicen un software para la detección de plagio, simplemente deben declarar cómo la realizan.

CARACTERÍSTICAS DE CONTENIDO

Total de características: 8   

23. Contenido original

Al menos el 40% de los documentos publicados deben ser trabajos de investigación, comunicación científica o creación originales: artículos originales de investigación, artículos de revisión, artículos de opinión, ensayos y casos clínicos.

Nota de aplicación: Si la revista no hace uso de secciones o categorías que faciliten calificar esta característica, entonces quedará a criterio de la persona que realice la calificación.

24. Referencias bibliográficas adoptando una norma

En las instrucciones para publicar deberán indicarse las normas de elaboración de las referencias bibliográficas adoptando una norma internacional ampliamente aceptada (APA, Harvard, ISO, Vancouver u alguna otra, sin variaciones).

Nota de aplicación: Si la revista utiliza una norma “propia”, señalando ejemplos en lugar de citar una norma internacional, no se dará por cumplido este criterio.

25. Exigencia de originalidad

En la presentación de la revista o en las instrucciones para publicar debe ser explícita la exigencia de originalidad para los trabajos sometidos a publicación.

26. Resumen

Todos los artículos originales, de revisión y ensayos deberán ser acompañados de un resumen en el idioma original del trabajo.

Nota de aplicación: Se revisarán todos los artículos originales, de revisión y ensayos, y sí a uno o más le falta el resumen, se pierde el criterio. En el caso de otros documentos como casos clínicos, informes técnicos o comunicaciones cortas no será obligatorio que cuenten con resúmenes. Lo mismo aplica para la característica 27.

27. Resumen en dos idiomas  

Todos los artículos originales, de revisión y ensayos deben incluir resúmenes en el idioma original del trabajo y en un segundo idioma.

28. Palabras clave

Todos los artículos originales, de revisión y ensayos deben incluir palabras clave o equivalente en el idioma original del trabajo.

Nota de aplicación: Se revisarán todos los artículos originales, de revisión y ensayos, y si a uno o más le faltan palabras clave, se pierde el criterio. El caso de otros documentos como casos clínicos, informes técnicos o comunicaciones cortas no es obligatorio que cuenten con palabras clave. Lo mismo aplica para la característica 29.

29. Palabras clave en dos idiomas  

Todos los artículos originales, de revisión y ensayos deben incluir palabras clave o equivalentes en el idioma original del trabajo y en un segundo idioma.

30. Cantidad de artículos publicados por año

La revista debe publicar al menos cinco artículos originales, de revisión o ensayos por año.

Nota de aplicación: Si la revista no usa secciones o categorías que faciliten la identificación de los artículos originales o de revisión, la calificación queda a criterio de la persona documentalista. Esta característica deberá ser corroborada con el número de fascículos que sean necesarios según la periodicidad de la revista a ser calificada. 

CARACTERÍSTICAS DE REVISTAS EN LÍNEA

Total de características: 8

31. Uso de protocolos de interoperabilidad

La revista debe incorporar protocolos de interoperabilidad que le permitan ser recolectada por otros sistemas de distribución. Debe indicar qué protocolo de interoperabilidad utiliza y la dirección electrónica para acceder. Asimismo, deberá incluir metaetiquetas tanto en la página de presentación como en los artículos.

Nota de aplicación: El protocolo OAI-PMH (Open Archives Initiative Protocol for Metadata Harvesting) permite la transferencia de recursos digitales, principalmente de carácter científico y de acceso libre. Se debe verificar que cada artículo esté descrito con metaetiquetas Dublín Core u otra norma. Es obligatorio el uso de una norma de metaetiquetas.

32. Uso de diferentes formatos de edición  

Para calificar, la revista debe usar más de un formato de edición para el despliegue y lectura de los textos completos de los documentos publicados.

Nota de aplicación: La revista puede elegir los formatos de su preferencia según el público lector. Cada documento debe tener más de un formato. Se busca ampliar el uso del PDF, el uso de HTML y otros formatos que faciliten el hipertexto y la lectura.

33. Servicios de valor agregado  

Para calificar, la revista debe incluir servicios agregados como multimedia (video, sonido); publicación continua (artículo por artículo); acceso a datos crudos (estadísticas y anexos); facilidades para que personas con diferentes discapacidades puedan acceder al contenido de la revista, indicaciones sobre cómo citar los artículos, adopción de prácticas de ciencia abierta, entre otros.

Nota de aplicación: Con solo que utilice uno de ellos, la característica se dará por cumplida. La interactividad con los lectores se contempla en el criterio 34.

34. Servicios de interactividad con la persona lectora

La revista debe incluir servicios que faciliten la interactividad con las personas lectoras tales como los servicios de alerta; participación en redes sociales académicas; espacios para comentarios; uso de foros para discusión del contenido, widgets y blogs, entre otros.

Nota de aplicación: a diferencia de la característica 33, en esta sí se presenta interactividad con los lectores, donde la persona lectora sí puede participar al dejar comentarios, participar en encuestas u opinar sobre artículos o la publicación. Con solo que utilice uno de ellos, la característica se dará por cumplida. Las redes sociales académicas a considerar son del tipo ResearchGate, Mendeley o Academia.edu. Con solo que utilice uno de ellos, la característica se dará por cumplida.

35. Buscadores  

La revista debe contar con algún motor de búsqueda que permita realizar búsquedas por palabras o por índices, así como la posibilidad de utilizar operadores booleanos, entre otros.

Nota de aplicación: Los buscadores pueden ser tipo Google, de construcción propia, de OJS, y otros más. El fin del criterio es que los documentos puedan ser localizables por lo que se verificará que el buscador funcione adecuadamente.

36. Uso de identificadores uniformes de recursos

Todos los artículos publicados deben utilizar identificadores uniformes de recursos (URI) por ejemplo, identificadores como Handle, Digital Object Identifier (DOI) o Archival Resource Key (ARK).

Nota de aplicación: Se comprobará que los enlaces estén activos para otorgar el punto.

37. Uso de estadísticas

La revista debe proporcionar herramientas relacionadas con el uso de estadísticas de su propia página.

Nota de aplicación: Se trata de herramientas tales como Altmetría, Google Cites, descargas, CiteULike, retuit, o estadísticas más simples. Pueden ser estadísticas por artículo (ALM) o generales de la revista.

38. Políticas de preservación digital

La revista debe informar sobre las políticas de preservación de archivos digitales que ha implementado.

Nota de aplicación: Para calificar la revista debe detallar sus propias políticas de preservación. No es suficiente con que estampe el logo de LOCKSS o CLOCKSS, que disponga de un enlace a dichos sistemas o que muestre el texto por defecto que usa el gestor OJS.

Anexo 1
Características del Catálogo 1.0 que se fusionaron en el Catálogo 2.0

CRÉDITOS

Grupo de trabajo para la redacción de la nueva metodología:

Teresa Abejón Peña,
Consejo Superior de Investigaciones Científicas, España

José Octavio Alonso Gamboa,
Universidad Nacional Autónoma de México

Saray Córdoba González,
Universidad de Costa Rica

Jorge Polanco Cortés,
Universidad de Costa Rica

AGRADECIMIENTO
Consejo Nacional de Ciencia y Tecnología

Manuales de evaluación de la versión anterior

Manual de evaluación de Revistas Impresas Versión 3.

Manual de evaluación de Revistas Impresas Versión 3.1 ¡Nuevo!

Manual de evaluación de Revistas Electrónicas Versión 3.

Manual de evaluación de Revistas Electrónicas 3.1 ¡Nuevo!