Lectura crítica

en pequeñas dosis
Razones para dejar de leer un artículo
M. Molina Arias
Publicado en Internet:
14-abril-2014
Servicio de Gastroenterología. Hospital Infantil Universitario La Paz. Madrid. España.
Manuel Molina Arias:
mma1961@gmail.com
Grupo de Trabajo de Pediatría Basada en la Evidencia AEP/AEPap. Editor de www.cienciasinseso.com
Resumen

Diariamente se publican gran cantidad de artículos en revistas biomédicas pero, desgraciadamente, una
alta proporción de ellos está afecta de errores metodológicos que pueden poner en peligro la validez
de sus resultados. Estos errores suelen deberse a la falta de formación en metodología de los autores
de los artículos, que son fundamentalmente clínicos, y a la falta de revisores adecuadamente formados
en las revistas científicas. Además, en algunas ocasiones los errores pueden ser deliberados para favo-
recer la obtención de determinadas conclusiones, como ocurre en los casos con conflicto de intereses.
Palabras clave: En el presente artículo se dan algunos consejos sobre los aspectos que podemos valorar de un trabajo
 Metodología científico para evitar perder nuestro valioso tiempo con trabajos que no sean de nuestro interés.
 Conflicto de intereses

Reasons to stop reading an article

Abstract

Huge quantities of medical papers are published every day in biomedical journals, but unfortunately, a
high proportion of them have methodological errors that may question the validity of their results.
These errors are usually due to the lack of knowledge about methodology by the authors, who are
primarily clinical physicians, and the lack of adequately trained reviewers in scientific journals. Also,
sometimes mistakes can be made deliberately to favor obtaining certain conclusions, as in the cases
Palabras clave: with conflict of interest. In this article we offer some tips to assess the quality of scientific papers to try
 Methodology to avoid wasting our valuable time with articles that might not be of our interest.
 Conflict of interest

Hay quien piensa que el lugar más idóneo para A pesar de que existen listas de verificación, como
guardar el 99% de lo que se escribe en literatura el caso de la CONSORT para ensayos clínicos2, para
médica es la papelera, incluso aunque se trate de velar por la calidad metodológica de los trabajos,
artículos escritos por profesionales famosos en re- no todas las revistas científicas las suscriben. Por
vistas de prestigio1. Esta afirmación quizá sea un otro lado, la mayoría de los que escribimos somos
poco dramática, pero de lo que no cabe duda es de clínicos con una formación metodológica más bien
que una amplia proporción de los trabajos que se deficiente, por lo que no es de extrañar que nues-
publican están aquejados de errores metodológi- tros trabajos contengan errores de metodología.
cos graves. Además, los revisores de las revistas médicas sue-

Cómo citar este artículo: Molina Arias M. Razones para dejar de leer un artículo. Rev Pediatr Aten Primaria. 2014;16:87-91.

Rev Pediatr Aten Primaria. 2014;16:87-91 87

ISSN: 1139-7632 • www.pap.es
 Molina Arias M. Razones para dejar de leer un artículo

len ser también clínicos con el mismo grado de for- sultado tratadas en el trabajo, pero no siempre los
mación que los autores de los trabajos, con lo que títulos son tan descriptivos como deberían.
pueden pasar por alto estos errores. Y, por si fuera Puede ser útil también leer la parte inicial de traba-
poco, hay ocasiones en que estos errores se come- jo, la introducción, donde debe explicarse de forma
ten de forma deliberada para llegar o inducir al resumida el estado actual del tema y la justifica-
lector a llegar a una conclusión determinada tras ción para realizar el estudio que se publica.
la lectura del trabajo.
Por estos motivos, y dada la ingente cantidad de
2. ¿SE TRATA DE UN TRABAJO ORIGINAL?
información disponible y el poco tiempo para
leerla, es fundamental que sepamos detectar es-
No tiene ningún sentido probar una hipótesis que
tas “trampas” para no perder demasiado tiempo
ya está previamente probada, en un sentido o en
con trabajos que deberían estar en la papelera
otro, ni tampoco tiene sentido perder el tiempo en
(Tabla 1).
volver a leer algo ya leído previamente.
En ocasiones bastará con leer el resumen para de-
Sin embargo, solo un pequeño porcentaje de los
tectar algunos de estos errores. Sin embargo, la
artículos publicados son totalmente originales. En
mayor parte de las veces será necesaria una cuida-
general, la mayoría añade o quita un poco de vero-
dosa lectura del apartado de “materiales y méto-
similitud a los conocimientos previos. ¿Significa
dos” para detectarlos.
esto que debemos desecharlos? De entrada, no,
Ofreceremos a continuación una serie de pistas
pero antes de leerlos habrá que preguntarse si
para tratar de darnos cuenta de la existencia de
aportan algo nuevo que los haga merecedores de
estos errores metodológicos en relación con el con-
nuestra atención: la muestra es mayor, el segui-
tenido general y el diseño del estudio. Dejaremos
miento es más largo, la metodología es más rigu-
para un segundo artículo la valoración de los erro-
rosa, etc. Además, el tema debe ser lo suficiente-
res e imprecisiones cometidos en el análisis esta-
mente importante desde el punto de vista clínico
dístico de los datos del estudio.
como para justificar la repetición del trabajo.

1. ¿ TRATA EL TRABAJO SOBRE UN TEMA

3. ¿PARA QUIÉN ES EL TRABAJO?
DE INTERÉS?

No debemos olvidar nunca que los participantes

Parece obvio que la primera razón para leer un tra-
de un ensayo clínico no son como los pacientes de
bajo es que haya alguna razón para su realización
la vida real: se suelen excluir los más graves, las in-
y que nos interese para nuestra práctica. De forma
dicaciones de los tratamientos están restringidas,
ideal, el título debe informar sobre los pacientes, la
el seguimiento es más exhaustivo que el de una
intervención, la comparación y las medidas de re-
consulta normal y el control de los efectos adver-
sos más riguroso. Por eso, aunque los resultados
Tabla 1. Diez razones para no leer un artículo… o casi
sean válidos, no debemos aplicarlos a nuestros pa-
  1. No trata un tema de importancia clínica cientes sin considerar antes si se parecen lo sufi-
  2. No aporta nada nuevo ciente a los del estudio.
  3. El diseño no es apropiado
Si la muestra de pacientes del estudio no es repre-
  4. No se cumple el protocolo original
  5. El tamaño muestral no es adecuado sentativa de la población (existe sesgo de selec-
  6. No hay enmascaramiento ción), si los criterios de inclusión son muy restricti-
  7. No está controlado vos o si las circunstancias del estudio son muy
  8. El análisis estadístico es inapropiado
  9. Los resultados no respaldan las conclusiones diferentes a las de la vida real, probablemente los
10. Existe conflicto de intereses manifiesto resultados no nos serán de gran utilidad para

88 Rev Pediatr Aten Primaria. 2014;16:87-91

ISSN: 1139-7632 • www.pap.es
 Molina Arias M. Razones para dejar de leer un artículo

nuestro trabajo. Por ejemplo, si nos dedicamos a la nos desconfiar de los resultados. Parece razonable
Atención Primaria, los resultados de un estudio interrumpir un ensayo si se detectan efectos ad-
con pacientes de Atención Especializada pueden versos graves para los participantes, pero es más
no ser directamente aplicables a nuestros pacien- difícil justificar la interrupción precoz por encon-
tes que, en general, tendrán una enfermedad más trar los resultados buscados por los autores. El se-
leve que los hospitalizados. Sin menosprecio de la guimiento debe ser siempre completo, y se ha de
calidad del trabajo publicado, que puede ser exce- dar cuenta de las pérdidas de los participantes que
lente, quizás sea más eficiente buscar otro tipo de se produzcan durante el mismo.
trabajos. Además, el análisis de los resultados debe hacerse
conforme al protocolo inicial. Debemos dudar
4. ¿ EL DISEÑO DEL ESTUDIO siempre de las conclusiones de análisis parciales
ES EL APROPIADO? post hoc no especificados previamente antes de
iniciar el ensayo. No es correcto “torturar los resul-
tados del estudio hasta que confiesen”.
El tipo de diseño empleado depende del tipo de
pregunta clínica a la que el estudio trata de res-
ponder3. Los ensayos clínicos son los más idóneos 5. ¿ SE HA INTENTADO EVITAR LOS ERRORES
para responder a preguntas de tratamiento, mien- SISTEMÁTICOS?
tras que los estudios de cohortes y los de casos y
controles se utilizan como paso previo a la elabora- Este punto forma parte de la valoración de la vali-
ción de una hipótesis causal y un ensayo clínico, o dez interna del trabajo cuando hacemos lectura
para responder a preguntas clínicas de pronóstico crítica, pero daremos unas pistas esenciales para
o de etiología/daño. Es importante comprobar que detectar errores metodológicos que pueden invali-
el tipo de diseño es el adecuado al tema planteado dar los resultados.
por el estudio. En el caso de los ensayos clínicos, pueden detectar-
Además, debe estar bien definido el tipo de inter- se fácilmente el riesgo de sesgos de selección y de
vención y con qué se compara, lo que incluye una información. Los dos grupos de comparación tie-
completa descripción del tratamiento y del place- nen que ser similares en todo excepto en la inter-
bo, si se emplea. También es fundamental que se vención en estudio. Los ensayos deben tener una
describa claramente la variable principal de resul- tabla con las características de las dos muestras
tado y cómo se ha medido. para asegurar su comparabilidad.
Esta variable de resultado tiene que ser importante Si el ensayo es aleatorizado, cualquier diferencia
desde el punto de vista clínico y para el paciente, entre las dos poblaciones iniciales será aleatoria,
debe ser objetiva y debe ser tal que cambios en ella con independencia de que sea estadísticamente
reflejen cambios reales en el paciente. El uso de va- significativa o no, por lo que no tiene mucho senti-
riables poco importantes para el paciente o de varia- do calcular el valor de la p, más teniendo en cuenta
bles subrogadas de escaso impacto clínico puede que el tamaño muestral no está calculado para
hacernos perder interés por acabar de leer el trabajo. hacer este contraste de hipótesis, sino para valorar
Para terminar con la valoración del diseño del estu- el efecto de la intervención. En cualquier caso, si
dio, debemos comprobar que los autores cumplen existe alguna diferencia basal entre los dos grupos,
el protocolo definido previamente al inicio del en- debemos comprobar que los autores valoran su
sayo. Cualquier violación o cambio de protocolo importancia clínica y realizan el ajuste adecuado a
debe estar justificada. El cambio de las condiciones la hora del análisis de resultados.
del ensayo, por dificultades encontradas durante la Además de ser comparables, ambos grupos deben
realización o por interés de los autores, debe hacer- ser tratados de forma similar durante todo el se-

Rev Pediatr Aten Primaria. 2014;16:87-91 89

ISSN: 1139-7632 • www.pap.es
 Molina Arias M. Razones para dejar de leer un artículo

guimiento. Si hay diferencias existirá riesgo de ses- en la atención que le prestamos durante el segui-
gos de información, que restan validez interna al miento, con el consiguiente riesgo de sesgo que
trabajo. pone en peligro la validez del estudio.
Si se trata de un estudio de cohortes, observare- En ocasiones, dada la naturaleza del estudio, pue-
mos si la selección de las dos cohortes se ha hecho de ser imposible realizar el enmascaramiento del
de forma adecuada y cómo se ha medido el efecto paciente (ciego simple) o del paciente y el investi-
de forma similar en ambas cohortes. Por último, en gador (doble ciego). En estos casos lo ideal es recu-
los estudios de casos y controles resulta funda- rrir a un evaluador ciego que examine los resulta-
mental observar la definición de caso y de control dos de la investigación sin saber a qué grupo
para valorar la posible existencia de sesgos de pertenecen.
mala clasificación.

8. ¿ ES EL ESTUDIO ESTADÍSTICO
6. ¿ EL TAMAÑO MUESTRAL ES APROPIADO? INCORRECTO O INAPROPIADO?

El cálculo del tamaño de la muestra tiene que ser Quizá sea en este apartado donde más dificulta-
realizado antes del comienzo del estudio. Los auto- des encontremos la mayor parte de los lectores a la
res deben definir el efecto clínicamente importan- hora de valorar la validez de un artículo científico.
te que quieren ser capaces de detectar y calcular a Aunque dedicaremos otro artículo a describir algu-
continuación qué tamaño muestral confiere al es- nas de las posibles “trampas” que podemos encon-
tudio la potencia suficiente para demostrarlo. trarnos en el análisis estadístico, nos referiremos
El tamaño de la muestra condiciona de forma im- ahora a tres aspectos del estudio estadístico que
portante la probabilidad de detectar el efecto de la deben tenerse en cuenta antes de comenzar el es-
intervención. Si la muestra es pequeña puede no tudio, y que ya hemos comentado parcialmente: el
detectarse un efecto existente, mientras que si la tamaño muestral, la duración del seguimiento y
muestra es grande puede conseguirse significa- que el seguimiento sea completo.
ción estadística, con diferencias de efecto que son Como ya hemos dicho, el tamaño de la muestra
poco importantes desde el punto de vista clínico. debe calcularse antes de comenzar el estudio. In-
sistimos en que la muestra debe ser lo suficiente-
7. ¿ SE HIZO UNA VALORACIÓN CIEGA mente grande como para detectar un efecto clíni-
DEL EFECTO? camente importante (previamente definido por
los autores) y no debe supeditarse únicamente a la
El uso riguroso de un grupo control comparable consecución de una diferencia estadísticamente
con el de intervención será una pérdida de tiempo significativa.
si no realizamos el enmascaramiento de forma Con el tamaño muestral correcto, la duración del
adecuada. Es muy raro que dos médicos, aun com- seguimiento debe ser suficiente como para que el
petentes, lleguen a un acuerdo completo al valorar efecto de la intervención se manifieste en la varia-
datos de una exploración física o de ciertas prue- ble de resultado. Como ya hemos mencionado, el
bas diagnósticas. seguimiento debe ser completo siempre: aunque
Además, la atención durante el seguimiento puede detectemos diferencias significativas antes del
verse condicionada por la presencia o ausencia de plazo previsto de finalización, estas pueden no
enmascaramiento. Si sabemos que un paciente ha mantenerse hasta la finalización del estudio.
sido asignado al grupo del placebo, probablemen- Es inevitable que cierto número de participantes
te seremos menos diligentes en la valoración de abandone el estudio durante el seguimiento, ya
los efectos adversos del tratamiento y, en general, sea de forma voluntaria (abandonos propiamente

90 Rev Pediatr Aten Primaria. 2014;16:87-91

ISSN: 1139-7632 • www.pap.es
 Molina Arias M. Razones para dejar de leer un artículo

dichos) o involuntaria (pérdidas durante el segui- do estadístico oscuro y rebuscado que parezca de-
miento). Estas pérdidas o abandonos deben tener- mostrar lo que los autores del estudio persiguen
se en cuenta a la hora del análisis estadístico de los desde un principio.
resultados ya que, de lo contrario, su validez se verá
comprometida.
10. ¿EXISTE CONFLICTO DE INTERESES?

9. ¿ SE DERIVAN LAS CONCLUSIONES Está claro que el conflicto de intereses puede tener
DE LOS RESULTADOS? una gran influencia sobre los ensayos que se reali-
zan, sobre cómo se realizan y sobre cómo se inter-
Esta pregunta puede parecer obvia, pero nada más pretan sus resultados para llegar a las conclusio-
lejos de la realidad. Aunque los autores deben nes apetecidas, siendo muy variadas las políticas
plantear su hipótesis de trabajo antes de iniciarlo de las revistas biomédicas en relación con este as-
y el trabajo debe hacerse de manera imparcial, hay pecto5.
ocasiones en las que el interés de los autores por
El conflicto de intereses debe ser siempre declara-
demostrar la hipótesis en uno u otro sentido pue-
do por parte de los investigadores y tenido en
de hacerles interpretar los resultados de forma
cuenta a la hora de valorar las conclusiones del es-
poco objetiva.
tudio por parte de los lectores.
Esto puede favorecerse por el uso de medidas de
frecuencia o impacto inadecuadas, “más vistosas”,
CONFLICTO DE INTERESES
como puede ser el uso de la reducción relativa del
riesgo en lugar de la reducción absoluta o el núme- El autor declara no presentar conflictos de intereses en rela-
ro necesario a tratar4, o la elección de algún méto- ción con la preparación y publicación de este artículo.

BIBLIOGRAFÍA 3. Buñuel Álvarez JC, Ruiz-Canela Cáceres J. Cómo ela-

borar una pregunta clínica. Evid Pediatr. 2005;1:10.

1. Altman DG. Poor-quality medical research: what can 4. Molina Arias M. Cálculo de la reducción del riesgo y el
journal do? JAMA. 2002;287:2765-7. número necesario de pacientes a tratar. Rev Pediatr

2. González de Dios J, Buñuel Álvarez JC, González Ro- Aten Primaria. 2012;14:369-72.
dríguez P. Listas guía de comprobación de ensayos 5. Blum JA, Freeman K, Dart RC, Cooper RJ. Require-
clínicos: declaración CONSORT. Evid Pediatr. 2011; ments and definitions in conflict of interest policies
7:72. of medical journals. JAMA. 2009;302: 2230-4.

Rev Pediatr Aten Primaria. 2014;16:87-91 91

ISSN: 1139-7632 • www.pap.es