Cómo interpretar un metaanálisis

Cómo interpretar un metaanálisis

@EvidNutrition

 

Cuando analizas un metaanálisis, ¿solamente lees sus conclusiones? Nosotros antes lo hacíamos así, hasta que descubrimos (con horror) que las conclusiones de l@s autores/as no siempre describen fielmente los resultados de sus metaanálisis, e incluso que los resultados resaltados por los autores no siempre son los más relevantes.

Los metaanálisis son uno de los mayores logros de la medicina y la investigación de las últimas tres décadas. Además, son un instrumento necesario, o incluso crucial, en el proceso de transmisión del conocimiento, que se utiliza (cuando es posible) como punto de partida para desarrollar guías de práctica basadas en la evidencia (o sumarios de evidencia). Por eso, para cualquier profesional de la salud es fundamental saber cómo encontrar revisiones sistemáticas o metaanálisis de alta calidad y, por supuesto, debería disponer de los recursos suficientes para interpretarlos. Este último es justamente el tema que intentaremos abordar en esta entrada.

 

Pero vayamos al principio, ¿qué es un metaanálisis?

Un metaanálisis es una revisión sistemática que combina los resultados de estudios independientes y los analiza utilizando un método cuantitativo. Como herramienta de síntesis, el metaanálisis debe resumir toda la información disponible de una manera no sesgada y rigurosa, siguiendo un proceso sistemático, explícito y transparente.

Los ensayos bien diseñados y con muestras grandes son escasos y muchos de los estudios individuales existentes son demasiado pequeños para detectar efectos concretos. Asimismo, en la literatura científica podemos encontrar estudios con efectos contradictorios (efectos que apuntan en sentidos opuestas). Los metaanálisis nos permiten analizar estudios con diferentes tamaños de muestra o contradictorios, y al combinarlos obtenemos un resultado que apunta en una sóla dirección y cuyo tamaño de muestra y capacidad para evaluar los efectos de interés es mucho mayor.

 

ok_evidnutrObjetivos de un metaanálisis:

· Sintetizar e integrar los resultados de varios estudios individuales.
· Analizar las diferencias en los resultados entre estudios.
· Aumentar el poder de detectar un efecto de interés.
· Mejorar la precisión en la estimación de los efectos.
· Evaluar los efectos en subgrupos de pacientes.
· Determinar si se requieren nuevos estudios (o unificar metodologías) para un tema concreto.
· Generar nuevas hipótesis para futuros estudios.

 

El objetivo final de los metaanálisis no es establecer una recomendación, sino ofrecer un análisis del estado actual del conocimiento, tanto de los estudios a favor como en contra.

 

Interpretando los resultados

Las conclusiones de un metaanálisis siempre deberían establecerse como clara respuesta a la pregunta formulada del estudio y en base a los resultados obtenidos. En ningún caso los autores deberían establecer recomendaciones para la práctica diaria en base a sus resultados (existen más aspectos que deben tenerse en cuenta para realizar dichas recomendaciones) ni extralimitarse en ninguna de sus conclusiones. El protocolo del estudio debe quedar fijado y establecido previamente (registrándolo si pudiera ser), pero a veces, cuando los resultados que arroja el metaanálisis no son estadísticamente significativos, algunos autores acaban sacando conclusiones secundarias al análisis de datos, olvidando incluso la(s) pregunta(s) que intentaba responder inicialmente. Más allá de las conclusiones que los autores puedan sacar de sus resultados, ser capaces de interpretar estos últimos de forma independiente nos dará más herramientas para entender sus posibles implicaciones reales, así como detectar conclusiones que no acaban de corresponderse con los hallazgos.

 

Los resultados de un metaanálisis se organizan a través de un gráfico llamado forest plot (diagrama de bosque).

 

 

 

 

Generalmente, un forest plot se divide en seis columnas y los resultados individuales de cada estudio se disponen en filas sucesivas.

En la primera columna se presenta el listado con la identificación de los estudios individuales incluidos. Cuando se ha realizado un análisis de subgrupos, estos se muestran también en la primera columna. Es importante tener en cuenta que el análisis de subgrupos debería haberse indicado en el protocolo del metaanálisis, ya que algunos autores tienen la tentación de hacer subgrupos a posteriori para intentar obtener resultados estadísticamente significativos. También hay que fijarse en que los estudios que se indican en esta primera columna deben presentar una metodología y diseño semejantes, ya que no es adecuado mezclar o agregar datos de estudios que analizan diferentes especies o diseños dispares (estudios aleatorizados controlados, estudios de cohortes, estudio in vitro, etc.). En el forest-plot  de este ejemplo se puede ver (con sorpresa) cómo se mezclan datos de estudios realizados en humanos y datos de estudios realizados en animales.

La segunda columna representa a los grupos intervención y la tercera a los grupos control. Estas dos columnas pueden presentar subcolumnas, que hacen referencia al tamaño de la muestra (n) y a la media de los resultados individuales y sus desviaciones estándar (mean (SD), o bien a riesgos relativos (RR)).

La cuarta columna es una representación visual de los resultados de los estudios (en algunos metaanálisis, esta información puede presentarse en la sexta columna). La línea vertical central de esta representación es la línea de ‘no efecto’, la cual simboliza que no hay diferencia entre el grupo de intervención y el grupo control. En metaanálisis con variables dicotómicas o binarias (por ejemplo, sí/no, enfermedad/no enfermedad, etc.), la línea tiene el valor de “uno” porque representa un ratio (el riesgo relativo o el odds ratio); a diferencia de estudios con variables continuas (por ejemplo, peso, colesterol, niveles de glucosa en sangre, etc.),  donde la línea de no efecto tiene el valor de “cero”. Ambos lados de la línea, simbolizan si los resultados favorecen o no la intervención, pero ojo, aunque es habitual ver el “favorece a la intervención” a la izquierda de la línea de no efecto, esto no es siempre así y, si no se hace una lectura más detenida, se puede malinterpretar la gráfica.

Dentro de la gráfica, los cuadrados representan el efecto evaluado en cada estudio y su tamaño está directamente relacionado con el peso de los estudios en el metaanálisis (expresado numéricamente en la quinta columna). La línea horizontal que los atraviesa representa el intervalo de confianza. Cuanto más larga sea la línea, mayor será el intervalo y, por tanto, los resultados del estudio serán menos precisos (una flecha en los extremos, indica que el intervalo es mayor que el espacio disponible).  Los efectos individuales (los cuadrados), se posicionarán a izquierda, derecha o sobre la línea de no efecto, dependiendo del resultado individual obtenido en cada estudio. Si la mayoría de efectos se posiciona a un lado de la línea de referencia, esto indica que la heterogeneidad es baja, pero cuando los efectos se distribuyen a ambos lados, significa que los estudios son contradictorios (la heterogeneidad es alta) y las conclusiones del metaanálisis se pueden ver comprometidas.

 

Los intervalos de confianza permiten conocer la precisión de la estimación dentro de un margen de error establecido. El IC 95% (p=0,05) se considera suficiente (aunque se puede utilizar el IC 99% [p=0,01]; pero es poco habitual), representa una seguridad del 95% de que la asociación estudiada no se da por el azar.

 

Los diamantes representan los resultados globales del metaanálisis, ya sea del análisis de subgrupos realizados (subtotales) o bien del conjunto de todos los grupos (total). El centro del diamante es el valor del efecto en conjunto y el ancho representa el intervalo de confianza general. La diferencia entre los grupos de intervención y control puede considerarse estadísticamente significativa, si el diamante se posiciona claramente a un lado de la línea de referencia, pero si la cruza o simplemente la roza, no se podrán sacar conclusiones que apunten en una dirección.

Todas las representaciones gráficas que acabamos de comentar, tienen su traducción numérica en la quinta y sexta columna. La quinta columna representa el peso de cada estudio sobre el resultado global (cuanto mayor sea el tamaño de la muestra y más estrecho sea el intervalo de confianza, mayor será el peso del estudio). Es fácil comprender que si un solo estudio tiene mucho peso, ejercerá una gran influencia en el resultado final del metaanálisis, de modo que si este estudio tiene una calidad metodológica dudosa, podría hacer que los resultados globales fueran engañosos. Para intentar evitar este tipo de errores y determinar la solidez de los resultados del metaanálisis, los autores deberían aplicar un análisis de sensibilidad, que consiste simplemente en presentar los resultados cuando se quitan algunos estudios del análisis. Si esto provoca cambios importantes en los resultados globales, como una modificación de la dirección del efecto, los resultados del metaanálisis deben interpretarse con cautela; si por el contrario sólo se altera el tamaño del efecto, el resultado puede considerarse firme. Esto es tan importante que las conclusiones de los autores deberían ir acordes a estas consideraciones.

La sexta columna expresa los resultados numéricos de cada estudio. Concretamente, en metaanálisis con variables dicotómicas se presenta el riesgo relativo (el cociente del riesgo en el grupo intervención entre el del grupo control de cada estudio) y en metaanálisis con variables continuas se presenta la diferencia de medias (diferencia entre la media del grupo intervención y el control de cada estudio), con su intervalo de confianza correspondiente. Para que los resultados individuales sean estadísticamente significativos, en el caso de variables dicotómicas, el intervalo de confianza no debe incluir el valor 1, mientras que en variables continuas, no debe incluir el 0.

 

Los datos numéricos se incluyen en el abstract de cada metaanálisis, por lo que con una simple lectura del mismo, deberíamos ser capaces de evaluar si los resultados son estadísticamente significativos o no (independientemanete de lo que digan los autores).

 

Al final de esta presentación de datos, el forest plot  incluye la prueba de heterogeneidad (I2), que mide la variabilidad entre estudios, indicando cómo de comparables son los estudios analizados. Los datos de los estudios individuales se pueden analizar en el metaanálisis utilizando el modelo de efectos fijos (fixed effect model) o el de efectos aleatorios (random effect model).

Resumidamente, el modelo de efectos fijos asume que el efecto del tratamiento es el mismo en todos los estudios, mientras que el modelo de efectos aleatorios asume que los efectos del tratamiento no son los mismos en todos los estudios. Cuando el nivel de heterogeneidad entre los estudios es elevado, el resultado del metaanálisis probablemente dependa del modelo utilizado y en estos casos, el análisis debería realizarse y presentarse usando ambos modelos.

Finalmente, el forest plot muestra un apartado que presenta el test de efecto global, que mide la significación estadística del resultado del metaanálisis. Un resultado se considera estadísticamente significativo cuando el valor de la “p” es inferior a 0,05 (para IC 95%). Cuando no hay diferencia estadísticamente significativa (el valor es superior a 0,05), los autores no deberían resaltar ninguna conclusión que apuntara en un sentido concreto, es decir, deberían abstenerse de realizar consideraciones del tipo: “aunque los resultados no son estadísticamente significativos, esta terapia muestra una tendencia a mostrar efectos positivos en favor del grupo intervención” o similares. De todos modos, hay que tener presente que el término estadísticamente significativo no es lo mismo que tener efectos relevantes, ya que una asociación estadísticamente significativa puede no ser clínica o epidemiológicamente relevante. Por eso, siempre debe entenderse en el contexto del estudio, su diseño, las características de la muestra o la población, etc. El valor de “p” no debe ser una cifra mágica que autorice a dar recomendaciones.

 

ok_evidnutrEn resumen, en un forest plot hay que fijarse en:

  • · La heterogeneidad de los efectos.
  • · El peso de los estudios.
  • · Los intervalos de confianza.
  • · La disposición del diamante.
  • · El test de efecto global.

Lectura recomendada: interpretando y entendiendo un forest plot

 

 

Para aumentar vuestra habilidad para interpretar un metaanálisis, es muy recomendable leer algunos manuales de elaboración (para revisiones sistemáticas y metaanálisis) que pueden obtenerse libremente on-line, como el de la Colaboración Cochrane o de la Universidad de York. También os invitamos a que echéis un vistazo a las propuestas concretas para adaptar los métodos genéricos al ámbito específico de la nutrición.

 

metaanálisis: RevMan5

Recomendación para súper motivados: si necesitas preparar un forest plot para tu metaanálisis, Cochrane dispone de un software, compatible con cualquier sistema operativo, que puedes descargar de forma gratuita y que es relativamente fácil de utilizar: RevMan

 

Esperamos que encontréis esta entrada de utilidad para aumentar vuestra habilidad de interpretación de metaanálisis. En las próximas entradas, os daremos más herramientas para la evaluación crítica de un metaanálisis.

 

 

Rodrigo Martínez-Rodríguez

Biólogo y estudiante de Nutrición Humana y Dietética por la Universidad de Murcia. Ha realizado el curso de "Introducción a las Revisiones Sistemáticas" del Centro Cochrane Iberoamericano.

More Posts

Posted in Interpretación, Metaanálisis | Tagged , , , , | Leave a comment

Cómo encontrar revisiones sistemáticas o metaanálisis de alta calidad

Logo oficial de Cochrane

 

@EvidNutrition

 

Las revisiones sistemáticas o metaanálisis son manuscritos que analizan, evalúan y sintetizan de forma cuantitativa los datos de estudios individuales. Sin embargo, no lo hacen de cualquier forma, sino que lo hacen describiendo, a priori, la metodología seguida, de forma que ésta sea lo más objetiva, transparente, clara posible y lo que es más importante, reproducible, abierta a críticas y a mejoras. Los protocolos metodológicos de cada revisión sistemática deberían registrarse en PROSPERO para evitar o disminuir el riesgo de que los investigadores se alejen del plan inicial definido.

Pese a que existen trabajos que pueden considerarse como fuentes de información preeevaluada que nos ofrecen una visión más completa de la evidencia científica y de su aplicación en el mundo real, las revisiones sistemáticas y metaanálisis y el avance en su metodología son, sin lugar a dudas, uno de los mayores logros de la medicina y de la investigación de las últimas tres décadas.

La Cochrane Collaboration (actualmente Cochrane a secas y estrenando nuevo look) es la entidad internacional más prestigiosa y sin ánimo de lucro que lleva publicando, desde los años 80, revisiones sistemáticas o metaanálisis modélicas.

Logo oficial de Cochrane

Logo oficial de Cochrane

Si os fijáis, en este post hemos subrayado como tema tratado “las revisiones sistemáticas o los metaanálisis”, ya que para Cochrane ambos conceptos son sinónimos. Según la organización (y estamos totalmente de acuerdo), solamente tiene sentido realizar un metaanálisis (análisis y síntesis cuantitativa mediante herramientas estadísticas) si se ha llevado a cabo una revisión sistemática que incorpora todas las pruebas disponibles (no sólo las que nos interesan a nosotros particularmente). Lo recalcamos especialmente porque en realidad, fuera de Cochrane, podemos encontrar “revisiones sistemáticas sin metaanálisis” y “metaanálisis sin revisión sistemática (metaanálisis sesgados, a los que llamaremos malos metaanálisis)”.

 

Consultar la Cochrane Library en busca de revisiones sistemáticas de esta entidad es, sin lugar a dudas, el punto de partida para todos y la mejor opción para encontrar metaanálisis de la mayor calidad posible.

 

 

Cochrane Library

La Cochrane Library permite realizar una búsqueda muy potente y bien estructurada a través de una búsqueda avanzada bastante sencilla de utilizar. Además, permite registrarnos para guardar nuestras estrategias de búsqueda y, lo más importante, crear alertas de nuevas publicaciones que nos llegarán directamente a nuestro e-mail.

Logo y lema de Cochrane Library

Logo y lema de Cochrane Library

 

Pasos a seguir para hacer una buena búsqueda en esta base de datos:

Paso 1. Entrar en la búsqueda avanzada, lengüeta Search.

Paso 2. Modificar los Search limits. De todas la opciones disponibles, para el tema que nos ocupa deberemos clicar únicamente en Cochrane Reviews-Review (los protocolos son poco interesantes a menos que queramos revisarlos por alguna cuestión especial). Asimismo, es interesante clicar en Other reviews, que recuperará otras revisiones sistemáticas que pese a no ser de Cochrane, serán de calidad. Finalmente, deberemos asegurarnos desclicar Word variations will not be searched (nos interesa para aumentar el número de resultados de interés posibles).

Paso 3. Introducir los conceptos de interés. Los podemos unir mediante los booleanos and y or, usando los paréntesis para realizar las asociaciones adecuadas. Dejaremos siempre que busque en cualquier campo (título, abstract y palabras clave). Por ejemplo: (nutrition or diet) and pregnancy.

Paso 4. Una vez ejecutada la búsqueda mediante el botón Go, si la mayoría de los resultados nos parecen interesantes y deseamos guardar la búsqueda, debemos darle al botón Save (hay que estar registrado y logueado, es gratis).

Paso 5. Si vamos a Saved Searches, podremos: (a) cargar de nuevo la búsqueda para acceder a los resultados que nos ofrece; (b) exportar la búsqueda (exporta la fecha y estrategia usada); (c) crear una alerta para que nos avisen por mail cuando haya una publicación nueva o bien una actualización.

 

ok_evidnutrRecomendación para súper motivados: en el paso 4, una vez lanzada la búsqueda mediante el botón Go en lugar de darle al botón Save, que guarda la búsqueda, le podemos dar a Add to Search Manager. Para cada límite clicado (Cochrane Reviews y Other Reviews), deberemos enviar la estrategia más el límite al Search Manager (por separado). Una vez en el Search Manager con las estrategias en los box #1 (límite Cochrane Review) y #2 (límite Other Reviews), nos aseguramos unir las dos estrategias mediante or poniendo en el box #3: #1 or #2 y apretamos el botón Go. Le damos nombre en Strategy Name y presionamos al botón Save Strategy. En la Strategy Library, además de las opciones a, b y c descritas en el paso 5, podremos: (d) agregar una búsqueda actual a la que ya teníamos guardada (no lo recomendamos, si la hemos mejorado, mejor sustituirla entera); y (e-la opción interesante) compartir un link con otra persona. Por ejemplo, podéis probar con esta (podéis clicar en el número de la columna de la derecha en la fila #3 para recuperar todas las revisiones sistemáticas que nosotros hemos recuperado).

 

Por desgracia, el acceso al texto completo de la mayoría de revisiones sistemáticas Cochrane es restringido. Sin embargo, para todas las entradas podremos acceder a un Summary que en muchas ocasiones podrá ser suficiente para los fines deseados y, en algunas ocasiones podremos acceder al texto completo de forma gratuita (buscad el candado abierto con la palabra FREE).

Asimismo, podemos intentar buscar la revisión en cuestión a través del acceso que ofrece el Ministerio de Sanidad, Servicios Sociales e Igualdad de España (que tengáis mucha suerte, la tarea de encontrar lo que buscas no es nada sencilla; bienvenid@s al infierno de las búsquedas en bases de datos pobres).

 

 

TRIPdatabase

En esta base de datos de la que ya conocimos algunas particularidades en el post cómo encontrar sumarios de evidencia con eficiencia, también podemos encontrar revisiones sistemáticas que pueden clasificarse como de alta calidad. Hay que estar atentos porque la forma de encontrarlos será un poco rara.

En esta ocasión, en el paso 3 (del apartado correspondiente a la entrada anterior), elegiremos el filtro (columna derecha)  Systematic Review. Tal y como veremos al clicar encima, la base de datos ofrece resultados de las Cochrane Reviews (aunque recomendamos usar la Cochrane Library, es una base de datos más potente y sensible) y de otras entidades. Podemos encontrar metaanálisis nuevos en:

  • DARE: se trata de la Database of Abstracts of  Reviews of Effects que es en realidad una base de datos de sinopsis de síntesis (evaluación o lectura crítica de revisiones sistemáticas, para establecer la calidad de las mismas). Cuando accedemos a estos abstracts, podemos leer un pequeño comentario sobre la calidad de la revisión sistemática (CDR summary; muy útil), un comentario un poco más largo (CRD commentary; súper interesante) e incluso un análisis completo de la misma y unas breves conclusiones e implicaciones para la práctica. Finalmente, nos darán acceso al texto que origina el análisis a través del PubmedID. Así es cómo podremos encontrar nuevos metaanálisis de los que conoceremos de antemano su calidad. Un ejemplo de análisis DARE.
  • NIHR HTA programme y Health Technology Assessment (HTA) Database: en estas dos entradas es posible que encontremos alguna revisión sistemática (aunque no todas lo son).

 

 

Epistemonikos

Siguiendo las mismas indicaciones ofrecidas en este post sobre la base de datos Epistemonikos, solamente debemos marcar en el paso 2 el filtro Revisiones Sistemáticas o Systematic Reviews (recordad hacer las búsquedas en español en la versión española y además hacerla también en inglés en la versión inglesa, salen resultados notablemente diferentes).

Al igual que en TRIPdatabase, también podremos acceder a las sinopsis de síntesis de DARE, pudiendo acceder también a las revisiones sistemáticas originales. Para hacerlo, solamente debemos seleccionar el filtro Resúmenes estructurados (español) o Structured summaries (inglés).

 

 

Database of Abstracts of Reviews of Effects (DARE) de la Universidad de York

Como hemos visto, una forma de recuperar revisiones sistemáticas conociendo su calidad de antemano es accediendo a las sinopsis de síntesis de DARE. De momento, hemos accedido a través de otras bases de datos, sin embargo, es posible que si accedemos directamente a dicha base de datos, podamos recuperar más revisiones sistemáticas de interés.

 

ok_evidnutrUsad solamente dos conceptos unidos a través de AND (recomedación de usuario). Los filtros de interés para limitar la búsqueda a sinopsis de síntesis son CRD assessed review (bibliographic) y CRD assessed review (full abstract).

 

 

 

PubMed

La archiconocida base de datos PubMed puede ser también una fuente interesante de metaanálisis. Esta base de datos ofrece acceso gratuito al abstract de casi todos sus artículos (incluidos los metaanálisis) publicados en las revistas que hayan pasado su evaluación, sin que ello asegure una alta calidad de dichas publicaciones (son reflejo de calidad o reconocimiento de la revista, pero no de sus contenidos).

Logo oficial de PubMed

Logo oficial de PubMed

 

Por este motivo deberemos tener cuidado con las revisiones sistemáticas o metaanálisis que seleccionemos a través de PubMed, no todos serán de suficiente calidad como para confiar en ellos.

 

Pasos a seguir para hacer una buena búsqueda en esta base de datos:

Paso 1. Seleccionar los términos adecuados, tanto en vocabulario controlado usado para indexar las entradas en MEDLINE (los MeshTerms), como en vocabulario natural.

 

ok_evidnutrPara los profanos en la materia, en Pubmed siempre deberéis usar conceptos encontrados en la base de datos Mesh, sumando a la estrategia de búsqueda sus homólogos, plurales y sinónimos en vocabulario natural con el tag [tiab] (para que busque sólo en título y abstract), uniéndolos a través del booleano OR. De esta forma recuperaremos más artículos, ya que nos devolverá tanto las referencias indexadas en Medline como las no indexadas (creedlo, explicarlo nos llevará toda una entrada, que escribiremos cuando proceda).

Por ejemplo: (“Nutritionists”[Mesh]) (sí compañer@s, al fin fue añadido en 2014) recupera un centenar de entradas indexadas en Medline (en fecha 26/02/2015).

Entrada de Pubmed indexada en Medline

Entrada de Pubmed indexada en Medline

Sin embargo, (“Nutritionists”[Mesh] OR nutritionist[tiab]), recupera 784 resultados, y sólo cuando le añadimos plurales y sinónimos (“Nutritionists”[Mesh] OR nutritionist[tiab] OR nutritionists[tiab] OR dietitian[tiab] OR dietitians[tiab] OR dietician[tiab] OR dieticians[tiab]), nos damos cuenta de todo lo que nos estábamos dejando en el tintero (6.815 resultados en fecha 26/02/2015) y lo bobos que somos por no dedicar unas horas a la lectura profunda y profusa de los manuales adecuados. Dedicaremos una entrada completa sólo para explicar este fenómeno (nos referimos a explicar el porqué de la diferencia de resultados, no porqué somos bobos).

 

Paso 2. Deberemos aplicar el límite Meta-Analysis (el límite Systematic Review recupera los metaanálisis + las revisiones sistemáticas sin metaanálisis, que no es lo que nos interesa en este momento). En la columna izquierda podréis encontrar el límite, está en el subapartado Article types. Si no os aparece por defecto (que es lo común), dadle a customize y clicad en Meta-Analysis => Show. Finalmente clicamos encima del filtro para aplicarlo.

 

ok_evidnutrPara los que ya confiáis en Evidencia en Nutrición: usad la estrategia de búsqueda: AND (“Meta-Analysis” [Publication Type] OR “Meta-Analysis as Topic”[Mesh] OR “Meta-Analysis”[tiab]) en lugar del límite (¡desmarcar el filtro seleccionado en el paso 2!), de esta forma recuperaréis muchos más metaanálisis (aunque asumiréis que surjan algunos artículos que no sean propiamente metaanálisis, sino que hablen en su abstract de algún metaanálisis; el riesgo es asumible).

Ejemplo: (“Nutritionists”[Mesh] OR nutritionist[tiab] OR nutritionists[tiab] OR dietitian[tiab] OR dietitians[tiab] OR dietician[tiab] OR dieticians[tiab]) AND (“Meta-Analysis” [Publication Type] OR “Meta-Analysis as Topic”[Mesh] OR “Meta-Analysis”[tiab]).

 

Es interesante saber que Pubmed ha incorporado también las sinopsis de síntesis de DARE en sus entradas. Podéis encontrar el link a estos contenidos justo al lado del link al full-text, de manera que de algunos metaanálisis podréis conocer su evaluación crítica y confiabilidad:

Link a DARE desde Pubmed

Link a DARE desde Pubmed

 

Si estáis interesados en saber más sobre metaanálisis, qué son exactamente, cómo entenderlos y sacarles más partido o cómo evaluarlos mínimamente para saber si podéis confiar o no en ellos, tendréis que esperar al siguiente post.

 

Eduard Baladia

Dietista-Nutricionista por la Universidad de Barcelona. Ha participado como experto externo en 9 guías de la Organización Mundial de la Salud (OMS). Es uno de los profesionales de la salud y el único dietista-nutricionista que ha completado el "Curso de introducción a la elaboración de Guías de Práctica Clínica (GPC)" organizado por GuíaSalud-Biblioteca de Guías de Práctica Clínica del Sistema Nacional de Salud. Además ha realizado el curso de "Introducción a las Revisiones Sistemáticas" de la Cochrane Iberoamericana. En la actualidad está siendo evaluado por el Practice-based Evidence in Nutrition (PEN) para ser autor y/o revisor de la iniciativa internacional.

More Posts - Website

Posted in Búsquedas, Metaanálisis | Tagged , , | Leave a comment

Los metaanálisis no son el mayor nivel de evidencia

Modelo de 6 niveles de Haynes (se señala el nivel que ocupan los metaanálisis)

 

@EvidNutrition

 

Si ya eres consciente de que “la cagamos cuando la evidencia científica se puso de moda” y que en realidad sabemos más bien poco sobre su metodología, ya estás preparad@ para saber que los metaanálisis no son el mayor nivel de evidencia al que podemos acceder.

Muy a menudo, solemos pensar que cuando encontramos un metaanálisis estamos adquiriendo el poder definitivo que nos permitirá afirmar todo aquello que tanto habíamos anhelado y ser los amos del mundo (como mínimo del conocimiento). Sentimos informaros que no es exáctamente así.

La pirámide tradicional (lo sentimos por aquellos que odian las pirámides) de jerarquización de los estudios en niveles de evidencia , sitúa las revisiones sistemáticas y metaanálisis en su cúspide, como obra cumbre e insuperable.

Hierarchy-of-Evidence

Jerarquía de evidencia según diseño de estudio

Sin embargo, como ocurre con todas las pirámides educativas, la jerarquía de los estudios en niveles de evidencia no deja de ser un modelo o herramienta educativa que permite identificar de forma sencilla qué diseños de estudios son más potentes para contestar una pregunta en concreto (por cierto dependerá del tipo de pregunta que formulemos, pero ya hablaremos de eso en otro post). Dejando de lado que existen miles de jerarquías diferentes y mucha controversia al respecto, las revisiones sistemáticas y metaanálisis se erigen siempre como el máximo nivel de evidencia. La razón es bien sencilla: las revisiones sistemáticas y los metaanálisis son manuscritos que analizan, evalúan y sintetizan los datos de los niveles inferiores. Son, justamente, el inicio de “las fuentes de información preevaluadas y filtradas“.

Si lo pensamos detenidamente, es fácil que se nos ocurra la idea de coger un sólo metaanálisis y revisar si está metodológicamente bien realizado y si incorpora todos los estudios sobre el tema; o tambien podemos buscar todos los metaanálisis sobre un tema para analizarlos, evaluarlos y sintetizar los hallazgos. Así es, seguramente, como nació la idea de ofrecer otro modelo educativo que incorporara todos los niveles de información preevaluada conocidos hasta la fecha (esto implica que seguramente cambie en el futuro).

Creemos que Haynes fue uno de los pioneros en dar a conocer este tipo de modelo en 2001 mediante una editorial publicada en la revista Evidence Based Mental Health. El modelo fue llamado “modelo de las 4S” en sus inicios para evolucionar en 2006 al “modelo de las 5S”, publicado en Evidence Based Medicine, y finalmente al “modelo de las 6S” publicado en el ACP Journal Club en 2009.

El modelo de Haynes contiene 6 niveles de infromación, y los metaanálisis no es que estén precisamente en la cúspide (tercer nivel):

  • Estudios individuales (studies en inglés, de ahí la primera S o nivel): no son propiamente una fuente de información preevaluada o filtrada.

    Modelo de 6 niveles de Haynes

    Modelo de 6 niveles de Haynes (se señala el lugar que ocupan los metaanálisis)

  • Sinopsis de estudios (segunda S o nivel): son evaluaciones o lecturas críticas de estudios individuales que tratan de averiguar la calidad metodológica de dichas publicaciones e identificar si las conclusiones son acordes al diseño de estudio. Estos escritos no tienen la intención de fusionar o sintetizar estadísticamente los datos de los diferentes estudios. Algunas revistas ofrecen este tipo de evaluaciones, pero no conocemos ninguna base de datos que las agrupe.
  • Síntesis (tercera S): se trata de la búsqueda y fusión de datos de diferentes estudios individuales mediante el análisis estadística, es decir, las revisiones sistemáticas y metaanálisis. Evidentemente, antes de realizar la síntesis estadística de datos, es necesario realizar la pertinente lectura crítica (nivel anterior). El objetivo final de las síntesis no es establecer una recomendación, sino ofrecer un análisis del conocimiento actual, tanto de los estudios a favor como en contra. Ejemplo de una revisión sistemática (fijaros en las conclusiones del resumen).
  • Sinopsis de síntesis (cuarta S): son evaluaciones o lecturas críticas de revisiones sistemáticas y metaanálisis (nivel anterior) que tratan de establecer la calidad metodológica de éstas, así como establecer si las conclusiones de las mismas son adecuadas a su fortaleza interna. Ejemplo de la revisión sistemática del ejemplo del nivel anterior (fijaros en el CRD summary; ¿frustrante verdad?; si os ha gustado, os recomiendo que leáis el CRD commentary).
  • Sumarios (quinta S): también llamados sumarios de evidencia y más conocidos como guías basadas en la evidencia. Son trabajos que buscan, evalúan, analizan y sintetizan (jerarquizándolos) todos los niveles de información preevaluada anteriores. El objetivo final es ofrecer una recomendación basada en las mejores pruebas actuales, poniendo en una balanza el ratio riesgo-beneficio, su aplicabilidad real, e incluso las preferencias o necesidades de los pacientes. Su intención es ayudar en la toma de decisiones de los profesionales que las utilicen (no para sustituir su juicio). Ejemplo. Cabe destacar que los temas centrales casi nunca serán del tema que necesitemos (nutrición), pero es posible que sea incorporado en algún subapartado.
  • Sistemas (sexta S): es una de las más complejas de entender (incluso para nosotros, que reconocemos haber errado en explicarlo alguna vez). A nivel teórico, se trataría de un sistema computarizado que incorporaría sistemáticamente todas las recomendaciones actualizadas establecidas a través de sumarios de evidencia , de manera que tras la introducción de las circunstancias de un paciente concreto en el programa informático, éste te ofrecería las recomendaciones basadas en las mejores pruebas. El objetivo es ayudar a que la toma de decisiones durante la práctica diaria de los profesionales esté basada en las mejores pruebas. Decíamos que este era el concepto más complejo de entender (incluso para nosotros), porque en la práctica existen muy pocos sistemas, y nunca hemos tenido el placer de ver o manejar ninguno directamente relacionado con la nutrición humana y dietética.

 

 En el modelo de Haynes, cuanto más arriba esté una fuente de información, más pruebas (evidencias) preevaluadas y filtradas contendrá (que es justamente lo que se busca para estar seguros).

 

¿Y para qué sirve saber todo esto?

“Cuando se inicia una búsqueda para encontrar la mejor evidencia científica sobre un tema concreto, para ser eficientes, debemos empezar buscando la información preevaluada que está más arriba de la pirámide de Haynes, e ir bajando de nivel si no encontramos ningún documento elaborado que corresponda a dicho nivel”.

 

Estamos seguros que os gustaría hacer dos preguntas más (como mínimo):

¿Y dónde podemos encontrar cada nivel de información preevaluada?

¿Existen bases de datos o estrategias de búsqueda específicas para encontrar cada nivel de información de la pirámide de Haynes?

 

Las respuestas las tendréis en el próximo post.

 

Eduard Baladia

Dietista-Nutricionista por la Universidad de Barcelona. Ha participado como experto externo en 9 guías de la Organización Mundial de la Salud (OMS). Es uno de los profesionales de la salud y el único dietista-nutricionista que ha completado el "Curso de introducción a la elaboración de Guías de Práctica Clínica (GPC)" organizado por GuíaSalud-Biblioteca de Guías de Práctica Clínica del Sistema Nacional de Salud. Además ha realizado el curso de "Introducción a las Revisiones Sistemáticas" de la Cochrane Iberoamericana. En la actualidad está siendo evaluado por el Practice-based Evidence in Nutrition (PEN) para ser autor y/o revisor de la iniciativa internacional.

More Posts - Website

Posted in Metaanálisis, Metodología, Sumarios de evidencia | Tagged , , , | Leave a comment