Evidencias sobre terapias alternativas y complementarias: mini-entrevista al Prof. Edzard Ernst

card_073_Edzard Ernst

 

 

@EvidNutrition

 

En medicina alternativa y complementaria se usan, muy a menudo, productos o procedimientos dietético-nutricionales que, podríamos decir, se encuentran fuera de las prácticas consideradas como habituales o estándares y desconocemos su eficacia y seguridad.

 

Las afirmaciones que se hacen de las terapias nutricionales alternativas o complementarias pueden sonar muy prometedoras, sin embargo, la comunidad científica suele desconocer exactamente cuan eficaces y seguras son estas terapias. Queremos dejar claro, antes de seguir, que tal y como detalló el Ministerio de Sanidad, Política Social e Igualdad (MSPSI) en su informe titulado “Terapias naturales”, la nutrición humana y dietética, tal y como se enseña hoy en las universidades, forma parte de la medicina convencional occidental de base científica. En algunas ocasiones, cuando se realizan estudios científicos sobre este tipo de terapias y los resultados no son muy favorecedores, algunos prescriptores y usuarios de las mismas aducen que la ciencia contemporánea no está preparada para evaluar este tipo de terapias, y que las pruebas científicas a las que se están sometiendo dichas terapias no son “justas” o no pueden evaluar los efectos de las mismas. En la misma línea, cuando se pretende evaluar la evidencia científica en torno a este tipo de terapias, sus defensores (y en ocasiones sus usuarios) suelen aducir, además, que las bases de datos biomédicas no albergan estudios de terapias alternativas y que, por lo tanto, la evaluación de las pruebas es parcial y no incluye todos los estudios realizados.

 

Para responder a algunas de dichas incógnitas, el equipo de Evidencia en Nutrición ha realizado una card_073_Edzard Ernstmini-entrevista de tres preguntas al profesor Edzard Ernst (@EdzardErnst).  Tanto para aquellos que hayan leído algunos o varios de sus textos o artículos científicos, como para aquellos que no lo hayan leído nunca y empiecen hoy, puede sorprenderles saber que el doctor Edzard Ernst sea, a la vez, profesor de medicina complementaria y una de las mentes más críticas y escépticas de este sector, habiendo publicado más de 1.000 artículos en revistas médicas, 48 libros y un sinfín de abrumadores pero a la vez rigurosos posts que critican a menudo el sector de la llamada “medicina complementaria”. Cabe destacar que Edzard Ernst es médico y recibió formación específica en acupuntura, entrenamiento autógeno, herbo-dietética, homeopatía, masaje terapéutico y manipulación espinal. En 1993 fue nombrado Profesor Emérito de la Universidad de Exeter (Reino Unido) donde enseña actualmente medicina complementaria. Asimismo, es editor jefe de dos revistas médicas: Perfusion y Focus on Alternative and Complementary Therapies.

 

Como se puede comprobar, no ha sido fruto de la casualidad haber entrevistado a este profesional y no a otro en la materia que nos ocupa. Sin más dilación, veamos lo que responde el profesor Ernst a nuestras preguntas:

 

Pregunta 1- ¿Cuál es la diferencia (si es que la hay) entre terapia complementaria y alternativa?

Edzard Ernst – La terapia complementaria se define por el uso de dicha terapia como complemento de la medicina convencional, mientras que la medicina alternativa usa dicha terapia como reemplazo de la medicina convencional. Sin embargo, es importante darse cuenta de que una estas modalidades terapéuticas puede ser usada a veces como medicina alternativa, y otras como complementaria. Esta es la razón por la que se usa el término conjunto CAM (Complementary and Alternative Medicine).

 

Pregunta 2- ¿Es posible evaluar las terapias complementarias y alternativas mediante la ciencia? ¿Se está haciendo actualmente?

Edzard Ernst – las CAMs pueden y deben ser probadas como cualquier otro tratamiento. Es verdad que esto puede plantear algunos problemas de diseño y ejecución, por ejemplo cuando no haya un placebo obvio. Sin embargo, siempre es posible realizar ECAs (Estudios Controlados Aleatorizados), y a menudo es deseable poner a prueba los muchos reclamos o declaraciones que se hacen de las CAMs.

 

Pregunta 3- Si se pidiera a algunos científicos que evaluaran toda la evidencia científica sobre las terapias complementarias y alternativas, ¿qué bases de datos cree usted que deberían ser consultadas para garantizar que todos o casi todos los artículos publicados se recuperan y evalúan?

Edzard Ernst – Desde luego sería un error asumir que una sola base de datos puede ser suficiente. Dependiendo del área temática tratada, uno necesitaría no sólo las bases de datos estándar como Medline o Embase, sino también la búsqueda en bases de datos especializadas. Asimismo, es necesario también considerar idiomas distintos al inglés, como por ejemplo, cuando se evalúan medicina tradicional china.

 

Pese a las pocas preguntas que hemos podido realizar al Prof. Edzard Ernst, creemos poder sacar algunas conclusiones que pueden ser de mucho interés para los lectores de Evidencia en Nutrición y para la obtención de evidencias que evalúen las terapias nutricionales complementarias y alternativas (quede claro que es nuestra propia interpretación sobre la entrevista):

 

1. Existe una diferencia significativa entre terapia complementaria y alternativa. En la misma línea que el National Center for Complementary and Integrative Health dependiente del gobierno del Reino Unido, Edzard Ernst nos explica que mientras unas se usan como complemento de la terapia convencional, las otras se promueven como alternativa a (en lugar de) ésta. Este es un hecho mucho más significativo de lo que puede parecer, sobre todo cuando nos ponemos en el supuesto menos halagüeño y optimista. Cuando se usa una terapia de eficacia no probada (inclusive de terapias convencionales o estándares) como complemento de otra clínicamente probada, los riesgos asumidos se reducen a posibles efectos adversos no conocidos (que pueden ser severos o leves) o interacciones entre terapias. Sin embargo, cuando se utiliza una terapia no probada en lugar o como sustituto de una terapia clínicamente probada, los riesgos asumidos son exponencialmente más altos, ya que se está evitando que el paciente inicie una terapia testada que le puede curar, para instaurar una terapia de eficacia incierta, lo que puede traducirse en un empeoramiento del pronóstico del paciente (en el peor de los casos) o una disminución de su calidad de vida y vida útil (en los casos más leves). Finalmente, Edzard Ernst nos advierte que una misma modalidad terapéutica se puede usar a veces como complementaria y otras como alternativa, lo que nos lleva a pensar que todas las terapias complementarias y alternativas (inclusive las cercanas a la nutrición humana y dietética), deberían ser adecuadamente testadas a nivel clínico antes de su comercialización.

 

2. Respecto a si la ciencia contemporánea, incluyendo tanto la investigación primaria (estudios de intervención u observacionales) como la  investigación secundaria (metaanálisis y sumarios de evidencia), puede o no evaluar la eficacia de las terapias complementarias y alternativas, Edzard Ernst no deja lugar a debate: todas estas terapias pueden y deben ser probadas como cualquier otro tratamiento. Además, al parecer, y aunque a veces puedan existir ciertas dificultades a la hora de establecer un placebo adecuado, los ECA y los metaanálisis de ECA seguirían siendo los niveles de evidencia más altos. Esto nos hace recordar una frase que compartió el doctor Ernst en su blog, en octubre de 2013: “El plural de anécdota es anécdotas, no evidencia”. Para aquell@s que quieran saber más sobre cómo se prueban los tratamientos, les recomendamos la lectura Cómo se prueban los taratmientos: una mejor investigación para una mejor atención de salud.

 

3. Para evaluar todas las evidencias científicas sobre las terapias nutricionales complementarias y alternativas, se deberían evaluar, además de las bases de datos estándares (Medline y Embase), bases de datos especializadas según el área temática. Desde el desconocimiento de los autores de este post sobre este tipo de terapias y sobre las bases de datos que pueden contener estudios científicos sobre éstas, entendemos que deberían revisarse bases de datos similares a la conocida Natural Medicines Comprehensive Database para obtener con más probabilidad todo el universo de publicaciones sobre este tema. Asimismo, Edzard Ernst nos advierte de que posiblemente debamos abrirnos a lenguas diferentes al inglés que pueden no estar al alcance de todos, como por ejemplo el chino, para eliminar el sesgo de lenguaje. Iniciativas internacionales como Cochrane, que cuentan en sus instituciones autores de muchos países diferentes, sin lugar a dudas fomentan la eliminación de fronteras y sesgos lingüísticos, pudiendo llegar a un mayor número de publicaciones científicas y a una evaluación más exhaustiva de toda la evidencia disponible.

 

Esperamos que la entrevista realizada a este gran profesional por el que sentimos auténtica admiración, haya book_ernst_2015servido para responder, desde el corazón de un apasionado por el rigor científico en temas de salud, a algunas de las incógnitas que suelen aparecer respecto a investigación y evaluación de evidencias en terapias complementarias y alternativas. Por supuesto, alentamos a todos nuestros lectores a que lean periódicamente el blog del Prof. Edzard Ernst, y en especial recomendamos en esta ocasión la entrada Alternative medicine, the baby and the bath water que nos acerca aún más a las preguntas formuladas en esta entrevista sobre las dificultades de investigación en terapias alternativas. En dicha entrada se puede ver cómo una mente privilegiada como la suya e investigador acérrimo, interpreta dichas dificultades para conseguir superarlas en lugar de ningunearlas para alejarse definitivamente de las pruebas científicas más duras que se le puedan y deban realizar a todas las terapias, sean del tipo que sean, para ganarse la credibilidad de la comunidad científica. Asimismo, animamos a nuestros lectores a que lean cualquiera de sus libros, pero en especial su nuevo libro A Scientist in Wonderland: A Memoir of Searching for Truth and Finding Trouble (2015).

 

 

Equipo redactor de la entrevista: Eduard Baladia (@EBaladia), Rodrigo Martínez-Rodríguez, Julio Basulto (@JulioBasulto_DN)

 

Eduard Baladia

Dietista-Nutricionista por la Universidad de Barcelona. Ha participado como experto externo en 9 guías de la Organización Mundial de la Salud (OMS). Es uno de los profesionales de la salud y el único dietista-nutricionista que ha completado el “Curso de introducción a la elaboración de Guías de Práctica Clínica (GPC)” organizado por GuíaSalud-Biblioteca de Guías de Práctica Clínica del Sistema Nacional de Salud. Además ha realizado el curso de “Introducción a las Revisiones Sistemáticas” de la Cochrane Iberoamericana. En la actualidad está siendo evaluado por el Practice-based Evidence in Nutrition (PEN) para ser autor y/o revisor de la iniciativa internacional.

More Posts - Website

Posted in Búsquedas, Ciencia en general, Entrevistas, Interpretación, Lectura crítica, Metaanálisis, Metodología, Sumarios de evidencia | Tagged , , , , , | 1 Comment

Researching Complementary and Alternative Therapies: a mini-interview with Dr Edzard Ernst

card_073_Edzard Ernst

 

@EvidNutrition

 

Dietary and nutritional products and procedures that do not derive from standard or regular practices are frequently used in complementary and alternative medicine, but the safety and effectiveness of many of these products and procedures are unknown.

 

Statements made by prescribers promoting alternative nutritional therapies may sound promising; however, the scientific community usually does not know how effective or safe these treatments are. Before going further, we want to make it clear that the information about human nutrition and dietetics currently being taught in (Spanish) universities belongs to science-based conventional western medicine (as explained by the Ministry of Health, Social Policy and Equality in its report entitled Terapias Naturales [Natural Therapies]). Sometimes, when study results regarding such complementary and/or alternative therapies are not found to be favourable, prescribers and users of these therapies label contemporary science as being “unfair” or deem the research as unable of properly evaluating the effects of these therapies. Similarly, when scientific evidence is being assessed, people who advocate (and sometimes use) these complementary and/or alternative therapies usually suggest that biomedical databases do not contain studies of alternative therapies. These advocates then suggest that evidence for or against alternative medicine is incomplete because not all research on these matters is taken into account.

 

To answer some of the questions regarding alternative and complementary medicine, card_073_Edzard ErnstEvidencia en Nutrición has conducted a mini-interview with Dr Edzard Ernst (@EdzardErnst). Dr Ernst is a professor of complementary medicine at the University of Exeter in the UK; he is also one of the most critical and sceptical minds in this matter. He has published more than 1000 medical journal articles, 48 books, and many in-depth blog posts, many of which criticise complementary and alternative medicine. Dr Ernst is a medical doctor who has received specific training in acupuncture, autogenic training, phytotherapy, homeopathy, therapeutic massage, and spinal manipulation. He was appointed as an Emeritus Professor at the University of Exeter in 1993, where he currently teaches complementary medicine. He is also the editor-in-chief of two medical journals: Perfusion and Focus on Alternative and Complementary Therapies.

 

It is obvious that Dr Ernst is a qualified person to speak on this matter. Let’s get to the issue:

 

Question 1 – What is the difference (if any) between complementary and alternative therapy?

Edzard Ernst – Complementary describes the use as an adjunct to conventional medicine and alternative as a replacement. But it is important to realise that one modality can be used as either alternative or complementary medicine. This is why many use the term ‘CAM’ (Complementary and Alternative Medicine).

 

Question 2 – Is it possible to evaluate complementary and alternative therapies using scientific approaches? Is it doing well nowadays?

Edzard Ernst – CAMs can and should be tested like any other treatments. This can pose problems, for instance when there is no obvious placebo. But RCTs (Randomized Controlled Trials) are always possible and often desirable for testing the many therapeutic claims made for CAMs.

 

Question 3 – If scientists were asked to evaluate all scientific evidence about complementary and alternative therapies, which electronic databases do you think they would need to consult to guarantee that (almost) all published articles had been evaluated?

Edzard Ernst – It would be wrong to assume that one database can suffice. Depending on the subject area, one needs not just the standard sources like Medline and Embase but also specialised databases. Also one needs to consider languages other than English, for instance for Traditional Chinese Medicine (TCM).

 

Despite the small number of questions we asked Dr Edzard Ernst, we think we can draw some conclusions from his answers that could be very interesting for readers of Evidencia en Nutrición. We also believe Dr Ersnt’s answers could be helpful for research methods of studying complementary and alternative nutritional therapies. The following text is our own interpretation of the interview:

 

1. There is a significant difference between complementary and alternative therapies. Dr Ernst explains that according to the National Centre for Complementary and Integrative Health (which is run by the UK government), complementary therapy is used to complement conventional therapy, while alternative therapy is an alternative to conventional medicine. This differentiation is much more significant than it may seem, above all taking into account the least encouraging and optimistic supposition. When an untested therapy (even a conventional or standard therapy) is used to complement a clinically-tested treatment, the assumed risks are usually unknown adverse effects or interactions between therapies. However, when an untested therapy is used instead of a clinically tested one, the assumed risks are exponentially higher. In this scenario, the patient is not being treated with the therapy which could have the potential to cure. The worst possible outcome of this avoidance would be the deterioration of a patient’s prognosis, while a decrease in the patient’s overall quality of life would be a less severe result of this avoidance. Dr Ernst advises that the same kind of therapy may sometimes be used as a complementary therapy and other times be used as an alternative therapy. This suggests that all complementary and alternative therapies (even those related to human nutrition and dietetics) should be properly clinically tested before they are commercialised.

 

2. Dr Ernst leaves no doubt regarding the ability of contemporary science (including both primary and secondary research) to assess the effectiveness of complementary and alternative therapies, stating that these therapies ‘can and should be tested like any other treatments’. Furthermore, RCTs and meta-analyses of RCTs are the best type of evidence of effectiveness of therapies. This reminds us of one of Dr Ernst’s famous sayings: ‘the plural of anecdote is anecdotes, not evidence‘. We recommend reading Testing Treatments: Better Research for Better Healthcare for those who want to know more about this topic.

 

3. In addition to standard databases like Medline and Embase, specialised databases should be used when gathering and assessing scientific evidence about complementary nutritional and alternative therapies. Databases similar to the Natural Medicines Comprehensive Database should be analysed to ensure that all relevant publications are considered when researching complementary and alternative medicine. Dr Ernst also advises researchers to avoid language bias, meaning that we should be open to finding research in languages other than English. This research may sometimes be unattainable, such as Chinese research. In this regard, international initiatives (like Cochrane, an institution with authors from different countries) should be promoted to help overcome language barriers. This would make it possible for researchers to have access to a greater variety of scientific publications, thereby allowing a more comprehensive assessment of the available evidence.

 

 

We sincerely hope that this interview with a great medical professional has answered book_ernst_2015some of the questions regarding the research and assessment of evidence for complementary and alternative therapies. Of course, we encourage you to read Dr Ernst’s blog as well; more specifically, we recommend a blog entry regarding research difficulties in alternatives therapies: ‘Alternative Medicine, the Baby, and the Bath Water‘. This post shows how an exceptional mind interprets and overcomes these difficulties instead of move away from the hardest scientific tests. Likewise, we encourage you to read some of Dr Ernst’s books, especially the most recent one: A Scientist in Wonderland: A Memoir of Searching for Truth and Finding Trouble (2015).

 

We want to express our heartfelt gratitude to Dr Edzard Ernst for spending his valuable time in our project.

 

Working team: Eduard Baladia (@EBaladia), Rodrigo Martínez-Rodríguez, Julio Basulto (@JulioBasulto_DN)

 

 

Eduard Baladia

Dietista-Nutricionista por la Universidad de Barcelona. Ha participado como experto externo en 9 guías de la Organización Mundial de la Salud (OMS). Es uno de los profesionales de la salud y el único dietista-nutricionista que ha completado el “Curso de introducción a la elaboración de Guías de Práctica Clínica (GPC)” organizado por GuíaSalud-Biblioteca de Guías de Práctica Clínica del Sistema Nacional de Salud. Además ha realizado el curso de “Introducción a las Revisiones Sistemáticas” de la Cochrane Iberoamericana. En la actualidad está siendo evaluado por el Practice-based Evidence in Nutrition (PEN) para ser autor y/o revisor de la iniciativa internacional.

More Posts - Website

Posted in Búsquedas, Ciencia en general, Entrevistas, Interpretación, Lectura crítica, Metaanálisis, Metodología, Sumarios de evidencia | Tagged , , , , | Leave a comment

Cómo interpretar un metaanálisis

Cómo interpretar un metaanálisis

@EvidNutrition

 

Cuando analizas un metaanálisis, ¿solamente lees sus conclusiones? Nosotros antes lo hacíamos así, hasta que descubrimos (con horror) que las conclusiones de l@s autores/as no siempre describen fielmente los resultados de sus metaanálisis, e incluso que los resultados resaltados por los autores no siempre son los más relevantes.

Los metaanálisis son uno de los mayores logros de la medicina y la investigación de las últimas tres décadas. Además, son un instrumento necesario, o incluso crucial, en el proceso de transmisión del conocimiento, que se utiliza (cuando es posible) como punto de partida para desarrollar guías de práctica basadas en la evidencia (o sumarios de evidencia). Por eso, para cualquier profesional de la salud es fundamental saber cómo encontrar revisiones sistemáticas o metaanálisis de alta calidad y, por supuesto, debería disponer de los recursos suficientes para interpretarlos. Este último es justamente el tema que intentaremos abordar en esta entrada.

 

Pero vayamos al principio, ¿qué es un metaanálisis?

Un metaanálisis es una revisión sistemática que combina los resultados de estudios independientes y los analiza utilizando un método cuantitativo. Como herramienta de síntesis, el metaanálisis debe resumir toda la información disponible de una manera no sesgada y rigurosa, siguiendo un proceso sistemático, explícito y transparente.

Los ensayos bien diseñados y con muestras grandes son escasos y muchos de los estudios individuales existentes son demasiado pequeños para detectar efectos concretos. Asimismo, en la literatura científica podemos encontrar estudios con efectos contradictorios (efectos que apuntan en sentidos opuestas). Los metaanálisis nos permiten analizar estudios con diferentes tamaños de muestra o contradictorios, y al combinarlos obtenemos un resultado que apunta en una sóla dirección y cuyo tamaño de muestra y capacidad para evaluar los efectos de interés es mucho mayor.

 

ok_evidnutrObjetivos de un metaanálisis:

· Sintetizar e integrar los resultados de varios estudios individuales.
· Analizar las diferencias en los resultados entre estudios.
· Aumentar el poder de detectar un efecto de interés.
· Mejorar la precisión en la estimación de los efectos.
· Evaluar los efectos en subgrupos de pacientes.
· Determinar si se requieren nuevos estudios (o unificar metodologías) para un tema concreto.
· Generar nuevas hipótesis para futuros estudios.

 

El objetivo final de los metaanálisis no es establecer una recomendación, sino ofrecer un análisis del estado actual del conocimiento, tanto de los estudios a favor como en contra.

 

Interpretando los resultados

Las conclusiones de un metaanálisis siempre deberían establecerse como clara respuesta a la pregunta formulada del estudio y en base a los resultados obtenidos. En ningún caso los autores deberían establecer recomendaciones para la práctica diaria en base a sus resultados (existen más aspectos que deben tenerse en cuenta para realizar dichas recomendaciones) ni extralimitarse en ninguna de sus conclusiones. El protocolo del estudio debe quedar fijado y establecido previamente (registrándolo si pudiera ser), pero a veces, cuando los resultados que arroja el metaanálisis no son estadísticamente significativos, algunos autores acaban sacando conclusiones secundarias al análisis de datos, olvidando incluso la(s) pregunta(s) que intentaba responder inicialmente. Más allá de las conclusiones que los autores puedan sacar de sus resultados, ser capaces de interpretar estos últimos de forma independiente nos dará más herramientas para entender sus posibles implicaciones reales, así como detectar conclusiones que no acaban de corresponderse con los hallazgos.

 

Los resultados de un metaanálisis se organizan a través de un gráfico llamado forest plot (diagrama de bosque).

 

 

 

 

Generalmente, un forest plot se divide en seis columnas y los resultados individuales de cada estudio se disponen en filas sucesivas.

En la primera columna se presenta el listado con la identificación de los estudios individuales incluidos. Cuando se ha realizado un análisis de subgrupos, estos se muestran también en la primera columna. Es importante tener en cuenta que el análisis de subgrupos debería haberse indicado en el protocolo del metaanálisis, ya que algunos autores tienen la tentación de hacer subgrupos a posteriori para intentar obtener resultados estadísticamente significativos. También hay que fijarse en que los estudios que se indican en esta primera columna deben presentar una metodología y diseño semejantes, ya que no es adecuado mezclar o agregar datos de estudios que analizan diferentes especies o diseños dispares (estudios aleatorizados controlados, estudios de cohortes, estudio in vitro, etc.). En el forest-plot  de este ejemplo se puede ver (con sorpresa) cómo se mezclan datos de estudios realizados en humanos y datos de estudios realizados en animales.

La segunda columna representa a los grupos intervención y la tercera a los grupos control. Estas dos columnas pueden presentar subcolumnas, que hacen referencia al tamaño de la muestra (n) y a la media de los resultados individuales y sus desviaciones estándar (mean (SD), o bien a riesgos relativos (RR)).

La cuarta columna es una representación visual de los resultados de los estudios (en algunos metaanálisis, esta información puede presentarse en la sexta columna). La línea vertical central de esta representación es la línea de ‘no efecto’, la cual simboliza que no hay diferencia entre el grupo de intervención y el grupo control. En metaanálisis con variables dicotómicas o binarias (por ejemplo, sí/no, enfermedad/no enfermedad, etc.), la línea tiene el valor de “uno” porque representa un ratio (el riesgo relativo o el odds ratio); a diferencia de estudios con variables continuas (por ejemplo, peso, colesterol, niveles de glucosa en sangre, etc.),  donde la línea de no efecto tiene el valor de “cero”. Ambos lados de la línea, simbolizan si los resultados favorecen o no la intervención, pero ojo, aunque es habitual ver el “favorece a la intervención” a la izquierda de la línea de no efecto, esto no es siempre así y, si no se hace una lectura más detenida, se puede malinterpretar la gráfica.

Dentro de la gráfica, los cuadrados representan el efecto evaluado en cada estudio y su tamaño está directamente relacionado con el peso de los estudios en el metaanálisis (expresado numéricamente en la quinta columna). La línea horizontal que los atraviesa representa el intervalo de confianza. Cuanto más larga sea la línea, mayor será el intervalo y, por tanto, los resultados del estudio serán menos precisos (una flecha en los extremos, indica que el intervalo es mayor que el espacio disponible).  Los efectos individuales (los cuadrados), se posicionarán a izquierda, derecha o sobre la línea de no efecto, dependiendo del resultado individual obtenido en cada estudio. Si la mayoría de efectos se posiciona a un lado de la línea de referencia, esto indica que la heterogeneidad es baja, pero cuando los efectos se distribuyen a ambos lados, significa que los estudios son contradictorios (la heterogeneidad es alta) y las conclusiones del metaanálisis se pueden ver comprometidas.

 

Los intervalos de confianza permiten conocer la precisión de la estimación dentro de un margen de error establecido. El IC 95% (p=0,05) se considera suficiente (aunque se puede utilizar el IC 99% [p=0,01]; pero es poco habitual), representa una seguridad del 95% de que la asociación estudiada no se da por el azar.

 

Los diamantes representan los resultados globales del metaanálisis, ya sea del análisis de subgrupos realizados (subtotales) o bien del conjunto de todos los grupos (total). El centro del diamante es el valor del efecto en conjunto y el ancho representa el intervalo de confianza general. La diferencia entre los grupos de intervención y control puede considerarse estadísticamente significativa, si el diamante se posiciona claramente a un lado de la línea de referencia, pero si la cruza o simplemente la roza, no se podrán sacar conclusiones que apunten en una dirección.

Todas las representaciones gráficas que acabamos de comentar, tienen su traducción numérica en la quinta y sexta columna. La quinta columna representa el peso de cada estudio sobre el resultado global (cuanto mayor sea el tamaño de la muestra y más estrecho sea el intervalo de confianza, mayor será el peso del estudio). Es fácil comprender que si un solo estudio tiene mucho peso, ejercerá una gran influencia en el resultado final del metaanálisis, de modo que si este estudio tiene una calidad metodológica dudosa, podría hacer que los resultados globales fueran engañosos. Para intentar evitar este tipo de errores y determinar la solidez de los resultados del metaanálisis, los autores deberían aplicar un análisis de sensibilidad, que consiste simplemente en presentar los resultados cuando se quitan algunos estudios del análisis. Si esto provoca cambios importantes en los resultados globales, como una modificación de la dirección del efecto, los resultados del metaanálisis deben interpretarse con cautela; si por el contrario sólo se altera el tamaño del efecto, el resultado puede considerarse firme. Esto es tan importante que las conclusiones de los autores deberían ir acordes a estas consideraciones.

La sexta columna expresa los resultados numéricos de cada estudio. Concretamente, en metaanálisis con variables dicotómicas se presenta el riesgo relativo (el cociente del riesgo en el grupo intervención entre el del grupo control de cada estudio) y en metaanálisis con variables continuas se presenta la diferencia de medias (diferencia entre la media del grupo intervención y el control de cada estudio), con su intervalo de confianza correspondiente. Para que los resultados individuales sean estadísticamente significativos, en el caso de variables dicotómicas, el intervalo de confianza no debe incluir el valor 1, mientras que en variables continuas, no debe incluir el 0.

 

Los datos numéricos se incluyen en el abstract de cada metaanálisis, por lo que con una simple lectura del mismo, deberíamos ser capaces de evaluar si los resultados son estadísticamente significativos o no (independientemanete de lo que digan los autores).

 

Al final de esta presentación de datos, el forest plot  incluye la prueba de heterogeneidad (I2), que mide la variabilidad entre estudios, indicando cómo de comparables son los estudios analizados. Los datos de los estudios individuales se pueden analizar en el metaanálisis utilizando el modelo de efectos fijos (fixed effect model) o el de efectos aleatorios (random effect model).

Resumidamente, el modelo de efectos fijos asume que el efecto del tratamiento es el mismo en todos los estudios, mientras que el modelo de efectos aleatorios asume que los efectos del tratamiento no son los mismos en todos los estudios. Cuando el nivel de heterogeneidad entre los estudios es elevado, el resultado del metaanálisis probablemente dependa del modelo utilizado y en estos casos, el análisis debería realizarse y presentarse usando ambos modelos.

Finalmente, el forest plot muestra un apartado que presenta el test de efecto global, que mide la significación estadística del resultado del metaanálisis. Un resultado se considera estadísticamente significativo cuando el valor de la “p” es inferior a 0,05 (para IC 95%). Cuando no hay diferencia estadísticamente significativa (el valor es superior a 0,05), los autores no deberían resaltar ninguna conclusión que apuntara en un sentido concreto, es decir, deberían abstenerse de realizar consideraciones del tipo: “aunque los resultados no son estadísticamente significativos, esta terapia muestra una tendencia a mostrar efectos positivos en favor del grupo intervención” o similares. De todos modos, hay que tener presente que el término estadísticamente significativo no es lo mismo que tener efectos relevantes, ya que una asociación estadísticamente significativa puede no ser clínica o epidemiológicamente relevante. Por eso, siempre debe entenderse en el contexto del estudio, su diseño, las características de la muestra o la población, etc. El valor de “p” no debe ser una cifra mágica que autorice a dar recomendaciones.

 

ok_evidnutrEn resumen, en un forest plot hay que fijarse en:

  • · La heterogeneidad de los efectos.
  • · El peso de los estudios.
  • · Los intervalos de confianza.
  • · La disposición del diamante.
  • · El test de efecto global.

Lectura recomendada: interpretando y entendiendo un forest plot

 

 

Para aumentar vuestra habilidad para interpretar un metaanálisis, es muy recomendable leer algunos manuales de elaboración (para revisiones sistemáticas y metaanálisis) que pueden obtenerse libremente on-line, como el de la Colaboración Cochrane o de la Universidad de York. También os invitamos a que echéis un vistazo a las propuestas concretas para adaptar los métodos genéricos al ámbito específico de la nutrición.

 

metaanálisis: RevMan5

Recomendación para súper motivados: si necesitas preparar un forest plot para tu metaanálisis, Cochrane dispone de un software, compatible con cualquier sistema operativo, que puedes descargar de forma gratuita y que es relativamente fácil de utilizar: RevMan

 

Esperamos que encontréis esta entrada de utilidad para aumentar vuestra habilidad de interpretación de metaanálisis. En las próximas entradas, os daremos más herramientas para la evaluación crítica de un metaanálisis.

 

 

Rodrigo Martínez-Rodríguez

Biólogo y estudiante de Nutrición Humana y Dietética por la Universidad de Murcia. Ha realizado el curso de “Introducción a las Revisiones Sistemáticas” del Centro Cochrane Iberoamericano.

More Posts

Posted in Interpretación, Metaanálisis | Tagged , , , , | Leave a comment