Evaluación y adaptación de guías basadas en la evidencia

adaptación_GPC_GuiaSalud

 

@EvidNutrition

 

La creación de sumarios de evidencia (o guías de práctica basadas en la evidencia) de novo es una idea muy sugerente, pero también muy time consuming y, en ocasiones, puede ser una duplicación innecesaria de esfuerzos (por no decir una pérdida de tiempo inadmisible; hay mucho trabajo por hacer y muy pocas manos a la obra). Por lo que sabemos (no está escrito en ningún lugar, pero nos lo han contado de primera mano mediante comunicación personal), los expertos a nivel nacional (España) de GuíaSalud (@GuiaSalud) suelen trabajar sobre una guía de unas 15-20 preguntas cerca de 2 años y los expertos internacionales del PEN® demoran unos 3 meses en responder a una sola pregunta.ok_evidnutr

 

Si buscamos evidencias con eficiencia siguiendo las recomendaciones de Haynes y cols; 2009, cuando iniciamos un proyecto de creación de un sumarios de evidencia, puede ser una buena idea buscar e incorporar evidencias preevaluadas de otros sumarios o guías de evidencia científica, ya que en ellas se habrá hecho el titánico esfuerzo de buscar de forma sistemática todo el universo de estudios, establecer su calidad y obtener unas recomendaciones fiables. Seleccionar muchas guías distintas podría convertir el afán de ahorro de tiempo en un verdadero infierno (en términos de eficiencia), por lo que se recomienda incorporar solamente las 2 o 3 mejores guías (la cantidad es orientativa, es otra ley no escrita del proceso). En consecuencia, antes de incorporar o usar cualquier guía, deberemos asegurarnos de que éstas son las de más alta calidad.

A continuación, compararemos 2 metodologías de evaluación y adaptación de guías, uno nacional (GuíaSalud; España) y otro internacional (Guidelines International Network [GIN]), resaltando sus puntos fuertes y débiles.

 

Proceso según GuíaSalud; España

 

Si consultamos el manual metodológico de los expertos españoles de GuíaSalud, en su Anexo 9 podemos encontrar descrita la metodología usada. En dicho anexo, podemos ver que la adaptación de una guía se puede realizar siguiendo 6 pasos:

Paso 1. Formulación de las preguntas clínicas: bueno, se supone que ya las habremos creado cuando iniciamos nuestro proyecto, aunque no está mal recalcarlo para los más “cagaprisas”.

Paso 2. Búsqueda, evaluación de la calidad y selección de GPC: además de explicar dónde suelen buscar las guías (Tripdatabase; ver esta entrada para más información), se indica que para la evaluación de las mismas se recurre al Instrumento AGREE, actualmente llamado AGREE II. Como bien nos cuentan, esta herramienta nos sirve para establecer una puntuación que nos servirá para clasificarlas y decidir qué guía nos conviene más:

  • Muy recomendadas: si puntúan 3-4 en la mayoría de los criterios y la puntuación por áreas supera los 60 puntos.
  • Recomendada con condiciones o modificaciones: si el número de criterios que puntúan 3-4 es similar al de 1-2 y las puntuaciones por áreas alcanzan valores entre 30-60.
  • No recomendadas: si la mayoría de los criterios puntúan 1-2 y las puntuaciones por áreas son inferiores a 30.

En este sentido, para el proceso de adaptación, los expertos de GuíaSalud nos recomiendan seguir los siguientes criterios para seleccionar las mejores guías:

  • Que sean guías clasificadas como muy recomendables o recomendadas con modificaciones según la puntuación del instrumento AGREE y con una puntuación superior al 60 en el área de rigor en la elaboración (dominio 3 del instrumento que abarca los ítems del 7 al 14).
  • Que las guías estén actualizadas. La fecha de cierre de la búsqueda no debería superar los tres años (excepcionalmente hasta 5).
  • Que existan contextos de aplicación similar, es decir, tipos de pacientes, objetivos de la guía, contexto sanitario e inclusive usuarios diana de la guía parecidos.
  • Que se puedan obtener las estrategias de búsqueda completas y las tablas de evidencia.
  • Otros factores a tener en cuenta: composición del grupo redactor, conflictos de intereses, e impacto de la guía.

Paso 3. Análisis del contenido clínico de la guía por preguntas: se debe valorar cómo la guía responde a cada pregunta formulada en nuestro proyecto.

Paso 4. Aplicación de los criterios de adaptación de guías a las preguntas clave formuladas: se usa una herramienta propia que se basa en preguntas realizadas sobre cada pregunta formulada:

Criterios de adaptación de GPC según GuíaSalud

adaptación_GPC_GuiaSalud

Paso 5. Estrategia a seguir en cada pregunta según diferentes supuestos: de forma muy adecuada, los expertos de GuíaSalud recomiendan seguir diferentes estrategias según diferentes situaciones o supuestos tras aplicar los criterios de adaptación.

estartegia_adaptación_GPC_GuiaSalud

 

Paso 6. Formulación de recomendaciones: se deberá hacer una evaluación formal y juicio razonado, e identificar de forma adecuada qué recomendaciones han sido adaptadas de otras guías, de forma que el usuario pueda identificarlas fácilmente.

Puntos fuertes:

  • Es un proceso maravillosamente sencillo.
  • Permite una actualización rápida y adaptación si existe algún/os metaanálisis Cochrane reciente/s (<3 años).
  • Tiene en cuenta diferentes supuestos en los que nos podemos encontrar al evaluar las guías, proponiendo estrategias concretas de trabajo.

Puntos débiles:

  • Describe cómo interpretar las puntuaciones del instrumento AGREE (escala de Likert de 4 puntos) pero no como usar las puntuaciones del instrumento AGREE II (escala de Likert de 7 puntos), para establecer si las guías son muy recomendables, recomendables pero con condiciones, o no recomendables.
  • No indica cómo actuar frente a una gran diferencia de puntuaciones de un mismo criterio por parte de diferentes evaluadores. Solamente cómo actuar respecto a la puntuación total del dominio.
  • Es posible que se quede pobre en la descripción del significado de: “guía actualizada”, “consistencia y coherencia entre guías”, y “aplicabilidad de la  recomendación  en  nuestro medio”.
  • La relación entre los diferentes supuestos al evaluar la guía y la estrategia a seguir respecto a cada pregunta es de difícil visualización.
  • Respecto al grado de recomendación, hacen mención expresa al sistema SIGN, actualmente en retroceso respecto al sistema internacional GRADE que está en auge gracias al continuo proceso de evaluación de la metodología.

 

Proceso según Guidelines International Network (GIN)

 

La Guidelines International Network (GIN) ha creado un extenso manual de adaptación llamado ADAPTE, manual que los propios expertos de GuíaSalud recomiendan en su portal de herramientas de interés para al adaptación.

En este manual se pueden encontrar, con mucho detalle, 3 fases con 24 pasos (en total; no os asustéis) que el GIN recomienda seguir. Existen muchos pasos compartidos entre los procesos recomendados por GuíaSalud y GIN, siendo el paso 1 de los primeros el paso 7 de los segundos. Sin querer reproducir las 95 páginas que tiene el manual, y abreviando mucho, los pasos recomendados son:

Fase 1, preparación: hay toda una fase de preparación antes de ponerse manos a la obra. Si bien siempre resulta interesante leerse este apartado y seguirlo, muchos de estos pasos ya se habrán llevado a cabo en el proceso de creación del proyecto. Se compone de los pasos 1 a 6.

Fase 2, adaptación: es la parte central del proceso y se compone de los pasos 7 a 18, que vendría a ser la parte descrita por GuíaSalud, sólo que desarrollada con muchos más detalles y en 12 pasos (el doble que GuíaSalud). Sin querer extendernos mucho en nuestra exposición, existen dos cuestiones que creemos importante comentar al respecto:

  • Coinciden con GuíaSalud en decir que el dominio “rigor de la elaboración” es especialmente importante.
  • Sin embargo clarifican que “una puntuación AGREE pobre no debería ser suficiente para eliminar una guía”, sino que deben tenerse en cuenta otros aspectos antes de proceder a la eliminación. A menos que todos los evaluadores consideren que es una guía “no recomendada”, se deberá discutir si es pertinente su eliminación o no, inclusive si su puntuación en dominios determinantes como “el rigor de la elaboración” es bajo (interesante punto de vista).
  • Añaden que si los mismos criterios son puntuados de forma muy distinta por diferentes evaluadores/as,  deben ser identificados como puntos de discusión a solucionar antes de continuar y obtener una puntuación final por dominio (ayuda a solucionar el problema de la variabilidad inter-evaluador).
  • Incluyen una serie de herramientas de gran utilidad para recoger más información sobre el estado de actualidad de las guías, la evaluación de la consistencia y coherencia entre guías y la evaluación del grado de aplicabilidad de  la  recomendación  en  nuestro medio.

Fase 3, finalización: se ofrece una descripción de cómo terminar el proceso, que se corresponde con la finalización normal del proyecto de elaboración de cualquier guía (revisión interna y externa, etc.). Se compone de los pasos 19 a 24.

Puntos fuertes:

  • Tiene en cuenta diferentes supuestos en los que nos podemos encontrar al evaluar una guía.
  • Completa un poco el cómo interpretar las puntuaciones del instrumento AGREE.
  • Tiene algunas herramientas de interés y muy útiles que permiten matizar el significado de: “guía actualizada”, “consistencia y coherencia entre guías” y “aplicabilidad de la  recomendación  en  nuestro medio”.

Puntos débiles:

  • El sistema es mucho más complejo y largo, sin aportar muchas más ventajas aparentes respecto a la descripción de GuíaSalud (la parte central del proceso de adaptación está bien desarrollado por GuíaSalud).
  • Describe cómo interpretar las puntuaciones del instrumento AGREE (escala de Likert de 4 puntos) pero no cómo usar las puntuaciones del instrumento AGREE II (escala de Likert de 7 puntos), para establecer si las guías son muy recomendables, recomendables pero con condiciones, o no recomendables.
  • La relación entre los diferentes supuestos al evaluar la guía y la estrategia a seguir respecto a cada pregunta, es de difícil visualización (mucho más que la de GuíaSalud).

 

En definitiva, para la adaptación de guías basadas en la evidencia tenemos, como mínimo (desconocemos si hay más metodologías), dos metodologías con un mismo corazón y cada una de ellas con sus propios pros y sus contras.

¿Qué metodología elegir? Esta es siempre la cuestión.

Desde luego, si tuviéramos que preparar una guía basada en la evidencia con adaptación incluida, para que fuera evaluada a nivel nacional (España), elegiríamos la metodología de GuíaSalud (que además es menos compleja), pero si tuviéramos que hacerlo para una organización internacional, la metodología de ADAPTE sería la más interesante.

Sin embargo, si tuviéramos que elegir entre una u otra, GuíaSalud es sin lugar a dudas la que tendría más puntos, pero…

¿Y por qué no crear algo intermedio? Uf… que tarde se nos ha hecho, ¡hasta la próxima!

Rodrigo Martínez-Rodríguez

Biólogo y estudiante de Nutrición Humana y Dietética por la Universidad de Murcia. Ha realizado el curso de "Introducción a las Revisiones Sistemáticas" del Centro Cochrane Iberoamericano.

More Posts

Posted in Metodología, Sumarios de evidencia | Tagged , , , | Leave a comment

Formulación de Políticas Nutricionales informadas por la Evidencia

Portada del editorial en RENHyD.ORG

 

@EvidNutrition

 

En esta ocasión os dejamos con un editorial que hemos publicado en la Revista Española de Nutrición Humana y Dietética. Vale decir que la publicación, en sí, no merece muchos elogios, ya que dos de los autores somos editores de la revista y lo único que hemos hecho es referenciar una serie de artículos publicados en 2009 (así que no es ni muy actualizado). Sin embargo, el editorial viene como anillo al dedo para este blog y creemos que puede y debe servir como el principio de una profunda reflexión muy necesaria en materia de formulación de políticas nutricionales.

 

Portada del editorial en RENHyD.ORG

Portada del editorial en RENHyD.ORG

Cita:
Baladia E, Martínez-Rodríguez R, Martínez-Sanz JM, Norte Navarro A, Ortiz-Moncada R. Formulación de Políticas Nutricionales informadas por la Evidencia. Rev Esp Nutr Hum Diet. 2015; 19(2): 56 – 57. DOI: 10.14306/renhyd.19.2.162 / Texto completo

 

La implementación de políticas nutricionales, debería ser uno de los últimos pasos seguidos en el proceso de la toma de decisiones políticas (1) y, seguramente, el primer paso debería ser asegurar que todos los agentes implicados estén de acuerdo en que la formulación de políticas nutricionales debe estar siempre informada por la evidencia científica y teniendo en consideración las adecuadas condiciones de equidad. Sin embargo, desgraciadamente sabemos que no siempre es así (2).

En 2009 se publicaron una serie de 19 artículos (1, 3-20) en la revista BioMed Central en los que se explica, desde qué es la formulación de políticas en salud informadas en la evidencia, hasta cómo buscar, interpretar y usar la evidencia científica; qué hacer en caso de no haber suficiente evidencia; cómo evaluar los pros y contras de una política; cómo planear su implementación teniendo en cuenta el uso de recursos y coste de la misma; y cómo monitorizar y evaluar las políticas puestas en marcha.

Como en toda toma de decisiones basada en la evidencia, estas guías no se han elaborado para sustituir la figura de las personas encargadas de tomar dichas decisiones, sino para ayudar a que tanto los responsables de la toma de decisiones sobre políticas y programas de salud, como quienes los respaldan (inclusive organizaciones de científicos), tomen consciencia de la necesidad de que las decisiones se realicen siempre teniendo en cuenta la mejor evidencia de investigación disponible (1).

Entre las reflexiones a las que lleva la lectura de estos artículos, a los autores de estas líneas les ha parecido especialmente interesante el cuestionamiento de qué estrategias deberían usarse para evitar posibles presiones de grupos de poder financieros sobre una decisión de política de salud. En este sentido, la descripción de una metodología sistemática y transparente previa a la toma de decisiones y fácilmente accesible por todos, o la participación de grupos de expertos que usan metodologías basadas en la evidencia, como por ejemplo, los grupos elaboradores de Guías de Práctica Clínica Basadas en la Evidencia (GuíaSalud en España) o las Agencias de Evaluación de Tecnologías Sanitarias, pueden ayudar a manejar las tensiones y conflictos de interés que puedan generarse entre los grupos de poder económico y las decisiones políticas tomadas (4).

Sin embargo, los sistemas basados en metodologías sistemáticas y transparentes que busquen el apoyo de partes proactivas (generación de la evidencia por parte de terceros independientes) que generen resúmenes de políticas (15) y partes reactivas (partes financieras implicadas) a través de un diálogo de políticas (16), podría desajustar mucho el tiempo en el que se requiere la toma de decisiones. En este sentido, ha llamado la atención de los autores de este escrito, la dedicación de una sección en la revista BioMed Central a la interesante cuestión de cómo priorizar las decisiones políticas en función del tiempo en el que se requiere dicha toma de decisiones, pudiéndose definir estrategias de enfoque rápido aunque menos consistente y otras de enfoque más lento pero más potente (5).

Asimismo, parece ser que los autores de esta serie de artículos hayan pensado en todas las posibles barreras que las personas relacionadas con la toma de decisiones en políticas de salud pudieran tener para llevar a cabo su importante tarea, elaborando una herramienta útil y de fácil entendimiento para superar cada una de dichas dificultades. Los artículos revisan a fondo cómo usar la investigación para definir adecuadamente un problema, cómo establecer un marco de opciones posibles para abordar dicho problema, cómo evaluar la aplicabilidad de la evidencia, cómo tener en cuenta la equidad, cómo evaluar los costes de su implementación o incluso cómo monitorizar y evaluar las políticas implementadas.

Ha llegado el momento de reflexionar sobre estos y otros muchos temas que plantean estos magníficos 19 artículos (1, 3–20), y ha llegado el momento de pedir que todas aquellas personas relacionadas (ya sea de forma directa o indirecta) con la toma de decisiones en políticas nutricionales tomen consciencia de la necesidad urgente de que dicha toma de decisiones sea bien informada a través de la evidencia científica, y hacerles saber que disponen de 18 herramientas estupendas (llamadas SUPPORT tools) para ayudarles en la implementación de un sistema que conduzca a la posibilidad de tener un sistema de gestión de salud más eficiente.

 

BIBLIOGRAFÍA

(para acceder al texto completo de los SUPPORT tools, podéis acerlo a través de este link)

1. Lavis JN, Oxman AD, Lewin S, Fretheim A. SUPPORT Tools for evidence-informed health Policymaking (STP). Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: 1.
2. Marques-Lopes I. Efecto de las desigualdades sociales en la prevalencia de la obesidad. Rev Esp Nutr Humana Dietética. 30 de junio de 2013; 17(2): 45-6.
3. Oxman AD, Lavis JN, Lewin S, Fretheim A. SUPPORT Tools for evidence-informed health Policymaking (STP) 1: What is evidence-informed policymaking? Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S1.
4. Oxman AD, Vandvik PO, Lavis JN, Fretheim A, Lewin S. SUPPORT Tools for evidence-informed health Policymaking (STP) 2: Improving how your organisation supports the use of research evidence to inform policymaking. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S2.
5. Lavis JN, Oxman AD, Lewin S, Fretheim A. SUPPORT Tools for evidence-informed health Policymaking (STP) 3: Setting priorities for supporting evidence-informed policymaking. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S3.
6. Lavis JN, Wilson MG, Oxman AD, Lewin S, Fretheim A. SUPPORT Tools for evidence-informed health Policymaking (STP) 4: Using research evidence to clarify a problem. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S4.
7. Lavis JN, Wilson MG, Oxman AD, Grimshaw J, Lewin S, Fretheim A. SUPPORT Tools for evidence-informed health Policymaking (STP) 5: Using research evidence to frame options to address a problem. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S5.
8. Fretheim A, Munabi-Babigumira S, Oxman AD, Lavis JN, Lewin S. SUPPORT tools for evidence-informed policymaking in health 6: Using research evidence to address how an option will be implemented. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S6.
9. Lavis JN, Oxman AD, Grimshaw J, Johansen M, Boyko JA, Lewin S, et al. SUPPORT Tools for evidence-informed health Policymaking (STP) 7: Finding systematic reviews. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S7.
10. Lewin S, Oxman AD, Lavis JN, Fretheim A. SUPPORT Tools for evidence-informed health Policymaking (STP) 8: Deciding how much confidence to place in a systematic review. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S8.
11. Lavis JN, Oxman AD, Souza NM, Lewin S, Gruen RL, Fretheim A. SUPPORT Tools for evidence-informed health Policymaking (STP) 9: Assessing the applicability of the findings of a systematic review. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S9.
12. Oxman AD, Lavis JN, Lewin S, Fretheim A. SUPPORT Tools for evidence-informed health Policymaking (STP) 10: Taking equity into consideration when assessing the findings of a systematic review. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S10.
13. Lewin S, Oxman AD, Lavis JN, Fretheim A, Garcia Marti S, Munabi-Babigumira S. SUPPORT tools for evidence-informed policymaking in health 11: Finding and using evidence about local conditions. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S11.
14. Oxman AD, Fretheim A, Lavis JN, Lewin S. SUPPORT Tools for evidence-informed health Policymaking (STP) 12: Finding and using research evidence about resource use and costs. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S12.
15. Lavis JN, Permanand G, Oxman AD, Lewin S, Fretheim A. SUPPORT Tools for evidence-informed health Policymaking (STP) 13: Preparing and using policy briefs to support evidenceinformed policymaking. Health Res Policy Syst BioMed Cent.2009; 7 Suppl 1: S13.
16. Lavis JN, Boyko JA, Oxman AD, Lewin S, Fretheim A. SUPPORT Tools for evidence-informed health Policymaking (STP) 14: Organising and using policy dialogues to support evidenceinformed policymaking. Health Res Policy Syst BioMed Cent.2009; 7 Suppl 1: S14.
17. Oxman AD, Lewin S, Lavis JN, Fretheim A. SUPPORT Tools for evidence-informed health Policymaking (STP) 15: Engaging the public in evidence-informed policymaking. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S15.
18. Oxman AD, Lavis JN, Fretheim A, Lewin S. SUPPORT Tools for evidence-informed health Policymaking (STP) 16: Using research evidence in balancing the pros and cons of policies. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S16.
19. Oxman AD, Lavis JN, Fretheim A, Lewin S. SUPPORT Tools for evidence-informed health Policymaking (STP) 17: Dealing with insufficient research evidence. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S17.
20. Fretheim A, Oxman AD, Lavis JN, Lewin S. SUPPORT tools for evidence-informed policymaking in health 18: Planning monitoring and evaluation of policies. Health Res Policy Syst BioMed Cent. 2009; 7 Suppl 1: S18.

Rodrigo Martínez-Rodríguez

Biólogo y estudiante de Nutrición Humana y Dietética por la Universidad de Murcia. Ha realizado el curso de "Introducción a las Revisiones Sistemáticas" del Centro Cochrane Iberoamericano.

More Posts

Posted in Ciencia en general, Reflexiones | Tagged , | Leave a comment

Evidencias sobre terapias alternativas y complementarias: mini-entrevista al Prof. Edzard Ernst

card_073_Edzard Ernst

 

 

@EvidNutrition

 

En medicina alternativa y complementaria se usan, muy a menudo, productos o procedimientos dietético-nutricionales que, podríamos decir, se encuentran fuera de las prácticas consideradas como habituales o estándares y desconocemos su eficacia y seguridad.

 

Las afirmaciones que se hacen de las terapias nutricionales alternativas o complementarias pueden sonar muy prometedoras, sin embargo, la comunidad científica suele desconocer exactamente cuan eficaces y seguras son estas terapias. Queremos dejar claro, antes de seguir, que tal y como detalló el Ministerio de Sanidad, Política Social e Igualdad (MSPSI) en su informe titulado “Terapias naturales”, la nutrición humana y dietética, tal y como se enseña hoy en las universidades, forma parte de la medicina convencional occidental de base científica. En algunas ocasiones, cuando se realizan estudios científicos sobre este tipo de terapias y los resultados no son muy favorecedores, algunos prescriptores y usuarios de las mismas aducen que la ciencia contemporánea no está preparada para evaluar este tipo de terapias, y que las pruebas científicas a las que se están sometiendo dichas terapias no son “justas” o no pueden evaluar los efectos de las mismas. En la misma línea, cuando se pretende evaluar la evidencia científica en torno a este tipo de terapias, sus defensores (y en ocasiones sus usuarios) suelen aducir, además, que las bases de datos biomédicas no albergan estudios de terapias alternativas y que, por lo tanto, la evaluación de las pruebas es parcial y no incluye todos los estudios realizados.

 

Para responder a algunas de dichas incógnitas, el equipo de Evidencia en Nutrición ha realizado una card_073_Edzard Ernstmini-entrevista de tres preguntas al profesor Edzard Ernst (@EdzardErnst).  Tanto para aquellos que hayan leído algunos o varios de sus textos o artículos científicos, como para aquellos que no lo hayan leído nunca y empiecen hoy, puede sorprenderles saber que el doctor Edzard Ernst sea, a la vez, profesor de medicina complementaria y una de las mentes más críticas y escépticas de este sector, habiendo publicado más de 1.000 artículos en revistas médicas, 48 libros y un sinfín de abrumadores pero a la vez rigurosos posts que critican a menudo el sector de la llamada “medicina complementaria”. Cabe destacar que Edzard Ernst es médico y recibió formación específica en acupuntura, entrenamiento autógeno, herbo-dietética, homeopatía, masaje terapéutico y manipulación espinal. En 1993 fue nombrado Profesor Emérito de la Universidad de Exeter (Reino Unido) donde enseña actualmente medicina complementaria. Asimismo, es editor jefe de dos revistas médicas: Perfusion y Focus on Alternative and Complementary Therapies.

 

Como se puede comprobar, no ha sido fruto de la casualidad haber entrevistado a este profesional y no a otro en la materia que nos ocupa. Sin más dilación, veamos lo que responde el profesor Ernst a nuestras preguntas:

 

Pregunta 1- ¿Cuál es la diferencia (si es que la hay) entre terapia complementaria y alternativa?

Edzard Ernst – La terapia complementaria se define por el uso de dicha terapia como complemento de la medicina convencional, mientras que la medicina alternativa usa dicha terapia como reemplazo de la medicina convencional. Sin embargo, es importante darse cuenta de que una estas modalidades terapéuticas puede ser usada a veces como medicina alternativa, y otras como complementaria. Esta es la razón por la que se usa el término conjunto CAM (Complementary and Alternative Medicine).

 

Pregunta 2- ¿Es posible evaluar las terapias complementarias y alternativas mediante la ciencia? ¿Se está haciendo actualmente?

Edzard Ernst – las CAMs pueden y deben ser probadas como cualquier otro tratamiento. Es verdad que esto puede plantear algunos problemas de diseño y ejecución, por ejemplo cuando no haya un placebo obvio. Sin embargo, siempre es posible realizar ECAs (Estudios Controlados Aleatorizados), y a menudo es deseable poner a prueba los muchos reclamos o declaraciones que se hacen de las CAMs.

 

Pregunta 3- Si se pidiera a algunos científicos que evaluaran toda la evidencia científica sobre las terapias complementarias y alternativas, ¿qué bases de datos cree usted que deberían ser consultadas para garantizar que todos o casi todos los artículos publicados se recuperan y evalúan?

Edzard Ernst – Desde luego sería un error asumir que una sola base de datos puede ser suficiente. Dependiendo del área temática tratada, uno necesitaría no sólo las bases de datos estándar como Medline o Embase, sino también la búsqueda en bases de datos especializadas. Asimismo, es necesario también considerar idiomas distintos al inglés, como por ejemplo, cuando se evalúan medicina tradicional china.

 

Pese a las pocas preguntas que hemos podido realizar al Prof. Edzard Ernst, creemos poder sacar algunas conclusiones que pueden ser de mucho interés para los lectores de Evidencia en Nutrición y para la obtención de evidencias que evalúen las terapias nutricionales complementarias y alternativas (quede claro que es nuestra propia interpretación sobre la entrevista):

 

1. Existe una diferencia significativa entre terapia complementaria y alternativa. En la misma línea que el National Center for Complementary and Integrative Health dependiente del gobierno del Reino Unido, Edzard Ernst nos explica que mientras unas se usan como complemento de la terapia convencional, las otras se promueven como alternativa a (en lugar de) ésta. Este es un hecho mucho más significativo de lo que puede parecer, sobre todo cuando nos ponemos en el supuesto menos halagüeño y optimista. Cuando se usa una terapia de eficacia no probada (inclusive de terapias convencionales o estándares) como complemento de otra clínicamente probada, los riesgos asumidos se reducen a posibles efectos adversos no conocidos (que pueden ser severos o leves) o interacciones entre terapias. Sin embargo, cuando se utiliza una terapia no probada en lugar o como sustituto de una terapia clínicamente probada, los riesgos asumidos son exponencialmente más altos, ya que se está evitando que el paciente inicie una terapia testada que le puede curar, para instaurar una terapia de eficacia incierta, lo que puede traducirse en un empeoramiento del pronóstico del paciente (en el peor de los casos) o una disminución de su calidad de vida y vida útil (en los casos más leves). Finalmente, Edzard Ernst nos advierte que una misma modalidad terapéutica se puede usar a veces como complementaria y otras como alternativa, lo que nos lleva a pensar que todas las terapias complementarias y alternativas (inclusive las cercanas a la nutrición humana y dietética), deberían ser adecuadamente testadas a nivel clínico antes de su comercialización.

 

2. Respecto a si la ciencia contemporánea, incluyendo tanto la investigación primaria (estudios de intervención u observacionales) como la  investigación secundaria (metaanálisis y sumarios de evidencia), puede o no evaluar la eficacia de las terapias complementarias y alternativas, Edzard Ernst no deja lugar a debate: todas estas terapias pueden y deben ser probadas como cualquier otro tratamiento. Además, al parecer, y aunque a veces puedan existir ciertas dificultades a la hora de establecer un placebo adecuado, los ECA y los metaanálisis de ECA seguirían siendo los niveles de evidencia más altos. Esto nos hace recordar una frase que compartió el doctor Ernst en su blog, en octubre de 2013: “El plural de anécdota es anécdotas, no evidencia”. Para aquell@s que quieran saber más sobre cómo se prueban los tratamientos, les recomendamos la lectura Cómo se prueban los taratmientos: una mejor investigación para una mejor atención de salud.

 

3. Para evaluar todas las evidencias científicas sobre las terapias nutricionales complementarias y alternativas, se deberían evaluar, además de las bases de datos estándares (Medline y Embase), bases de datos especializadas según el área temática. Desde el desconocimiento de los autores de este post sobre este tipo de terapias y sobre las bases de datos que pueden contener estudios científicos sobre éstas, entendemos que deberían revisarse bases de datos similares a la conocida Natural Medicines Comprehensive Database para obtener con más probabilidad todo el universo de publicaciones sobre este tema. Asimismo, Edzard Ernst nos advierte de que posiblemente debamos abrirnos a lenguas diferentes al inglés que pueden no estar al alcance de todos, como por ejemplo el chino, para eliminar el sesgo de lenguaje. Iniciativas internacionales como Cochrane, que cuentan en sus instituciones autores de muchos países diferentes, sin lugar a dudas fomentan la eliminación de fronteras y sesgos lingüísticos, pudiendo llegar a un mayor número de publicaciones científicas y a una evaluación más exhaustiva de toda la evidencia disponible.

 

Esperamos que la entrevista realizada a este gran profesional por el que sentimos auténtica admiración, haya book_ernst_2015servido para responder, desde el corazón de un apasionado por el rigor científico en temas de salud, a algunas de las incógnitas que suelen aparecer respecto a investigación y evaluación de evidencias en terapias complementarias y alternativas. Por supuesto, alentamos a todos nuestros lectores a que lean periódicamente el blog del Prof. Edzard Ernst, y en especial recomendamos en esta ocasión la entrada Alternative medicine, the baby and the bath water que nos acerca aún más a las preguntas formuladas en esta entrevista sobre las dificultades de investigación en terapias alternativas. En dicha entrada se puede ver cómo una mente privilegiada como la suya e investigador acérrimo, interpreta dichas dificultades para conseguir superarlas en lugar de ningunearlas para alejarse definitivamente de las pruebas científicas más duras que se le puedan y deban realizar a todas las terapias, sean del tipo que sean, para ganarse la credibilidad de la comunidad científica. Asimismo, animamos a nuestros lectores a que lean cualquiera de sus libros, pero en especial su nuevo libro A Scientist in Wonderland: A Memoir of Searching for Truth and Finding Trouble (2015).

 

 

Equipo redactor de la entrevista: Eduard Baladia (@EBaladia), Rodrigo Martínez-Rodríguez, Julio Basulto (@JulioBasulto_DN)

 

Rodrigo Martínez-Rodríguez

Biólogo y estudiante de Nutrición Humana y Dietética por la Universidad de Murcia. Ha realizado el curso de "Introducción a las Revisiones Sistemáticas" del Centro Cochrane Iberoamericano.

More Posts

Posted in Búsquedas, Ciencia en general, Entrevistas, Interpretación, Lectura crítica, Metaanálisis, Metodología, Sumarios de evidencia | Tagged , , , , , | 1 Comment

Researching Complementary and Alternative Therapies: a mini-interview with Dr Edzard Ernst

card_073_Edzard Ernst

 

@EvidNutrition

 

Dietary and nutritional products and procedures that do not derive from standard or regular practices are frequently used in complementary and alternative medicine, but the safety and effectiveness of many of these products and procedures are unknown.

 

Statements made by prescribers promoting alternative nutritional therapies may sound promising; however, the scientific community usually does not know how effective or safe these treatments are. Before going further, we want to make it clear that the information about human nutrition and dietetics currently being taught in (Spanish) universities belongs to science-based conventional western medicine (as explained by the Ministry of Health, Social Policy and Equality in its report entitled Terapias Naturales [Natural Therapies]). Sometimes, when study results regarding such complementary and/or alternative therapies are not found to be favourable, prescribers and users of these therapies label contemporary science as being “unfair” or deem the research as unable of properly evaluating the effects of these therapies. Similarly, when scientific evidence is being assessed, people who advocate (and sometimes use) these complementary and/or alternative therapies usually suggest that biomedical databases do not contain studies of alternative therapies. These advocates then suggest that evidence for or against alternative medicine is incomplete because not all research on these matters is taken into account.

 

To answer some of the questions regarding alternative and complementary medicine, card_073_Edzard ErnstEvidencia en Nutrición has conducted a mini-interview with Dr Edzard Ernst (@EdzardErnst). Dr Ernst is a professor of complementary medicine at the University of Exeter in the UK; he is also one of the most critical and sceptical minds in this matter. He has published more than 1000 medical journal articles, 48 books, and many in-depth blog posts, many of which criticise complementary and alternative medicine. Dr Ernst is a medical doctor who has received specific training in acupuncture, autogenic training, phytotherapy, homeopathy, therapeutic massage, and spinal manipulation. He was appointed as an Emeritus Professor at the University of Exeter in 1993, where he currently teaches complementary medicine. He is also the editor-in-chief of two medical journals: Perfusion and Focus on Alternative and Complementary Therapies.

 

It is obvious that Dr Ernst is a qualified person to speak on this matter. Let’s get to the issue:

 

Question 1 – What is the difference (if any) between complementary and alternative therapy?

Edzard Ernst – Complementary describes the use as an adjunct to conventional medicine and alternative as a replacement. But it is important to realise that one modality can be used as either alternative or complementary medicine. This is why many use the term ‘CAM’ (Complementary and Alternative Medicine).

 

Question 2 – Is it possible to evaluate complementary and alternative therapies using scientific approaches? Is it doing well nowadays?

Edzard Ernst – CAMs can and should be tested like any other treatments. This can pose problems, for instance when there is no obvious placebo. But RCTs (Randomized Controlled Trials) are always possible and often desirable for testing the many therapeutic claims made for CAMs.

 

Question 3 – If scientists were asked to evaluate all scientific evidence about complementary and alternative therapies, which electronic databases do you think they would need to consult to guarantee that (almost) all published articles had been evaluated?

Edzard Ernst – It would be wrong to assume that one database can suffice. Depending on the subject area, one needs not just the standard sources like Medline and Embase but also specialised databases. Also one needs to consider languages other than English, for instance for Traditional Chinese Medicine (TCM).

 

Despite the small number of questions we asked Dr Edzard Ernst, we think we can draw some conclusions from his answers that could be very interesting for readers of Evidencia en Nutrición. We also believe Dr Ersnt’s answers could be helpful for research methods of studying complementary and alternative nutritional therapies. The following text is our own interpretation of the interview:

 

1. There is a significant difference between complementary and alternative therapies. Dr Ernst explains that according to the National Centre for Complementary and Integrative Health (which is run by the UK government), complementary therapy is used to complement conventional therapy, while alternative therapy is an alternative to conventional medicine. This differentiation is much more significant than it may seem, above all taking into account the least encouraging and optimistic supposition. When an untested therapy (even a conventional or standard therapy) is used to complement a clinically-tested treatment, the assumed risks are usually unknown adverse effects or interactions between therapies. However, when an untested therapy is used instead of a clinically tested one, the assumed risks are exponentially higher. In this scenario, the patient is not being treated with the therapy which could have the potential to cure. The worst possible outcome of this avoidance would be the deterioration of a patient’s prognosis, while a decrease in the patient’s overall quality of life would be a less severe result of this avoidance. Dr Ernst advises that the same kind of therapy may sometimes be used as a complementary therapy and other times be used as an alternative therapy. This suggests that all complementary and alternative therapies (even those related to human nutrition and dietetics) should be properly clinically tested before they are commercialised.

 

2. Dr Ernst leaves no doubt regarding the ability of contemporary science (including both primary and secondary research) to assess the effectiveness of complementary and alternative therapies, stating that these therapies ‘can and should be tested like any other treatments’. Furthermore, RCTs and meta-analyses of RCTs are the best type of evidence of effectiveness of therapies. This reminds us of one of Dr Ernst’s famous sayings: ‘the plural of anecdote is anecdotes, not evidence‘. We recommend reading Testing Treatments: Better Research for Better Healthcare for those who want to know more about this topic.

 

3. In addition to standard databases like Medline and Embase, specialised databases should be used when gathering and assessing scientific evidence about complementary nutritional and alternative therapies. Databases similar to the Natural Medicines Comprehensive Database should be analysed to ensure that all relevant publications are considered when researching complementary and alternative medicine. Dr Ernst also advises researchers to avoid language bias, meaning that we should be open to finding research in languages other than English. This research may sometimes be unattainable, such as Chinese research. In this regard, international initiatives (like Cochrane, an institution with authors from different countries) should be promoted to help overcome language barriers. This would make it possible for researchers to have access to a greater variety of scientific publications, thereby allowing a more comprehensive assessment of the available evidence.

 

 

We sincerely hope that this interview with a great medical professional has answered book_ernst_2015some of the questions regarding the research and assessment of evidence for complementary and alternative therapies. Of course, we encourage you to read Dr Ernst’s blog as well; more specifically, we recommend a blog entry regarding research difficulties in alternatives therapies: ‘Alternative Medicine, the Baby, and the Bath Water‘. This post shows how an exceptional mind interprets and overcomes these difficulties instead of move away from the hardest scientific tests. Likewise, we encourage you to read some of Dr Ernst’s books, especially the most recent one: A Scientist in Wonderland: A Memoir of Searching for Truth and Finding Trouble (2015).

 

We want to express our heartfelt gratitude to Dr Edzard Ernst for spending his valuable time in our project.

 

Working team: Eduard Baladia (@EBaladia), Rodrigo Martínez-Rodríguez, Julio Basulto (@JulioBasulto_DN)

 

 

Rodrigo Martínez-Rodríguez

Biólogo y estudiante de Nutrición Humana y Dietética por la Universidad de Murcia. Ha realizado el curso de "Introducción a las Revisiones Sistemáticas" del Centro Cochrane Iberoamericano.

More Posts

Posted in Búsquedas, Ciencia en general, Entrevistas, Interpretación, Lectura crítica, Metaanálisis, Metodología, Sumarios de evidencia | Tagged , , , , | Leave a comment

Cómo interpretar un metaanálisis

Cómo interpretar un metaanálisis

@EvidNutrition

 

Cuando analizas un metaanálisis, ¿solamente lees sus conclusiones? Nosotros antes lo hacíamos así, hasta que descubrimos (con horror) que las conclusiones de l@s autores/as no siempre describen fielmente los resultados de sus metaanálisis, e incluso que los resultados resaltados por los autores no siempre son los más relevantes.

Los metaanálisis son uno de los mayores logros de la medicina y la investigación de las últimas tres décadas. Además, son un instrumento necesario, o incluso crucial, en el proceso de transmisión del conocimiento, que se utiliza (cuando es posible) como punto de partida para desarrollar guías de práctica basadas en la evidencia (o sumarios de evidencia). Por eso, para cualquier profesional de la salud es fundamental saber cómo encontrar revisiones sistemáticas o metaanálisis de alta calidad y, por supuesto, debería disponer de los recursos suficientes para interpretarlos. Este último es justamente el tema que intentaremos abordar en esta entrada.

 

Pero vayamos al principio, ¿qué es un metaanálisis?

Un metaanálisis es una revisión sistemática que combina los resultados de estudios independientes y los analiza utilizando un método cuantitativo. Como herramienta de síntesis, el metaanálisis debe resumir toda la información disponible de una manera no sesgada y rigurosa, siguiendo un proceso sistemático, explícito y transparente.

Los ensayos bien diseñados y con muestras grandes son escasos y muchos de los estudios individuales existentes son demasiado pequeños para detectar efectos concretos. Asimismo, en la literatura científica podemos encontrar estudios con efectos contradictorios (efectos que apuntan en sentidos opuestas). Los metaanálisis nos permiten analizar estudios con diferentes tamaños de muestra o contradictorios, y al combinarlos obtenemos un resultado que apunta en una sóla dirección y cuyo tamaño de muestra y capacidad para evaluar los efectos de interés es mucho mayor.

 

ok_evidnutrObjetivos de un metaanálisis:

· Sintetizar e integrar los resultados de varios estudios individuales.
· Analizar las diferencias en los resultados entre estudios.
· Aumentar el poder de detectar un efecto de interés.
· Mejorar la precisión en la estimación de los efectos.
· Evaluar los efectos en subgrupos de pacientes.
· Determinar si se requieren nuevos estudios (o unificar metodologías) para un tema concreto.
· Generar nuevas hipótesis para futuros estudios.

 

El objetivo final de los metaanálisis no es establecer una recomendación, sino ofrecer un análisis del estado actual del conocimiento, tanto de los estudios a favor como en contra.

 

Interpretando los resultados

Las conclusiones de un metaanálisis siempre deberían establecerse como clara respuesta a la pregunta formulada del estudio y en base a los resultados obtenidos. En ningún caso los autores deberían establecer recomendaciones para la práctica diaria en base a sus resultados (existen más aspectos que deben tenerse en cuenta para realizar dichas recomendaciones) ni extralimitarse en ninguna de sus conclusiones. El protocolo del estudio debe quedar fijado y establecido previamente (registrándolo si pudiera ser), pero a veces, cuando los resultados que arroja el metaanálisis no son estadísticamente significativos, algunos autores acaban sacando conclusiones secundarias al análisis de datos, olvidando incluso la(s) pregunta(s) que intentaba responder inicialmente. Más allá de las conclusiones que los autores puedan sacar de sus resultados, ser capaces de interpretar estos últimos de forma independiente nos dará más herramientas para entender sus posibles implicaciones reales, así como detectar conclusiones que no acaban de corresponderse con los hallazgos.

 

Los resultados de un metaanálisis se organizan a través de un gráfico llamado forest plot (diagrama de bosque).

 

 

 

 

Generalmente, un forest plot se divide en seis columnas y los resultados individuales de cada estudio se disponen en filas sucesivas.

En la primera columna se presenta el listado con la identificación de los estudios individuales incluidos. Cuando se ha realizado un análisis de subgrupos, estos se muestran también en la primera columna. Es importante tener en cuenta que el análisis de subgrupos debería haberse indicado en el protocolo del metaanálisis, ya que algunos autores tienen la tentación de hacer subgrupos a posteriori para intentar obtener resultados estadísticamente significativos. También hay que fijarse en que los estudios que se indican en esta primera columna deben presentar una metodología y diseño semejantes, ya que no es adecuado mezclar o agregar datos de estudios que analizan diferentes especies o diseños dispares (estudios aleatorizados controlados, estudios de cohortes, estudio in vitro, etc.). En el forest-plot  de este ejemplo se puede ver (con sorpresa) cómo se mezclan datos de estudios realizados en humanos y datos de estudios realizados en animales.

La segunda columna representa a los grupos intervención y la tercera a los grupos control. Estas dos columnas pueden presentar subcolumnas, que hacen referencia al tamaño de la muestra (n) y a la media de los resultados individuales y sus desviaciones estándar (mean (SD), o bien a riesgos relativos (RR)).

La cuarta columna es una representación visual de los resultados de los estudios (en algunos metaanálisis, esta información puede presentarse en la sexta columna). La línea vertical central de esta representación es la línea de ‘no efecto’, la cual simboliza que no hay diferencia entre el grupo de intervención y el grupo control. En metaanálisis con variables dicotómicas o binarias (por ejemplo, sí/no, enfermedad/no enfermedad, etc.), la línea tiene el valor de “uno” porque representa un ratio (el riesgo relativo o el odds ratio); a diferencia de estudios con variables continuas (por ejemplo, peso, colesterol, niveles de glucosa en sangre, etc.),  donde la línea de no efecto tiene el valor de “cero”. Ambos lados de la línea, simbolizan si los resultados favorecen o no la intervención, pero ojo, aunque es habitual ver el “favorece a la intervención” a la izquierda de la línea de no efecto, esto no es siempre así y, si no se hace una lectura más detenida, se puede malinterpretar la gráfica.

Dentro de la gráfica, los cuadrados representan el efecto evaluado en cada estudio y su tamaño está directamente relacionado con el peso de los estudios en el metaanálisis (expresado numéricamente en la quinta columna). La línea horizontal que los atraviesa representa el intervalo de confianza. Cuanto más larga sea la línea, mayor será el intervalo y, por tanto, los resultados del estudio serán menos precisos (una flecha en los extremos, indica que el intervalo es mayor que el espacio disponible).  Los efectos individuales (los cuadrados), se posicionarán a izquierda, derecha o sobre la línea de no efecto, dependiendo del resultado individual obtenido en cada estudio. Si la mayoría de efectos se posiciona a un lado de la línea de referencia, esto indica que la heterogeneidad es baja, pero cuando los efectos se distribuyen a ambos lados, significa que los estudios son contradictorios (la heterogeneidad es alta) y las conclusiones del metaanálisis se pueden ver comprometidas.

 

Los intervalos de confianza permiten conocer la precisión de la estimación dentro de un margen de error establecido. El IC 95% (p=0,05) se considera suficiente (aunque se puede utilizar el IC 99% [p=0,01]; pero es poco habitual), representa una seguridad del 95% de que la asociación estudiada no se da por el azar.

 

Los diamantes representan los resultados globales del metaanálisis, ya sea del análisis de subgrupos realizados (subtotales) o bien del conjunto de todos los grupos (total). El centro del diamante es el valor del efecto en conjunto y el ancho representa el intervalo de confianza general. La diferencia entre los grupos de intervención y control puede considerarse estadísticamente significativa, si el diamante se posiciona claramente a un lado de la línea de referencia, pero si la cruza o simplemente la roza, no se podrán sacar conclusiones que apunten en una dirección.

Todas las representaciones gráficas que acabamos de comentar, tienen su traducción numérica en la quinta y sexta columna. La quinta columna representa el peso de cada estudio sobre el resultado global (cuanto mayor sea el tamaño de la muestra y más estrecho sea el intervalo de confianza, mayor será el peso del estudio). Es fácil comprender que si un solo estudio tiene mucho peso, ejercerá una gran influencia en el resultado final del metaanálisis, de modo que si este estudio tiene una calidad metodológica dudosa, podría hacer que los resultados globales fueran engañosos. Para intentar evitar este tipo de errores y determinar la solidez de los resultados del metaanálisis, los autores deberían aplicar un análisis de sensibilidad, que consiste simplemente en presentar los resultados cuando se quitan algunos estudios del análisis. Si esto provoca cambios importantes en los resultados globales, como una modificación de la dirección del efecto, los resultados del metaanálisis deben interpretarse con cautela; si por el contrario sólo se altera el tamaño del efecto, el resultado puede considerarse firme. Esto es tan importante que las conclusiones de los autores deberían ir acordes a estas consideraciones.

La sexta columna expresa los resultados numéricos de cada estudio. Concretamente, en metaanálisis con variables dicotómicas se presenta el riesgo relativo (el cociente del riesgo en el grupo intervención entre el del grupo control de cada estudio) y en metaanálisis con variables continuas se presenta la diferencia de medias (diferencia entre la media del grupo intervención y el control de cada estudio), con su intervalo de confianza correspondiente. Para que los resultados individuales sean estadísticamente significativos, en el caso de variables dicotómicas, el intervalo de confianza no debe incluir el valor 1, mientras que en variables continuas, no debe incluir el 0.

 

Los datos numéricos se incluyen en el abstract de cada metaanálisis, por lo que con una simple lectura del mismo, deberíamos ser capaces de evaluar si los resultados son estadísticamente significativos o no (independientemanete de lo que digan los autores).

 

Al final de esta presentación de datos, el forest plot  incluye la prueba de heterogeneidad (I2), que mide la variabilidad entre estudios, indicando cómo de comparables son los estudios analizados. Los datos de los estudios individuales se pueden analizar en el metaanálisis utilizando el modelo de efectos fijos (fixed effect model) o el de efectos aleatorios (random effect model).

Resumidamente, el modelo de efectos fijos asume que el efecto del tratamiento es el mismo en todos los estudios, mientras que el modelo de efectos aleatorios asume que los efectos del tratamiento no son los mismos en todos los estudios. Cuando el nivel de heterogeneidad entre los estudios es elevado, el resultado del metaanálisis probablemente dependa del modelo utilizado y en estos casos, el análisis debería realizarse y presentarse usando ambos modelos.

Finalmente, el forest plot muestra un apartado que presenta el test de efecto global, que mide la significación estadística del resultado del metaanálisis. Un resultado se considera estadísticamente significativo cuando el valor de la “p” es inferior a 0,05 (para IC 95%). Cuando no hay diferencia estadísticamente significativa (el valor es superior a 0,05), los autores no deberían resaltar ninguna conclusión que apuntara en un sentido concreto, es decir, deberían abstenerse de realizar consideraciones del tipo: “aunque los resultados no son estadísticamente significativos, esta terapia muestra una tendencia a mostrar efectos positivos en favor del grupo intervención” o similares. De todos modos, hay que tener presente que el término estadísticamente significativo no es lo mismo que tener efectos relevantes, ya que una asociación estadísticamente significativa puede no ser clínica o epidemiológicamente relevante. Por eso, siempre debe entenderse en el contexto del estudio, su diseño, las características de la muestra o la población, etc. El valor de “p” no debe ser una cifra mágica que autorice a dar recomendaciones.

 

ok_evidnutrEn resumen, en un forest plot hay que fijarse en:

  • · La heterogeneidad de los efectos.
  • · El peso de los estudios.
  • · Los intervalos de confianza.
  • · La disposición del diamante.
  • · El test de efecto global.

Lectura recomendada: interpretando y entendiendo un forest plot

 

 

Para aumentar vuestra habilidad para interpretar un metaanálisis, es muy recomendable leer algunos manuales de elaboración (para revisiones sistemáticas y metaanálisis) que pueden obtenerse libremente on-line, como el de la Colaboración Cochrane o de la Universidad de York. También os invitamos a que echéis un vistazo a las propuestas concretas para adaptar los métodos genéricos al ámbito específico de la nutrición.

 

metaanálisis: RevMan5

Recomendación para súper motivados: si necesitas preparar un forest plot para tu metaanálisis, Cochrane dispone de un software, compatible con cualquier sistema operativo, que puedes descargar de forma gratuita y que es relativamente fácil de utilizar: RevMan

 

Esperamos que encontréis esta entrada de utilidad para aumentar vuestra habilidad de interpretación de metaanálisis. En las próximas entradas, os daremos más herramientas para la evaluación crítica de un metaanálisis.

 

 

Rodrigo Martínez-Rodríguez

Biólogo y estudiante de Nutrición Humana y Dietética por la Universidad de Murcia. Ha realizado el curso de "Introducción a las Revisiones Sistemáticas" del Centro Cochrane Iberoamericano.

More Posts

Posted in Interpretación, Metaanálisis | Tagged , , , , | Leave a comment

La evidencia científica dice… (y la cagamos cuando la frase se puso de moda)

camiseta_evidencia_nutricion

 

@EvidNutrition / @Ebaladia / Rodri_Go

 

No nos engañemos, la evidencia científica está de moda. ¡Pero mucho! Si bien hace una década la información relacionada con la metodología basada en la evidencia era escasa y difícil de encontrar, hoy parece ser que todo el mundo sabe muchísimo sobre el tema. Sin embargo, a medida que uno se adentra en el mundo de los sumarios de evidencia científica, descubre que existen muchos aspectos de su metodología que apenas se conocen y que se malinterpretan o se simplifican demasiado a la ligera. Existen varios puntos que deben ser aclarados para poder entender qué es y qué no es la metodología basada en la evidencia y, en consecuencia, qué nos puede llegar a decir.

 

 

Una traducción al español muy desafortunada (empezamos muy mal para poder entenderlo bien)

 

camiseta_evidencia_nutricion

Camiseta de “Evidencia en Nutrición”

Evidencia en nutrición o nutrición basada en la evidencia es la adaptación de la llamada, en 1991, medicina basada en la evidencia. En este sentido, pese a que se ha popularizado el uso del término medicina basada en la evidencia como traducción de evidence-based medicine, dicha traducción no está libre de crítica y de posibilidad de mala interpretación. Según la Real Academia Española (RAE), evidencia se define como la “certeza clara y manifiesta de la que no se puede dudar”, y eso en ciencia no sólo es muy molesto, sino que resulta bastante conflictivo con el principio de refutabilidad. Es por dicha razón que algunos autores prefieren referirse a ella como “medicina basada en pruebas” (en estudios), sin lugar a dudas una traducción mucho más acertada, pero muy poco usada. De hecho, esta traducción resulta tan poco usada que los que escriben estas líneas han preferido usar los términos menos adecuados (o directamente inadecuados) para obtener un mejor posicionamiento del blog en los buscadores de la red (ya sabéis, efectos adversos e inesperados de las modas).

En consecuencia, debe quedar claro que evidencia en nutrición, en consonancia con la definición proporcionada por el Medical Subject Headings (MeSH) y por la International Confederation of Dietetic Association (ICDA) Evidence-based Practice Working Group, hace referencia a la intención de obtener el conocimiento actual de forma más objetiva y reproducible, con el objetivo de proporcionar una atención nutricional que se guíe por una integración juiciosa de los mejores conocimientos científicos disponibles. Este enfoque presupone que:

  • las recomendaciones basadas en la evidencia, no permanecen inalterables por los tiempos de los tiempos;
  • las recomendaciones se establecen en base al universo de pruebas (estudios) que existen hasta la fecha, pudiendo ser modificables a medida que se publiquen nuevas y mejores investigaciones;
  • la ausencia de evidencia no implica que no se puedan establecer recomendaciones al respecto, sino que dichas recomendaciones deberán estar basadas en otros métodos de obtención de las mismas, como por ejemplo, el sistema por consenso formal de opiniones de expertos (que no debe despreciarse).

 

Las recomendaciones basadas en la evidencia científica son el fruto de un proceso complejo y no de la inclusión de una cita al final de la frase

 

¡Vamos a ir al grano! Si uno quiere encontrar una cita o un conjunto de citas que justifiquen sus teorías o hipótesis, sin lugar a dudas las encontrarán. No pierda el tiempo ni dinero, en la base de datos de PubMed/Medline (de acceso gratuito) se han indexado más de 24 millones de citas, seguro que alguna le servirá. Sin embargo, citar un artículo o un conjunto de cien artículos al final de una recomendación, no la convierte necesariamente en una recomendación basada en la evidencia. Muy a menudo se confunde la nutrición basada en citas con la nutrición basada en la evidencia.

En el excepcional libro de divulgación científica “Cómo se prueban los tratamientos: una mejor investigación para una mejor atención de salud” (editado con el apoyo de la Organización Mundial de la Salud y escrito por Imogen Evans, Hazel Thornton, Iain Chalmers y Paul Glasziou, con prólogo de Ben Goldacre; ¡vamos un lujo de publicación totalmente gratuita!) se explica de forma magistral y llana por qué un estudio o incluso un conjunto de estudios no puede “casi nunca” ser suficiente para contestar a una pregunta, sino que se debe evaluar toda la evidencia científica pertinente y fiable (capítulo 8, se lo recomendamos).

En la mayoría de manuales metodológicos de instituciones de referencia (Guíasalud; NICE; SIGN) la evaluación de toda la evidencia pertinente y fiable se concreta en 6 fases más o menos reconocibles. Bajo la apariencia de sencillez de estas 6 fases, en cada una sumarios_evidde ellas existe un sinfín de aspectos metodológicos que deben tenerse en cuenta para evitar, en la medida de lo posible, la introducción de sesgos durante la elaboración de un sumario de evidencia:

  1. Creación de un comité elaborador: ¿quién o quienes deben formarlo? ¿qué roles y nivel de participación deben tener? ¿debe existir un líder que lleve el proyecto? ¿deben saber del tema tratado o es mejor que sepan más bien poco?
  2. Identificación de los temas a tratar: ¿vale la pena tratar todos los temas relacionados con el sumario o solamente aquellos que no han sido tratados en otros sumarios de evidencia? ¿temas muy concretos o mejor más generales?
  3. Formulación de las preguntas pertinentes: ¿preguntas concretas o mejor específicas? ¿con que sistema deben formularse las preguntas para que se puedan responder?
  4. Búsqueda sistemática y adquisición de estudios: ¿cuantas bases de datos deben consultarse? ¿cuáles? ¿las búsquedas deben elaborarlas todo el grupo o solamente aquellos que sepan más del tema? ¿la ejecución de las búsquedas y adquisición de estudios debe hacerlo una sola persona o bien dos personas cegadas una respecto a la otra? ¿estas personas deben saber mucho sobre el tema o mejor que sepan poco para ser más imparciales?
  5. Evaluación y síntesis de la evidencia: ¿la lectura crítica debe realizarla una sola persona o dos personas cegadas una respecto la otra? ¿cómo debe realizarse dicha lectura crítica? ¿los estudios catalogados como de baja calidad deben eliminarse o deben tomarse en consideración parcial o ponderada?
  6. Formulación de recomendaciones: ¿qué sistema debe usarse SIGN, GRADE, u otro sistema, cuál es mejor? ¿como se le puede dar peso a las preferencias de los pacientes, hay que hacerlo o mejor no? ¿cómo se evalúa la relación riesgo-beneficio? ¿cómo se evalúa la posible eficiencia de la aplicación de una recomendación?

(no se asuste si no sabe responder a algunas de las preguntas, esa era la idea)

 

Una de las intenciones de los autores de este blog es ir desgranando y contestando, en cada entrada , algunos de estos aspectos metodológicos y cuestiones que deberían conocerse y que, estamos seguros, muchos de los que están leyendo estas líneas no conocían. Nuestra intención es ir acercando a los lectores, de manera paulatina, al concepto real de metodología basada en la evidencia.

 

Le vamos a ofrecer un breve ejemplo de lo que les espera:

En la “fase 01. Creación del comité elaborador”, se indica que “éste debe ser multidisciplinar, incluyendo todos los profesionales sanitarios implicados en sus cuidados y también a grupos de pacientes”. Aunque no lo crean, existen estudios que tratan de investigar cómo la composición, estructura y roles del grupo elaborador de guías basadas en la evidencia (sumarios de evidencia) afectan en las recomendaciones que se emiten durante el proceso de elaboración de las mismas.

Un estudio observacional publicado en 2002 encontró que existió una marcada asociación entre el estatus social de los diferentes profesionales, su nivel de contribución al grupo y los resultados del trabajo realizado. El trabajo permitió entender cómo un buen chair o director/a puede mejorar las relaciones entre los miembros del grupo elaborador, permitiendo que su interacción y contribución sea más equitativa, fructuosa y menos sesgada por la visión de un solo tipo de profesional.

Asimismo, gracias a una revisión sistemática publicada en 2011 se hallaron pruebas de que la incorporación de pacientes en los grupos elaboradores no sólo mejoraba la incorporación de los valores, preferencias, conocimientos y perspectivas de los pacientes, sino que además mejoraba la implementación de las guías (ya que después de elaborarlas se diseminaban muy bien a través de asociaciones de afectados), y ayudaba a adaptar las recomendaciones finales a la población diana, aumentando la comprensión de las mismas (al elaborar materiales para pacientes hechos por los propios pacientes).

 

¿Aún crees que toda la gente de la que alguna vez has oído “La evidencia científica dice…” sabía de lo que estaba hablando y realmente había seguido las 6 fases? (mejor no contestes, léenos durante una temporada para averiguarlo)

 

Además de ofrecer datos y argumentos metodológicos, les intentaremos ofrecer:

  • herramientas y softwares que esperamos os ayuden a sobrellevar el arduo trabajo que supone la digestión del conocimiento actual en materia de nutrición humana y dietética,
  • y breves resúmenes y links a la mejor evidencia científica disponible en temas de máxima relevancia.

 

Sabemos perfectamente que este no es un blog de masas, pero si lo has encontrado instructivo y útil, te agradeceremos que lo compartas con cualquier persona que creas pudiera estar interesada.

 

 

Rodrigo Martínez-Rodríguez

Biólogo y estudiante de Nutrición Humana y Dietética por la Universidad de Murcia. Ha realizado el curso de "Introducción a las Revisiones Sistemáticas" del Centro Cochrane Iberoamericano.

More Posts

Posted in Metodología, Sumarios de evidencia | Tagged , , , | Leave a comment