Evaluación y adaptación de guías basadas en la evidencia

By | Last Updated 21 julio, 2015

adaptación_GPC_GuiaSalud

 

@EvidNutrition

 

La creación de sumarios de evidencia (o guías de práctica basadas en la evidencia) de novo es una idea muy sugerente, pero también muy time consuming y, en ocasiones, puede ser una duplicación innecesaria de esfuerzos (por no decir una pérdida de tiempo inadmisible; hay mucho trabajo por hacer y muy pocas manos a la obra). Por lo que sabemos (no está escrito en ningún lugar, pero nos lo han contado de primera mano mediante comunicación personal), los expertos a nivel nacional (España) de GuíaSalud (@GuiaSalud) suelen trabajar sobre una guía de unas 15-20 preguntas cerca de 2 años y los expertos internacionales del PEN® demoran unos 3 meses en responder a una sola pregunta.ok_evidnutr

 

Si buscamos evidencias con eficiencia siguiendo las recomendaciones de Haynes y cols; 2009, cuando iniciamos un proyecto de creación de un sumarios de evidencia, puede ser una buena idea buscar e incorporar evidencias preevaluadas de otros sumarios o guías de evidencia científica, ya que en ellas se habrá hecho el titánico esfuerzo de buscar de forma sistemática todo el universo de estudios, establecer su calidad y obtener unas recomendaciones fiables. Seleccionar muchas guías distintas podría convertir el afán de ahorro de tiempo en un verdadero infierno (en términos de eficiencia), por lo que se recomienda incorporar solamente las 2 o 3 mejores guías (la cantidad es orientativa, es otra ley no escrita del proceso). En consecuencia, antes de incorporar o usar cualquier guía, deberemos asegurarnos de que éstas son las de más alta calidad.

A continuación, compararemos 2 metodologías de evaluación y adaptación de guías, uno nacional (GuíaSalud; España) y otro internacional (Guidelines International Network [GIN]), resaltando sus puntos fuertes y débiles.

 

Proceso según GuíaSalud; España

 

Si consultamos el manual metodológico de los expertos españoles de GuíaSalud, en su Anexo 9 podemos encontrar descrita la metodología usada. En dicho anexo, podemos ver que la adaptación de una guía se puede realizar siguiendo 6 pasos:

Paso 1. Formulación de las preguntas clínicas: bueno, se supone que ya las habremos creado cuando iniciamos nuestro proyecto, aunque no está mal recalcarlo para los más «cagaprisas».

Paso 2. Búsqueda, evaluación de la calidad y selección de GPC: además de explicar dónde suelen buscar las guías (Tripdatabase; ver esta entrada para más información), se indica que para la evaluación de las mismas se recurre al Instrumento AGREE, actualmente llamado AGREE II. Como bien nos cuentan, esta herramienta nos sirve para establecer una puntuación que nos servirá para clasificarlas y decidir qué guía nos conviene más:

  • Muy recomendadas: si puntúan 3-4 en la mayoría de los criterios y la puntuación por áreas supera los 60 puntos.
  • Recomendada con condiciones o modificaciones: si el número de criterios que puntúan 3-4 es similar al de 1-2 y las puntuaciones por áreas alcanzan valores entre 30-60.
  • No recomendadas: si la mayoría de los criterios puntúan 1-2 y las puntuaciones por áreas son inferiores a 30.

En este sentido, para el proceso de adaptación, los expertos de GuíaSalud nos recomiendan seguir los siguientes criterios para seleccionar las mejores guías:

  • Que sean guías clasificadas como muy recomendables o recomendadas con modificaciones según la puntuación del instrumento AGREE y con una puntuación superior al 60 en el área de rigor en la elaboración (dominio 3 del instrumento que abarca los ítems del 7 al 14).
  • Que las guías estén actualizadas. La fecha de cierre de la búsqueda no debería superar los tres años (excepcionalmente hasta 5).
  • Que existan contextos de aplicación similar, es decir, tipos de pacientes, objetivos de la guía, contexto sanitario e inclusive usuarios diana de la guía parecidos.
  • Que se puedan obtener las estrategias de búsqueda completas y las tablas de evidencia.
  • Otros factores a tener en cuenta: composición del grupo redactor, conflictos de intereses, e impacto de la guía.

Paso 3. Análisis del contenido clínico de la guía por preguntas: se debe valorar cómo la guía responde a cada pregunta formulada en nuestro proyecto.

Paso 4. Aplicación de los criterios de adaptación de guías a las preguntas clave formuladas: se usa una herramienta propia que se basa en preguntas realizadas sobre cada pregunta formulada:

Criterios de adaptación de GPC según GuíaSalud

adaptación_GPC_GuiaSalud

Paso 5. Estrategia a seguir en cada pregunta según diferentes supuestos: de forma muy adecuada, los expertos de GuíaSalud recomiendan seguir diferentes estrategias según diferentes situaciones o supuestos tras aplicar los criterios de adaptación.

estartegia_adaptación_GPC_GuiaSalud

 

Paso 6. Formulación de recomendaciones: se deberá hacer una evaluación formal y juicio razonado, e identificar de forma adecuada qué recomendaciones han sido adaptadas de otras guías, de forma que el usuario pueda identificarlas fácilmente.

Puntos fuertes:

  • Es un proceso maravillosamente sencillo.
  • Permite una actualización rápida y adaptación si existe algún/os metaanálisis Cochrane reciente/s (<3 años).
  • Tiene en cuenta diferentes supuestos en los que nos podemos encontrar al evaluar las guías, proponiendo estrategias concretas de trabajo.

Puntos débiles:

  • Describe cómo interpretar las puntuaciones del instrumento AGREE (escala de Likert de 4 puntos) pero no como usar las puntuaciones del instrumento AGREE II (escala de Likert de 7 puntos), para establecer si las guías son muy recomendables, recomendables pero con condiciones, o no recomendables.
  • No indica cómo actuar frente a una gran diferencia de puntuaciones de un mismo criterio por parte de diferentes evaluadores. Solamente cómo actuar respecto a la puntuación total del dominio.
  • Es posible que se quede pobre en la descripción del significado de: «guía actualizada», «consistencia y coherencia entre guías», y «aplicabilidad de la  recomendación  en  nuestro medio».
  • La relación entre los diferentes supuestos al evaluar la guía y la estrategia a seguir respecto a cada pregunta es de difícil visualización.
  • Respecto al grado de recomendación, hacen mención expresa al sistema SIGN, actualmente en retroceso respecto al sistema internacional GRADE que está en auge gracias al continuo proceso de evaluación de la metodología.

 

Proceso según Guidelines International Network (GIN)

 

La Guidelines International Network (GIN) ha creado un extenso manual de adaptación llamado ADAPTE, manual que los propios expertos de GuíaSalud recomiendan en su portal de herramientas de interés para al adaptación.

En este manual se pueden encontrar, con mucho detalle, 3 fases con 24 pasos (en total; no os asustéis) que el GIN recomienda seguir. Existen muchos pasos compartidos entre los procesos recomendados por GuíaSalud y GIN, siendo el paso 1 de los primeros el paso 7 de los segundos. Sin querer reproducir las 95 páginas que tiene el manual, y abreviando mucho, los pasos recomendados son:

Fase 1, preparación: hay toda una fase de preparación antes de ponerse manos a la obra. Si bien siempre resulta interesante leerse este apartado y seguirlo, muchos de estos pasos ya se habrán llevado a cabo en el proceso de creación del proyecto. Se compone de los pasos 1 a 6.

Fase 2, adaptación: es la parte central del proceso y se compone de los pasos 7 a 18, que vendría a ser la parte descrita por GuíaSalud, sólo que desarrollada con muchos más detalles y en 12 pasos (el doble que GuíaSalud). Sin querer extendernos mucho en nuestra exposición, existen dos cuestiones que creemos importante comentar al respecto:

  • Coinciden con GuíaSalud en decir que el dominio «rigor de la elaboración» es especialmente importante.
  • Sin embargo clarifican que «una puntuación AGREE pobre no debería ser suficiente para eliminar una guía», sino que deben tenerse en cuenta otros aspectos antes de proceder a la eliminación. A menos que todos los evaluadores consideren que es una guía «no recomendada», se deberá discutir si es pertinente su eliminación o no, inclusive si su puntuación en dominios determinantes como «el rigor de la elaboración» es bajo (interesante punto de vista).
  • Añaden que si los mismos criterios son puntuados de forma muy distinta por diferentes evaluadores/as,  deben ser identificados como puntos de discusión a solucionar antes de continuar y obtener una puntuación final por dominio (ayuda a solucionar el problema de la variabilidad inter-evaluador).
  • Incluyen una serie de herramientas de gran utilidad para recoger más información sobre el estado de actualidad de las guías, la evaluación de la consistencia y coherencia entre guías y la evaluación del grado de aplicabilidad de  la  recomendación  en  nuestro medio.

Fase 3, finalización: se ofrece una descripción de cómo terminar el proceso, que se corresponde con la finalización normal del proyecto de elaboración de cualquier guía (revisión interna y externa, etc.). Se compone de los pasos 19 a 24.

Puntos fuertes:

  • Tiene en cuenta diferentes supuestos en los que nos podemos encontrar al evaluar una guía.
  • Completa un poco el cómo interpretar las puntuaciones del instrumento AGREE.
  • Tiene algunas herramientas de interés y muy útiles que permiten matizar el significado de: «guía actualizada», «consistencia y coherencia entre guías» y «aplicabilidad de la  recomendación  en  nuestro medio».

Puntos débiles:

  • El sistema es mucho más complejo y largo, sin aportar muchas más ventajas aparentes respecto a la descripción de GuíaSalud (la parte central del proceso de adaptación está bien desarrollado por GuíaSalud).
  • Describe cómo interpretar las puntuaciones del instrumento AGREE (escala de Likert de 4 puntos) pero no cómo usar las puntuaciones del instrumento AGREE II (escala de Likert de 7 puntos), para establecer si las guías son muy recomendables, recomendables pero con condiciones, o no recomendables.
  • La relación entre los diferentes supuestos al evaluar la guía y la estrategia a seguir respecto a cada pregunta, es de difícil visualización (mucho más que la de GuíaSalud).

 

En definitiva, para la adaptación de guías basadas en la evidencia tenemos, como mínimo (desconocemos si hay más metodologías), dos metodologías con un mismo corazón y cada una de ellas con sus propios pros y sus contras.

¿Qué metodología elegir? Esta es siempre la cuestión.

Desde luego, si tuviéramos que preparar una guía basada en la evidencia con adaptación incluida, para que fuera evaluada a nivel nacional (España), elegiríamos la metodología de GuíaSalud (que además es menos compleja), pero si tuviéramos que hacerlo para una organización internacional, la metodología de ADAPTE sería la más interesante.

Sin embargo, si tuviéramos que elegir entre una u otra, GuíaSalud es sin lugar a dudas la que tendría más puntos, pero…

¿Y por qué no crear algo intermedio? Uf… que tarde se nos ha hecho, ¡hasta la próxima!

Eduard Baladia

Dietista-Nutricionista por la Universidad de Barcelona. Ha participado como experto externo en 9 guías de la Organización Mundial de la Salud (OMS). Es uno de los profesionales de la salud y el único dietista-nutricionista que ha completado el "Curso de introducción a la elaboración de Guías de Práctica Clínica (GPC)" organizado por GuíaSalud-Biblioteca de Guías de Práctica Clínica del Sistema Nacional de Salud. Además ha realizado el curso de "Introducción a las Revisiones Sistemáticas" de la Cochrane Iberoamericana. En la actualidad está siendo evaluado por el Practice-based Evidence in Nutrition (PEN) para ser autor y/o revisor de la iniciativa internacional.

More Posts - Website

Posted in Metodología, Sumarios de evidencia | Tagged , , , | Comentarios desactivados en Evaluación y adaptación de guías basadas en la evidencia

Evidencias sobre terapias alternativas y complementarias: mini-entrevista al Prof. Edzard Ernst

By | Last Updated 4 mayo, 2015

card_073_Edzard Ernst

 

 

@EvidNutrition

 

En medicina alternativa y complementaria se usan, muy a menudo, productos o procedimientos dietético-nutricionales que, podríamos decir, se encuentran fuera de las prácticas consideradas como habituales o estándares y desconocemos su eficacia y seguridad.

 

Las afirmaciones que se hacen de las terapias nutricionales alternativas o complementarias pueden sonar muy prometedoras, sin embargo, la comunidad científica suele desconocer exactamente cuan eficaces y seguras son estas terapias. Queremos dejar claro, antes de seguir, que tal y como detalló el Ministerio de Sanidad, Política Social e Igualdad (MSPSI) en su informe titulado “Terapias naturales”, la nutrición humana y dietética, tal y como se enseña hoy en las universidades, forma parte de la medicina convencional occidental de base científica. En algunas ocasiones, cuando se realizan estudios científicos sobre este tipo de terapias y los resultados no son muy favorecedores, algunos prescriptores y usuarios de las mismas aducen que la ciencia contemporánea no está preparada para evaluar este tipo de terapias, y que las pruebas científicas a las que se están sometiendo dichas terapias no son «justas» o no pueden evaluar los efectos de las mismas. En la misma línea, cuando se pretende evaluar la evidencia científica en torno a este tipo de terapias, sus defensores (y en ocasiones sus usuarios) suelen aducir, además, que las bases de datos biomédicas no albergan estudios de terapias alternativas y que, por lo tanto, la evaluación de las pruebas es parcial y no incluye todos los estudios realizados.

 

Para responder a algunas de dichas incógnitas, el equipo de Evidencia en Nutrición ha realizado una card_073_Edzard Ernstmini-entrevista de tres preguntas al profesor Edzard Ernst (@EdzardErnst).  Tanto para aquellos que hayan leído algunos o varios de sus textos o artículos científicos, como para aquellos que no lo hayan leído nunca y empiecen hoy, puede sorprenderles saber que el doctor Edzard Ernst sea, a la vez, profesor de medicina complementaria y una de las mentes más críticas y escépticas de este sector, habiendo publicado más de 1.000 artículos en revistas médicas, 48 libros y un sinfín de abrumadores pero a la vez rigurosos posts que critican a menudo el sector de la llamada “medicina complementaria”. Cabe destacar que Edzard Ernst es médico y recibió formación específica en acupuntura, entrenamiento autógeno, herbo-dietética, homeopatía, masaje terapéutico y manipulación espinal. En 1993 fue nombrado Profesor Emérito de la Universidad de Exeter (Reino Unido) donde enseña actualmente medicina complementaria. Asimismo, es editor jefe de dos revistas médicas: Perfusion y Focus on Alternative and Complementary Therapies.

 

Como se puede comprobar, no ha sido fruto de la casualidad haber entrevistado a este profesional y no a otro en la materia que nos ocupa. Sin más dilación, veamos lo que responde el profesor Ernst a nuestras preguntas:

 

Pregunta 1- ¿Cuál es la diferencia (si es que la hay) entre terapia complementaria y alternativa?

Edzard Ernst – La terapia complementaria se define por el uso de dicha terapia como complemento de la medicina convencional, mientras que la medicina alternativa usa dicha terapia como reemplazo de la medicina convencional. Sin embargo, es importante darse cuenta de que una estas modalidades terapéuticas puede ser usada a veces como medicina alternativa, y otras como complementaria. Esta es la razón por la que se usa el término conjunto CAM (Complementary and Alternative Medicine).

 

Pregunta 2- ¿Es posible evaluar las terapias complementarias y alternativas mediante la ciencia? ¿Se está haciendo actualmente?

Edzard Ernst – las CAMs pueden y deben ser probadas como cualquier otro tratamiento. Es verdad que esto puede plantear algunos problemas de diseño y ejecución, por ejemplo cuando no haya un placebo obvio. Sin embargo, siempre es posible realizar ECAs (Estudios Controlados Aleatorizados), y a menudo es deseable poner a prueba los muchos reclamos o declaraciones que se hacen de las CAMs.

 

Pregunta 3- Si se pidiera a algunos científicos que evaluaran toda la evidencia científica sobre las terapias complementarias y alternativas, ¿qué bases de datos cree usted que deberían ser consultadas para garantizar que todos o casi todos los artículos publicados se recuperan y evalúan?

Edzard Ernst – Desde luego sería un error asumir que una sola base de datos puede ser suficiente. Dependiendo del área temática tratada, uno necesitaría no sólo las bases de datos estándar como Medline o Embase, sino también la búsqueda en bases de datos especializadas. Asimismo, es necesario también considerar idiomas distintos al inglés, como por ejemplo, cuando se evalúan medicina tradicional china.

 

Pese a las pocas preguntas que hemos podido realizar al Prof. Edzard Ernst, creemos poder sacar algunas conclusiones que pueden ser de mucho interés para los lectores de Evidencia en Nutrición y para la obtención de evidencias que evalúen las terapias nutricionales complementarias y alternativas (quede claro que es nuestra propia interpretación sobre la entrevista):

 

1. Existe una diferencia significativa entre terapia complementaria y alternativa. En la misma línea que el National Center for Complementary and Integrative Health dependiente del gobierno del Reino Unido, Edzard Ernst nos explica que mientras unas se usan como complemento de la terapia convencional, las otras se promueven como alternativa a (en lugar de) ésta. Este es un hecho mucho más significativo de lo que puede parecer, sobre todo cuando nos ponemos en el supuesto menos halagüeño y optimista. Cuando se usa una terapia de eficacia no probada (inclusive de terapias convencionales o estándares) como complemento de otra clínicamente probada, los riesgos asumidos se reducen a posibles efectos adversos no conocidos (que pueden ser severos o leves) o interacciones entre terapias. Sin embargo, cuando se utiliza una terapia no probada en lugar o como sustituto de una terapia clínicamente probada, los riesgos asumidos son exponencialmente más altos, ya que se está evitando que el paciente inicie una terapia testada que le puede curar, para instaurar una terapia de eficacia incierta, lo que puede traducirse en un empeoramiento del pronóstico del paciente (en el peor de los casos) o una disminución de su calidad de vida y vida útil (en los casos más leves). Finalmente, Edzard Ernst nos advierte que una misma modalidad terapéutica se puede usar a veces como complementaria y otras como alternativa, lo que nos lleva a pensar que todas las terapias complementarias y alternativas (inclusive las cercanas a la nutrición humana y dietética), deberían ser adecuadamente testadas a nivel clínico antes de su comercialización.

 

2. Respecto a si la ciencia contemporánea, incluyendo tanto la investigación primaria (estudios de intervención u observacionales) como la  investigación secundaria (metaanálisis y sumarios de evidencia), puede o no evaluar la eficacia de las terapias complementarias y alternativas, Edzard Ernst no deja lugar a debate: todas estas terapias pueden y deben ser probadas como cualquier otro tratamiento. Además, al parecer, y aunque a veces puedan existir ciertas dificultades a la hora de establecer un placebo adecuado, los ECA y los metaanálisis de ECA seguirían siendo los niveles de evidencia más altos. Esto nos hace recordar una frase que compartió el doctor Ernst en su blog, en octubre de 2013: “El plural de anécdota es anécdotas, no evidencia”. Para aquell@s que quieran saber más sobre cómo se prueban los tratamientos, les recomendamos la lectura Cómo se prueban los taratmientos: una mejor investigación para una mejor atención de salud.

 

3. Para evaluar todas las evidencias científicas sobre las terapias nutricionales complementarias y alternativas, se deberían evaluar, además de las bases de datos estándares (Medline y Embase), bases de datos especializadas según el área temática. Desde el desconocimiento de los autores de este post sobre este tipo de terapias y sobre las bases de datos que pueden contener estudios científicos sobre éstas, entendemos que deberían revisarse bases de datos similares a la conocida Natural Medicines Comprehensive Database para obtener con más probabilidad todo el universo de publicaciones sobre este tema. Asimismo, Edzard Ernst nos advierte de que posiblemente debamos abrirnos a lenguas diferentes al inglés que pueden no estar al alcance de todos, como por ejemplo el chino, para eliminar el sesgo de lenguaje. Iniciativas internacionales como Cochrane, que cuentan en sus instituciones autores de muchos países diferentes, sin lugar a dudas fomentan la eliminación de fronteras y sesgos lingüísticos, pudiendo llegar a un mayor número de publicaciones científicas y a una evaluación más exhaustiva de toda la evidencia disponible.

 

Esperamos que la entrevista realizada a este gran profesional por el que sentimos auténtica admiración, haya book_ernst_2015servido para responder, desde el corazón de un apasionado por el rigor científico en temas de salud, a algunas de las incógnitas que suelen aparecer respecto a investigación y evaluación de evidencias en terapias complementarias y alternativas. Por supuesto, alentamos a todos nuestros lectores a que lean periódicamente el blog del Prof. Edzard Ernst, y en especial recomendamos en esta ocasión la entrada Alternative medicine, the baby and the bath water que nos acerca aún más a las preguntas formuladas en esta entrevista sobre las dificultades de investigación en terapias alternativas. En dicha entrada se puede ver cómo una mente privilegiada como la suya e investigador acérrimo, interpreta dichas dificultades para conseguir superarlas en lugar de ningunearlas para alejarse definitivamente de las pruebas científicas más duras que se le puedan y deban realizar a todas las terapias, sean del tipo que sean, para ganarse la credibilidad de la comunidad científica. Asimismo, animamos a nuestros lectores a que lean cualquiera de sus libros, pero en especial su nuevo libro A Scientist in Wonderland: A Memoir of Searching for Truth and Finding Trouble (2015).

 

 

Equipo redactor de la entrevista: Eduard Baladia (@EBaladia), Rodrigo Martínez-Rodríguez, Julio Basulto (@JulioBasulto_DN)

 

Eduard Baladia

Dietista-Nutricionista por la Universidad de Barcelona. Ha participado como experto externo en 9 guías de la Organización Mundial de la Salud (OMS). Es uno de los profesionales de la salud y el único dietista-nutricionista que ha completado el "Curso de introducción a la elaboración de Guías de Práctica Clínica (GPC)" organizado por GuíaSalud-Biblioteca de Guías de Práctica Clínica del Sistema Nacional de Salud. Además ha realizado el curso de "Introducción a las Revisiones Sistemáticas" de la Cochrane Iberoamericana. En la actualidad está siendo evaluado por el Practice-based Evidence in Nutrition (PEN) para ser autor y/o revisor de la iniciativa internacional.

More Posts - Website

Posted in Búsquedas, Ciencia en general, Entrevistas, Interpretación, Lectura crítica, Metaanálisis, Metodología, Sumarios de evidencia | Tagged , , , , , | 1 Comment

Researching Complementary and Alternative Therapies: a mini-interview with Dr Edzard Ernst

By | Last Updated 4 mayo, 2015

card_073_Edzard Ernst

 

@EvidNutrition

 

Dietary and nutritional products and procedures that do not derive from standard or regular practices are frequently used in complementary and alternative medicine, but the safety and effectiveness of many of these products and procedures are unknown.

 

Statements made by prescribers promoting alternative nutritional therapies may sound promising; however, the scientific community usually does not know how effective or safe these treatments are. Before going further, we want to make it clear that the information about human nutrition and dietetics currently being taught in (Spanish) universities belongs to science-based conventional western medicine (as explained by the Ministry of Health, Social Policy and Equality in its report entitled Terapias Naturales [Natural Therapies]). Sometimes, when study results regarding such complementary and/or alternative therapies are not found to be favourable, prescribers and users of these therapies label contemporary science as being «unfair» or deem the research as unable of properly evaluating the effects of these therapies. Similarly, when scientific evidence is being assessed, people who advocate (and sometimes use) these complementary and/or alternative therapies usually suggest that biomedical databases do not contain studies of alternative therapies. These advocates then suggest that evidence for or against alternative medicine is incomplete because not all research on these matters is taken into account.

 

To answer some of the questions regarding alternative and complementary medicine, card_073_Edzard ErnstEvidencia en Nutrición has conducted a mini-interview with Dr Edzard Ernst (@EdzardErnst). Dr Ernst is a professor of complementary medicine at the University of Exeter in the UK; he is also one of the most critical and sceptical minds in this matter. He has published more than 1000 medical journal articles, 48 books, and many in-depth blog posts, many of which criticise complementary and alternative medicine. Dr Ernst is a medical doctor who has received specific training in acupuncture, autogenic training, phytotherapy, homeopathy, therapeutic massage, and spinal manipulation. He was appointed as an Emeritus Professor at the University of Exeter in 1993, where he currently teaches complementary medicine. He is also the editor-in-chief of two medical journals: Perfusion and Focus on Alternative and Complementary Therapies.

 

It is obvious that Dr Ernst is a qualified person to speak on this matter. Let’s get to the issue:

 

Question 1 – What is the difference (if any) between complementary and alternative therapy?

Edzard Ernst – Complementary describes the use as an adjunct to conventional medicine and alternative as a replacement. But it is important to realise that one modality can be used as either alternative or complementary medicine. This is why many use the term ‘CAM’ (Complementary and Alternative Medicine).

 

Question 2 – Is it possible to evaluate complementary and alternative therapies using scientific approaches? Is it doing well nowadays?

Edzard Ernst – CAMs can and should be tested like any other treatments. This can pose problems, for instance when there is no obvious placebo. But RCTs (Randomized Controlled Trials) are always possible and often desirable for testing the many therapeutic claims made for CAMs.

 

Question 3 – If scientists were asked to evaluate all scientific evidence about complementary and alternative therapies, which electronic databases do you think they would need to consult to guarantee that (almost) all published articles had been evaluated?

Edzard Ernst – It would be wrong to assume that one database can suffice. Depending on the subject area, one needs not just the standard sources like Medline and Embase but also specialised databases. Also one needs to consider languages other than English, for instance for Traditional Chinese Medicine (TCM).

 

Despite the small number of questions we asked Dr Edzard Ernst, we think we can draw some conclusions from his answers that could be very interesting for readers of Evidencia en Nutrición. We also believe Dr Ersnt’s answers could be helpful for research methods of studying complementary and alternative nutritional therapies. The following text is our own interpretation of the interview:

 

1. There is a significant difference between complementary and alternative therapies. Dr Ernst explains that according to the National Centre for Complementary and Integrative Health (which is run by the UK government), complementary therapy is used to complement conventional therapy, while alternative therapy is an alternative to conventional medicine. This differentiation is much more significant than it may seem, above all taking into account the least encouraging and optimistic supposition. When an untested therapy (even a conventional or standard therapy) is used to complement a clinically-tested treatment, the assumed risks are usually unknown adverse effects or interactions between therapies. However, when an untested therapy is used instead of a clinically tested one, the assumed risks are exponentially higher. In this scenario, the patient is not being treated with the therapy which could have the potential to cure. The worst possible outcome of this avoidance would be the deterioration of a patient’s prognosis, while a decrease in the patient’s overall quality of life would be a less severe result of this avoidance. Dr Ernst advises that the same kind of therapy may sometimes be used as a complementary therapy and other times be used as an alternative therapy. This suggests that all complementary and alternative therapies (even those related to human nutrition and dietetics) should be properly clinically tested before they are commercialised.

 

2. Dr Ernst leaves no doubt regarding the ability of contemporary science (including both primary and secondary research) to assess the effectiveness of complementary and alternative therapies, stating that these therapies ‘can and should be tested like any other treatments’. Furthermore, RCTs and meta-analyses of RCTs are the best type of evidence of effectiveness of therapies. This reminds us of one of Dr Ernst’s famous sayings: ‘the plural of anecdote is anecdotes, not evidence‘. We recommend reading Testing Treatments: Better Research for Better Healthcare for those who want to know more about this topic.

 

3. In addition to standard databases like Medline and Embase, specialised databases should be used when gathering and assessing scientific evidence about complementary nutritional and alternative therapies. Databases similar to the Natural Medicines Comprehensive Database should be analysed to ensure that all relevant publications are considered when researching complementary and alternative medicine. Dr Ernst also advises researchers to avoid language bias, meaning that we should be open to finding research in languages other than English. This research may sometimes be unattainable, such as Chinese research. In this regard, international initiatives (like Cochrane, an institution with authors from different countries) should be promoted to help overcome language barriers. This would make it possible for researchers to have access to a greater variety of scientific publications, thereby allowing a more comprehensive assessment of the available evidence.

 

 

We sincerely hope that this interview with a great medical professional has answered book_ernst_2015some of the questions regarding the research and assessment of evidence for complementary and alternative therapies. Of course, we encourage you to read Dr Ernst’s blog as well; more specifically, we recommend a blog entry regarding research difficulties in alternatives therapies: ‘Alternative Medicine, the Baby, and the Bath Water‘. This post shows how an exceptional mind interprets and overcomes these difficulties instead of move away from the hardest scientific tests. Likewise, we encourage you to read some of Dr Ernst’s books, especially the most recent one: A Scientist in Wonderland: A Memoir of Searching for Truth and Finding Trouble (2015).

 

We want to express our heartfelt gratitude to Dr Edzard Ernst for spending his valuable time in our project.

 

Working team: Eduard Baladia (@EBaladia), Rodrigo Martínez-Rodríguez, Julio Basulto (@JulioBasulto_DN)

 

 

Eduard Baladia

Dietista-Nutricionista por la Universidad de Barcelona. Ha participado como experto externo en 9 guías de la Organización Mundial de la Salud (OMS). Es uno de los profesionales de la salud y el único dietista-nutricionista que ha completado el "Curso de introducción a la elaboración de Guías de Práctica Clínica (GPC)" organizado por GuíaSalud-Biblioteca de Guías de Práctica Clínica del Sistema Nacional de Salud. Además ha realizado el curso de "Introducción a las Revisiones Sistemáticas" de la Cochrane Iberoamericana. En la actualidad está siendo evaluado por el Practice-based Evidence in Nutrition (PEN) para ser autor y/o revisor de la iniciativa internacional.

More Posts - Website

Posted in Búsquedas, Ciencia en general, Entrevistas, Interpretación, Lectura crítica, Metaanálisis, Metodología, Sumarios de evidencia | Tagged , , , , | Comentarios desactivados en Researching Complementary and Alternative Therapies: a mini-interview with Dr Edzard Ernst

Búsqueda de evidencia con eficiencia: sumarios de evidencia

By | Last Updated 19 febrero, 2015

ok_evidnutr

 

@EvidNutrition

 

Los sumarios son compendios de toda la evidencia científica existente sobre un tema concreto, incluyendo todos los metaanálisis, revisiones sistemáticas y estudios individuales de calidad que existan. La evaluación de toda la evidencia científica sobre un tema puede llegar a ser una actividad muy time consuming y tremendamente compleja, sobre todo si pensamos que, para cada pregunta planteada en el sumario, además de la búsqueda sistemática, hay que obtener los textos completos, hacer su correspondiente lectura crítica y:

  • evaluar los sesgos;
  • jerarquizar la evidencia;
  • evaluar la cantidad, calidad y consistencia de la evidencia;
  • evaluar la aplicabilidad y posibilidad de generalización de los resultados;
  • evaluar su relevancia e impacto clínico y económico y
  • evaluar y establecer el ratio riesgo/beneficio

(no os preocupéis si no sabéis exactamente a lo que nos referimos, lo iremos explicando en futuros posts).

En este sentido, Haynes desarrolló (o como mínimo fue uno de los primeros en comunicarlo) una clasificación de fuentes de información preevaluada (pre-appraised resources) que podían englobarse dentro de la metodología desarrollada en torno a la medicina basada en la evidencia. En la búsqueda de la mejor evidencia científica disponible, después de los «sistemas» (desconocidos para nosotros), los sumarios de evidencia o guías de práctica basadas en la evidencia son la fuente de información preevaluada a la que debemos acceder para invertir el menor tiempo posible.

La iniciativa GuíaSalud es, sin lugar a dudas, el referente español y, seguramente, el Scottish Intercollegiate Guidelines Network (SIGN) y el National Institute for Health and Care Excellence (NICE)  los referentes internacionales más conocidos. Su metodología está explícitamente protocolizada y se basa en los principios de la medicina basada en la evidencia (véase por ejemplo el manual de GuíaSalud). La transparencia y definición previa de una metodología de trabajo, implica una reducción significativa de sesgos en su ejecución o, como mínimo, el perfecto conocimiento de sus limitaciones.

 

Consultar las bases de datos de GuíaSalud, NICE y SIGN en busca de sumarios de evidencia, es sin lugar a dudas un acierto.

 

Sin embargo, la cantidad de sumarios que pueden crear estas entidades es muy limitada, por lo que intentar buscar «otras guías» debe formar parte de nuestro interés. Sin embargo, no es oro todo lo que reluce:

 

Existen multitud de textos que dicen ser sumarios de evidencia y que en realidad no llegan a serlo debido a una metodología de trabajo poco elaborada y profunda.

 

Por suerte existen bases de datos que agrupan guías de alta calidad, en las cuales podremos encontrar sumarios de evidencia en los que se incluya algún apartado o subapartado relacionado con la nutrición humana y dietética.

 

Recomendación de Evidencia en Nutrición

No busquéis sumarios de evidencia solamente de nutrición, encontraréis muy pocas cosas y la mayoría bastante malas. Buscad por patología o afección y quizás en algún subapartado del sumario encontréis algunas preguntas relacionadas con la nutrición.

 

 

 

National Guideline Clearinghouse (NGC)

Logo de NGC

Logo oficial de NGC

La base de datos de la NGC  ha sido creada por la Agency for Healthcare Research Quality (AHRQ) de Estados Unidos, una potentísima entidad creada con la misión de producir evidencia para hacer un sistema de salud más seguro, de mayor calidad y más accesible de una forma más equitativa y asequible.

La base de datos incorpora sumarios de evidencia que cumplen con ciertos requisitos metodológicos que se revisan de forma periódica. Esta base de datos nos gusta especialmente porque ofrece un pequeño apartado con las principales recomendaciones encontradas y porque en su forma de búsqueda avanzada existen dos filtros que son muy interesantes para los que se dedican a la nutrición humana y dietética.

 

Pasos a seguir para hacer una buena búsqueda en esta base de datos:

Paso 1. Entrar en la parte de búsqueda avanzada.

Paso 2. Ir a la sección Methods Used to Assess the Quality and Strength of the Evidence y clicar en Weighting According to a Rating Scheme (Scheme Given) y Weighting According to a Rating Scheme (Scheme Not Given).

Paso 3. En Specify a keyword, poner un sólo concepto (no intentéis poner más de uno, perderéis información seguro). Si por ejemplo queremos buscar recomendaciones basadas en la evidencia sobre nutrición durante el embarazo, simplemente usad el concepto «embarazo» o «gestacional» (en inglés claro).

Paso 4. Organizad siempre los resultados según su relevancia (recomendación de usuario). En este punto, os pueden ocurrir tres cosas:

  • ¡Eureka encontré lo que buscaba! (se acabó la agonía);
  • me salen pocos ítems y a partir del quinto, los títulos de las guías no parecen tener relación con lo que estoy buscando;
  • me salen muchísimos ítems relacionados con el tema que busco, pero creo que en ninguno de ellos habrá nada sobre nutrición.

El primer supuesto es el deseable, pero el menos común. El segundo supuesto es el peor, indica que, o bien has usado un mal concepto para buscar, o bien que no hay mucho en la base de datos y que es poco probable que llegues a encontrar nada sobre el tema en ella. Finalmente, el tercer supuesto se presta a:

  1. revisar los ítems uno a uno, o
  2. aplicar dos filtros muy interesantes que se explican en el paso 5.

 

Paso 5. Volver a búsqueda avanzada y aplicar los filtros:

Filtro 1. Ir a la sección de Intended users y clicar en Dietitians. Sí amig@s, esta base de datos permite filtrar el contenido según el usuario diana al que va dirigida la mayor parte de la guía y –¡oh, sorpresa!– existe la categoría de dietista. Si bien debe entenderse que este filtro, puede eliminar algunas guías que pudieran sernos de interés, también puede facilitarnos mucho la tarea si con nuestra búsqueda nos salen demasiados resultados.

Filtro 2. Ir a la sección de Clinical Speciality y clicar en Nutrition. De nuevo este es un filtro interesante porque nos facilita la tarea, pero también nos puede eliminar (potencialmente) algunas guías que podrían ser de interés.

 

Recomendación de Evidencia en Nutrición

Os recomendamos que uséis primero el filtro 1 y después el filtro 2. Sea como fuere, no os recomendamos que los uséis los dos a la vez, hemos constatado que elimina muchas guías de interés (demasiadas, seguramente aplica el booleano AND entre ambos filtros).

 

 

Cuando encontréis una entrada que os interese, habrá tres secciones que deberéis conocer para sacarle el máximo partido:

  • Sección Recommendations: evidentemente es una de las más interesantes, ya que los gestores de la base de datos se han tomado la molestia de hacer un sumario de las principales recomendaciones (no tendremos que leer la guía completa). Veamos un ejemplo; como podéis ver la guía incluye varios subapartados de interés para los interesados en nutrición humana y dietética y se especifica el nivel de evidencia de cada recomendación (indicador del trabajo realizado).
  • Sección Evidence Supporting the Recommendations: será la sección que normalmente nos permitirá saber la jerarquización de la evidencia realizada en esta guía en concreto (recordad que hay miles de clasificaciones distintas). Tomado del ejemplo anterior, en lugar de darnos esa información, nos dicen dónde podemos encontrar esa clasificación «al final del apartado de recomendaciones» (no siempre los autores son ordenados).
  • Sección de Identifying Information and Availability, subapartado Guideline Availability: nos dice dónde encontrar una copia electrónica de la guía completa (y suele ser gratuita). En este caso la guía completa está accesible aquí).

 

TRIPdatabase

La base de datos TRIPdatabase es una base de datos cuyo principal objetivo es ayudar a encontrar evidencia de forma rápida. Es una base de datos muy interesante (por varias razones) en la que podréis encontrar guías de alta calidad. Sin embargo, hay que tener en cuenta que no todas las guías que encontraremos están basadas en la evidencia y que a diferencia de la base de datos National Guideline Clearinghouse no hay un filtro específico para obtener dichos resultados (o nosotros lo desconocemos).

Base de datos TRIP

Base de datos TRIP

 

Pasos para hacer una buena búsqueda en esta base de datos:

Paso 1: conocer un poco la sintaxis de la base de datos es vital:

  • Si colocamos pregnancy en la caja de búsqueda, estaremos buscando todo lo relacionado con el embarazo, inclusive aquellas entradas que toquen el tema de forma secundaria (suelen salir muchísimas entradas).
  • Si por el contrario usamos title:pregnancy, estaremos buscando solamente resultados en los que en el título aparezca la palabra buscada (obtendremos muchos menos resultados, pero más específicos; debemos ser conscientes que quizás nos dejemos algo que podría llegar a interesarnos, por ejemplo «gestational diabetes» y deberemos pensar si el riesgo es asumible o no).
  • Si usamos title:pregnan* (llamado truncación) aumentamos un poco el espectro, ya que buscará todos los resultados en los que en el título aparezca la palabra que empieza por pregnan* y sigue de cualquier forma (pregnancy OR pregnant, por ejemplo).

 

Recomendación de Evidencia en Nutrición

Se recomienda usar la siguiente sintaxis: (title:afección o problema [truncada si creéis que es necesario] OR title:sinónimos de la afección [también truncada si es necesario]) AND (nutrit* OR diet*). De esta forma, estaréis buscando la afección en el título + todo lo relacionado con las raíces nutrit* (nutrition OR nutritional OR nutritive OR nutritionist OR etc.) y diet* (diet OR dietetic OR dietary OR dietitian OR dietician OR etc.). Siguiendo el ejemplo: (title:pregnan* OR title:gestatio*) AND (nutrit* OR diet*)

 

Paso 2: usar sinónimos conocidos de la afección o problema. Si vamos a limitar la búsqueda a títulos, es muy necesario que dediquemos un buen tiempo a elegir bien los conceptos sinónimos de nuestra afección o problema para poder recuperar más resultados interesantes para nosotros (y dejar menos en el tintero). Enlazadlos mediante el booleano OR y entre paréntesis para agruparlos correctamente: (title:pregnan* OR title:gestatio*).

Paso 3: en la columna derecha, encontraremos filtros para refinar nuestras búsquedas. En este caso nos interesa la sección de Guidelines que a su vez se organiza por países de los grupos elaboradores. Clicad encima de los países para poder leer las entradas y ver el nombre de los grupos elaboradores.

Paso 4: leed los títulos con atención, no os interesan las entradas que contengan a position statment, consensus guidelines, general practice guideline. Ante la duda, abre la guía y consulta su metodología para ver si han realizado, como mínimo, jerarquización de los hallazgos en niveles de evidencia. También puede ser útil ver si al lado de las recomendaciones sí que aparece algo parecido a level of evidence o strong/low quality recomendation (se necesita un poco de tiempo y entrenamiento para detectar una buena guía, pero estos pequeños trucos os pueden ayudar).

 

Recomendación de Evidencia en Nutrición

Recomendación para súper motivados: hay una herramienta llamada AGREE II, mediante la cual se puede conocer la calidad de una guía. Una puntuación de como mínimo 60% en los dominios 1, 3 y 6, suele ser un indicador de buena calidad (el dominio 3 es el que evalúa la metodología). Sin embargo, se requiere de cierto nivel de entrenamiento y un grupo de evaluadores (mínimo 5 personas) para evaluar adecuadamente una guía.

 

 

Paso 5: a medida que identifiquéis un grupo elaborador que trabaje en base a evidencia científica, apuntadlo en una lista verde, para que en el futuro identifiquéis rápidamente las guías que sí os interesan (os daríamos nuestra lista verde, pero no la tenemos aún, es una idea que ha surgido a raíz de la escritura de este post).

Paso 6: si no estáis seguros de si una guía concreta está elaborada o no mediante metodología basada en la evidencia, podemos discutirlo entre todos en nuestro grupo de facebook.

 

Epistemonikos

Siendo su eslogan «Combinamos lo mejor de la atención sanitaria basada en evidencia y las tecnologías de la información para apoyar a quienes toman decisiones clínicas o de política sanitaria», la base de datos Epistemonikos promete. Además, para tod@s aquell@s que son “inglesfóbicos” (nos referimos al idioma, no a la parte del cuerpo humano; es lo que pasa cuando te inventas palabras), se pueden hacer búsquedas en español (aunque los resultados estarán en inglés). Pese a lo dicho, lo mejor es buscar tanto en lengua española como en inglés (por separado, salen resultados diferentes). 

Logo oficial de Epistemonikos

Logo oficial de Epistemonikos

De nuevo estamos ante una base de datos que nos ofrece acceso a guías de alta calidad (las han llamado revisiones panorámicas u overviews, en inglés), sin embargo, no todas estarán desarrolladas en base a metodología basada en la evidencia.

 

Pasos para hacer una buena búsqueda en esta base de datos:

Paso 1: asegúrate de saber en qué idioma estás consultando la base de datos: español o inglés. Selecciona dos conceptos (en español o en inglés según hayas elegido justo antes) de interés a unir mediante el boleano AND (hemos probado con más de dos concepto y no suele funcionar bien). Por ejemplo: embarazo AND nutrición (español); pregnancy AND nutrition (inglés).

 

Recomendación de Evidencia en Nutrición

Recomendación muy importante si usas epistemonikos: si usas conceptos en español estando en la versión inglesa, te saldrán menos resultados, y si usas conceptos en inglés estando en la versión española también te saldrá mal. Realiza la búsqueda primero en inglés (salen más resultados) y después en español (a veces salen resultados que no salen en la búsqueda en inglés). Si sabes más idiomas, imaginamos que conseguirás recuperar resultados que nosotros nunca podremos alcanzar.

 

Paso 2: en la columna de la izquierda seleccionar Revisiones panorámicas (en español) u Overview (en inglés).

Paso 3: seleccionamos cuidadosamente las guías de interés. Al igual que en TRIPdatabase, los títulos, revistas o entidad que hace el informe nos pueden servir para discernir; y si no, debemos mirar su metodología.

Paso 4: una de las mejores herramientas que ofrece la base de datos es la posibilidad de hacer una búsqueda inversa a partir de una guía. Esto significa que, en algunas ocasiones, cuando entramos en la guía, la base de datos nos ofrece una lista de revisiones sistemáticas y estudios primarios que se pueden encontrar citados en la guía. Veamos un ejemplo; mirad en la sección Evidence realted to this article.

 

Estos son, sin lugar a dudas, las principales bases de datos que nos ofrecen la posibilidad de buscar y encontrar de forma fácil y gratuita sumarios de evidencia, posibilitando la búsqueda de evidencia con eficiencia.

 

Existen, sin embargo, dos bases de datos más que deben ser nombradas y conocidas por tod@s (sólo las nombramos porque son de pago): Guidelines International Network (GIN) y el Practice-based Evidence in Nutrition (PEN®). Esta última seguramente sea la fuente de evidencia especializada en nutrición más potente que hemos podido consultar, por eso estamos en proceso de ofrecer acceso a un precio razonable a tod@s aquellos que estén interesad@s.

Eduard Baladia

Dietista-Nutricionista por la Universidad de Barcelona. Ha participado como experto externo en 9 guías de la Organización Mundial de la Salud (OMS). Es uno de los profesionales de la salud y el único dietista-nutricionista que ha completado el "Curso de introducción a la elaboración de Guías de Práctica Clínica (GPC)" organizado por GuíaSalud-Biblioteca de Guías de Práctica Clínica del Sistema Nacional de Salud. Además ha realizado el curso de "Introducción a las Revisiones Sistemáticas" de la Cochrane Iberoamericana. En la actualidad está siendo evaluado por el Practice-based Evidence in Nutrition (PEN) para ser autor y/o revisor de la iniciativa internacional.

More Posts - Website

Posted in Búsquedas, Sumarios de evidencia | Tagged , | Comentarios desactivados en Búsqueda de evidencia con eficiencia: sumarios de evidencia

Los metaanálisis no son el mayor nivel de evidencia

By | Last Updated 11 febrero, 2015

Modelo de 6 niveles de Haynes (se señala el nivel que ocupan los metaanálisis)

 

@EvidNutrition

 

Si ya eres consciente de que «la cagamos cuando la evidencia científica se puso de moda» y que en realidad sabemos más bien poco sobre su metodología, ya estás preparad@ para saber que los metaanálisis no son el mayor nivel de evidencia al que podemos acceder.

Muy a menudo, solemos pensar que cuando encontramos un metaanálisis estamos adquiriendo el poder definitivo que nos permitirá afirmar todo aquello que tanto habíamos anhelado y ser los amos del mundo (como mínimo del conocimiento). Sentimos informaros que no es exáctamente así.

La pirámide tradicional (lo sentimos por aquellos que odian las pirámides) de jerarquización de los estudios en niveles de evidencia , sitúa las revisiones sistemáticas y metaanálisis en su cúspide, como obra cumbre e insuperable.

Hierarchy-of-Evidence

Jerarquía de evidencia según diseño de estudio

Sin embargo, como ocurre con todas las pirámides educativas, la jerarquía de los estudios en niveles de evidencia no deja de ser un modelo o herramienta educativa que permite identificar de forma sencilla qué diseños de estudios son más potentes para contestar una pregunta en concreto (por cierto dependerá del tipo de pregunta que formulemos, pero ya hablaremos de eso en otro post). Dejando de lado que existen miles de jerarquías diferentes y mucha controversia al respecto, las revisiones sistemáticas y metaanálisis se erigen siempre como el máximo nivel de evidencia. La razón es bien sencilla: las revisiones sistemáticas y los metaanálisis son manuscritos que analizan, evalúan y sintetizan los datos de los niveles inferiores. Son, justamente, el inicio de «las fuentes de información preevaluadas y filtradas«.

Si lo pensamos detenidamente, es fácil que se nos ocurra la idea de coger un sólo metaanálisis y revisar si está metodológicamente bien realizado y si incorpora todos los estudios sobre el tema; o tambien podemos buscar todos los metaanálisis sobre un tema para analizarlos, evaluarlos y sintetizar los hallazgos. Así es, seguramente, como nació la idea de ofrecer otro modelo educativo que incorporara todos los niveles de información preevaluada conocidos hasta la fecha (esto implica que seguramente cambie en el futuro).

Creemos que Haynes fue uno de los pioneros en dar a conocer este tipo de modelo en 2001 mediante una editorial publicada en la revista Evidence Based Mental Health. El modelo fue llamado «modelo de las 4S» en sus inicios para evolucionar en 2006 al «modelo de las 5S», publicado en Evidence Based Medicine, y finalmente al «modelo de las 6S» publicado en el ACP Journal Club en 2009.

El modelo de Haynes contiene 6 niveles de infromación, y los metaanálisis no es que estén precisamente en la cúspide (tercer nivel):

  • Estudios individuales (studies en inglés, de ahí la primera S o nivel): no son propiamente una fuente de información preevaluada o filtrada.

    Modelo de 6 niveles de Haynes

    Modelo de 6 niveles de Haynes (se señala el lugar que ocupan los metaanálisis)

  • Sinopsis de estudios (segunda S o nivel): son evaluaciones o lecturas críticas de estudios individuales que tratan de averiguar la calidad metodológica de dichas publicaciones e identificar si las conclusiones son acordes al diseño de estudio. Estos escritos no tienen la intención de fusionar o sintetizar estadísticamente los datos de los diferentes estudios. Algunas revistas ofrecen este tipo de evaluaciones, pero no conocemos ninguna base de datos que las agrupe.
  • Síntesis (tercera S): se trata de la búsqueda y fusión de datos de diferentes estudios individuales mediante el análisis estadística, es decir, las revisiones sistemáticas y metaanálisis. Evidentemente, antes de realizar la síntesis estadística de datos, es necesario realizar la pertinente lectura crítica (nivel anterior). El objetivo final de las síntesis no es establecer una recomendación, sino ofrecer un análisis del conocimiento actual, tanto de los estudios a favor como en contra. Ejemplo de una revisión sistemática (fijaros en las conclusiones del resumen).
  • Sinopsis de síntesis (cuarta S): son evaluaciones o lecturas críticas de revisiones sistemáticas y metaanálisis (nivel anterior) que tratan de establecer la calidad metodológica de éstas, así como establecer si las conclusiones de las mismas son adecuadas a su fortaleza interna. Ejemplo de la revisión sistemática del ejemplo del nivel anterior (fijaros en el CRD summary; ¿frustrante verdad?; si os ha gustado, os recomiendo que leáis el CRD commentary).
  • Sumarios (quinta S): también llamados sumarios de evidencia y más conocidos como guías basadas en la evidencia. Son trabajos que buscan, evalúan, analizan y sintetizan (jerarquizándolos) todos los niveles de información preevaluada anteriores. El objetivo final es ofrecer una recomendación basada en las mejores pruebas actuales, poniendo en una balanza el ratio riesgo-beneficio, su aplicabilidad real, e incluso las preferencias o necesidades de los pacientes. Su intención es ayudar en la toma de decisiones de los profesionales que las utilicen (no para sustituir su juicio). Ejemplo. Cabe destacar que los temas centrales casi nunca serán del tema que necesitemos (nutrición), pero es posible que sea incorporado en algún subapartado.
  • Sistemas (sexta S): es una de las más complejas de entender (incluso para nosotros, que reconocemos haber errado en explicarlo alguna vez). A nivel teórico, se trataría de un sistema computarizado que incorporaría sistemáticamente todas las recomendaciones actualizadas establecidas a través de sumarios de evidencia , de manera que tras la introducción de las circunstancias de un paciente concreto en el programa informático, éste te ofrecería las recomendaciones basadas en las mejores pruebas. El objetivo es ayudar a que la toma de decisiones durante la práctica diaria de los profesionales esté basada en las mejores pruebas. Decíamos que este era el concepto más complejo de entender (incluso para nosotros), porque en la práctica existen muy pocos sistemas, y nunca hemos tenido el placer de ver o manejar ninguno directamente relacionado con la nutrición humana y dietética.

 

 En el modelo de Haynes, cuanto más arriba esté una fuente de información, más pruebas (evidencias) preevaluadas y filtradas contendrá (que es justamente lo que se busca para estar seguros).

 

¿Y para qué sirve saber todo esto?

«Cuando se inicia una búsqueda para encontrar la mejor evidencia científica sobre un tema concreto, para ser eficientes, debemos empezar buscando la información preevaluada que está más arriba de la pirámide de Haynes, e ir bajando de nivel si no encontramos ningún documento elaborado que corresponda a dicho nivel».

 

Estamos seguros que os gustaría hacer dos preguntas más (como mínimo):

¿Y dónde podemos encontrar cada nivel de información preevaluada?

¿Existen bases de datos o estrategias de búsqueda específicas para encontrar cada nivel de información de la pirámide de Haynes?

 

Las respuestas las tendréis en el próximo post.

 

Eduard Baladia

Dietista-Nutricionista por la Universidad de Barcelona. Ha participado como experto externo en 9 guías de la Organización Mundial de la Salud (OMS). Es uno de los profesionales de la salud y el único dietista-nutricionista que ha completado el "Curso de introducción a la elaboración de Guías de Práctica Clínica (GPC)" organizado por GuíaSalud-Biblioteca de Guías de Práctica Clínica del Sistema Nacional de Salud. Además ha realizado el curso de "Introducción a las Revisiones Sistemáticas" de la Cochrane Iberoamericana. En la actualidad está siendo evaluado por el Practice-based Evidence in Nutrition (PEN) para ser autor y/o revisor de la iniciativa internacional.

More Posts - Website

Posted in Metaanálisis, Metodología, Sumarios de evidencia | Tagged , , , | Comentarios desactivados en Los metaanálisis no son el mayor nivel de evidencia

La evidencia científica dice… (y la cagamos cuando la frase se puso de moda)

By | Last Updated 3 febrero, 2015

camiseta_evidencia_nutricion

 

@EvidNutrition / @Ebaladia / Rodri_Go

 

No nos engañemos, la evidencia científica está de moda. ¡Pero mucho! Si bien hace una década la información relacionada con la metodología basada en la evidencia era escasa y difícil de encontrar, hoy parece ser que todo el mundo sabe muchísimo sobre el tema. Sin embargo, a medida que uno se adentra en el mundo de los sumarios de evidencia científica, descubre que existen muchos aspectos de su metodología que apenas se conocen y que se malinterpretan o se simplifican demasiado a la ligera. Existen varios puntos que deben ser aclarados para poder entender qué es y qué no es la metodología basada en la evidencia y, en consecuencia, qué nos puede llegar a decir.

 

 

Una traducción al español muy desafortunada (empezamos muy mal para poder entenderlo bien)

 

camiseta_evidencia_nutricion

Camiseta de «Evidencia en Nutrición»

Evidencia en nutrición o nutrición basada en la evidencia es la adaptación de la llamada, en 1991, medicina basada en la evidencia. En este sentido, pese a que se ha popularizado el uso del término medicina basada en la evidencia como traducción de evidence-based medicine, dicha traducción no está libre de crítica y de posibilidad de mala interpretación. Según la Real Academia Española (RAE), evidencia se define como la «certeza clara y manifiesta de la que no se puede dudar», y eso en ciencia no sólo es muy molesto, sino que resulta bastante conflictivo con el principio de refutabilidad. Es por dicha razón que algunos autores prefieren referirse a ella como «medicina basada en pruebas» (en estudios), sin lugar a dudas una traducción mucho más acertada, pero muy poco usada. De hecho, esta traducción resulta tan poco usada que los que escriben estas líneas han preferido usar los términos menos adecuados (o directamente inadecuados) para obtener un mejor posicionamiento del blog en los buscadores de la red (ya sabéis, efectos adversos e inesperados de las modas).

En consecuencia, debe quedar claro que evidencia en nutrición, en consonancia con la definición proporcionada por el Medical Subject Headings (MeSH) y por la International Confederation of Dietetic Association (ICDA) Evidence-based Practice Working Group, hace referencia a la intención de obtener el conocimiento actual de forma más objetiva y reproducible, con el objetivo de proporcionar una atención nutricional que se guíe por una integración juiciosa de los mejores conocimientos científicos disponibles. Este enfoque presupone que:

  • las recomendaciones basadas en la evidencia, no permanecen inalterables por los tiempos de los tiempos;
  • las recomendaciones se establecen en base al universo de pruebas (estudios) que existen hasta la fecha, pudiendo ser modificables a medida que se publiquen nuevas y mejores investigaciones;
  • la ausencia de evidencia no implica que no se puedan establecer recomendaciones al respecto, sino que dichas recomendaciones deberán estar basadas en otros métodos de obtención de las mismas, como por ejemplo, el sistema por consenso formal de opiniones de expertos (que no debe despreciarse).

 

Las recomendaciones basadas en la evidencia científica son el fruto de un proceso complejo y no de la inclusión de una cita al final de la frase

 

¡Vamos a ir al grano! Si uno quiere encontrar una cita o un conjunto de citas que justifiquen sus teorías o hipótesis, sin lugar a dudas las encontrarán. No pierda el tiempo ni dinero, en la base de datos de PubMed/Medline (de acceso gratuito) se han indexado más de 24 millones de citas, seguro que alguna le servirá. Sin embargo, citar un artículo o un conjunto de cien artículos al final de una recomendación, no la convierte necesariamente en una recomendación basada en la evidencia. Muy a menudo se confunde la nutrición basada en citas con la nutrición basada en la evidencia.

En el excepcional libro de divulgación científica «Cómo se prueban los tratamientos: una mejor investigación para una mejor atención de salud» (editado con el apoyo de la Organización Mundial de la Salud y escrito por Imogen Evans, Hazel Thornton, Iain Chalmers y Paul Glasziou, con prólogo de Ben Goldacre; ¡vamos un lujo de publicación totalmente gratuita!) se explica de forma magistral y llana por qué un estudio o incluso un conjunto de estudios no puede «casi nunca» ser suficiente para contestar a una pregunta, sino que se debe evaluar toda la evidencia científica pertinente y fiable (capítulo 8, se lo recomendamos).

En la mayoría de manuales metodológicos de instituciones de referencia (Guíasalud; NICE; SIGN) la evaluación de toda la evidencia pertinente y fiable se concreta en 6 fases más o menos reconocibles. Bajo la apariencia de sencillez de estas 6 fases, en cada una sumarios_evidde ellas existe un sinfín de aspectos metodológicos que deben tenerse en cuenta para evitar, en la medida de lo posible, la introducción de sesgos durante la elaboración de un sumario de evidencia:

  1. Creación de un comité elaborador: ¿quién o quienes deben formarlo? ¿qué roles y nivel de participación deben tener? ¿debe existir un líder que lleve el proyecto? ¿deben saber del tema tratado o es mejor que sepan más bien poco?
  2. Identificación de los temas a tratar: ¿vale la pena tratar todos los temas relacionados con el sumario o solamente aquellos que no han sido tratados en otros sumarios de evidencia? ¿temas muy concretos o mejor más generales?
  3. Formulación de las preguntas pertinentes: ¿preguntas concretas o mejor específicas? ¿con que sistema deben formularse las preguntas para que se puedan responder?
  4. Búsqueda sistemática y adquisición de estudios: ¿cuantas bases de datos deben consultarse? ¿cuáles? ¿las búsquedas deben elaborarlas todo el grupo o solamente aquellos que sepan más del tema? ¿la ejecución de las búsquedas y adquisición de estudios debe hacerlo una sola persona o bien dos personas cegadas una respecto a la otra? ¿estas personas deben saber mucho sobre el tema o mejor que sepan poco para ser más imparciales?
  5. Evaluación y síntesis de la evidencia: ¿la lectura crítica debe realizarla una sola persona o dos personas cegadas una respecto la otra? ¿cómo debe realizarse dicha lectura crítica? ¿los estudios catalogados como de baja calidad deben eliminarse o deben tomarse en consideración parcial o ponderada?
  6. Formulación de recomendaciones: ¿qué sistema debe usarse SIGN, GRADE, u otro sistema, cuál es mejor? ¿como se le puede dar peso a las preferencias de los pacientes, hay que hacerlo o mejor no? ¿cómo se evalúa la relación riesgo-beneficio? ¿cómo se evalúa la posible eficiencia de la aplicación de una recomendación?

(no se asuste si no sabe responder a algunas de las preguntas, esa era la idea)

 

Una de las intenciones de los autores de este blog es ir desgranando y contestando, en cada entrada , algunos de estos aspectos metodológicos y cuestiones que deberían conocerse y que, estamos seguros, muchos de los que están leyendo estas líneas no conocían. Nuestra intención es ir acercando a los lectores, de manera paulatina, al concepto real de metodología basada en la evidencia.

 

Le vamos a ofrecer un breve ejemplo de lo que les espera:

En la «fase 01. Creación del comité elaborador», se indica que «éste debe ser multidisciplinar, incluyendo todos los profesionales sanitarios implicados en sus cuidados y también a grupos de pacientes». Aunque no lo crean, existen estudios que tratan de investigar cómo la composición, estructura y roles del grupo elaborador de guías basadas en la evidencia (sumarios de evidencia) afectan en las recomendaciones que se emiten durante el proceso de elaboración de las mismas.

Un estudio observacional publicado en 2002 encontró que existió una marcada asociación entre el estatus social de los diferentes profesionales, su nivel de contribución al grupo y los resultados del trabajo realizado. El trabajo permitió entender cómo un buen chair o director/a puede mejorar las relaciones entre los miembros del grupo elaborador, permitiendo que su interacción y contribución sea más equitativa, fructuosa y menos sesgada por la visión de un solo tipo de profesional.

Asimismo, gracias a una revisión sistemática publicada en 2011 se hallaron pruebas de que la incorporación de pacientes en los grupos elaboradores no sólo mejoraba la incorporación de los valores, preferencias, conocimientos y perspectivas de los pacientes, sino que además mejoraba la implementación de las guías (ya que después de elaborarlas se diseminaban muy bien a través de asociaciones de afectados), y ayudaba a adaptar las recomendaciones finales a la población diana, aumentando la comprensión de las mismas (al elaborar materiales para pacientes hechos por los propios pacientes).

 

¿Aún crees que toda la gente de la que alguna vez has oído «La evidencia científica dice…» sabía de lo que estaba hablando y realmente había seguido las 6 fases? (mejor no contestes, léenos durante una temporada para averiguarlo)

 

Además de ofrecer datos y argumentos metodológicos, les intentaremos ofrecer:

  • herramientas y softwares que esperamos os ayuden a sobrellevar el arduo trabajo que supone la digestión del conocimiento actual en materia de nutrición humana y dietética,
  • y breves resúmenes y links a la mejor evidencia científica disponible en temas de máxima relevancia.

 

Sabemos perfectamente que este no es un blog de masas, pero si lo has encontrado instructivo y útil, te agradeceremos que lo compartas con cualquier persona que creas pudiera estar interesada.

 

 

Eduard Baladia

Dietista-Nutricionista por la Universidad de Barcelona. Ha participado como experto externo en 9 guías de la Organización Mundial de la Salud (OMS). Es uno de los profesionales de la salud y el único dietista-nutricionista que ha completado el "Curso de introducción a la elaboración de Guías de Práctica Clínica (GPC)" organizado por GuíaSalud-Biblioteca de Guías de Práctica Clínica del Sistema Nacional de Salud. Además ha realizado el curso de "Introducción a las Revisiones Sistemáticas" de la Cochrane Iberoamericana. En la actualidad está siendo evaluado por el Practice-based Evidence in Nutrition (PEN) para ser autor y/o revisor de la iniciativa internacional.

More Posts - Website

Posted in Metodología, Sumarios de evidencia | Tagged , , , | Comentarios desactivados en La evidencia científica dice… (y la cagamos cuando la frase se puso de moda)