¿Hasta donde nos debemos fiar de los estudios publicados?

jenar

Super Moderator
Miembro del equipo
Hola amigos.

Como muchos de vosotros, soy de los que usa las referencias publicadas en las revistas de impacto para intentar establecer un buen nivel de evidencia que redunde en una buena práctica profesional.

El problema surge cuando lees artículos como el siguiente:

http://www.sciencenews.org/view/feature/id/57091/title/Odds_Are,_Its_Wrong

(lamentando que esté en Inglés y sin posibilidades actuales de traducirlo por mi parte, espero que si a alguien le interesa, colabore en su traducción ;)).

Además, un libro imprescindible para profundizar un poco más sobre como la mala interpretación de la estadística puede alterar los resultados de las investigaciones y darnos informaciones a todas luces erróneas es:

http://www.diazdesantos.es/libros/p...-investigacion-cientifica-L0000410003783.html

En fin, que despues de leer cosas como estas, me siento un poco mas "huerfano", no sé que os parece a vosotros.

Un saludo.
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Estimado amigo...

Uno de mis más admirados colegas - entiendase por " colega " amigo. - de profesión doctor ( Pero Doctor de verdad. De esos pocos que han hecho el doctorado ) en medicina, solía fiarse de SU experiencia... y ponía en aprietos, casi siempre, a los representantes de este y de aquel producto que acudían a la entrada, en medio ó después de la consulta, a ofrecer sus milagrosas pócimas en detrimento de otras de uso común, por lo general más baratas.

Y.. aunque no siempre tenía razón, puedo asegurarte que nunca trató a nadie con " Troglitazone " ó " Rosiglitazone ".
La Revista de la Asociación Americana de Médicos estima, por otra parte, que hasta un 20% de los medicamentos que se aprueban cada año.. serán retirados en los proximos...

Y esto, no solamente causado por ese fatídico 5% de la P - que ahora parece que no se sabe si va delante o en medio, en lugar de detrás - sino porque la industria se juega tanto en esta " guerra " que... juega sucio.
Y para muestra un botón.: El contencioso de Pfizer y las revistas NEJM, JAMA y AIM.

Yo.. no soy investigador. Y apenas alcanzo a comprender las implicaciones que tiene publicar en una de estas revistas de " alto Impacto " un trabajo favorable ó desfavorable a tal o cual descubrimiento.

Creo que puede venir al caso - por filosofar - algo que he leído hace poco y que hablando de ciencia.. decía que con el acelerador de partículas estabamos apunto de llegar al vortice ( tal vez sea vértice ) que describió Werner Heisenberg .
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Mi querido Jenar, se acuerda es vieja discución (que quedo inconclusa, falto que termine la parte de método científico, mea culpa)que empezo con Tarski, pasó por Heisenberg (siempre me sonó a cerveza) con su principio de incertidumbre. Lo que plantea la nota, la epsitemología se lo ha planteado hace tiempo, principalmete Fayerabend lo plantea y los filósofos anarquistas (en los cuales me incluyo humildemente), lo que la ciencia habla con certeza por que ha usado el método experimental, lamentablemete es relativo, mejor dicho, no es absoluto (que no es lo mismo y no suena tan drástico) ya que el universo abarcativo de las muestras nunca va a ser tan universal que abarque a todos los miembros involucrados (salvo que sea un universo muy finito y reducido. En fin, la ciencia empírica, no establece leyes universales, eso es medianamente cierto, establece generalidades, ahora bien, que sea útil para un grupo de individuos, no quiere decir que sea útil a la humanidad, sí, a un grupo de individuos y, ésto no quiere decir que sea malo, sino simplemente no es absolutamente bueno para todo el mundo. Creo que la humanidad avanzaría mucho más el día que se saque el estigma de que todo lo que hacemos o buscamos tiene que llegar a lo absoluto o universal, quizas podamos comprender mejor las cosas, si llegamos a entender primero lo particular o lo general. :cejas:
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Estimado amigo...

Uno de mis más admirados colegas - entiendase por " colega " amigo. - de profesión doctor ( Pero Doctor de verdad. De esos pocos que han hecho el doctorado ) en medicina, solía fiarse de SU experiencia... y ponía en aprietos, casi siempre, a los representantes de este y de aquel producto que acudían a la entrada, en medio ó después de la consulta, a ofrecer sus milagrosas pócimas en detrimento de otras de uso común, por lo general más baratas.

Estimado Skrei.

Uno de los problemas a los que nos enfrentamos a diario es como compaginar "mi" experiencia, con lo que se actualmente se considera "evidencia" (que en el fondo es la experiencia de muchos, pasada por el sensato tamiz del método científico, si se me permite la licencia y la simplificación :lol:). En muchos casos, estos dos aspectos pueden llegar a ser contradictorios e incluso poco compatibles, aunque no parezca evidente. La experiencia es utilísima en áreas como en las que nos desenvolvemos, pero ha pasado de ser sobrestimada (véase los catedráticos universitarios de antaño) a ser ignorada como proceso intelectual válido (algo así como los "hooligans" de la MBE).
Creo que ni lo uno ni lo otro. Es evidente que la sola "experiencia", con toda la carga de subjetividad que arrastra, no es suficiente para realizar buena praxis, pero tampoco parece lógico desechar los años (a veces muchos) de experiencia acumulada por nuestros profesionales en aras de reducir esa, tan temida a veces, "variabilidad clínica". Supongo que en el equilibrio está el mérito y, el buen profesional sanitario actual sabe usar su experiencia, apoyándose en lo que la ciencia le indica como buen proceder en cada instante.
Ahí es donde llega mi queja final: ¿hasta donde estamos seguros de que lo que nos dan como cierto lo es?.


Mi querido Jenar, se acuerda es vieja discución (que quedo inconclusa, falto que termine la parte de método científico, mea culpa)que empezo con Tarski, pasó por Heisenberg (siempre me sonó a cerveza) con su principio de incertidumbre. Lo que plantea la nota, la epsitemología se lo ha planteado hace tiempo, principalmete Fayerabend lo plantea y los filósofos anarquistas (en los cuales me incluyo humildemente), lo que la ciencia habla con certeza por que ha usado el método experimental, lamentablemete es relativo, mejor dicho, no es absoluto (que no es lo mismo y no suena tan drástico) ya que el universo abarcativo de las muestras nunca va a ser tan universal que abarque a todos los miembros involucrados (salvo que sea un universo muy finito y reducido. En fin, la ciencia empírica, no establece leyes universales, eso es medianamente cierto, establece generalidades, ahora bien, que sea útil para un grupo de individuos, no quiere decir que sea útil a la humanidad, sí, a un grupo de individuos y, ésto no quiere decir que sea malo, sino simplemente no es absolutamente bueno para todo el mundo. Creo que la humanidad avanzaría mucho más el día que se saque el estigma de que todo lo que hacemos o buscamos tiene que llegar a lo absoluto o universal, quizas podamos comprender mejor las cosas, si llegamos a entender primero lo particular o lo general. :cejas:

Mi querido Nito:

Sabe bien que me encanta una discusión de este tipo y es verdad que dejamos una previa inconclusa. Pero me temo que aburrimos hasta a las ostras con nuestras disquisiciones y que éste no era el objetivo de mi aportación en esta discusión.

Creo que el artículo no habla de la validez o no del método científico, ni de su veracidad contrastada hasta la saciedad, ni de su aplicación en ambitos culturales, geográficos, históricos o sociales diferentes (sabe que huyo del relativismo como los gatos del agua :roll:), ni siquiera tiene nada que ver con la filosofía de las ciencias. El artículo viene a tratar sobre algo muy concreto, que para nada pone en entredicho el método científico ni la ciencia actual como la mejor fuente de conocimiento (no le digo la única, para que no me acuse de positivista). Si lo analiza bien, solo viene a mencionar una de las posibles perversiones de la divulgación de cierta parte de la ciencia (en este caso, la médica) y es el de la manipulación, deliberada o por desconocimeinto, de la metodología estadística y de como ese hecho puede hacer que tomemos decisiones médicas erróneas, algunas de ellas graves, como se puede entender por lo escrito, cosa que a mi me causa cierto desasosiego, la verdad sea dicha....:sad:

Gracias y un saludo.
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Ahora están muy de moda los clubs de la lectura, y cursos de cómo leer y saber cuáles son artículos serios con un nivel de evidencia alto y cuales pueden ser dudosos...en mi gerencia desde hace un año estamos en ello, además vamos a hacer cursos al respecto.

Os dejo un enlace para leer mucho mucho...pero la duda,siempre está presente en determinados estudios...

http://bvs.sld.cu/revistas/aci/vol12_4_04/aci10404.htm
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Pues aunque quiera mantenerme al margen de los comentarios (y no soy ni filósofo como el hermano Nito por el bien de mi salud y no volver a padecer los dolores de cabezas horribles de la universidad).

Pregunto:

No sino a través de la observación y la experiencia que se fundamento la ciencia medica, o, siempre existieron esos cálculos terribles de los que si no tenemos una herramienta que lo haga no logramos encontrar el resultado?

Si es cierto que el valor "P = 0.05, mostrando que P < 5% no implica resultados válidos y P > 5% no implica resultados no válidos."

Pregunto:
No lograremos la especificidad absoluta, pero necesitamos un método que nos acerque a los mas absoluto?

Será la experiencia o un cálculo quien nos diga la mejor manera de actuar o el medicamento más adecuado o efectivo.
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Si me lo permitís, seré el optimista de la discusión.;)

El artículo, lo que pone en evidencia es la falta de formación estadística de muchos investigadores. No cuestiona el método científico, sino la interpretación que muchas veces se hace de los resultados obtenidos estadísticamente.
Cuando se realiza un estudio y sus conclusiones son estadísticas tenemos que saber de qué hablamos. No vale, por seguir con el ejemplo del p=0.05, concluir una ley general y asumir que el resultado es cierto o falso. Tenemos que tener presente que hablamos de datos estadísticos, que nos dan probabilidades a comparar con el azar, pero son eso probabilidades. Lógicamente, la evidencia ganará fuerza cuanto mayor significación estadística obtengamos, cuanto mayor sea la población analizada, cuanto más número de estudios apunten a conclusiones generales y cuanto menos lo hagan en dirección contraria.

Digamos que podemos establecer grados de credibilidad o de evidencia.

- Antes, era común aceptar la "costumbre" a la hora de hacer las cosas, sin pararse a comprobar la eficacia o no de la acción.
- Luego se comenzó a prestar atención a los estudios y ensayos, que pueden orientar hacia el resultado, pero que no pueden extrapolarse aisladamente a toda la población ni darse por verdades absolutas.
- Con la difusión de la MBE, se ha centrado el interés en los meta-análisis y en rigurosos controles metodológicos antes de dar por válidas las conclusiones.

Estos pasos han ido en la dirección correcta, y prueba de ello son los grandes avances en los últimos tiempos de la investigación biomédica.

Pero no podemos plantarnos aquí y dar por finalizado el avance metodológico. Hay que depurar errores, hay que plantear límites más rígidos a los estudios, y sobretodo, hay que formar a los investigadores a endender la estadística, algo complicado ahora que con los programas estadísticos metes datos y te salen valores de variabes, indicadores y parámetros estadísticos, que en muchos casos los investigadores no saben qué significan y se limitan a utilizarlos como algoritmos... si p>0.05 esto... si p<0.05 lo otro... No olvidemos que los resultados por azar son poco probables pero no imposibles, y si no lo contemplamos podemos llegar a conclusiones erróneas.
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Jenar, con lo que quise decir antes (medio embarullodo y oscuro como Heraclito) es que por más que se intente, siempre va haber un margen de error, ya que el universo que se puede tomar en una investigación no va a ser absoluto, problema es saber darse cuenta que todo estudio trata de conocer la realdiad para mejorarla, en el caso de la medicina trata de conocer como interactua una persona en una situación en que su cuerpo (soma y psiquis) no funciona correctamente (enfermedad) por causas externas o internas y como se lo puede solucionar (curar o mejorar) , pero no todos los cuerpos son iguales y por lo tanto no todos reaccionan de la misma manera, un tratamiento puede tener exito en 1000, 10.000 pacientes, pero en uno, dos, 100 no lo tiene, ¿tenemos que descartar el método porque no curo a esos pacientes perdiendo que se curen los otros que si funcionó? o ¿aplicamos el método casuistico?
¿Que intereses hay en juego cuando, un estudio estadistico se empieza a realizar?, ¿que parametros se tomó, que universo se controló, que grupo etarios se tomó, se manipuló o no manipulo las muestras, se manipuló o no los grupos etarios? Estas son algunas de las preguntas que me suelo hacer cuando leo un trabajo de investigación médica más la última y matadora, ¿que laboratorio o que entidad lo financió? Con eso trato de depurar un poco los trabajos desde mi humilde punto de vista.
Con respecto a la manipualción, es algo propio del ser humano, hasta el más objetivo pasa la objetividad por el tamiz de sus concimientos previos, se lo dije una vez: no hay ojo puro; ahora bien con respecto a los que lo manipulan por intereses ajenos a la ciencia, jeje, Jenar, este mundo es este mundo, que quiere que le diga, no hay bolsillos puros, ni egos que no se las traigan.
 
Última edición:
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Buenos días a todos,

Estimado Jenar...

Creo que comprendí bien el espiritu y la forma de tu hilo ( Vamos, que lo sigo.. )

El problema de la fiabilidad de lo publicado - y lo no publicado - es el problema de la confianza
y en suma de la honestidad de cada uno y de su tranquilidad de conciencia.

Los hombres - y mujeres - de bien, que además ejercen la médicina.. pocas veces trascienden más allá de su práctica cotidiana
y pocas veces reportan beneficios más allá de un paciente concreto y de su padecimiento.
¡ Que no es poco ! como reza la letanía de esta humilde página.

Curar, aliviar, mejorar, acompañar, aconsejar, cuidar, velar y un montoncito más de " ar " pueden hace4r tanto bien, TANTO, que..
es el "live motive " de muchos de los que estamos en este barco y que podría resumirse de forma imperfecta en esto que se ha llamado.:
Vocación.
Hailos, sin embargo.. más grandes.
Hay... tipos como Patarroyo, por hablar de uno reciente - a quien le interese que vea " El Humanismo Médico " - que han donado a la sociedad
un legado, una forma de interpretar, de ver al prójimo... con amor. (Si se me permite... Toda una ESCUELA.)

Empero, como muy bien apuntas...
La experiencia de uno, incluso la capacidad de uno... es limitada.
Y, sobretodo, la ERA en la que vive uno, le obliga a ponerse en contacto con Otros para ensanchar sus conocimientos y compartir sus
experiencias en mor de esto que estamos hablando.: Curar mejor y curar mas. ( Ó incluso.. dejar de curar ! )

Y aquí es donde aparecen las sociedades, las publicaciones, las revistas, la jornadas... y hasta los encuentros en la cafetería!
No es culpa nuestra que la industria, tenga un sitio en estos foros. Que se infiltre y que desde dentro - como hicieron los Troyanos -
esparza su voracidad y nos engulla.
No es culpa, porque la necesitamos tanto como ella nos necesita a nosotros. Creo que debemos aprender a relacionarnos mejor y a respetarnos mutuamente.
Es obvio... que nadie está obligado a recomendar esto, en lugar de lo otro. Pero sí, a recomendar algo.

El problema que apuntas, de la " certeza " y de sus limites estadísticos aplicados a esta ciencia nuestra, se solventa - cuando se puede -
con una buena formación, una buena planificación, una escrupulosa ejecución y una atenta interpretación de unos resultados.
Entonces... vamos con nuestro trabajo a esos foros y lo compartimos para que otros lo comparen con los suyos, nos den ideas, los revisen
y en suma los acepten ó no.
Quizás, lo más grande sea.. precisamente esto. La libertad de expresión, dentro del rigor, de hacer público y por lo tanto expuesto a la
mirada del Otro nuestro desempeño.

Ese escoyo, ese limite, al que a veces llegamos sin proponernos-lo... debería ser asumido tal cual es.
Hasta aquí he llegado. Esto.. es lo que puedo decir.
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Relacionado con la fiabilidad de lo que leemos:

Presentación e interpretación engañosas* de los resultados no significativos en los ensayos clínicos

Artículo original: Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. Boutron I, Dutton S, Ravaud P, Altman DG. JAMA 2010; 303(20): 2058-2064. [Resumen] [Artículos relacionados]

Introducción: Es obligación de los investigadores presentar los resultados de los ensayos clínicos de una forma veraz, objetiva y transparente. Con frecuencia no se obtienen los resultados pretendidos en la investigación; cuando no se encuentra la eficacia esperada de una intervención terapéutica se pueden presentar los resultados, de forma consciente o no, de manera sesgada, induciendo a los lectores a conclusiones erróneas.


Resumen: A fin de conocer en qué medida los resultados negativos de los ensayos clínicos se presentan a los lectores de forma engañosa*, se llevó a cabo una búsqueda en PubMed de ensayos clínicos aleatorizados publicados en diciembre de 2006 cuyo desenlace principal no alcanzara significación estadística (P mayor o igual a 0,5). Se seleccionaron 72 artículos, que fueron analizados de forma sistemática en busca de información engañosa*. El título era engañoso en el 18% (IC 95% 10-29%); en los resultados y conclusiones del resumen el 38% y el 58% respectivamente, contenían información engañosa; el 24% de los resúmenes concluían la efectividad del tratamiento. Respecto al texto principal del artículo, se encontró información engañosa en el 29% en la sección de resultados, en el 43% en la sección de discusión, y en el 50% en el apartado de conclusiones.

Comentario: Los resultados de este análisis dejan claro que, por desgracia, los resultados negativos de muchos ensayos clínicos se presentan de manera sesgada en las publicaciones científicas, haciéndolos aparecer como positivos y extrayendo conclusiones que no se ajustan a los resultados. La mera lectura del resumen de un artículo no permite discernir cuándo la información que se presenta es veraz o engañosa, y la lectura del texto completo también presenta en más de la mitad de los casos información engañosa. Todo ello obliga a realizar una lectura crítica de la literatura médica antes de asumir sus aportaciones como válidas, lo que requiere un aprendizaje específico. La lectura crítica de la literatura médica debe ser pues una parte fundamental del curriculum de cualquier profesional.


*Nota: En este artículo se emplea el término "engañoso" como traducción del inglés "spin", que significa: "modo de presentar los datos que puede distorsionar la interpretación de los resultados, confundiendo a los lectores". El término no prejuzga la intención de los autores; este modo de presentar los datos se puede deber a ignorancia, a sesgos inconscientes o a intención de engañar.

Eduardo Palencia Herrejón
Hospital Infanta Leonor, Madrid
©REMI, http://remi.uninet.edu. Julio 2010.


Enlaces:
  1. The quality of reports of randomised trials in 2000 and 2006: comparative study of articles indexed in PubMed. Hopewell S, Dutton S, Yu LM, Chan AW, Altman DG. BMJ 2010; 340: 723. [PubMed]
  2. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. Schulz KF, Altman DG, Moher D. BMJ 2010; 340: 332. [PubMed]
Búsqueda en PubMed:
  • Enunciado: Redacción y presentación de los ensayos clínicos aleatorizados
  • Sintaxis: Randomized Controlled Trials as Topic/methods/*standards AND reporting
  • [Resultados]
Palabras clave: Ensayos clínicos aleatorizados, Calidad, Significación estadística.
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Fraude y conductas inapropiadas en las publicaciones científicas

  • Autores: Jorge Matías-Guiu Guía, Rocío García-Ramos García
  • Localización: Neurología: Publicación oficial de la Sociedad Española de Neurología, ISSN 0213-4853, Vol. 25, Nº. 1, 2010 , pags. 1-4
  • Resumen:
    • Introducción: Los editores de revistas científicas han sido, tradicionalmente, poco conscientes de la existencia de fraudes y conductas inapropiadas, más preocupados por los temas relacionados con el impacto o con la revisión editorial, pero en los últimos años, se ha ido comprobando y denunciando que existen comportamientos inadecuados en el ámbito científico y que además no son infrecuentes. Desarrollo: Se revisan las conductas inapropiadas de autores más frecuentes que suponen una vulneración de las condiciones que debe tener un trabajo científico e incluyen fraudes como el plagio, las publicaciones repetidas o las publicaciones redundantes. Se discute su frecuencia y las perspectivas desde la edición. Conclusiones: Muchos editores están reclamando regulaciones claras para prevenir las conductas inapropiadas. La revisión editorial y facilitar herramientas de evaluación para los revisores son fórmulas de prevención, pero no infalibles. Lo destacable puede ser que los equipos editoriales tomen consciencia de su existencia.
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Aunque un poco "off-topic", os dejo un enlace de uno de los casos más sonados de como es posible "colar" artículos en revistas presumiblemente científicas y rigurosas, es el famoso "Caso Sokal". Lo malo es que despues (y antes) ha pasado en demasidas ocasiones:

http://es.wikipedia.org/wiki/Escándalo_Sokal

Recomendable en libro que editó junto a otro colega: "Imposturas Intelectuales", no tiene desperdicio.

A colación de lo que adjunta Belladona, me pregunto si no ha llegado el momento de cambiar el modelo...:roll:

Un saludo.
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

Recomendable en libro que editó junto a otro colega: "Imposturas Intelectuales", no tiene desperdicio.

A colación de lo que adjunta Belladona, me pregunto si no ha llegado el momento de cambiar el modelo...:roll:

Un saludo.

Añado que existe un segundo libro, editado 10 años después del famoso caso, Más allá de las imposturas intelectuales, también de Alan Sokal (editado en España por Paidos), que repasa el caso y recopila una serie de artículos referentes a esa deriva que en algunos casos han tomado algunos académicos a raíz del giro posmodernista, especialmente en ciencias sociales. Curioso y preocupante un apartado crítico con la irrupción de la pseudociencia en parte de la enfermería académica en algunos departamentos universitarios de EE.UU.
 
Respuesta: ¿Hasta donde nos debemos fiar de los estudios publicados?

El Ministerio de Educación y Ciencia tiene una convocatoria específica para financiar revistas científicas españolas. En las evaluaciones de profesores e investigadores que celebran las agencias y las universidades, los artículos publicados en revistas nacionales suelen tener un valor irrelevante frente a los de las grandes revistas internacionales. La razón es conocida: las revistas españolas, en general, tienen poco prestigio, porque tienen poco impacto, porque tienen poco rigor, porque tienen poca exigencia.

El diagnóstico está claro: delirios de grandeza, abusos de compadreo, exceso de narcisismo, ausencia de rigor crítico, escasez de autoexigencia. Un diagnóstico que (es importante decirlo), no siempre tiene la misma gravedad, pues hay grandes diferencia entre unas academias y otras, como las hay entre unas universidades y otras, entre unas revistas y otras, entre unas editoriales y otras. También, en términos generales, entre unos países y otros.

Resto del texto:
http://www.jano.es/jano/humanidades...hispanas/_f-303+iditem-4437+idtabla-4+tipo-10
 
Atrás
Arriba