El ejercicio de la medicina implica, como actividades básicas, diagnosticar, pronosticar y tratar.
Hacemos el diagnóstico de una determinada patología en base a datos del interrogatorio, del examen físico y de estudios complementarios. La combinación de esos datos, interactuando entre sí, es la que arroja determinada probabilidad de que el paciente presente o no la patología en cuestión. Podemos entonces pensar, en base a lo visto en entregas anteriores que el diagnóstico de la afección (variable dicotómica, que termina expresándose como sí o no, 0 o 1) se define en base a la presencia de una serie de variables predictoras.
Hecho el diagnóstico, pronosticamos la evolución, esto es que definimos la probabilidad de ocurrencia de determinados eventos (curación, necesidad de internación o reinternación, aparición de complicaciones, muerte) también en base a datos del examen, estudios complementarios, respuesta al tratamiento, contexto. Podemos pensar, nuevamente, que el pronóstico de la afección, de cada uno de los eventos de interés (variables dicotómicas, que se expresan como sí o no, 0 ó 1) se define en base a la presencia de una serie de variables predictoras.
La mayoría de las veces el proceso diagnóstico y pronóstico se hace sin una cuantificación precisa, sino estimada internamente en base a los hallazgos, lecturas y experiencia individuales. Sabemos que la presencia de diferentes variables nos acerca al diagnóstico o el pronóstico, pero no podríamos decir cuánto. Y tampoco podríamos muchas veces definir frente al conjunto de datos cuál es la probabilidad final de ocurrencia. Como se comprenderá, el grado de certeza que arrojan estas operaciones es la más de las veces impreciso. Por otra parte, fenómenos como la confusión (una asociación entre la variable predictora y la variable respuesta que se debe parcial o totalmente a la presencia de una tercera variable no considerada) y la interacción (asociación entre variable predictora y variable respuesta con diferente fuerza en diferentes estratos de una tercera variable) no son en general tenidos en cuenta, no pueden ser valorados internamente.
Todo lo dicho nos remite indefectiblemente a señalar que la determinación de la probabilidad de un diagnóstico, de un pronóstico, de la respuesta a un tratamiento puede expresarse en un modelo multivariado. Si estamos hablando de definir la probabilidad de una variable dicotómica (diagnóstico sí/no, evento sí/no) comprenderemos que un modelo de regresión logística múltiple es el adecuado para definir en cada caso, en base al patrón de covariables, la probabilidad del resultado de interés.
Un score, puntaje, o regla de predicción es una herramienta que permite aumentar la certeza en el diagnóstico, en el pronóstico o en la predicción de respuesta a una terapéutica tomando en cuenta en cada individuo datos de la historia, el examen y exámenes complementarios. Su origen radica, en general, en la determinación del mejor modelo multivariado que exprese la asociación de las variables predictoras con la respuesta.
En la elaboración y evaluación del score hay diferentes etapas (sugerimos fuertemente releer las entregas sobre regresión logística (Parte 1, Parte 2 y Parte 3) y análisis multivariado (Parte 1, Parte 2, Parte 3 y Parte 4):
Derivación
Es la construcción y desarrollo inicial del score. Se hace en base a datos de una población determinada (una cohorte, pacientes de estudios observacionales o aleatorizados). Inicialmente se lleva a cabo un análisis para definir cuáles son las variables que se explorarán en el análisis bivariado (el que usualmente se denomina univariado). Son variables que se eligen por razones biológicas, porque son sencillas de obtener, porque son mencionadas en literatura previa, porque son recomendados por los expertos en el tema. Se sugiere que haya al menos 10 eventos por cada variable considerada.
Se seleccionan para el análisis multivariado las variables que en análisis univariado están significativamente asociadas con la variable respuesta. Sin embargo, para no perder información de interés, se suelen incluir aquellas con un valor de p < 0.20 o incluso < 0.25.
Se construye en base a lo visto en entregas previas el modelo multivariado. Las variables pueden ser introducidas manualmente una a una por el investigador, en base a su razonamiento clínico, o pueden emplearse modelos automáticos de selección escalonada de variables, hacia adelante (el programa incluye las variables una a una, mientras todas sean estadísticamente significativas en el modelo hasta que una deja de serlo) o hacia atrás (el programa parte de todas las variables seleccionadas en el análisis univariado, y va eliminando progresivamente las no significativas en el multivariado hasta que todas las que quedan lo son).
En casos particulares, cuando su importancia es alta y son significativos estadísticamente, se incluyen también en el modelo términos de interacción entre dos variables ya consideradas.
Una vez construido el modelo, y en base a lo visto en la entrega anterior, se valora su funcionamiento, su capacidad de calibración (que la cantidad de eventos observados no difiera significativamente de la cantidad de eventos predichos), y de discriminación (que los eventos observados se den entre las observaciones con mayor probabilidad predicha, esto es que el modelo acierte al señalar efectivamente a aquellos con mayor riesgo). Solo si la calibración y la discriminación son adecuadas se progresa en la confección del score.
Y llegamos ahora al punto de cómo se construye el score a partir del modelo multivariado. Como recordaremos, la regresión logística define para variable, en su asociación con la variable respuesta, el coeficiente β.
β es el logaritmo natural del odds ratio. Esto es, que para cada variable, el número e (base de los logaritmos naturales, con un valor de 2,718…) elevado a β nos entrega el valor del OR de esa variable. El modelo multivariado entonces presenta un coeficiente β para cada variable predictora. ¿Cómo adjudicar puntaje a cada variable en el score?
Vamos a presentar como ejemplo un trabajo recientemente publicado, que genera un score de predicción de shock cardiogénico en una cohorte de pacientes internados por síndrome coronario agudo con elevación del segmento ST sometidos a angioplastia primaria (ver tabla).
Para cada variable se presenta el coeficiente β en la segunda columna y el OR correspondiente en la tercera.
Notemos que el menor coeficiente β es 0,28, el que corresponde a IAM anterior. Se toma este valor como referencia. Se le adjudica un valor en el score de 1.
Se divide al resto de los coeficientes β por el valor de referencia. Se redondea este cociente al número entero más cercano. Este valor es el correspondiente a la variable en el score. Así, por ejemplo, el coeficiente β correspondiente a edad es 0,54; 0,54/0,28 es 1,92; se redondea a 2. El coeficiente β correspondiente a Killip III es 1,63; 1,63/0,28 es 5,82; se redondea a 6. Los valores de cada variable en el score aparecen en la cuarta columna.
Cada vez que la variable está presente (asume el valor de sí, 1, positivo, etc.) se suma el valor correspondiente en el score. Si está ausente esa variable suma 0.
Veamos también que el valor en el score es similar al OR. Redondear el valor del OR es otra manera de generar un score.
Validación
El segundo paso es la validación. Validar el score significa explorar cómo funciona en una cohorte diferente de aquella de la cual deriva. Básicamente explorar si la sensibilidad y especificidad, los valores predictivos y la capacidad de calibración y discriminación son similares a las demostradas en el proceso de derivación.
¿Por qué debe validarse un score? Porque el sentido último de su existencia es que nos sirva para tomar conducta más allá de la población en que se originó. Puede que, por ejemplo, en la población de origen ciertas asociaciones se hayan dado por azar. Hay diferencias espaciales y temporales en la prevalencia de factores de riesgo, manejo de las comorbilidades y de la enfermedad de referencia. El día que un score aparece ya está algo atrasado.
Una primera validación es la interna: la población índice se divide en un set de derivación y uno de validación. El problema es que es muy factible que esa validación sea exitosa porque la fuente de población es la misma: lo que funciona en un set debe hacerlo en el otro.
Hay estrategias estadísticas más complejas como por ejemplo la técnica de bootstrap. Se retira a un paciente de la muestra, se genera la regla de predicción con el resto de la misma y se aplica al primer paciente, y así sucesivamente retirando cada uno en un proceso de múltiples repeticiones, que permite, con número de datos limitado, definir la capacidad de calibración y discriminación. Pero esa técnica no alcanza a superar el pecado original: se está testeando el score en la población de origen.
Una segunda forma de validación es la temporal: se examina el funcionamiento del score en una cohorte posterior en el tiempo, pero del mismo origen que la inicial. De allí que esta forma de validación sea algo mejor pero pasible de la misma crítica que la anterior.
La verdadera validación es la externa (testear el instrumento en una población diferente) ya que algunos predictores pueden ser idiosincráticos, o la prevalencia de algunos de los predictores diferir marcadamente o la incidencia del punto final variar mucho en poblaciones diferentes de la original. Y así como un test diagnóstico tiene diferente valor predictivo según la prevalencia de la enfermedad, un score puede variar su performance según la población en que se aplica. La validación debe hacerse en diferentes escenarios: es ideal que uno sea muy similar al del set de derivación, y que otros correspondan a escenarios mucho más amplios y variables.
Un score no validado no debe ser utilizado.
En la próxima entrega continuaremos desarrollando otros aspectos vinculados a las reglas de predicción.
Dr. Jorge Thierer
