Este artículo advierte, entre otros, del riesgo de enamorarnos de sistemas de medición que parecen muy precisos, por ejemplo, porque ofrecen resultados con decimales, pero que tienen otros inconvenientes.
A veces, no tener una medida puede ser mejor que tener una mala medida. Y en ocasiones, no medir puede ser mejor que medir y provocar un efecto perverso, justo el contrario al efecto deseado.
Las ventajas de las mediciones
Las ventajas de disponer de mediciones son evidentes, así que este artículo está centrado en los inconvenientes. Sin embargo, es justo reconocer primero las ventajas. Las mediciones nos proporcionan conocimiento, el cual puede ser logrado para alcanzar nuestros objetivos, por ejemplo, la felicidad.
El conocimiento aportado por las mediciones tiene diferentes aspectos:
- El aspecto cualitativo, que nos permite saber qué es lo que está pasando.
- Pero además, puede ser cuantitativo, proporcionando una idea precisa, cuantificada.
- Al existir una medida, esto nos permite también el conocimiento relativo o comparable. Incluso cuando tengamos errores en la medición, y siempre que los errores mantengan una cierta coherencia, podremos comparar dos mediciones erróneas para tener una idea correcta de la evolución en el tiempo, en el espacio, o en cualquier otra dimensión.
- Por ejemplo, si nos encargan un estudio de la temperatura media de nuestra ciudad, y nosotros vivimos en la parte más fría de ella y únicamente medimos la temperatura en nuestra calle (donde puede haber 2 o 3 grados menos que en la media de la ciudad), aún así podremos producir una idea bastante acertada de cómo evoluciona a lo largo de todo el año la temperatura en la ciudad en general.
- Si tenemos un termómetro que mide realmente mal, porque siempre mide muchos más grados más de los que realmente hay, y aunque no sepamos cuántos grados hay de error, aún así nos servirá para tener mediciones valiosas si lo que queremos es comparar la diferente temperatura que hay en diferentes zonas de nuestra ciudad; o en un grupo suficientemente grande de niños, nos servirá para saber cuáles tienen fiebre.
Las mediciones también pueden provocar efectos virtuosos, quizás imprevistos.
- En varios estudios sobre la influencia de la iluminación en la productividad de los trabajadores se observó que ésta aumentaba en los casos en los que los niveles de iluminación eran mayores, pero también en aquellos casos en los que la iluminación se reducía, simplemente porque se estaba realizando el estudio (efecto Hawthorne).
Los inconvenientes de las mediciones
Estas son diferentes formas en las que hacer o disponer de una medición puede resultar inconveniente: 1) Coste 2) Error 3) Modificación del objeto medido (e incluso de la propia medida) 4) Efectos secundarios indeseados 5) Malinterpretación 6) Invisibilización.
- Coste. Obtener una medición tiene un coste que preferiríamos que no existiera. Esto ocurre siempre ¿o hay algún caso en el que tomar una medida sea gratis?
- Error. La medición podría ser significativamente incorrecta. Si la medición fuera muy mala, tal vez hubiera sido mejor no tenerla. A veces esto ocurre por el contexto en el que se realiza la medición.
- Un conflicto de intereses nos debería hacer desconfiar de una medida, por muy precisa que parezca. Puede ser razonable desconfiar de los estudios de la bondad de la dieta vegetal realizados por veganos, así como de los estudios de la bondad de los alimentos lácteos financiados por empresas ganaderas, estudios de las bondades de la psicología realizados por psicólogos, o estudios de la inocuidad de la telefonía móvil realizados por compañías de telefonía móvil.
- En ocasiones se recoge feedback en situaciones en las que sería turbador hacer una crítica abierta (por ejemplo, el jefe nos pide en público nuestra opinión sobre la última decisión que ha tomado). Los resultados pueden ser muy diferentes a los que se obtendría en una encuesta anónima.
- Modificación del objeto medido (e incluso de la propia medida). Una medición por lo general afecta al elemento medido, aunque sea mínimamente. Además, el hecho de medir puede modificar precisamente la variable que pretendemos medir. A esto se le conoce como la “paradoja” del observador.
- El contacto con un termómetro modificará la temperatura del objeto que pretendemos medir.
- Una citología extrae parte de aquello que se pretende estudiar.
- Al disparar fotones (luz) a un objeto para visualizarlo, estaremos modificándolo.
- Efectos secundarios indeseados. Los ejemplos anteriores no parecen muy graves, pero lamentablemente a veces la medición tiene un efecto perverso, justo el contrario del deseado:
- Algunas pruebas de diagnóstico prenatal (como la amniocentesis y la biopsia corial) son invasivas y tienen riesgo. Aunque se realizan para detectar y evitar ciertas complicaciones, también pueden provocar otras.
- Instalar un sistema de control de acceso a la oficina puede hacer que los empleados sean más puntuales, pero también puede motivar a pasarse las horas tomando café charlando en las instalaciones, en vez de estar trabajando o visitando clientes. De la misma forma, las métricas obsesivas para controlar a los trabajadores en modalidad de teletrabajo (como el número de clics, pulsaciones de teclas, aplicaciones abiertas, capturas de pantalla) puede hacer que los empleados prioricen la optimización de estas métricas en vez de centrarse en los objetivos de negocio.
- Los test de velocidad diseñados para evaluar el rendimiento de los ordenadores, y en concreto, el rendimiento de las “CPU” (un elemento fundamental en un ordenador) puede provocar que los fabricantes diseñen ordenadores no pensados para que sean muy rápidos cuando trabajemos con ellos, sino para que sean muy rápidos cuando se les aplica el test de velocidad (Ley de Goodhart).
- Si has decidido que tus hijos vayan al colegio en el autobús, hay una serie de posibles indicadores o KPI que pueden ser de interés para dar una idea de la calidad del servicio de transporte escolar, como son la puntualidad del autobús, la limpieza, y la seguridad vial. La puntualidad del autobús puede ser uno de los objetivos; y llevar un registro de la puntualidad del autobús es extremadamente barato y preciso, pero puede tener un efecto perverso sobre la seguridad. Sin duda no quieres transmitir al conductor del autobús escolar una gran motivación por ser puntual, ya que esto podría animarle a aumentar la velocidad y el riesgo para compensar el retraso provocado por incidencias de cualquier tipo.
- Tratar de medir la felicidad parece frustrarla. Preguntarle a alguien en una fiesta (o en un acto amoroso o sexual) que haga una valoración de lo bien que se lo está pasando puede disminuir la satisfacción (aunque en otros casos reconocer o agradecer las cosas positivas puede realzarlas). “La felicidad solo se puede encontrar en los pequeños momentos en los que no estamos concentrados en ella“ —João Guimarães Rosa. “Pregúntate si eres feliz y entonces dejarás de serlo.” —John Stuart Mill”. https://en.m.wikipedia.org/wiki/Paradox_of_hedonism
- Malinterpretación. La medición puede confundir y dar una idea equivocada de la realidad, ya que mide lo que mide, no lo que parece que mide:
- Si en las encuestas sobre sexo la gente responde que tiene sexo cuatro días a la semana, esto no quiere decir que la gente tenga sexo cuatro días a la semana. Lo que esta encuesta nos dice con toda seguridad es que cuando les preguntas sobre sexo, la gente dice que tiene sexo unos cuatro días a la semana.
- Los test de vitamina D no son confiables (https://www.youtube.com/watch?v=I1uoc8ZN0m4)
- Los niveles estimados de calcio en el cuerpo no son confiables. La única forma buena de hacer una medición del calcio en el cuerpo es una autopsia.
- Las mediciones de vitamina B12 son controvertidas.
- De la misma forma que una encuesta telefónica deja fuera del estudio a aquellos individuos que no tienen teléfono, una encuesta sobre el bienestar o sobre el sufrimiento deja fuera aquellos individuos que no pueden contestarnos.
- El efecto de la farola encendida puede llevarnos a conclusiones ingenuas sobre lo que desconocemos.
- Invisibilización. Por lo general nos lanzamos a medir lo que podemos medir bien, y nos falta motivación para tratar de medir lo que no podemos medir bien. De esta forma, la medición invisibiliza los elementos que son más difíciles de medir aunque pudieran ser mucho más relevantes. Esto incrementa el riesgo de ignorar esos otros elementos e incluso en algunos casos, promover la idea de que no existen.
- Muchas de las víctimas de agresiones sexuales (mujeres y hombres, niñas y niños; en la calle, en hogares, y en prisiones) no denuncian y ocultan el suceso, lo que dificulta su contabilidad. Podría haber tipos o contextos de agresión sexual totalmente infravalorados debido a la dificultad para contabilizarlos.
- La medición del número de muertos en un accidente o en un conflicto invisibiliza la medición del sufrimiento, mucho más difícil de medir. Por ejemplo seguramente 10 individuos que mueren abrasados vivos en un accidente de aviación en conjunto sufran mucho más que 100 individuos que mueren por conmoción cerebral, pero el sufrimiento es difícil de medir, y la atención se va al número que podemos obtener fácilmente. Esto podría provocar el establecimiento de prioridades equivocadas, sobre todo si a esto le añadimos el efecto que tienen ciertas cosas de repeler la atención.
Estos inconvenientes deberían hacernos pensar dos veces antes de descartar evidencias anecdóticas frente a otras evidencias más formales. En algunos casos, es posible que la evidencia formal y bien estructurada haya sido obtenida de una forma que descarta la realidad que la evidencia anecdótica está sugiriendo.
Cómo evitar los inconvenientes de las mediciones
Los inconvenientes de las mediciones que se han identificados son: 1) Coste 2) Error 3) Modificación del objeto medido (e incluso de la propia medida) 4) Efectos secundarios indeseados 5) Malinterpretación 6) Invisibilización.
Para evitar estos inconvenientes, podemos hacernos las siguientes preguntas:
- ¿Cuánto cuesta obtener ese dato? ¿Realmente merece la pena obtenerlo?
- ¿El dato podría ser incorrecto? ¿De que forma? ¿Cuál es el margen de error?
- ¿Hay alguna otra fuente o evidencia que podamos consultar para cotejar el dato? Sin abrumar, cuantas más, mejor. Se dice que un marinero se debe hacer a la mar con una brújula o con tres pero, nunca con dos, pero no es cierto: es mejor tener dos brújulas que solo una. ¿Qué credibilidad tienen esas otras evidencias? ¿Debemos descartarlas totalmente?
- ¿Quién ha obtenido o va a obtener el dato? ¿Existe algún conflicto de intereses? ¿Hay alguna ideología detrás de quién está detrás de ese dato?
- ¿Obtener el dato modifica el objeto que estamos midiendo? ¿De qué manera? ¿Es aceptable?
- ¿Obtener el dato puede tener otros efectos secundarios? ¿Cuáles? ¿Son efectos perversos o virtuosos? ¿Para quién?
- ¿Qué es exactamente lo que ese dato representa? ¿Cómo lo interpreto yo? ¿Y cómo lo van a interpretar otros? ¿Son estas interpretaciones correctas? ¿Es probable que se malinterprete el significado del dato?
- ¿Qué es lo que ha quedado fuera al realizar el estudio? ¿Qué es lo que el dato omite? ¿Cuál puede ser el efecto de esa omisión?
3 Comments