Acuerdo intercodificadores (ICA)

Por qué es importante

El propósito de recopilar y analizar datos es que los investigadores encuentren respuestas a las preguntas de investigación que motivaron el estudio en primer lugar. Por lo tanto, los datos son el fundamento confiable de cualquier razonamiento y discusión de los resultados. Por ello, los investigadores deben tener la certeza de que sus datos han sido generados tomando precauciones contra distorsiones y sesgos, intencionales o accidentales, y de que significan lo mismo para cualquier persona que los utilice. La fiabilidad fundamenta esta confianza empíricamente (Krippendorff, 2004).

Richards (2009) escribió: "Pero ser fiable (para usar el adjetivo) supera ser poco fiable. Si una categoría se usa de distintas maneras, no se podrá confiar en ella para obtener todos los datos relevantes. Por lo tanto, puede que se desee asegurarse de que uno mismo interpreta un código de la misma manera a lo largo del tiempo, o que se puede confiar en que los colegas lo utilizan del mismo modo" (p. 108).

Existen dos maneras de racionalizar la fiabilidad: una se basa en la teoría de la medición, que es menos relevante para el tipo de datos que utilizan los usuarios de ATLAS.ti. La segunda es una concepción interpretativista de la fiabilidad. Al recopilar cualquier tipo de datos de entrevistas u observaciones, los fenómenos de interés suelen desaparecer justo después de haber sido registrados u observados. Por lo tanto, la capacidad del analista para examinar los fenómenos depende en gran medida de una lectura y uso consensuados de los datos que representan los fenómenos de interés. Los investigadores deben presumir que sus datos pueden considerarse con el mismo significado por todos quienes los utilizan.

Esto significa "que la lectura de los datos textuales, así como de los resultados de la investigación, es replicable en otros contextos, que los investigadores demuestran claramente estar hablando de lo mismo. Aquí, entonces, la fiabilidad es el grado en que los miembros de una comunidad designada coinciden en las lecturas, interpretaciones, respuestas o usos de textos o datos determinados. [...] Los investigadores necesitan demostrar la confiabilidad de sus datos midiendo su fiabilidad" (Krippendorff, 2004, p. 212).

Probar la fiabilidad de los datos es un primer paso. Solo después de establecer que la fiabilidad es suficientemente elevada tiene sentido proceder con el análisis de los datos. Si existe una duda considerable sobre el significado de los datos, será difícil justificar el análisis posterior y sus resultados.

La herramienta de acuerdo intercodificadores de ATLAS.ti permite evaluar el grado de acuerdo entre múltiples codificadores al codificar un conjunto de datos determinado. En el desarrollo de la herramienta trabajamos estrechamente con el Prof. Klaus Krippendorff, uno de los principales expertos en este campo, autor del libro Content Analysis: An Introduction of Its Methodology y creador del coeficiente alpha de Krippendorff para medir el acuerdo intercodificadores.

La necesidad de una herramienta de este tipo como elemento integrado en ATLAS.ti ha sido evidente durante mucho tiempo y ha sido solicitada con frecuencia por los usuarios. Sin embargo, por su naturaleza, no puede ni podría ser una solución mágica del tipo "haz clic en un botón y espera lo mejor". Si se hace clic aleatoriamente en cualquiera de las opciones que ofrece ATLAS.ti para calcular un coeficiente de acuerdo intercodificadores, ATLAS.ti calculará algo. Que el número obtenido sea significativo y útil depende de cómo se haya configurado el proyecto y la codificación.

Esto significa que, si se desea probar el acuerdo intercodificadores, se requiere al menos una disposición mínima a explorar los fundamentos teóricos básicos de qué es el acuerdo intercodificadores, qué hace y puede hacer, y qué no puede hacer. En este manual se ofrecen algunos conceptos básicos, pero esto no puede sustituir a la lectura de la literatura y a la comprensión de los supuestos y requisitos subyacentes para ejecutar un análisis de acuerdo intercodificadores.

Téngase en cuenta que la herramienta de acuerdo intercodificadores cruza la divisoria entre lo cualitativo y lo cuantitativo. El establecimiento del acuerdo intercodificadores tiene su origen en el análisis de contenido cuantitativo (véase, por ejemplo, Krippendorff, 2018; Schreier, 2012). Si se desea aplicarlo y cumplir con los estándares científicos, es necesario seguir algunas reglas que son mucho más estrictas que las de la codificación cualitativa.

Si se desea desarrollar un sistema de códigos en equipo, sí es posible comenzar a codificar de forma independiente y luego ver los resultados. Pero este enfoque solo puede ser, en el mejor de los casos, una lluvia de ideas inicial. No puede utilizarse para probar el acuerdo intercodificadores.

Un buen momento para comprobar el acuerdo intercodificadores es cuando el investigador principal ha construido un sistema de códigos estable y todos los códigos están definidos. Entonces dos o más codificadores adicionales, independientes de la persona que desarrolló el sistema de códigos, codifican un subconjunto de los datos. Esto significa que se está en algún punto intermedio del proceso de codificación. Una vez alcanzado un coeficiente ICA satisfactorio, el investigador principal tiene la certeza de que sus códigos pueden ser comprendidos y aplicados por otras personas, y puede continuar trabajando con el sistema de códigos.

Literatura

Guba, Egon G. and Lincoln, Yvonna S. (2005). Competing paradigms in qualitative research, in Denzin, N. and Lincoln, Y.S. (eds) The Sage Handbook of Qualitative Research, 191–225. London: Sage.

Harris, Judith, Pryor, Jeffry and Adams, Sharon (2006). The Challenge of Intercoder Agreement in Qualitative Inquiry. Working paper.

Krippendorff, Klaus (2018). Content Analysis: An Introduction to Its Methodology. 4th edition. Thousand Oaks, CA: Sage.

MacPhail, Catherine, Khoza, Nomhle, Abler, Laurie and Ranganathan, Meghna (2015). Process guidelines for establishing Intercoder Reliability in qualitative studies. Qualitative Research, 16 (2), 198-212.

Rolfe, Gary (2006). Validity, trustworthiness and rigour: quality and the idea of qualitative research. Methodological Issues in Nursing Research, 304-310.

Richards, Lyn (2009). Handling Qualitative Data: A Practical Guide, 2nd edn. London: Sage.

Schreier, Margrit (2012). Qualitative Content Analysis in Practice. London: Sage.