Acuerdo entre codificadores (ICA)
Puede comprobar el acuerdo intercodificadores en documentos de texto, audio y video. Los documentos de imagen no son compatibles. Esto también se aplica a las citas de imágenes en documentos PDF de texto.
Como es necesario partir de un proyecto maestro común al configurar un proyecto para el análisis ICA, no se puede comprobar la concordancia entre codificadores si uno de ellos utiliza la versión Web. Todos los codificadores deben utilizar la versión de escritorio (Mac o Windows). Para obtener una explicación más detallada, consulte Fusión de proyectos.
Por qué es importante
El objetivo de la recogida y el análisis de datos es que los investigadores busquen respuestas a las preguntas de investigación que motivaron el estudio en primer lugar. Así pues, los datos son el terreno de confianza para cualquier razonamiento y discusión de los resultados. Por lo tanto, los investigadores deben confiar en que sus datos se han generado tomando precauciones contra distorsiones y sesgos, intencionados o accidentales, y que significan lo mismo para cualquiera que los utilice. La fiabilidad fundamenta empíricamente esta confianza (Krippendorff, 2004).
Richards (2009) escribió: "Pero ser fiable (por usar el adjetivo) es mejor que no serlo. Si una categoría se utiliza de diferentes maneras, no podrá confiar en que le proporcione todos los datos relevantes. Por lo tanto, es posible que desee asegurarse de que usted mismo interpreta de forma fiable un código de la misma manera a lo largo del tiempo, o que puede confiar en que sus colegas lo utilizan de la misma forma " (p. 108).
Hay dos formas de racionalizar la fiabilidad, una enrutada en la teoría de la medida, que es menos relevante para el tipo de datos que tienen los usuarios de ATLAS.ti. La segunda es una concepción interpretativista de la fiabilidad. Al recoger cualquier tipo de datos de entrevistas u observaciones, el fenómeno de interés suele desaparecer justo después de haber sido grabado u observado. Por lo tanto, la capacidad del analista para examinar los fenómenos depende en gran medida de una lectura y un uso consensuados de los datos que representan los fenómenos de interés. Los investigadores deben presuponer que se puede confiar en que sus datos significan lo mismo para todos sus usuarios.
Esto significa "que la lectura de los datos textuales, así como de los resultados de la investigación, es reproducible en otros lugares, que se puede demostrar que los investigadores están de acuerdo en lo que dicen". Aquí, por tanto, la fiabilidad es el grado en que los miembros de una comunidad designada están de acuerdo en las lecturas, interpretaciones, respuestas o usos de determinados textos o datos. [...] Los investigadores tienen que demostrar que sus datos son dignos de confianza midiendo su fiabilidad " (Krippendorff, 2004, p. 212).
Comprobar la fiabilidad de los datos es un primer paso. Sólo después de establecer que la fiabilidad es suficientemente alta, tiene sentido proceder al análisis de los datos. Si existen dudas considerables sobre el significado de los datos, será difícil justificar el análisis posterior y los resultados de dicho análisis.
La herramienta de acuerdo entre codificadores de ATLAS.ti le permite evaluar el acuerdo de cómo codifican múltiples codificadores un determinado conjunto de datos. Para desarrollar la herramienta hemos trabajado en estrecha colaboración con el profesor Klaus Krippendorff, uno de los principales expertos en este campo, autor del libro Content Analysis: An Introduction of Its Methodology, y creador del
La necesidad de una herramienta de este tipo como elemento integrado en ATLAS.ti es evidente desde hace tiempo y ha sido solicitada con frecuencia por los usuarios. Por su naturaleza, sin embargo, no puede ser una herramienta mágica del tipo "simplemente pulse un botón y espere lo mejor". Si hace clic al azar en cualquiera de las opciones que ATLAS.ti ofrece para calcular un coeficiente de concordancia entre codificadores, ATLAS.ti calculará algo. Que el número que reciba sea significativo y útil depende de cómo haya configurado su proyecto y la codificación.
Esto significa que, si se quiere comprobar la concordancia entre codificadores, se requiere al menos una voluntad mínima de profundizar en los fundamentos teóricos básicos de lo que es la concordancia entre codificadores, lo que hace y puede hacer, y lo que no puede hacer. En este manual ofrecemos algunas nociones básicas, pero esto no puede sustituir a la lectura de la bibliografía y a la comprensión de los supuestos y requisitos subyacentes para realizar un análisis de concordancia entre codificadores.
Tenga en cuenta que la herramienta de acuerdo entre codificadores cruza la división cualitativa-cuantitativa. El establecimiento del acuerdo entre codificadores tiene su origen en el análisis de contenido cuantitativo (véase, por ejemplo, Krippendorff, 2018; Schreier, 2012). Si desea aplicarlo y quiere adherirse a los estándares científicos, debe seguir algunas reglas que son mucho más estrictas que las de la codificación cualitativa.
Si quieres desarrollar un sistema de código en equipo, sí, puedes empezar a codificar de forma independiente y luego ver qué consigues. Pero este enfoque sólo puede ser una lluvia de ideas inicial en el mejor de los casos. No puede utilizarse para comprobar el acuerdo entre codificadores.
Un buen momento para comprobar la concordancia entre codificadores es cuando el investigador principal ha creado un sistema de codificación estable y todos los códigos están definidos. A continuación, dos o más codificadores independientes de la persona que ha desarrollado el sistema de codificación codifican un subconjunto de los datos. Es decir, en algún punto intermedio del proceso de codificación. Una vez logrado un coeficiente ICA satisfactorio, el investigador principal tiene la seguridad de que sus códigos pueden ser comprendidos y aplicados por otros y puede seguir trabajando con el sistema de codificación.
Material de lectura
Guba, Egon G. y Lincoln, Yvonna S. (2005). Competing paradigms in qualitative research, en Denzin, N. y Lincoln, Y.S. (eds.) The Sage Handbook of Qualitative Research, 191-225. Londres: Sage. Londres: Sage.
Harris, Judith, Pryor, Jeffry y Adams, Sharon (2006). El reto del acuerdo intercodificadores en la investigación cualitativa. Documento de trabajo.
Krippendorff, Klaus (2018). Análisis de contenido: Una introducción a su metodología. 4ª edición. Thousand Oaks, CA: Sage.
MacPhail, Catherine, Khoza, Nomhle, Abler, Laurie y Ranganathan, Meghna (2015). Pautas de proceso para establecer la Fiabilidad Intercodificadora en estudios cualitativos. Qualitative Research, 16 (2), 198-212.
Rolfe, Gary (2006). Validity, trustworthiness and rigour: quality and the idea of qualitative research. Cuestiones metodológicas en la investigación en enfermería, 304-310.
Richards, Lyn (2009). Tratamiento de datos cualitativos: A Practical Guide, 2ª edn. Londres: Sage.
Schreier, Margrit (2012). Análisis de contenido cualitativo en la práctica. Londres: Sage.