Tamaño de muestra y reglas de decisión

Al probar el acuerdo intercodificadores es necesario tomar varias decisiones. Por ejemplo, qué cantidad de material de datos debe utilizarse, cuántas instancias deben codificarse con un código determinado para que el cálculo sea posible, y cómo evaluar el coeficiente obtenido.

Tamaño de muestra

Los datos utilizados para el análisis ICA deben ser representativos de la cantidad total de datos recopilados, es decir, de aquellos datos cuya fiabilidad está en cuestión. Además, el número de codificaciones por código debe ser suficientemente elevado. Como regla general, las codificaciones por código deben producir al menos cinco acuerdos por azar.

Krippendorff (2019) utiliza la fórmula 3.7 de Bloch y Kraemer (1989:276) para obtener el tamaño de muestra requerido. La tabla siguiente indica el tamaño de muestra necesario cuando se trabaja con dos codificadores:

• Las tres fiabilidades mínimas aceptables α mín.: 0,667 / 0,800 / 0,900

• Para cuatro niveles de significación estadística: 0,100 / 0,050 / 0,010 / 0,005

• Para dominios semánticos de hasta 10 códigos (= probabilidad pc):

Ejemplo: Si tiene un dominio semántico con 4 códigos y cada uno de los códigos está igualmente distribuido (pc = 1/4 = 0,25), y si el alpha mínimo debe ser 0,800 con un nivel de significación estadística de 0,05, necesita un mínimo de 139 codificaciones para este dominio semántico. Para un alpha inferior de 0,667, necesita un mínimo de 81 codificaciones con el mismo nivel de significación estadística.

Esta fórmula se aplica a 2 codificadores y a dominios semánticos de hasta 10 subcódigos. Si tiene más de dos codificadores, más de 10 subcódigos en un dominio, o una distribución desigual dentro de un dominio, deberá ajustar la ecuación y calcular usted mismo el tamaño de muestra necesario.

• Más de dos codificadores: Es necesario multiplicar Z al cuadrado por el número de codificadores.

• Más de 10 subcódigos por dominio: Es necesario ajustar el valor de pc. El valor de pc = 1/número de subcódigos.

• Distribución desigual de codificaciones dentro de un dominio: Con 4 códigos en un dominio semántico, la proporción estimada pc de todos los valores c en la población es 0,250 (¼); con 5 códigos, es 0,200 (1/5); con 6 códigos, 0,167 (1/6), y así sucesivamente. Si la distribución de los códigos en un dominio semántico es desigual, es necesario hacer una nueva estimación del tamaño de muestra utilizando en la fórmula un valor de pc correspondientemente menor que 1/4, 1/5, 1/6, etc.

Nivel aceptable de fiabilidad

La última cuestión a considerar es cuándo aceptar o rechazar los datos codificados en función del coeficiente ICA. Krippendorff (2019) recomienda:

• Aspirar a alcanzar α = 1,000, aunque esto sea solo un ideal.
• No aceptar datos con valores de fiabilidad por debajo de α = 0,667.
• En la mayoría de los casos, un dominio semántico puede considerarse fiable si α ≥ 0,800.
• Seleccionar al menos 0,05 como nivel de significación estadística para minimizar el riesgo de un error de tipo 1, que consiste en aceptar datos como fiables cuando no lo son.

El punto de corte que se elija depende siempre de los requisitos de validez que se exigen a los resultados de la investigación. Si el resultado del análisis afecta o incluso pone en riesgo la vida de alguien, deben utilizarse criterios más estrictos. Un punto de corte de α = 0,800 significa que el 80% de los datos está codificado con un grado superior al azar. Si se acepta α = 0,500, esto significa que el 50% de los datos está codificado con un grado superior al azar, lo que se asemeja un poco a lanzar una moneda al aire.