Servicios personalizados
Español (pdf)
Articulo en XML
Referencias del artículo
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
INTRODUCCIÓN
Los criterios tradicionales para valorar la adecuación y calidad de la investigación son los ya conocidos de validez interna, validez externa, fiabilidad y objetividad. En las investigaciones sobre gestión, el método de estudio de casos resulta frecuente; sin embargo, muchos investigadores lo consideran ideal para estudios exploratorios, no así para la comprobación de hipótesis (Masud, 2018). Al respecto (João Fernandes, 2016) plantea que, no siempre resulta viable demostrar la validez de las propuestas realizadas mediante la evolución observada en un caso de estudio práctico; debido a que el éxito definitivo puede estar condicionado a múltiples factores, así como por la complejidad del objeto de estudio o por el periodo de tiempo necesario para comprobar la transformación deseada. De esta forma, lo concreto pensado se manifiesta en principios, leyes y teorías que deben someterse a constatación empírica para corroborar su objetividad en la práctica. El elemento final es el que cierra el ciclo del conocimiento: práctica-teoría-práctica y que se emplea para verificar el grado de objetividad de los conocimientos elaborados (Rodríguez Jiménez y Pérez Jacinto, 2017).
La validez, junto a la fiabilidad, determinan la calidad del instrumento (Gómez, 2013) citado por Urrutia, Barrios, Gutiérrez y Mayorga (2014). No obstante, ambos criterios se aplican mayormente en el diseño de cuestionarios (Holmes, 2018). En el contexto de la gestión empresarial Pérez (2014) emplea cuatro criterios para evaluar la calidad de un modelo y procedimientos asociados. En primer lugar, la validez del modelo, referida a las variables estudiadas; la validez interna, asociada al grado en que el estudio resulta objetivo; la validez externa, sustentada en la capacidad de generalización de la propuesta y la fiabilidad, referida a la capacidad del procedimiento de ser replicado para la obtención de resultados similares. Sin embargo, la validación resulta de la argumentación de estos criterios y no de la aplicación de técnicas que le aporten robustez.
Para Borsboom et al. (2004) citado por (Tristán y Corpus, 2017), una prueba es válida cuando el atributo existe y sus variaciones producen casualmente variaciones en la medición. Lo anterior sugiere la necesidad de una serie de mediciones para comprobar la validez de un instrumento, aspecto complejo de lograr cuando el estudio se enfoca en la gestión empresarial. Si bien se describen incontables experiencias para cuestionarios y encuestas, la validación de modelos, procedimientos e instrumentos para la gestión ha sido escasamente abordada. Una búsqueda realizada en Google Académico sustenta el poco tratamiento a la validación en el campo de la gestión empresarial (Tabla 1). Al combinar gestión con los criterios usuales que se emplean en validaciones (validez, confiabilidad y objetividad)1, los resultados en español rebasan escasamente los 200 000, en inglés apenas superan los 3,5 millones. Asimismo destaca que la combinación de todos los elementos, apenas devuelve 31 700 y 139 000 resultados en español e inglés respectivamente.
Tabla 1 Resultados de búsqueda para elementos de validación de la gestión
| Elementos de entrada | Español | Inglés |
|---|---|---|
| Gestión+confiabilidad | 134 000 | 3 740 000 |
| Gestión+validez | 214 000 | 3 110 000 |
| Gestión+objetividad | 153 000 | 327 000 |
| Gestión+confiabilidad+validez | 64 200 | 2 520 000 |
| Gestión+confiabilidad+objetividad | 44 700 | 195 000 |
| Gestión+validez+objetividad | 67 000 | 163 000 |
| Gestión+confiabilidad+validez+objetividad | 31 700 | 139 000 |
Fuente: elaboración de los autores a partir de Google Académico, marzo de 2020
Lo anterior sustenta la escasez de estudios dedicados a la validación de herramientas para la gestión. De ahí que el objetivo de este trabajo consistió en la propuesta de una estrategia para la validación de instrumentos vinculados a la gestión empresarial.
Aproximación al concepto de validación
La objetividad, confiabilidad2 y validez deben ser aceptadas para considerar buena una prueba (Reiss y Sprenger, 2014). Tanto la validez como la confiabilidad, aplicadas a este objeto de investigación, son dos momentos que caracterizan su calidad (Urrutia et al., 2014), en tanto reflejan el carácter objetivo del proceso. La validez, expresa si el instrumento tiene calidad suficiente para cumplir con el objetivo para el cual se diseña (Urrutia et al., 2014) y la confiabilidad expresa el grado de consistencia interna de sus atributos (Frías, Tarifa y García, 2018).
La validez se entiende como el grado en que el instrumento mide lo que se quiere medir (Lucas et al., 2017). Al respecto, Pedrosa, Suárez y García (2014) agregan que no existe instrumento válido, sino que el instrumento es válido para algo, mide lo que se desea medir.
Por su parte, la confiabilidad es definida como el grado en que el instrumento produce resultados coherentes y consistentes (Paez y Filion, 2017), las mediciones no varían bajo las mismas condiciones, en diferentes espacios de tiempo.
Respecto a la objetividad, esta se encuentra profundamente arraigada a la comprensión con que las personas tienden a estructurar la realidad; es parte de la calidad del instrumento y resulta un criterio fundamental que permite generar conocimientos válidos sobre los objetos investigados. En consonancia, debe ser el primer atributo a definir en una prueba. Para Post (2015) la objetividad requiere de métodos sistemáticos y explicaciones transparentes. En tal sentido, los criterios de objetividad determinan a su vez, la validez. Sin embargo, en el campo de las investigaciones, la objetividad científica como postulado, no ha sido del todo clarificada (Rosendahl, Zanella, Rist & Weigelt, 2015).
A pesar de la contradicción anterior, existe consenso en las propiedades distintivas de la objetividad. Para Munro y Hardie (2018) estas son: a) especificidad, b) neutralidad, c) imparcialidad, d) independencia y e) impersonalidad.
En la presente investigación, se asume la objetividad como parte de la validez del instrumento. Si un instrumento es capaz de lograr aquello para lo que fue creado (validez), entonces resultará objetivo. Al respecto, Tristán y Corpus (2017) reconocen la objetividad como el sustrato de la validez así, la comprobación de validez puede emplearse como un referente de objetividad.
Por último, Frías et al. (2018) refieren un cuarto criterio para la validación de un instrumento: la utilidad. Con este criterio se trata de evaluar la satisfacción de los usuarios. No sólo se deben producir resultados objetivos, válidos y confiables, sino también deben ser útiles.
En cualquier caso, la validación de un instrumento para la gestión no se determina, se comprueba. De esta forma, la validación será la comprobación de su validez, confiabilidad, objetividad y utilidad (Fig. 1).
Abordaje metodológico
Para la concreción de la estrategia de validación para instrumentos de gestión empresarial se analizaron los métodos y herramientas disponibles que pudieran ser aplicados a modelos, metodologías o procedimientos. Posterior a la propuesta de la estrategia de validación, se describe su aplicación para validar un procedimiento diseñado para la gestión de la inocuidad de los alimentos en servicios gastronómicos (García, 2018). De esta forma, se comprobó la factibilidad de empleo de la estrategia mediante un caso tipo. En su despliegue se empleó la consulta a expertos mediante un cuestionario administrado por los autores y procesado en Microsoft Excel. Los expertos por su parte fueron identificados a partir del método de selección de expertos (Frías, Cuétara, González, González y Corzo 2008).
La secuencia de pasos para la concreción de la estrategia de validación fue la siguiente: 1) identificar los métodos para la comprobación de la validez, utilidad y fiabilidad aplicables a instrumentos diseñados para la gestión; 2) estructuración lógica de los métodos seleccionados; 3) diseño del instrumento para recolectar la información necesaria para la aplicación de los métodos seleccionados; 4) seleccionar, mediante el coeficiente de experticia, los expertos que emitirán sus juicios, sobre el objeto a validar y 5) integrar los resultados obtenidos.
Determinación de la validez
Respecto a la validez, Hernández (2012) citado por Frías, González, González y Santa Cruz, (2016) refieren tres tipos: de contenido, de criterio y de constructo. La validez de contenido expresa el grado en que la medición representa al concepto o variable medida. En cuanto a la validez de criterio, esta propone la validación del instrumento al compararlo con algún criterio externo que pretende medir lo mismo. Por su parte, la validez de constructo refiere el grado en que el instrumento explica el modelo teórico-empírico que subyace en la variable de interés.
En relación con los tipos de validez Noble y Smith (2015) plantean que la validez de contenido se considera condición necesaria y gana cada vez más importancia. Por otro lado, tanto la de criterio como la de constructo son aplicables a instrumentos como cuestionarios, encuestas o test. Sin embargo, para el caso de procedimientos no resultan viables puesto que ambas se establecen a partir de correlaciones de los ítems, sobre la base de una muestra piloto. Lo anterior implica la necesidad de varias aplicaciones para su determinación y luego relacionar -mediante regresión simple (validez de criterio) y múltiple (validez de constructo)- los ítems del instrumento con lo que se pretende medir (Lucas et al., 2017). Por lo tanto, se sugiere para la validación de procedimientos e instrumental metodológico, la validez de contenido.
En cuanto a los métodos para la determinación de la validez de contenido (Urrutia et al., 2014) establece dos planteamientos: métodos basados en el juicio de expertos y la utilización de métodos estadísticos derivados de la aplicación del instrumento. Para el caso que nos ocupa, estos últimos suponen la necesidad de varias aplicaciones -aspecto no viable para procedimientos-; sin embargo, respecto a los métodos basados en el juicio de expertos, se resaltan las propuestas de Lawshe (1975) y Rubio (2003).
En el caso de Lawshe (1975), se emplea el índice de validez de contenido (IVC), método que valora los ítems de acuerdo a su esencialidad, lo cual se adecua muy bien a un cuestionario; pero reduce las posibilidades de valoración en el caso de un procedimiento. Por su parte, Rubio (2003) propone el índice de validez factorial (FVI), que resulta de una modificación en el procesamiento de los datos de la propuesta de Lawshe (1975). No obstante, Pedrosa et al. (2014) refieren el coeficiente de validez de contenido (CVC), donde se introduce una escala de valoración más amplia para los juicios de los expertos e incluye la capacidad de minimizar errores en las valoraciones. Lo anterior justifica su empleo para la validación de procedimientos.
Asimismo, se describen otros métodos basados en el juicio de expertos que pueden ser empleados en la validación de contenido. El uso de varios métodos se sustenta en la sugerencia de Hernández, Fernández y Baptista (2006) al recomendar que la validez no debe descansar en un solo tipo de evidencia. De esta forma, se seleccionaron para comprobar la validez en procedimientos, el índice de consenso (ICS) y el coeficiente de validez de contenido (CVC).
Ambos métodos enfocados a la comprobación de la validez del procedimiento y por ende a su objetividad, donde se garantiza su neutralidad, imparcialidad e independencia al determinarse mediante el juicio de expertos, a través de un cuestionario administrado de forma independiente.
Respecto a la comprobación de la utilidad, se empleó el índice de Iadov para la satisfacción y el Net Promoter Score (NPS) para el índice de recomendación.
La técnica de Iadov fue desarrollada en sus inicios para medir la satisfacción de los estudiantes por las carreras pedagógicas y reformulada por otros muchos autores para estos fines en contextos diferentes. Sin embargo, Medina (2016), García (2018) y Alarcón (2019) la emplean en sus investigaciones en el área de las ciencias técnicas con el objetivo que aquí se propone.
El NPS (índice de recomendación) se distingue de otras métricas porque no mide la satisfacción de un cliente con respecto a un evento específico o una sola interacción. Este indicador se diseñó para medir la lealtad general de los clientes (Rowe, 2014); sin embargo, García (2018) y Alarcón (2019) lo interpretan como un índice que mide la intención de recomendar sus procedimientos e instrumental metodológico bajo el supuesto de que ello ocurre porque la propuesta es útil y por ende tiene valor de uso y usabilidad, satisface una necesidad. Lo anterior justifica su empleo en la validación del contenido, puesto que la recomendación de los usuarios puede ser comprendida como indicador de que el procedimiento hace lo que se espera.
Como métodos para la determinación de la confiabilidad Hernández et al., (2006) refieren: a) la medida de estabilidad (test-retest); b) método de formas alternativas o paralelas; c) método de mitades partidas y d) medidas de consistencia interna (alfa de Cronbach y los coeficientes KR-20 y KR-21).
En cualquiera de los casos se precisa la aplicación del instrumento a una muestra piloto, con el objetivo de evaluar la variación en las mediciones, la fiabilidad. Lo anterior resulta complejo cuando se trata de un procedimiento; no obstante, para este fin se refiere en la literatura el empleo del método ANOCHI (Guerrero, Capó y López 2016; Madrid, Bustos, Ortiz y Ríos 2013).
El coeficiente de concordancia ANOCHI es un coeficiente no paramétrico que posibilita los estudios de confiabilidad al determinar la asociación entre n jueces al evaluar k objetos o variables, mediante una escala numérica. De esta manera, ANOCHI es un índice de la concordancia del acuerdo efectivo mostrado en los datos en relación con el máximo acuerdo posible (perfecto). Su valor se expresa en un rango de 0 a 1, donde el valor 1 significa la concordancia perfecta y el valor 0 ausencia total de concordancia (Fernández, Auquilla, Reyes y Sancho, 2017).
El fundamento consiste en determinar todas las posibles diferencias de evaluaciones de rango entre todos los pares de jueces. Así, el total de combinaciones de dos elementos viene expresado por: n ļ / 2 ļ (n-2 ļ) -según la teoría de las combinaciones- y la mayor diferencia de rango posible entre dos evaluadores es la diferencia entre el máximo y el mínimo de la escala empleada.
Estructuración de los métodos seleccionados
Una vez seleccionados los métodos para comprobar la validez de instrumentos de gestión, se procedió a esquematizar la estructura de la estrategia de validación (Fig. 2).
El primer paso resulta la comprobación de la objetividad y utilidad como elementos de validez. Para el caso de la objetividad se emplea el índice de consenso (ICS) y el coeficiente de validación de contenido (CVC).
Fuente: elaboración de los autores
Fig. 2 Estrategia para la validación de instrumentos de gestión empresarial
Para la determinación del ICS se propone la metodología empleada por Abreu (2004). Esta propuesta se sustenta en el trabajo con la desviación estándar de los juicios emitidos por los expertos, lo que aporta robustez al método.
(1) 
Dónde:
σi = Desviación estándar del juicio de los expertos para el criterio “i”
σmáx = Desviación estándar máxima posible3 de acuerdo al número de expertos y la escala empleada.
De acuerdo con Abreu (2004) se considera válido el contenido para valores del ICS superiores al 80 %; sin embargo para la validación de elementos concernientes a procedimientos se consideran aceptables resultados por encima del 70 %.4
En cuanto al CVC su cálculo se sustenta en la aplicación de una escala tipo Likert de cinco alternativas, mediante la media de cada uno de los ítems y, en base a esta, determinar el CVCi para cada elemento. Finalmente al CVCi calculado se le sustrae el error asignado a cada ítem (2-4).
Dónde:
CVCi = Coeficiente de validación de contenido inicial para el ítem i
Mx = Media de las votaciones de los expertos para el ítem i
Vmáx = Valor máximo de la escala para el ítem i
Pei = Error asociado al ítem i
j = Cantidad de expertos consultados en el estudio
Se recomienda la aceptación de los elementos para valores del CVC superiores a 0,8 de forma individual y como media, para la validación del procedimiento. Los pasos para su aplicación son: 1) definir características del procedimiento, que se desean validar; 2) definir escala de valoración;5 3) conformar cuestionario para consultar a expertos; 4) resumir resultados de los cuestionarios6 y realizar cálculos correspondientes según fórmulas (2; 3 y 4); 5) analizar comportamiento de cada elemento y 6) calcular la media a partir de los valores del CVC para cada uno de los elementos y valorar la validez del procedimiento.
Índice de Iadov
La técnica consiste en la presentación a los encuestados7 de tres preguntas cerradas intercaladas en un cuestionario, donde la relación existente entre estas es desconocida. La primera pregunta se valora en seis categorías de satisfacción y las dos restantes en tres categorías.
A partir de las respuestas de los encuestados y con el empleo del cuadro lógico de Iadov (Tabla 2) se determina el índice de satisfacción grupal, según la expresión (5) para establecer seis niveles de satisfacción: 1) clara satisfacción; 2) más satisfecho que insatisfecho; 3) no definida; 4) más insatisfecho que satisfecho; 5) clara insatisfacción y 6) contradictoria.
(5) 
En la expresión (5), A; B; C; D y E; representan los encuestados con índices de satisfacción individuales8 de 1; 2; 3 o 6; 5; 4 y N representa el total de encuestados. La evaluación del ISG se encuentra en el rango 
y se basa en la escala que se muestra en la Fig. 3.
Net Promoter Score (NPS)
Su aplicación radica en una sola pregunta a los usuarios, en este caso: ¿recomendaría la aplicación del procedimiento para la mejora de la gestión de la inocuidad? Evaluada en una escala de 0 a 10 como valor máximo (Fig. 4). Se considera un buen comportamiento valores positivos del NPS y excelente cuando el porcentaje de promotores supere en 50 unidades porcentuales a los detractores.
Los pasos para su determinación se resumen en: 1) administrar la pregunta a los usuarios potenciales;9 2) resumir la información de acuerdo a la escala10 y 3) determinar el NPS de acuerdo con la expresión (6).
(6) NPS = % DE PROMOTORES NETOS - % DETRACTORES
La confiabilidad es evaluada mediante el método ANOCHI. El método se fundamenta en la diferencia de rango máxima (DRM) entre n jueces que evalúan con un rango R (escala) los atributos deseados en el procedimiento. Los cálculos necesarios se realizan según las expresiones siguientes (7):
(7)
Dónde:
DRM = Valor de la diferencia máxima de rango para n jueces y rango R (escala)
n = número de jueces empleados en el estudio
(n/2)s = Valor aproximado al entero superior
(n/2)i = Valor aproximado al entero inferior
Rmáx = Valor máximo de la escala
Rmín = Valor mínimo de la escala
FD = Fracción de discrepancia
DR = Diferencia de rango para cada ítem a partir de todas las combinaciones de pares de jueces, mediante la expresión n ļ / 2 ļ (n-2 ļ)
FC = Fracción de concordancia
Los valores de DRM pueden ser calculados de acuerdo a las expresiones mostradas en (7) o bien emplear los valores de referencia que se muestran en la Tabla 3.
Tabla 3 Valores de referencia de diferencias de rango máximas para n jueces
Fuente: Madrid et al. (2013).
La confiabilidad queda establecida según el valor de la fracción de concordancia (FC), considerada muy buena por encima de 0,8; aceptable entre 0,61 y 0,7; moderada desde 0,41 hasta 0,60; débil entre 0,21 y 0,40 y muy baja para valores inferiores a 0,20 (Guerrero et al., 2016).
De manera sintética los pasos para su determinación son: 1) determinar diferencias de rangos (DR) asignados para cada ítem a partir de todas las combinaciones de pares de jueces, mediante la expresión n ļ / 2 ļ (n-2 ļ); 2); calcular fracción de discrepancia (FD) de cada ítem y el promedio de los n ítems, a partir de la expresión FD = DR/DRM. El valor de la diferencia de rangos máximos (DRM) se toma de la tabla de diferencia de rango máxima de las evaluaciones de n jueces propuestas y 4) calcular fracción de coincidencia (FC) de cada ítem y del promedio como coeficiente de ANOCHI a partir del complemento del valor 1, mediante la expresión FC = (1-FD).
Diseño del instrumento para recolectar la información necesaria
Los elementos a partir de los cuales es validado el procedimiento, son valorados mediante el juicio de expertos. Para la consulta a expertos se diseñó un cuestionario (Anexo 1) que resume las preguntas necesarias para la evaluación de los elementos según los métodos propuestos. La Tabla 4 resume la información recolectada en cada pregunta según el método correspondiente y elemento evaluado.
Tabla 4 Resumen de la información recolectada a partir del cuestionario
| Preg. | Método | Elemento evaluado |
|---|---|---|
| 1 | ICS; CVC | Hipótesis |
| 2 | ICS; CVC | Principio enfoque a procesos |
| 3 | Iadov; ANOCHI; ICS; CVC | Fiabilidad. Satisfacción. Factibilidad de aplicación |
| 4 | Iadov | Factibilidad específica de aplicación |
| 5 | ANOCHI; ICS; CVC | Fiabilidad. Pertinencia y actualidad |
| 6 | Iadov | Utilidad |
| 7 | ANOCHI; ICS; CVC | Fiabilidad. Coherencia entre las fases |
| 8 | ANOCHI; ICS; CVC | Fiabilidad. Fundamentación teórica |
| 9 | ICS; CVC | Variables empleadas para la evaluación del riesgo |
| 10 | ANOCHI; ICS; CVC | Fiabilidad. Importancia de los resultados |
| 11 | NPS | Índice de recomendación |
| 12 | ICS; CVC | Principios del procedimiento |
Fuente: elaboración propia
Cada pregunta se asocia al elemento que se desea evaluar y al método empleado. De esta forma se facilita el procesamiento de la información resultante.
Selección de los expertos
Para la selección de los expertos se aplica el método propuesto por Frías et al. (2008). A partir de la identificación inicial de los posibles expertos, se determinan sus coeficientes de conocimiento (Kc) y de autoevaluación (Ka), con los que se establecen los coeficientes de experticia (K) (Frías et al., 2008). Se seleccionan aquellos expertos cuyo coeficiente de experticia (K) se encuentre por encima de 0,8.
Integración de los resultados obtenidos
Una vez aplicado el cuestionario, es posible procesar la información mediante Microsoft Excel. En primer lugar se determina el ICS (1) y el CVC (4). Con ambos valores y mediante la expresión (8) se calcula el Índice de objetividad.
(8) 
Con respecto a la utilidad del procedimiento, esta se establece mediante el índice de utilidad (9), el cual es calculado a partir de los valores del ISG (5) y el NPS (6).
(9) 
A partir de las expresiones (8) y (9) es determinado el índice de validez total del procedimiento (IVT) de acuerdo con (10).
(10) 
Valores superiores a 0,625 indican un índice de validez total11 satisfactorio. El análisis del IVT y el coeficiente de ANOCHI (FC), sustentan la validación del instrumento de gestión empresarial.
Resultados
La estrategia propuesta se desplegó en la validación del procedimiento para la gestión de la inocuidad de los alimentos en servicios gastronómicos (García, 2018). Se comprobó la capacidad del procedimiento de contribuir a la solución de la hipótesis, los principios y enfoques, así como su factibilidad, coherencia estructural, actualidad, fundamentación teórica y variables utilizadas.
Se seleccionaron 14 expertos provenientes de la academia, instituciones de salud relacionadas con la higiene de los alimentos y directivos de servicios gastronómicos; a los que se les aplicó el cuestionario de forma individual garantizando la neutralidad, independencia e impersonalidad de la prueba (Tabla 5).
La comprobación de las votaciones de los expertos evidenció la no existencia de diferencias significativas para un 95 % de confianza con un valor -P de la razón -F de 0,6896, confirmado mediante la prueba de hipótesis a partir del test de Kruskal-Wallis.12 Una vez evaluada la pertinencia de los juicios emitidos, se procedió al análisis de los resultados (Tabla 6).
Tabla 6 Consistencia de los juicios emitidos por los expertos
Fuente: elaboración de los autores a partir del software STATGRAPHICS Centurion V
Para el cálculo de los índices correspondientes se procesaron los juicios de valor mediante Microsoft Excel. Respecto a la objetividad los valores se muestran en la tabla 7. En todos los casos se obtuvieron valores de ICS (1) y CVC (4), superiores al 70 % y 0,8 respectivamente, por lo que se consideraron aceptables (Abreu, 2004; Pedrosa et al., 2014). Con respecto a la capacidad del procedimiento para solucionar el problema investigado a partir de la operacionalización de la gestión de la inocuidad -de acuerdo con la hipótesis formulada- se obtuvo un ICS de 79 %, confirmado con un CVC de 0,9491. Asimismo, con relación al empleo del enfoque de procesos, el ICS fue de 83 % y el CVC de 0,9655. En cuanto a la factibilidad de aplicación se obtuvieron valores del ICS y CVC respectivamente de 76 % y 0,9180.
Tabla 7 Resultados del ICS y CVC
| P1 | P3 | P5 | P6.cvc | P7 | P8 | P9 | P10 | P12 | |
|---|---|---|---|---|---|---|---|---|---|
| E1 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 |
| E2 | 5 | 4 | 5 | 5 | 4 | 5 | 4 | 5 | 4 |
| E3 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 |
| E4 | 4 | 4 | 5 | 4 | 4 | 4 | 4 | 4 | 5 |
| E5 | 5 | 4 | 4 | 5 | 4 | 4 | 4 | 5 | 4 |
| E6 | 5 | 4 | 5 | 5 | 4 | 5 | 5 | 5 | 5 |
| E7 | 5 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 |
| E8 | 5 | 5 | 5 | 4 | 5 | 5 | 5 | 5 | 5 |
| E9 | 5 | 5 | 5 | 5 | 5 | 4 | 4 | 4 | 4 |
| E10 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 |
| E11 | 5 | 5 | 4 | 5 | 5 | 5 | 5 | 5 | 4 |
| E12 | 4 | 5 | 5 | 4 | 4 | 5 | 4 | 4 | 4 |
| E13 | 5 | 5 | 5 | 5 | 4 | 5 | 5 | 5 | 5 |
| E14 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 |
| media | 4,7457 | 4,5901 | 4,8275 | 4,7457 | 4,5161 | 4,7457 | 4,5901 | 4,7457 | 4,5901 |
| desv | 0,4258 | 0,4972 | 0,3631 | 0,4258 | 0,5135 | 0,4258 | 0,4972 | 0,4258 | 0,4972 |
| desv.max | 2,0755 | ||||||||
| ICS | 79% | 76% | 83% | 84% | 75% | 79% | 76% | 79% | 76% |
| CVC | 0,9491 | 0,9180 | 0,9655 | 0,9491 | 0,9032 | 0,9491 | 0,9180 | 0,9491 | 0,9180 |
| desv.max | |||||||||
| 2,5944 |
Fuente: elaboración de los autores
Con relación a la contribución del procedimiento a la solución del problema existió un consenso del 83 %, confirmado por un CVC de 0,9655. Asimismo, se validó la consistencia lógica y sustento teórico. De acuerdo con los expertos, los principios del procedimiento resultaron válidos para un ICS del 76 % y un CVC de 0,9180.
Con ambos valores se calculó el índice de objetividad (8), para un valor de 86,45 %, determinado a partir de la media de los valores del ICS y CVC. Este resultado sustentó la objetividad del procedimiento como parte de la validez, de acuerdo con Tristán y Corpus (2017).
Respecto a la utilidad del procedimiento y su instrumental metodológico, con la técnica de Iadov se obtuvo un índice de satisfacción grupal ISG de 0,8929 (5), que al ser mayor que 0,5 reflejó una valoración positiva (Tabla 8).
Tabla 8 Resultados de la técnica de Iadov
| Escala | Resultado | Cantidad | Porcentaje |
|---|---|---|---|
| 1 | Clara satisfacción | 11 | 78,57 |
| 2 | Más satisfecho que insatisfecho | 3 | 21,43 |
| 3 | No definida | ||
| 4 | Más insatisfecho que satisfecho | ||
| 5 | Clara insatisfacción | ||
| 6 | Contradictoria |
(5) ISG =11*(+1)+3*(+0,5)+0*(0)+0*(-0,5)+0*(-1) = 0,8929
Fuente: elaboración de los autores
Se destaca en este punto la propuesta de Frías et al. (2018) de incluir la utilidad como variable en los estudios de validación.
La capacidad de recomendación de los usuarios del procedimiento como medida de su ajuste a la problemática descrita, y por tanto a la utilidad, resultó en un índice de promotores netos (6) de 78,57 % (excelente), como se muestra en la Fig. 5.
A partir del ISG y el NPS se calculó el Índice de utilidad (9), para un valor de 0,8393 (83,93 %) con lo cual se obtuvo un resultado satisfactorio.
El índice de validez total (IVT) se determinó de acuerdo a la expresión (10).13
(10)
El procedimiento presentó una validez total de 0,8519 lo cual resulta muy satisfactorio. La Tabla 9 resume los elementos del procedimiento a partir de los cuales se determinó su validez y los métodos correspondientes con sus resultados.
La evaluación de la confiabilidad del procedimiento arrojó un factor de concordancia promedio (7) de 0,8143 (muy bueno). La valoración de los criterios para determinar la confiabilidad se recoge en la Tabla 10.
Discusión
El empleo de los índices ICS y CVC confirmó el planteamiento de Hernández et al., (2006) respecto a la ventaja de emplear más de un método para confirmar la validez del objeto estudiado, toda vez que permite contrastar los resultados. En todos los casos se evidenció concordancia en ambas técnicas. Los valores más distantes se situaron en 76 % (ICS) y 0,9180 (CVC) aunque ambos resultan aceptables. Se debe a que ICS al emplear la desviación típica, mínimas diferencias en los juicios de los expertos, inciden en mayor medida en el valor final; no obstante, el resultado se encuentra en el rango permisible y es confirmado por el CVC.
La valoración de la utilidad del procedimiento por parte de los clientes potenciales a partir del ISG y NPS, comprobó que el procedimiento no sólo es útil desde el punto de vista de satisfacer las necesidades de gestión para las cuales fue concebido, sino que además, los usuarios reconocen su importancia y son capaces de recomendarlo. Lo anterior puede entenderse como un nivel superior a la satisfacción.
Al resultar la validez total superior a 0,625, es posible afirmar que el procedimiento general y su instrumental metodológico son válidos; o sea, se comprueba su objetividad y utilidad. Cabe destacar la importancia del empleo de varios métodos para su comprobación, lo que aporta robustez científica a la validación además, permite la comparación de los resultados obtenidos por diferentes vías (métodos). Esta es una de las ventajas de la estrategia propuesta.
Se pudo constatar que el procedimiento general y su instrumental metodológico, desde el punto de vista teórico, resultan válidos y confiables para la gestión de la inocuidad de los alimentos en servicios gastronómicos. De acuerdo con los expertos el procedimiento es capaz de producir resultados similares en distintos espacios de tiempo o contextos en este caso, bajo las mismas condiciones (Lucas et al., 2017).
De esta forma, se comprobó que la estrategia propuesta para la validación de instrumentos de gestión, es aplicable en la práctica. Asimismo, su concepción garantiza la constatación de cada uno de los resultados por distintos métodos, lo que le aporta robustez y minimiza el riesgo de errores.
CONCLUSIONES
Resultan escasas las evidencias de validación de instrumentos vinculados a la gestión empresarial. La mayoría de las investigaciones refieren estudios de caso sin embargo, existen sobradas experiencias en la validación de técnicas o herramientas en el campo de la investigación cualitativa a partir de métodos científicos que presentan una robusta argumentación.
Para la validación de instrumentos de gestión es preciso comprobar su objetividad, utilidad, satisfacción y confiabilidad. La objetividad sustenta la validez y ésta a su vez incluye la utilidad y satisfacción de los usuarios con el instrumento en cuestión. La confiabilidad, por su parte, comprueba la capacidad del instrumento de repetir los resultados esperados en distintos espacios de tiempo o contextos (empresas en este caso) bajo condiciones de aplicación similares.
El valor de la estrategia propuesta radica en viabilizar la validación de instrumentos de gestión en un periodo de tiempo corto mediante argumentos científicos. Por otro lado, permite prever posibles adecuaciones a los instrumento antes de su aplicación, con lo cual contribuye al uso eficiente de los recursos humanos, financieros y tecnológicos. Asimismo, el empleo de expertos para la evaluación de los elementos a validar contribuye a la neutralidad, independencia e impersonalidad en la valoración del objeto de análisis.
La estrategia de validación no sustituye otros métodos ligados a la validación de instrumentos. Se considera que una vez comprobada la validez del instrumento de forma teórica, se proceda a su validación práctica mediante un estudio de caso y luego integrar ambos resultados.
