SciELO - Scientific Electronic Library Online

 
vol.15 número2Evaluación del polo turístico Santiago de Cuba para su inserción en cadenas productivasCondiciones y resultados del teletrabajo en profesores universitarios índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Retos de la Dirección

versión On-line ISSN 2306-9155

Rev retos vol.15 no.2 Camagüey mayo.-ago. 2021  Epub 28-Ago-2021

 

Artículo

Validación de procedimientos para la gestión empresarial

Validation of Procedures for Business Management

0000-0001-5282-0754Yadrián Arnaldo García Pulido1  *  , 0000-0002-3809-9283Roberto Argelio Frías Jiménez2  , 0000-0003-2657-8364Alberto Arnaldo Medina León2 

1Departamento de Turismo, Universidad de Matanzas, Cuba

2Departamento de Ingeniería Industrial, Universidad de Matanzas, Cuba

RESUMEN

Objetivo:

Desplegar una estrategia para la validación de procedimientos para la gestión empresarial, actividad que resulta compleja puesto que muchas veces no se cuenta con el tiempo necesario para constatar los cambios esperados en el objeto de estudio.

Métodos y técnicas:

Se sustentaron en la comprobación de la objetividad, validez y confiabilidad a partir de herramientas semicualitativas basadas en el juicio de expertos. Principales resultados: Una estrategia que consta de pasos y métodos estructurados que posibilitan validar instrumentos de gestión a partir de su objetividad, utilidad y confiabilidad. La funcionalidad de la estrategia se comprobó a partir de la validación de un procedimiento para la gestión de la inocuidad de los alimentos en servicios gastronómicos, con la obtención de un índice de objetividad de 86,45 % y de utilidad (83,93 %), para un índice de validez total de 0,851 9. Asimismo, la confiabilidad del procedimiento estudiado se estableció mediante el coeficiente de ANOCHI para un valor de 0,814 3.

Conclusiones:

La estrategia propuesta resulta factible de aplicar en el entorno empresarial cubano y ofrece una vía de bajo coste para la validación de instrumentos de gestión, toda vez que elimina los costos asociados al estudio de casos. Además, al emplear el juico de expertos, considera la experiencia y experticia como criterio de valor en la toma de decisiones empresariales.

Palabras-clave: confiabilidad; gestión empresarial; objetividad; validación; validez

ABSTRACT

Aim:

To roll out a strategy for the application of business management procedures, which is complex, since the expected changes in the object of study cannot be corroborated often, due to the lack of proper time.

Methods and techniques:

They were implemented according to the corroboration of objectivity, validity, and reliability, using semi-qualitative tools based on expert opinion.

Main results:

A strategy based on structured steps and methods that enable the validation of managing tools, depending on their objectivity, usefulness, and reliability. The functionality of the strategy was checked according to a procedure for food safety management in food sales, with an objectivity index of 86.45 %, 83.93 % usefulness, and 0 851 9 total validity. Moreover, the reliability of the procedure studied was established by the ANOCHI coefficient for 0.814 3. Conclusions: The strategy suggested is easy to implement in the Cuban business environment, as it offers a low cost manner for managing tools validation, since it eliminates costs associated to case study. Besides, expert opinion considers experience and expertise as valuable criteria in business decision-making.

Key words: reliability; business management; objectivity; validation; validity

INTRODUCCIÓN

Los criterios tradicionales para valorar la adecuación y calidad de la investigación son los ya conocidos de validez interna, validez externa, fiabilidad y objetividad. En las investigaciones sobre gestión, el método de estudio de casos resulta frecuente; sin embargo, muchos investigadores lo consideran ideal para estudios exploratorios, no así para la comprobación de hipótesis (Masud, 2018). Al respecto (João Fernandes, 2016) plantea que, no siempre resulta viable demostrar la validez de las propuestas realizadas mediante la evolución observada en un caso de estudio práctico; debido a que el éxito definitivo puede estar condicionado a múltiples factores, así como por la complejidad del objeto de estudio o por el periodo de tiempo necesario para comprobar la transformación deseada. De esta forma, lo concreto pensado se manifiesta en principios, leyes y teorías que deben someterse a constatación empírica para corroborar su objetividad en la práctica. El elemento final es el que cierra el ciclo del conocimiento: práctica-teoría-práctica y que se emplea para verificar el grado de objetividad de los conocimientos elaborados (Rodríguez Jiménez y Pérez Jacinto, 2017).

La validez, junto a la fiabilidad, determinan la calidad del instrumento (Gómez, 2013) citado por Urrutia, Barrios, Gutiérrez y Mayorga (2014). No obstante, ambos criterios se aplican mayormente en el diseño de cuestionarios (Holmes, 2018). En el contexto de la gestión empresarial Pérez (2014) emplea cuatro criterios para evaluar la calidad de un modelo y procedimientos asociados. En primer lugar, la validez del modelo, referida a las variables estudiadas; la validez interna, asociada al grado en que el estudio resulta objetivo; la validez externa, sustentada en la capacidad de generalización de la propuesta y la fiabilidad, referida a la capacidad del procedimiento de ser replicado para la obtención de resultados similares. Sin embargo, la validación resulta de la argumentación de estos criterios y no de la aplicación de técnicas que le aporten robustez.

Para Borsboom et al. (2004) citado por (Tristán y Corpus, 2017), una prueba es válida cuando el atributo existe y sus variaciones producen casualmente variaciones en la medición. Lo anterior sugiere la necesidad de una serie de mediciones para comprobar la validez de un instrumento, aspecto complejo de lograr cuando el estudio se enfoca en la gestión empresarial. Si bien se describen incontables experiencias para cuestionarios y encuestas, la validación de modelos, procedimientos e instrumentos para la gestión ha sido escasamente abordada. Una búsqueda realizada en Google Académico sustenta el poco tratamiento a la validación en el campo de la gestión empresarial (Tabla 1). Al combinar gestión con los criterios usuales que se emplean en validaciones (validez, confiabilidad y objetividad)1, los resultados en español rebasan escasamente los 200 000, en inglés apenas superan los 3,5 millones. Asimismo destaca que la combinación de todos los elementos, apenas devuelve 31 700 y 139 000 resultados en español e inglés respectivamente.

Tabla 1 Resultados de búsqueda para elementos de validación de la gestión 

Elementos de entrada Español Inglés
Gestión+confiabilidad 134 000 3 740 000
Gestión+validez 214 000 3 110 000
Gestión+objetividad 153 000 327 000
Gestión+confiabilidad+validez 64 200 2 520 000
Gestión+confiabilidad+objetividad 44 700 195 000
Gestión+validez+objetividad 67 000 163 000
Gestión+confiabilidad+validez+objetividad 31 700 139 000

Fuente: elaboración de los autores a partir de Google Académico, marzo de 2020

Lo anterior sustenta la escasez de estudios dedicados a la validación de herramientas para la gestión. De ahí que el objetivo de este trabajo consistió en la propuesta de una estrategia para la validación de instrumentos vinculados a la gestión empresarial.

DESARROLLO

Aproximación al concepto de validación

La objetividad, confiabilidad2 y validez deben ser aceptadas para considerar buena una prueba (Reiss y Sprenger, 2014). Tanto la validez como la confiabilidad, aplicadas a este objeto de investigación, son dos momentos que caracterizan su calidad (Urrutia et al., 2014), en tanto reflejan el carácter objetivo del proceso. La validez, expresa si el instrumento tiene calidad suficiente para cumplir con el objetivo para el cual se diseña (Urrutia et al., 2014) y la confiabilidad expresa el grado de consistencia interna de sus atributos (Frías, Tarifa y García, 2018).

La validez se entiende como el grado en que el instrumento mide lo que se quiere medir (Lucas et al., 2017). Al respecto, Pedrosa, Suárez y García (2014) agregan que no existe instrumento válido, sino que el instrumento es válido para algo, mide lo que se desea medir.

Por su parte, la confiabilidad es definida como el grado en que el instrumento produce resultados coherentes y consistentes (Paez y Filion, 2017), las mediciones no varían bajo las mismas condiciones, en diferentes espacios de tiempo.

Respecto a la objetividad, esta se encuentra profundamente arraigada a la comprensión con que las personas tienden a estructurar la realidad; es parte de la calidad del instrumento y resulta un criterio fundamental que permite generar conocimientos válidos sobre los objetos investigados. En consonancia, debe ser el primer atributo a definir en una prueba. Para Post (2015) la objetividad requiere de métodos sistemáticos y explicaciones transparentes. En tal sentido, los criterios de objetividad determinan a su vez, la validez. Sin embargo, en el campo de las investigaciones, la objetividad científica como postulado, no ha sido del todo clarificada (Rosendahl, Zanella, Rist & Weigelt, 2015).

A pesar de la contradicción anterior, existe consenso en las propiedades distintivas de la objetividad. Para Munro y Hardie (2018) estas son: a) especificidad, b) neutralidad, c) imparcialidad, d) independencia y e) impersonalidad.

En la presente investigación, se asume la objetividad como parte de la validez del instrumento. Si un instrumento es capaz de lograr aquello para lo que fue creado (validez), entonces resultará objetivo. Al respecto, Tristán y Corpus (2017) reconocen la objetividad como el sustrato de la validez así, la comprobación de validez puede emplearse como un referente de objetividad.

Por último, Frías et al. (2018) refieren un cuarto criterio para la validación de un instrumento: la utilidad. Con este criterio se trata de evaluar la satisfacción de los usuarios. No sólo se deben producir resultados objetivos, válidos y confiables, sino también deben ser útiles.

En cualquier caso, la validación de un instrumento para la gestión no se determina, se comprueba. De esta forma, la validación será la comprobación de su validez, confiabilidad, objetividad y utilidad (Fig. 1).

Fuente: elaboración de los autores

Fig. 1 Elementos a comprobar en la validación de instrumentos 

Abordaje metodológico

Para la concreción de la estrategia de validación para instrumentos de gestión empresarial se analizaron los métodos y herramientas disponibles que pudieran ser aplicados a modelos, metodologías o procedimientos. Posterior a la propuesta de la estrategia de validación, se describe su aplicación para validar un procedimiento diseñado para la gestión de la inocuidad de los alimentos en servicios gastronómicos (García, 2018). De esta forma, se comprobó la factibilidad de empleo de la estrategia mediante un caso tipo. En su despliegue se empleó la consulta a expertos mediante un cuestionario administrado por los autores y procesado en Microsoft Excel. Los expertos por su parte fueron identificados a partir del método de selección de expertos (Frías, Cuétara, González, González y Corzo 2008).

La secuencia de pasos para la concreción de la estrategia de validación fue la siguiente: 1) identificar los métodos para la comprobación de la validez, utilidad y fiabilidad aplicables a instrumentos diseñados para la gestión; 2) estructuración lógica de los métodos seleccionados; 3) diseño del instrumento para recolectar la información necesaria para la aplicación de los métodos seleccionados; 4) seleccionar, mediante el coeficiente de experticia, los expertos que emitirán sus juicios, sobre el objeto a validar y 5) integrar los resultados obtenidos.

Determinación de la validez

Respecto a la validez, Hernández (2012) citado por Frías, González, González y Santa Cruz, (2016) refieren tres tipos: de contenido, de criterio y de constructo. La validez de contenido expresa el grado en que la medición representa al concepto o variable medida. En cuanto a la validez de criterio, esta propone la validación del instrumento al compararlo con algún criterio externo que pretende medir lo mismo. Por su parte, la validez de constructo refiere el grado en que el instrumento explica el modelo teórico-empírico que subyace en la variable de interés.

En relación con los tipos de validez Noble y Smith (2015) plantean que la validez de contenido se considera condición necesaria y gana cada vez más importancia. Por otro lado, tanto la de criterio como la de constructo son aplicables a instrumentos como cuestionarios, encuestas o test. Sin embargo, para el caso de procedimientos no resultan viables puesto que ambas se establecen a partir de correlaciones de los ítems, sobre la base de una muestra piloto. Lo anterior implica la necesidad de varias aplicaciones para su determinación y luego relacionar -mediante regresión simple (validez de criterio) y múltiple (validez de constructo)- los ítems del instrumento con lo que se pretende medir (Lucas et al., 2017). Por lo tanto, se sugiere para la validación de procedimientos e instrumental metodológico, la validez de contenido.

En cuanto a los métodos para la determinación de la validez de contenido (Urrutia et al., 2014) establece dos planteamientos: métodos basados en el juicio de expertos y la utilización de métodos estadísticos derivados de la aplicación del instrumento. Para el caso que nos ocupa, estos últimos suponen la necesidad de varias aplicaciones -aspecto no viable para procedimientos-; sin embargo, respecto a los métodos basados en el juicio de expertos, se resaltan las propuestas de Lawshe (1975) y Rubio (2003).

En el caso de Lawshe (1975), se emplea el índice de validez de contenido (IVC), método que valora los ítems de acuerdo a su esencialidad, lo cual se adecua muy bien a un cuestionario; pero reduce las posibilidades de valoración en el caso de un procedimiento. Por su parte, Rubio (2003) propone el índice de validez factorial (FVI), que resulta de una modificación en el procesamiento de los datos de la propuesta de Lawshe (1975). No obstante, Pedrosa et al. (2014) refieren el coeficiente de validez de contenido (CVC), donde se introduce una escala de valoración más amplia para los juicios de los expertos e incluye la capacidad de minimizar errores en las valoraciones. Lo anterior justifica su empleo para la validación de procedimientos.

Asimismo, se describen otros métodos basados en el juicio de expertos que pueden ser empleados en la validación de contenido. El uso de varios métodos se sustenta en la sugerencia de Hernández, Fernández y Baptista (2006) al recomendar que la validez no debe descansar en un solo tipo de evidencia. De esta forma, se seleccionaron para comprobar la validez en procedimientos, el índice de consenso (ICS) y el coeficiente de validez de contenido (CVC).

Ambos métodos enfocados a la comprobación de la validez del procedimiento y por ende a su objetividad, donde se garantiza su neutralidad, imparcialidad e independencia al determinarse mediante el juicio de expertos, a través de un cuestionario administrado de forma independiente.

Respecto a la comprobación de la utilidad, se empleó el índice de Iadov para la satisfacción y el Net Promoter Score (NPS) para el índice de recomendación.

La técnica de Iadov fue desarrollada en sus inicios para medir la satisfacción de los estudiantes por las carreras pedagógicas y reformulada por otros muchos autores para estos fines en contextos diferentes. Sin embargo, Medina (2016), García (2018) y Alarcón (2019) la emplean en sus investigaciones en el área de las ciencias técnicas con el objetivo que aquí se propone.

El NPS (índice de recomendación) se distingue de otras métricas porque no mide la satisfacción de un cliente con respecto a un evento específico o una sola interacción. Este indicador se diseñó para medir la lealtad general de los clientes (Rowe, 2014); sin embargo, García (2018) y Alarcón (2019) lo interpretan como un índice que mide la intención de recomendar sus procedimientos e instrumental metodológico bajo el supuesto de que ello ocurre porque la propuesta es útil y por ende tiene valor de uso y usabilidad, satisface una necesidad. Lo anterior justifica su empleo en la validación del contenido, puesto que la recomendación de los usuarios puede ser comprendida como indicador de que el procedimiento hace lo que se espera.

Como métodos para la determinación de la confiabilidad Hernández et al., (2006) refieren: a) la medida de estabilidad (test-retest); b) método de formas alternativas o paralelas; c) método de mitades partidas y d) medidas de consistencia interna (alfa de Cronbach y los coeficientes KR-20 y KR-21).

En cualquiera de los casos se precisa la aplicación del instrumento a una muestra piloto, con el objetivo de evaluar la variación en las mediciones, la fiabilidad. Lo anterior resulta complejo cuando se trata de un procedimiento; no obstante, para este fin se refiere en la literatura el empleo del método ANOCHI (Guerrero, Capó y López 2016; Madrid, Bustos, Ortiz y Ríos 2013).

El coeficiente de concordancia ANOCHI es un coeficiente no paramétrico que posibilita los estudios de confiabilidad al determinar la asociación entre n jueces al evaluar k objetos o variables, mediante una escala numérica. De esta manera, ANOCHI es un índice de la concordancia del acuerdo efectivo mostrado en los datos en relación con el máximo acuerdo posible (perfecto). Su valor se expresa en un rango de 0 a 1, donde el valor 1 significa la concordancia perfecta y el valor 0 ausencia total de concordancia (Fernández, Auquilla, Reyes y Sancho, 2017).

El fundamento consiste en determinar todas las posibles diferencias de evaluaciones de rango entre todos los pares de jueces. Así, el total de combinaciones de dos elementos viene expresado por: n ļ / 2 ļ (n-2 ļ) -según la teoría de las combinaciones- y la mayor diferencia de rango posible entre dos evaluadores es la diferencia entre el máximo y el mínimo de la escala empleada.

Estructuración de los métodos seleccionados

Una vez seleccionados los métodos para comprobar la validez de instrumentos de gestión, se procedió a esquematizar la estructura de la estrategia de validación (Fig. 2).

El primer paso resulta la comprobación de la objetividad y utilidad como elementos de validez. Para el caso de la objetividad se emplea el índice de consenso (ICS) y el coeficiente de validación de contenido (CVC).

Fuente: elaboración de los autores

Fig. 2 Estrategia para la validación de instrumentos de gestión empresarial 

Para la determinación del ICS se propone la metodología empleada por Abreu (2004). Esta propuesta se sustenta en el trabajo con la desviación estándar de los juicios emitidos por los expertos, lo que aporta robustez al método.

(1)

Dónde:

σi = Desviación estándar del juicio de los expertos para el criterio “i”

σmáx = Desviación estándar máxima posible3 de acuerdo al número de expertos y la escala empleada.

De acuerdo con Abreu (2004) se considera válido el contenido para valores del ICS superiores al 80 %; sin embargo para la validación de elementos concernientes a procedimientos se consideran aceptables resultados por encima del 70 %.4

En cuanto al CVC su cálculo se sustenta en la aplicación de una escala tipo Likert de cinco alternativas, mediante la media de cada uno de los ítems y, en base a esta, determinar el CVCi para cada elemento. Finalmente al CVCi calculado se le sustrae el error asignado a cada ítem (2-4).

Dónde:

CVCi = Coeficiente de validación de contenido inicial para el ítem i

Mx = Media de las votaciones de los expertos para el ítem i

Vmáx = Valor máximo de la escala para el ítem i

Pei = Error asociado al ítem i

j = Cantidad de expertos consultados en el estudio

Se recomienda la aceptación de los elementos para valores del CVC superiores a 0,8 de forma individual y como media, para la validación del procedimiento. Los pasos para su aplicación son: 1) definir características del procedimiento, que se desean validar; 2) definir escala de valoración;5 3) conformar cuestionario para consultar a expertos; 4) resumir resultados de los cuestionarios6 y realizar cálculos correspondientes según fórmulas (2; 3 y 4); 5) analizar comportamiento de cada elemento y 6) calcular la media a partir de los valores del CVC para cada uno de los elementos y valorar la validez del procedimiento.

Índice de Iadov

La técnica consiste en la presentación a los encuestados7 de tres preguntas cerradas intercaladas en un cuestionario, donde la relación existente entre estas es desconocida. La primera pregunta se valora en seis categorías de satisfacción y las dos restantes en tres categorías.

A partir de las respuestas de los encuestados y con el empleo del cuadro lógico de Iadov (Tabla 2) se determina el índice de satisfacción grupal, según la expresión (5) para establecer seis niveles de satisfacción: 1) clara satisfacción; 2) más satisfecho que insatisfecho; 3) no definida; 4) más insatisfecho que satisfecho; 5) clara insatisfacción y 6) contradictoria.

(5)

Tabla 2 Cuadro lógico de Iadov 

Fuente: Medina (2016)

En la expresión (5), A; B; C; D y E; representan los encuestados con índices de satisfacción individuales8 de 1; 2; 3 o 6; 5; 4 y N representa el total de encuestados. La evaluación del ISG se encuentra en el rango y se basa en la escala que se muestra en la Fig. 3.

Fig. 3.  Escala para la valoración del Índice de Iadov 

Net Promoter Score (NPS)

Su aplicación radica en una sola pregunta a los usuarios, en este caso: ¿recomendaría la aplicación del procedimiento para la mejora de la gestión de la inocuidad? Evaluada en una escala de 0 a 10 como valor máximo (Fig. 4). Se considera un buen comportamiento valores positivos del NPS y excelente cuando el porcentaje de promotores supere en 50 unidades porcentuales a los detractores.

Fuente: elaboración de los autores

Fig. 4 Valores escala y clasificación de acuerdo al método NPS 

Los pasos para su determinación se resumen en: 1) administrar la pregunta a los usuarios potenciales;9 2) resumir la información de acuerdo a la escala10 y 3) determinar el NPS de acuerdo con la expresión (6).

(6) NPS = % DE PROMOTORES NETOS - % DETRACTORES

La confiabilidad es evaluada mediante el método ANOCHI. El método se fundamenta en la diferencia de rango máxima (DRM) entre n jueces que evalúan con un rango R (escala) los atributos deseados en el procedimiento. Los cálculos necesarios se realizan según las expresiones siguientes (7):

(7)

Dónde:

DRM = Valor de la diferencia máxima de rango para n jueces y rango R (escala)

n = número de jueces empleados en el estudio

(n/2)s = Valor aproximado al entero superior

(n/2)i = Valor aproximado al entero inferior

Rmáx = Valor máximo de la escala

Rmín = Valor mínimo de la escala

FD = Fracción de discrepancia

DR = Diferencia de rango para cada ítem a partir de todas las combinaciones de pares de jueces, mediante la expresión n ļ / 2 ļ (n-2 ļ)

FC = Fracción de concordancia

Los valores de DRM pueden ser calculados de acuerdo a las expresiones mostradas en (7) o bien emplear los valores de referencia que se muestran en la Tabla 3.

Tabla 3 Valores de referencia de diferencias de rango máximas para n jueces 

Fuente: Madrid et al. (2013).

La confiabilidad queda establecida según el valor de la fracción de concordancia (FC), considerada muy buena por encima de 0,8; aceptable entre 0,61 y 0,7; moderada desde 0,41 hasta 0,60; débil entre 0,21 y 0,40 y muy baja para valores inferiores a 0,20 (Guerrero et al., 2016).

De manera sintética los pasos para su determinación son: 1) determinar diferencias de rangos (DR) asignados para cada ítem a partir de todas las combinaciones de pares de jueces, mediante la expresión n ļ / 2 ļ (n-2 ļ); 2); calcular fracción de discrepancia (FD) de cada ítem y el promedio de los n ítems, a partir de la expresión FD = DR/DRM. El valor de la diferencia de rangos máximos (DRM) se toma de la tabla de diferencia de rango máxima de las evaluaciones de n jueces propuestas y 4) calcular fracción de coincidencia (FC) de cada ítem y del promedio como coeficiente de ANOCHI a partir del complemento del valor 1, mediante la expresión FC = (1-FD).

Diseño del instrumento para recolectar la información necesaria

Los elementos a partir de los cuales es validado el procedimiento, son valorados mediante el juicio de expertos. Para la consulta a expertos se diseñó un cuestionario (Anexo 1) que resume las preguntas necesarias para la evaluación de los elementos según los métodos propuestos. La Tabla 4 resume la información recolectada en cada pregunta según el método correspondiente y elemento evaluado.

Tabla 4 Resumen de la información recolectada a partir del cuestionario 

Preg. Método Elemento evaluado
1 ICS; CVC Hipótesis
2 ICS; CVC Principio enfoque a procesos
3 Iadov; ANOCHI; ICS; CVC Fiabilidad. Satisfacción. Factibilidad de aplicación
4 Iadov Factibilidad específica de aplicación
5 ANOCHI; ICS; CVC Fiabilidad. Pertinencia y actualidad
6 Iadov Utilidad
7 ANOCHI; ICS; CVC Fiabilidad. Coherencia entre las fases
8 ANOCHI; ICS; CVC Fiabilidad. Fundamentación teórica
9 ICS; CVC Variables empleadas para la evaluación del riesgo
10 ANOCHI; ICS; CVC Fiabilidad. Importancia de los resultados
11 NPS Índice de recomendación
12 ICS; CVC Principios del procedimiento

Fuente: elaboración propia

Cada pregunta se asocia al elemento que se desea evaluar y al método empleado. De esta forma se facilita el procesamiento de la información resultante.

Selección de los expertos

Para la selección de los expertos se aplica el método propuesto por Frías et al. (2008). A partir de la identificación inicial de los posibles expertos, se determinan sus coeficientes de conocimiento (Kc) y de autoevaluación (Ka), con los que se establecen los coeficientes de experticia (K) (Frías et al., 2008). Se seleccionan aquellos expertos cuyo coeficiente de experticia (K) se encuentre por encima de 0,8.

Integración de los resultados obtenidos

Una vez aplicado el cuestionario, es posible procesar la información mediante Microsoft Excel. En primer lugar se determina el ICS (1) y el CVC (4). Con ambos valores y mediante la expresión (8) se calcula el Índice de objetividad.

(8)

Con respecto a la utilidad del procedimiento, esta se establece mediante el índice de utilidad (9), el cual es calculado a partir de los valores del ISG (5) y el NPS (6).

(9)

A partir de las expresiones (8) y (9) es determinado el índice de validez total del procedimiento (IVT) de acuerdo con (10).

(10)

Valores superiores a 0,625 indican un índice de validez total11 satisfactorio. El análisis del IVT y el coeficiente de ANOCHI (FC), sustentan la validación del instrumento de gestión empresarial.

Resultados

La estrategia propuesta se desplegó en la validación del procedimiento para la gestión de la inocuidad de los alimentos en servicios gastronómicos (García, 2018). Se comprobó la capacidad del procedimiento de contribuir a la solución de la hipótesis, los principios y enfoques, así como su factibilidad, coherencia estructural, actualidad, fundamentación teórica y variables utilizadas.

Se seleccionaron 14 expertos provenientes de la academia, instituciones de salud relacionadas con la higiene de los alimentos y directivos de servicios gastronómicos; a los que se les aplicó el cuestionario de forma individual garantizando la neutralidad, independencia e impersonalidad de la prueba (Tabla 5).

Tabla 5 Juicios de valor emitidos por los expertos 

Fuente: elaboración de los autores

La comprobación de las votaciones de los expertos evidenció la no existencia de diferencias significativas para un 95 % de confianza con un valor -P de la razón -F de 0,6896, confirmado mediante la prueba de hipótesis a partir del test de Kruskal-Wallis.12 Una vez evaluada la pertinencia de los juicios emitidos, se procedió al análisis de los resultados (Tabla 6).

Tabla 6 Consistencia de los juicios emitidos por los expertos 

Fuente: elaboración de los autores a partir del software STATGRAPHICS Centurion V

Para el cálculo de los índices correspondientes se procesaron los juicios de valor mediante Microsoft Excel. Respecto a la objetividad los valores se muestran en la tabla 7. En todos los casos se obtuvieron valores de ICS (1) y CVC (4), superiores al 70 % y 0,8 respectivamente, por lo que se consideraron aceptables (Abreu, 2004; Pedrosa et al., 2014). Con respecto a la capacidad del procedimiento para solucionar el problema investigado a partir de la operacionalización de la gestión de la inocuidad -de acuerdo con la hipótesis formulada- se obtuvo un ICS de 79 %, confirmado con un CVC de 0,9491. Asimismo, con relación al empleo del enfoque de procesos, el ICS fue de 83 % y el CVC de 0,9655. En cuanto a la factibilidad de aplicación se obtuvieron valores del ICS y CVC respectivamente de 76 % y 0,9180.

Tabla 7 Resultados del ICS y CVC 

P1 P3 P5 P6.cvc P7 P8 P9 P10 P12
E1 5 5 5 5 5 5 5 5 5
E2 5 4 5 5 4 5 4 5 4
E3 5 5 5 5 5 5 5 5 5
E4 4 4 5 4 4 4 4 4 5
E5 5 4 4 5 4 4 4 5 4
E6 5 4 5 5 4 5 5 5 5
E7 5 4 5 5 5 5 5 5 5
E8 5 5 5 4 5 5 5 5 5
E9 5 5 5 5 5 4 4 4 4
E10 4 5 5 5 5 5 5 5 5
E11 5 5 4 5 5 5 5 5 4
E12 4 5 5 4 4 5 4 4 4
E13 5 5 5 5 4 5 5 5 5
E14 5 5 5 5 5 5 5 5 5
media 4,7457 4,5901 4,8275 4,7457 4,5161 4,7457 4,5901 4,7457 4,5901
desv 0,4258 0,4972 0,3631 0,4258 0,5135 0,4258 0,4972 0,4258 0,4972
desv.max 2,0755
ICS 79% 76% 83% 84% 75% 79% 76% 79% 76%
CVC 0,9491 0,9180 0,9655 0,9491 0,9032 0,9491 0,9180 0,9491 0,9180
desv.max
2,5944

Fuente: elaboración de los autores

Con relación a la contribución del procedimiento a la solución del problema existió un consenso del 83 %, confirmado por un CVC de 0,9655. Asimismo, se validó la consistencia lógica y sustento teórico. De acuerdo con los expertos, los principios del procedimiento resultaron válidos para un ICS del 76 % y un CVC de 0,9180.

Con ambos valores se calculó el índice de objetividad (8), para un valor de 86,45 %, determinado a partir de la media de los valores del ICS y CVC. Este resultado sustentó la objetividad del procedimiento como parte de la validez, de acuerdo con Tristán y Corpus (2017).

Respecto a la utilidad del procedimiento y su instrumental metodológico, con la técnica de Iadov se obtuvo un índice de satisfacción grupal ISG de 0,8929 (5), que al ser mayor que 0,5 reflejó una valoración positiva (Tabla 8).

Tabla 8 Resultados de la técnica de Iadov 

Escala Resultado Cantidad Porcentaje
1 Clara satisfacción 11 78,57
2 Más satisfecho que insatisfecho 3 21,43
3 No definida
4 Más insatisfecho que satisfecho
5 Clara insatisfacción
6 Contradictoria

(5) ISG =11*(+1)+3*(+0,5)+0*(0)+0*(-0,5)+0*(-1) = 0,8929

Fuente: elaboración de los autores

Se destaca en este punto la propuesta de Frías et al. (2018) de incluir la utilidad como variable en los estudios de validación.

La capacidad de recomendación de los usuarios del procedimiento como medida de su ajuste a la problemática descrita, y por tanto a la utilidad, resultó en un índice de promotores netos (6) de 78,57 % (excelente), como se muestra en la Fig. 5.

Fuente: elaboración propia

Fig. 5 Determinación del Índice de recomendación (NPS) 

A partir del ISG y el NPS se calculó el Índice de utilidad (9), para un valor de 0,8393 (83,93 %) con lo cual se obtuvo un resultado satisfactorio.

El índice de validez total (IVT) se determinó de acuerdo a la expresión (10).13

(10)

El procedimiento presentó una validez total de 0,8519 lo cual resulta muy satisfactorio. La Tabla 9 resume los elementos del procedimiento a partir de los cuales se determinó su validez y los métodos correspondientes con sus resultados.

Tabla 9 Resumen de resultados de la validez del procedimiento 

Fuente: elaboración de los autores

La evaluación de la confiabilidad del procedimiento arrojó un factor de concordancia promedio (7) de 0,8143 (muy bueno). La valoración de los criterios para determinar la confiabilidad se recoge en la Tabla 10.

Tabla 10 Resultados de la evaluación de la confiabilidad del procedimiento 

Fuente: elaboración de los autores

Discusión

El empleo de los índices ICS y CVC confirmó el planteamiento de Hernández et al., (2006) respecto a la ventaja de emplear más de un método para confirmar la validez del objeto estudiado, toda vez que permite contrastar los resultados. En todos los casos se evidenció concordancia en ambas técnicas. Los valores más distantes se situaron en 76 % (ICS) y 0,9180 (CVC) aunque ambos resultan aceptables. Se debe a que ICS al emplear la desviación típica, mínimas diferencias en los juicios de los expertos, inciden en mayor medida en el valor final; no obstante, el resultado se encuentra en el rango permisible y es confirmado por el CVC.

La valoración de la utilidad del procedimiento por parte de los clientes potenciales a partir del ISG y NPS, comprobó que el procedimiento no sólo es útil desde el punto de vista de satisfacer las necesidades de gestión para las cuales fue concebido, sino que además, los usuarios reconocen su importancia y son capaces de recomendarlo. Lo anterior puede entenderse como un nivel superior a la satisfacción.

Al resultar la validez total superior a 0,625, es posible afirmar que el procedimiento general y su instrumental metodológico son válidos; o sea, se comprueba su objetividad y utilidad. Cabe destacar la importancia del empleo de varios métodos para su comprobación, lo que aporta robustez científica a la validación además, permite la comparación de los resultados obtenidos por diferentes vías (métodos). Esta es una de las ventajas de la estrategia propuesta.

Se pudo constatar que el procedimiento general y su instrumental metodológico, desde el punto de vista teórico, resultan válidos y confiables para la gestión de la inocuidad de los alimentos en servicios gastronómicos. De acuerdo con los expertos el procedimiento es capaz de producir resultados similares en distintos espacios de tiempo o contextos en este caso, bajo las mismas condiciones (Lucas et al., 2017).

De esta forma, se comprobó que la estrategia propuesta para la validación de instrumentos de gestión, es aplicable en la práctica. Asimismo, su concepción garantiza la constatación de cada uno de los resultados por distintos métodos, lo que le aporta robustez y minimiza el riesgo de errores.

CONCLUSIONES

Resultan escasas las evidencias de validación de instrumentos vinculados a la gestión empresarial. La mayoría de las investigaciones refieren estudios de caso sin embargo, existen sobradas experiencias en la validación de técnicas o herramientas en el campo de la investigación cualitativa a partir de métodos científicos que presentan una robusta argumentación.

Para la validación de instrumentos de gestión es preciso comprobar su objetividad, utilidad, satisfacción y confiabilidad. La objetividad sustenta la validez y ésta a su vez incluye la utilidad y satisfacción de los usuarios con el instrumento en cuestión. La confiabilidad, por su parte, comprueba la capacidad del instrumento de repetir los resultados esperados en distintos espacios de tiempo o contextos (empresas en este caso) bajo condiciones de aplicación similares.

El valor de la estrategia propuesta radica en viabilizar la validación de instrumentos de gestión en un periodo de tiempo corto mediante argumentos científicos. Por otro lado, permite prever posibles adecuaciones a los instrumento antes de su aplicación, con lo cual contribuye al uso eficiente de los recursos humanos, financieros y tecnológicos. Asimismo, el empleo de expertos para la evaluación de los elementos a validar contribuye a la neutralidad, independencia e impersonalidad en la valoración del objeto de análisis.

La estrategia de validación no sustituye otros métodos ligados a la validación de instrumentos. Se considera que una vez comprobada la validez del instrumento de forma teórica, se proceda a su validación práctica mediante un estudio de caso y luego integrar ambos resultados.

REFERENCIAS

Abreu, R. (2004). Modelo y procedimiento para la toma de decisiones de inversión sobre el equipamiento productivo en empresas manufactureras cubanas (tesis doctoral). Universidad Central Marta Abreu de Las Villas, Santa Clara, Cuba. Recuperado de http://www.catedragc.mes.edu.cuLinks ]

Alarcón, M. R. (2019). Modelo de evaluación del Impacto del Talento Humano en la Responsabilidad Social Empresarial en ámbitos de estudios seleccionados del Cantón Ambato - Ecuador (tesis doctoral). Universidad de Matanzas, Matanzas, Cuba. Recuperado de http://www.catedragc.mes.edu.cuLinks ]

Fernández, L., Auquilla, L., Reyes, M. V. y Sancho, D. (2017). Estrategias de mejora para la gestión de los restaurantes. Caso de estudio: Establecimientos de comida típica de la amazonía del Ecuador. Revista Científica ECOCIENCIA, 4(4), 1-23. Recuperado de http://www.ecociencia.comLinks ]

Frías, R. A., Cuétara, L., González, M., González, Á. y Corzo, Y. (2008). Herramientas de apoyo a la solución de problemas no estructurados en empresas turísticas. Matanzas, Cuba: Editorial universitaria. [ Links ]

Frías, R. A., González, M., González, Á. M. y Santa Cruz, D. (2016). Gestión de la calidad en empresas de servicios. Quito, Ecuador: Universidad Espíritu Santo-Ecuador. [ Links ]

Frías, R. A., Tarifa, L. y García, Y. A. (2018). Papel de los indicadores de la calidad en la planeación estratégica de la Universidad de Matanzas. En Libro de investigación: Educación y Pedagogía Cuba 2018. (pp.119-136). Recuperado de https://redipe.org/editorial/libros-cuba/Links ]

García, Y. A. (2018). Contribución a la gestión de la inocuidad de los alimentos en servicios gastronómicos (tesis doctoral). Universidad de Matanzas, Matanzas, Cuba. Recuperado de http://www.catedragc.mes.edu.cuLinks ]

Guerrero, R., Capó, J. R. y López, A. (2016). Modelación estadístico-matemática aplicada al seguimiento de egresados de carreras de perfil técnico agropecuario. Revista Ciencias Técnicas Agropecuarias, 25(4), 45-58. Recuperado de http://dx.doi.org/10.1340Links ]

Hernández, R., Fernández, C. y Baptista, P. (2006). Metodología de la investigación (4ta ed.). Recuperado de https://www.uv.mx/personal/cbustamante/files/2011/06/Metodologia-de-la-Investigaci%C3%83%C2%B3n_Sampieri.pdfLinks ]

Holmes, J. L. (2018). Integration of doctoral students in distance programs: An instrument validation study of educational doctorate students (tesis doctoral). Liberty University Lynchburg, Ohio, United States. Recuperado de http://www.digitalcommons.liberty.edu/doctoral/1677/Links ]

João Fernandes, D. (2016). Procedimiento para el sistema de evaluación del desempeño de los docentes en universidades públicas angolanas. Estudio de caso: Universidad José Eduardo dos Santos. (tesis doctoral). Universidad Central Marta Abreu de Las Villas, Santa Clara, Cuba. Recuperado de http://www.catedragc.mes.edu.cuLinks ]

Lawshe, C. H. (1975). A quantitative approach to content validity.Personnel Psychology, 28(4), 563-575. [ Links ]

Lucas, B., Pérez-Albéniz, A., Fonseca, E., Ortuño, J., Luz, M. y Santarén, M. (2017). Fiabilidad y evidencias de validez de un instrumento para la evaluación de la calidad de los mapas conceptuales. Contextos Educativos, (2), 119-130. doi: 10.18172/con.3065 [ Links ]

Madrid, A., Bustos, R., Ortiz, J. y Ríos, A. (2013). Diseño de una metodología para la implementación de un repositorio electrónico de conocimiento. Revista Internacional Administración y Finanzas, 6(5), 1-16. Recuperado de http://www.theIBFR.comLinks ]

Masud, M. (2018). An Examination of Case Studies in Management Research: A Paradigmatic Bridge. Interntional Journal of Social Science Studies, 6(3), 1-19. doi: 10.11114/ijsss.v6i3. [ Links ]

Medina, D. (2016). Instrumento metodológico para gestionar el conocimiento mediante el observatorio (tesis doctoral). Universidad de Matanzas, Matanzas, Cuba. Recuperado de https://www.catedragc.mes.edu.cu [ Links ]

Munro, E. & Hardie, J. (2018). Why we should stop talking about objectivity and subjectivity in social work. The British Journal of Social Work, 49(2), 411-427. Recuperado de https://doi.org/10.1093/bjsw/bcy054Links ]

Noble, H. & Smith, J. (2015). Issues of validity and reliability in qualitative research. Evidence-based nursing, 18(2), 34-35. Recuperado de http://ebn.bmj.com/Links ]

Paez, D. & Filion, Y. (2017). Generation and validation of synthetic WDS case studies using graph theory and reliability indexes. Procedia Engineering, 186, 143-151. doi: 10.1016/j.proeng.2017.03.220 [ Links ]

Pedrosa, I., Suárez, J. y García, E. (2014). Evidencias sobre la validez de contenido: Avances teóricos y métodos para su estimación. Acción psicológica, 10(2), 3-20. doi: 10.5944/ap.10.2.11820 [ Links ]

Pérez, P. (2014). Procedimiento para mejorar la gestión de tecnologías de la información en el sector empresarial cubano (tesis doctoral). Universidad Central Marta Abreu de La Villas, Santa Clara, Cuba. Recuperado de http://www.catedragc.mes.edu.cuLinks ]

Post, S. (2015). Scientific objectivity in journalism? How journalists and academics define objectivity, assess its attainability, and rate its desirability. Journalism, 16(6), 730-749. Recuperado de https://doi.org/10.1177/1464884914541067Links ]

Reiss, J., & Sprenger, J. (2014). Scientific objectivity. Stanford Encyclopedia of Philosophy. Recuperado de https://www.plato.stanford.edu/archives/win2017/entries/scientific-objectivityLinks ]

Rodríguez, A. y Pérez, O. A. (2017). Métodos científicos de indagación y de construcción del conocimiento. Revista EAN, (82), 179-200. doi: 10.21158/01208160.n82.2017.1647 [ Links ]

Rosendahl, J., Zanella, M. A., Rist, S., & Weigelt, J. (2015). Scientists’ situated knowledge: Strong objectivity in transdisciplinarity. Futures, 65, 17-27. doi: 10.1016/j.futures.2014.10.011 [ Links ]

Rowe, J. (2014). Mejores prácticas de NPS: ¿Qué es NetPromoterScore? Recuperado de https://support.zendesk.com/hc/es/articles/203759076Links ]

Rubio, M. J. (2003). Enfoques y modelos de evaluación del e-learning.RELIEVE-Revista Electrónica de Investigación y Evaluación Educativa, 9(2), https://doi.org/10.7203/relieve.9.2.4332Links ]

Tristán, A., y Corpus, Y. N. (2017). La objetividad en las pruebas estandarizadas. Revista iberoamericana de evaluación educativa, 10(1), 11-31. doi: 10.15366/riee2017.10.1.001 [ Links ]

Urrutia, M., Barrios, S., Gutiérrez, M., y Mayorga, M. (2014). Métodos óptimos para determinar validez de contenido. Educación Médica Superior, 28(3), 547-558. Recuperado de http://scielo.sld.cuLinks ]

1 Los términos empleados en inglés fueron: validity, reliabitlity y objectivity.

2 También entendida como fiabilidad.

3 Es la desviación estándar de las n evaluaciones de un criterio i, donde n/2 toma el valor mínimo de la escala y la otra mitad el valor máximo de la escala empleada.

4 La expresión porcentual del índice se emplea para la interpretación del resultado; sin embargo, en cálculos posteriores que impliquen el ICS, se utilizará el valor del índice antes de expresarlo en porcentaje.

5 Se sugiere el empleo de una escala tipo Likert.

6 Se propone el empleo de una hoja de Microsoft Excel, lo cual permite la programación de los cálculos necesarios.

7 En la mayoría de los casos para la elección de los encuestados, con fines de valoración de una propuesta en cuestión, es empleado el método de selección de expertos.

8 Los índices de satisfacción individuales se determinan con la ayuda del cuadro lógico de Iadov (véase la Tabla 2), a partir de interceptar las respuestas en el referido cuadro.

9 Para este caso en particular se sugiere el empleo de expertos.

10 Resulta útil el empleo del Microsoft Excel, puesto que facilita los cálculos posteriores.

11 El valor indicado, representa la media de los valores mínimos necesarios para aceptar los coeficientes empleados. Se asume que todos, como condición, alcanzan el valor mínimo para su aceptación, puesto que de no ser así, implican la reformulación del procedimiento. Para los cálculos se emplea el valor de los índices, sin su expresión porcentual, empleada esta solamente para la interpretación de los resultados.

12 Para analizar la pertinencia de las votaciones se empleó el software STATGRAPHICS Centurion V.

13 Para los valores de ICS y CVC se toma la media, correspondiente a los índices (no la expresión porcentual) obtenidos en cada aspecto evaluado.

Anexo 1. Cuestionario empleado para la validación del instrumento de gestión

Estimado experto, sobre el procedimiento e instrumental metodológico para la gestión de la inocuidad de los alimentos en servicios gastronómicos, le solicitamos su valoración sobre los aspectos siguientes en una escala del 1 al 5, donde 5 es el valor máximo:

  1. ¿Considera Ud. que la operacionalización de las herramientas planteadas en el procedimiento propuesto para la gestión de la inocuidad, contribuye a su mejora?

    • 5___ 4___ 3___ 2___ 1___

  2. ¿La utilización del enfoque a procesos mejora y contribuye a la aplicación del procedimiento?

    • 5___ 4___ 3___ 2___ 1___

  3. ¿Considera Ud. que el procedimiento propuesto es factible de aplicar en las condiciones actuales de los servicios gastronómicos?

    • 5___ 4___ 3___ 2___ 1___

  4. ¿Si tuviera que gestionar la inocuidad en un establecimiento gastronómico, utilizaría el procedimiento propuesto?

    • ___ SÍ NO SÉ___ NO___

  5. ¿Considera Ud. necesario y actualizado el procedimiento?

    • 5___ 4___ 3___ 2___ 1___

  6. ¿Considera Ud. que el procedimiento propuesto resulta provechoso para lograr implantar acciones de mejora de forma efectiva que contribuyan a la gestión de la inocuidad?

    • Me satisface mucho___ Más satisfecho que insatisfecho___ Me es indiferente___

    • Más insatisfecho que satisfecho___ No me satisface___ No sé qué decir___

  7. ¿Existe coherencia entre las fases y pasos que conforman el procedimiento?

    • 5___ 4___ 3___ 2___ 1___

  8. ¿La teoría relativa a la gestión de la inocuidad fundamenta las fases y pasos del procedimiento?

    • 5___ 4___ 3___ 2___ 1___

  9. ¿Considera Ud. acertadas las variables definidas para el análisis de riesgos y su forma de cálculo?

    • 5___ 4___ 3___ 2___ 1___

  10. ¿Considera Ud. importantes los resultados esperados de la aplicación del procedimiento?

    • 5___ 4___ 3___ 2___ 1___

  11. ¿Recomendaría la aplicación del procedimiento para la mejora de la gestión de la inocuidad en establecimientos gastronómicos? Tomando 10 como valor máximo.

  12. Los principios que rigen el procedimiento son: a) Creativo-innovador (ser aplicado en un ambiente participativo y propicio a las iniciativas); b) Alineación al sistema APPCC; c) Flexibilidad (capacidad de aplicarse total o parcialmente de acuerdo a cada entidad); d) Consistencia lógica (secuencia lógica de los pasos); e) Sistematicidad (tiene en cuenta la relación de la inocuidad con otros procesos); f) Carácter participativo y de trabajo en equipo. ¿Exprese en qué medida está de acuerdo?

    • 5___ 4___ 3___ 2___ 1___

Recibido: 30 de Agosto de 2020; Aprobado: 12 de Mayo de 2021

*Autor para la correspondencia: yagpulido@gmail.com

Lo autores declaramos que el manuscrito es original y no ha sido enviado a otra revista para su publicación. Es responsabilidad de los autores los contenidos abordados en el manuscrito y se asegura que no existen plagios, conflictos de interés, ni conflictos éticos y se libera a la revista de cualquier compromiso ético y/o legal.

Yadrián Arnaldo García Pulido Conceptualización (líder). Análisis formal, Curación de datos, redacción - borrador original (igual).

Roberto Argelio Frías Jiménez Conceptualización (apoyo). Redacción - borrador original (igual), curación de datos.

Alberto Arnaldo Medina Léon. Conceptualización (apoyo), administración del proyecto, recursos.

Creative Commons License