La calidad de los Sistemas de Información en la eficiencia de las Pymes

The quality of information systems and the efficiency of SME

Demian Abrego-Almazán^1*, José M. Medina-Quintero¹, Yesenia Sánchez-Tovar¹

¹ Universidad Autónoma de Tamaulipas, Facultad de Comercio y Administración, Centro Universitario Adolfo López Mateos C.P. 87149, Cd. Victoria, México, Tel: (834) 3181757 ext. 125, {dabrego, jmedinaq, yesanchez}@uat.edu.mx

RESUMEN

Los Sistemas de Información (SI) actualmente juegan un rol relevante en la operatividad y competitividad de las organizaciones, por tanto, identificar su valor empresarial ha sido una de las principales inquietudes de directivos e investigadores. La meta de la presente investigación es determinar el efecto de la calidad de los SI en los constructos de uso-utilidad y satisfacción de los usuarios y estos a su vez con la percepción de mejora de la eficiencia interna y de reducción de costos organizacionales de empresas pequeñas y medianas (Pymes) del noreste de México, Para alcanzarlo, se utiliza el modelado de ecuaciones estructurales con la aplicación de 195 cuestionarios. La evidencia empírica sugiere que la eficiencia interna se ve afectada por la satisfacción de los usuarios y su intención por emplear un SI, los que, a su vez, están influenciados por la calidad de la información, mientras que con el constructo costos organizacionales solo se ve afectada por el uso del SI. Se espera que los resultados obtenidos puedan ayudar a los dueños de empresas Pymes a planificar más eficazmente sus inversiones en tecnologías de información (TI).

Palabras clave: Sistemas de información, calidad, eficiencia interna, costos organizacionales.

ABSTRACT

Nowadays, Information Systems (IS) play a relevant roll in the operability and competitiveness of organizations. Therefore, to identify their business value has been one of the main concerns of managers and researchers. The goal of this study is to determine the quality effect of IS in the constructs in use-value and user satisfaction, as well as with the perceptions of improvement of the internal efficiency and organizational costs of small and medium business (SME) from Northeastern Mexico. To fulfill this purpose, the structural equation modeling is used with the application of 195 questionnaires. The empirical evidence suggests that internal efficiency is affected by the satisfaction of users and their intention to use an IS, which is influenced by the quality of information, while the construct organizational costs only is affected by the use of the IS. It is expected that the results can help the owners of SME to plan more efficiently their investments in TI.

Key words: Information systems, quality, internal efficiency, organizational costs.

INTRODUCCIÓN

Actualmente las organizaciones se encuentran en un mundo competitivo con una economía globalizada y ampliamente interconectada, la generación de información se ha potenciado dentro de la empresa y desde fuentes externas (Abrego et al., 2015), por lo tanto, los SI juegan un rol relevante en las misma, llegando a ser indispensables para atender a los clientes, proveedores, socios, empleados y accionistas (Ferreira & Cherobim, 2012), por lo cual, no es discutible su inversión, pero debido a su alto costo de implementación y mantenimiento hace que la gerencia se interese en que su integración sea de manera exitosa y alineada con sus objetivos.

No obstante, la evidencia empírica señala que la sola inversión en SI y en nuevas herramientas de gestión no garantiza la mejora de los resultados empresariales (Pérez y Machado, 2014), motivo que impulsa a la academia a profundizar en el conocimiento de los factores explicativos del éxito de los SI y sus impactos dentro de ellas, lo que ha derivado en la propuesta de modelos, constructos e indicadores que permitan valorar sus efectos (Gorla et al., 2010; Gonzáles, 2012). Por tanto y con el propósito de coadyuvar a una mejor comprensión del impacto de los SI en las organizaciones DeLone y McLean (D&M) propusieron en 1992 un modelo de medición multidimensional con interdependencias entre sus diferentes categorías, con el fin de sugerir una definición integral del éxito de los SI.

Sin embargo, su enfoque en el campo de la investigación de los SI ha tendido más hacia el estudio del impacto individuad, es decir a los usuarios, que a un nivel organizacional (Petter et al., 2008). Además de que ha sido muy cuestionado (Wu y Wang, 2006), por lo cual tuvo que ser renovado en el año 2003, dicha actualización incluye las principales críticas recibidas, pero también considera las nuevas tendencias tecnológicas (Rodríguez et al., 2014). No obstante, lo anterior, el modelo de éxito de D&M es uno de los más referenciados en la literatura de los SI, en parte debido a su comprensibilidad y sencillez (Urbach et al., 2009), pero sobre todo por la robustez de los resultados obtenidos de su aplicación (Petter et al., 2013).

Por otro lado, se detecta el hecho de que los estudios acerca del impacto de los SI en las organizaciones fuera de un contexto de economías desarrolladas son limitado e incipiente (Abrego et al., 2015). Por ello y lo anteriormente descrito, el presente estudio tiene como objetivo analizar cómo influyen la calidad de los SI en la percepción de mejora de la eficiencia interna y en la reducción de costos organizacionales en Pymes (empresas privadas de los sectores económicos comercial, industrial, y de servicios con una planta laborar que oscila entre 11 y 100 empleados y ventas entre 4 y 100 millones de pesos anuales) pertenecientes al estado de Tamaulipas, México un país con una economía emergente. Para alcanzarlo se realizó una revisión de la literatura, recolectándose datos mediante la aplicación de una encuesta a 195 Pymes específicamente de los municipios de Victoria, Reynosa y Matamoros, los cuales fueron analizados mediante la técnica de Mínimos Cuadrados Parciales (PLS, Partial Least Squares, por sus siglas en inglés).

Ahora bien, la presente investigación se ha estructurado de la siguiente forma: una sección para la descripción del método utilizado y del modelo propuesto; seguido, del análisis de los resultados; y finalmente en el último apartado se muestran las principales aportaciones al conocimiento obtenidas.

MÉTODOS

El presente estudio plantea un modelo conceptual, en el cual se propone que la calidad del sistema, de la información y del servicio afectan tanto al uso del sistema como a la satisfacción del usuario, de acuerdo con D&M el uso – utilidad y la satisfacción del usuario son recíprocamente interdependientes, no obstante, para un análisis pleno se debe realizar una investigación en el que el uso-utilidad y la satisfacción del usuario son seguidos en el tiempo, sin embargo, en la presente investigación no se intenta capturarla ya que se limitó a un solo punto en el tiempo.

En relación con el proceso de creación del instrumento, éste se fundamenta en una revisión de la literatura especializada relacionada con modelos de evaluación de los SI e impacto de las TI en las organizaciones, lo que derivó en una adaptación de las escalas de medida inicialmente propuestas, por lo que el primer boceto del instrumento fue enviado para su revisión a un grupo de investigadores y profesionales del área. De cada experto se recibió su opinión sobre la congruencia, relevancia, suficiencia y claridad de los ítems-factores propuesto.

La información recabada permitió retirar de la sección de datos generales preguntas que pudieran servir como identificador de la empresa, eliminar ítems redundantes, y adaptar la terminología y conceptos de los mismos, además de sugerir un cambio en el tamaño de la escala de Likert, todo lo anterior con el fin de obtener un instrumento fácil de comprender e interpretar por el sujeto de investigación. Cabe señalar que también se realizó una prueba piloto en la zona centro del estado de Tamaulipas, en el mes de octubre del 2014, con un tamaño de muestra de 20 Pymes. El cuestionario resultante está conformado por 47 ítems, de los cuales 8 son de respuesta múltiple y 39 de escala tipo Likert de 5 puntos (1. Muy en desacuerdo a 5. Muy de acuerdo), la tabla 2 muestra el resultado obtenido.

Para la obtención de la muestra, se partió de los registros proporcionados por el Sistema de Información Empresarial Mexicano (SIEM, http://www.siem.gob.mx) en donde para noviembre de 2014, se tenían registradas 1528 Pymes en el estado de Tamaulipas. Después de identificarlas, se gestionó la autorización correspondiente con las diferentes Cámaras y Asociaciones de Comercio y Servicio de las localidades seleccionadas para el apoyo en la aplicación del instrumento.

El trabajo de campo se realizó a través de un muestreo a conveniencia, descartando a las Pymes que no cuentan con un SI aplicado en la misma. En este contexto y para efectos de la presente investigación un SI se puede definir como el conjunto de elementos orientados al tratamiento, administración y diseminación de datos e información, organizados y listos para su uso posterior, generados para cubrir una necesidad en una organización, lo cual, es similar a las ideas de un SI de Turban et al. (2013).

La recolección de los datos se llevó a cabo entre los meses de diciembre del 2014 y marzo del 2015, a través de visitas in situ a las Pymes y explicando al sujeto de investigación el objetivo del estudio, en este caso el informante clave abordado fueron los gerentes generales y de contabilidad, debido a que reúnen el perfil deseado - contar con información de los procesos del negocio y conocimientos en TI, la muestra final lograda fue de 195 Pymes de los diferentes sectores económicos que conforman al Estado.

RESULTADOS

Características de la muestra

Después de aplicar y contabilizar la información recabada, los resultados revelan que la muestra se integra por empresas del sector comercio con un 64%, de servicios con 27%, y del sector industrial con un 9%, de estas el 51 % ocupan entre 11 a 30 empleados, 22% de 31 a 50, 12% de 51 a 100 y 15% de 101 o más. Por otra parte, el 37% de las empresas indicaron que cuentan con personal propio de SI, un 32% con externo y 30% tienen de ambos tipos, mientras que el 34% usan sus SI más de 30 horas a la semana, mientras que el 32% lo ha utilizado por más de 16 años. Aun cuando algunas características de la muestra pueden estar parcialmente sesgadas como el sector económico, hay que tener en cuenta que en la zona de estudio el sector económico que más aporta al PIB es el de comercio (INEGI, 2009).

Para comprobar el modelo de investigación propuesto se utilizó el modelado de ecuaciones estructurales aplicando la técnica estadística denominada PLS, mediante el paquete informático SmartPLS versión 3 (Ringle et al., 2014). Esta técnica exige evaluar la calidad del modelo antes de obtener su validación estructural. Por lo tanto, se realizaron pruebas de los principales criterios de calidad, comenzando por el análisis de la fiabilidad individual del ítem, el cual establece que para aceptar un indicador como integrante de un constructo reflectivo, este debe poseer una carga factorial (λ) o correlaciones simples iguales o superiores a 0,707 (Carmines y Zeller, 1979). Tomando como referencia el criterio de aceptación anterior, se eliminaron seis indicadores en Tabla 2 se muestran los resultados obtenidos para esta prueba.

Por otra parte, también se debe calcular el promedio de la varianza extraída (AVE, por sus siglas e inglés). Este coeficiente indica la cantidad de varianza que un constructo reflectivo obtiene de sus indicadores con relación a la cantidad de varianza debido al error de medida y su valor debe ser mayor que 0,5 (Fornell y Larcker, 1981) y como se puede observar en la Tabla 4 todas las medidas AVE son válidas.

Por último, se analizaron los valores de la matriz de correlaciones entre constructos, la cual está formada por la raíz cuadrada del coeficiente AVE obtenido de cada constructo, señalando que dichos valores deben ser superiores al resto de su misma columna (Chin, 1998). Como se puede observar en la Tabla 5 los constructos cumplen con dicho criterio.

Una vez que se ha podido comprobar que los constructos son fiables y válidos, se procedió a calcular el peso y la magnitud de las relaciones entre las distintas variables, es decir, evaluar el modelo estructural, lo anterior mediante la utilización de dos índices propuestos por Johnson et al. (2006): i) La varianza explicada (R2) – la cual permite determinar el poder predictivo del modelo, por ello sus valores deben ser iguales o mayores a 0.19 ya que menores proporcionan poca información; y ii) los coeficientes path estandarizados (b), los cuales muestran la fuerza de las relaciones entre las variables dependientes e independientes, por lo cual sus valores deben de alcanzar al menos un 0,2 para que se consideren significativos (Chin, 1998) y como se observa en la Tabla 6 los valores obtenidos para R2 están dentro de rangos convenientes.

Cabe señalar que se recurrió a la técnica no paramétrica Bootstrap, con un procedimiento de remuestreo con reemplazo, considerando 195 casos con 5000 muestras, lo cual es recomendado para resultados finales (Hair et al., 2014), de lo anterior se obtuvieron los valores t de Stundent y la significancia (p). Para una distribución t de Student de dos colas con n grados de libertad, siendo n el número de muestras a considerar en la técnica Bootstrap, los valores que determinan la significancia estadística son: t (95%)=1.965*, t (99%)=2.586**, y t (99.9%)=3.310***.  Como se observa en la Tabla 7, del total de hipótesis planteadas solo las hipótesis H3, H5, H7 y H9 no resultan significativas.

Continuando con la inferencia estadística, para medir la bondad predictiva de los constructos dependientes del modelo, se ha recurrido al procedimiento Stone-Geisser o parámetro Q². Esta prueba se calcula por medio de la técnica blindfolding. El parámetro Q² debe ser mayor a 0 (cero) para que el constructo tenga validez predictiva (Chin, 1998). Como se observa en la Tabla 8, todos los valores Q² cumplen con lo establecido, lo que apoya la relevancia predictiva del modelo en relación con las variables latentes endógenas.

Contraste de hipótesis

De la Tabla 7 se puede inferir lo siguiente: Que la calidad de la información influyen de forma significativa tanto en la satisfacción (H1: β = 0,288; p < 0,001), como en el uso-utilidad percibido del sistema (H2: β = 0,442; p < 0,001), lo cual indica que si la información es clara, oportuna, relevante y exacta puede ser usada por las Pymes para mejorar de manera efectiva sus costos y la eficiencia interna, lo anterior es similar a lo detectado por Gorla et al., (2010)  y parecido a los de Tona et al. (2012) y Nunes (2012) ya que en ambas investigaciones la calidad de la información solo apoyo al constructo satisfacción, no obstante son contrarios a los resultados obtenidos por Solano et al. (2014) debido a que la relación calidad y satisfacción-productiva fue negativa y poco significativa.

Por otra parte, en relación al constructo calidad de sistemas sus hipótesis H3 (β = 0,187) y H4 (β = 0,067) son rechazadas debido a sus valores obtenidos, por tanto se puede inferir que las Pymes encuestadas no toman en cuenta la calidad de los SI como un medio para mejorar su eficiencia interna y reducir sus costos organizacionales, quizá se deba a que los SI implementados sean de uso mandatorio y por consiguiente, la satisfacción sea solo percibida en función de la calidad de la información recibida, no importando a los usuarios el grado de sofisticación e integración del mismo, lo cual contrasta con otras investigaciones (Pérez, 2010; Nunes, 2012; Solano et al., 2014) debido a que en ellas se detecta una fuerte relación entre este constructo y sus variables latentes. Por lo cual, debe considerarse como un punto de mucha atención y relevancia para los involucrados en desarrollo e implantación de soluciones basadas en SI.

Con respecto a la calidad de los servicios informáticos en relación al uso–utilidad del sistema, la hipótesis H5 tiene el suficiente sustento estadístico (β = 0,229; p > 0,001), por lo tanto, se acepta. Mientras que con respecto a la satisfacción de usuario los resultados muestran un valor positivo pero no significativo, esta relación no se plasma o bien por la tercerización del servicio o por la ausencia de formación en la manera de brindar el servicio, lo cual abre un área de oportunidad de mejora del staff de informática, para que este también sea vea reflejado en lo referente al uso-utilidad del SI, es decir, esforzarse aún más para dar a conocer, escuchar y atender las necesidades de los usuarios. Lo resultante es parcialmente parecido a los obtenidos por Wang (2008), Pérez (2010), y Nunes (2012) a consecuencia de que los autores encuentran que influye de manera significativa en sus variables latentes, pero en la presente investigación solo se ve reflejada en el uso-utilidad del sistema, pero, aun así, el estudio proporciona apoyo empírico a este constructo independiente poco estudiado al determinar que sí influye en el rendimiento organizacional de empresas Pymes.

Mientras en lo tocante a las hipótesis  H8 (β=0,270; p <0,01) y H10 (β = 0,389, p >0,001.) estas fueron apoyadas, lo que muestra que la variable uso-utilidad posee un efecto positivo y significativo en el impacto de indicadores de nivel organizacional, lo anterior resulta relevante para el éxito de un SI ya que indica que los encuestados perciben una disminución en los costos operacionales; es decir, distinguen a los SI como un medio de mejora del rendimiento empresarial, corroborando lo vertido por Petter et al. (2013) y Solano et al. (2014).

Con respecto a lo obtenido entre los constructos satisfacción del usuario y uso-utilidad del sistema se destaca que los valores obtenidos en la hipótesis H7 (β = 0,473; p < 0,001) son los más significativos del modelo propuesto, por ello es aceptada, caso similar se presente en la relación H9 (β = 0,287; p < 0,01) y que tiene que ver con la percepción de mejora de la eficiencia interna, por lo cual también es aceptada, lo que demuestra que este constructo ejerce una importante influencia sobre estas variables latentes endógenas. Los resultados logrados son similares a los de Calderón y Rodríguez (2010); sin embargo, no se observó igual situación en la hipótesis H11 (β = 0,130) en donde la satisfacción no influye en cuestiones relacionadas con la reducción de costos organizacionales.

Por último, los resultados en general permiten inferir en que, si las empresas Pymes se esfuerzan por dotar de sistemas de mayor calidad, con capacitación y una mejor atención por parte del staff de informática desencadenará una mayor motivación e intención de uso de los mismos, en beneficios de la propia empresa y de la propia evaluación de los SI implementados.

CONCLUSIONES Y LIMITACIONES

En cuanto a la calidad de los servicios, este es un tema que ha recibido innumerables críticas, pero al final, es un elemento primordial dentro del marco de operación de los SI. Sin lugar a dudas, la disposición del personal de informática por ayudar a los usuarios, se vuelve fundamental para alcanzar los objetivos organizacionales y la satisfacción ante esta herramienta, sin embargo, se requiere un mayor compromiso por dicho personal ya que los usuarios no lo ven como un medio para alcanzar un mayor uso de los SI y percibir una mayor utilidad. Para ello, es imprescindible un replanteamiento de las actividades realizadas y considerar i) la participación del usuario en la adquisición o desarrollo del software, ii) la participación activa de directivos, iii) la planificación adecuada, iv) capacitación efectiva, entre otros factores.

Por último, la rentabilidad de los SI estriba en su capacidad de gestionar y optimizar las principales áreas estratégicas del negocio. En este sentido, se requiere de una planificación adecuada de los SI, con el fin de garantizar su calidad y relevancia para el desarrollo de la estrategia de negocio, logrando con estas acciones ese estado psicológico de satisfacción que trae como consecuencia un mayor uso de los SI y de percepción de utilidad, en otras palabras, si una organización que paga por un SI que no usa y no apoya a los objetivos del negocio, es como si no lo usara y por consiguiente haber realizado una mala inversión.

Por otra parte, como toda investigación esta presenta ciertas limitantes que se deben considerar antes de generalizar los resultados, la primera se relaciona con la validación de un modelo, la cual no puede ser establecida sobre la base de un solo estudio, dado que los datos representan una instantánea en el tiempo. En segundo terminado esta lo relacionado con el ámbito geográfico (tres municipios de Tamaulipas, México). Por ello, las críticas a las relaciones causa-efecto detectadas se deben realizar con cautela.

REFERENCIAS BIBLIOGRÁFICAS

ABREGO, D., MEDINA, J., Y SÁNCHEZ, M. (2015). Los sistemas de información en el desempeño organizacional: un marco de factores relevantes. Investigación Administrativa, 115, 7-23.

BOKHARI R. (2005). The relationship between system usage and user satisfaction: a meta-analysis. The Journal of Enterprise Information Management, 18, 211-234.

CARMINES, G., Y ZELLER, R. (1979). Reliability and validity assess- ment. Sage University Paper Series on Quantitative Applications in the Social Sciences, series nos. 07-017, Sage, Beverly Hills, Ca.

CHIN, W. (1998). Issues and Opinion on Structural Equation Modeling. MIS Quarterly, 22(1), 7-17.

FERREIRA, R. Y CHEROBIM, A. (2012). Impacts of investments in it on the organizational performance of baking companies of minas gerais state: a multicase study. Revista de Administração e Contabilidade da Unisinos, 9(2), 147-161.

FITZGERALD, G. Y RUSSO, N. (2005). The turnaround of the London ambulance service computer-aided dispatch system (LASCAD). European Journal of Information Systems, 14(3), 244–257.

FORNELL, C. Y LARCKER, D. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18, 39-50,

GABLE, G.; SEDERA, D. Y CHAN, T. (2008). Re-conceptualizing Information System Success:the IS-Impact Measurement Model. Journal of the Association for Information Systems, 9(7), 377-408.

GONZÁLES, R., (2012). Impacto de la Data Warehouse e Inteligencia de Negocios en el Desempeño de las Empresas: Investigación Empírica en Perú, como País en Vías de Desarrollo. Tesis inédita: Universitat Ramon Llull. ESAN - Política de Empresa, Dirección Recursos Humanos y Sistemas de Información.

GORLA, N.; SOMERS, T. Y WONG, B. (2010). Organizational impact of system quality, information quality, and service quality. Journal of Strategic Information Systems, 19, 207–228.

HABERKAMP, A.; MAÇADA, A.; RAIMUNDINI, S. Y BIANCHI, M. (2010). Impacto dos investimentos em tecnologia da informação nas variáveis estratégicas das empresas prestadoras de serviços contábeis. Revista de Administração e Contabilidade da Unisinos, 7(2), 149-161.

HALAWI, L., MCCARTHY, R. Y ARONSON, J. (2007). An Empirical Investigation of Knowledge Management Systems Success. Journal of Computer Information Systems, 48(2), 121-135.

HAIR, J., HULT, G., RINGLE, C., & SARSTEDT, M. (2014). A Primer on Partial Least Squares Structural Equation Modeling (PLS-SEM). Thousand Oaks: Sage.

HENSELER, J., DIJKSTRA, T., SARSTEDT, M., RINGLE, C., DIAMANTOPOULOS, HAIR, J., A., ... & CALANTONE, R. (2014). Common Beliefs and Reality about Partial Least Squares: Comments on Rönkkö and Evermann. Organizational Research Methods, 17(2), 182-209.

HU, L., & BENTLER, P. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6, 1–55.

INEGI (2009). Producto Interno Bruto de Tamaulipas 2005 - 2009. http:// www.inegi.org.mx/inegi/ contenidos/espanol/ prensa/ boletines/ Boletin/Comunicados/Especiales/2011/Abril/comunica28.pdf. Acceso junio 2014.

JOHNSON, M., HERRMANN, A., Y HUBER, F. (2006). The evolution of loyalty intentions. Journal of Marketing, 70(2).122-132.

KETTINGER, W., SUNG-HEE Y SMITH, J. (2009). Understanding the consequences of information systems service quality on IS service reuse. Information & Management, 46, 335-341.

KIM, M.; MOON, Y. (2012). How User-Created-Content (UCC) Service Quality Influences User Satisfaction and Behaviour. Canadian Journal of Administrative Sciences, 29, 255–267.

LUNARDI, G.; DOLCI, P.; MAÇADA, A., (2010). Adoção de tecnologia de informação e seu impacto no desempenho organizacional: um estudo realizado com. Revista de Administração - RAUSP, 45 (1), 5-17.

NUNES, G. (2012). Estudio de satisfacción del usuario de sistemas de información en hospitales universitarios del nordeste (Brasil). Tesis inédita: DEHESA, Universidad de Extremadura, España.

PÉREZ, B. (2010). Validity of Delone and Mclean’s model of information systems success at the web site level of analysis. Tesis inédita: Louisiana State University, EUA.

PÉREZ, J. Y MACHADO, A. (2014). Relationship between management information systems and corporate performance. Revista de Contabilidad. 18(1), 32-43.

PETTER, S.; DELONE, W., Y MCLEAN, E. (2008). Measuring information systems success: models, dimensions, measures,and interrelationships. European Journal of Information Systems, 17, 236–263.

PETTER, S., DELONE, W., Y MCLEAN, E. (2013). Information Systems Success: the quest for the independent variables. Journal of Management Information Systems, 29 (4), 7-62.

RINGLE, C., WENDE, S., Y WILL, A. (2014). Smartpls 2. Hamburg: SmartPLS. Retrieved from http://www.smartpls.com/smartpls2/.

RODRÍGUEZ, S., PÉREZ, D., Y BERNAL, J. (2014). Influencia de la implementación del sistema de información sobre el rendimiento en pequeñas y medianas empresas: un estudio empírico en Colombia. Cuadernos de Administración. 30 (52), 31-43.

SOLANO, O., GARCÍA, D., & BERNAL, J. (2014). Influence of the Implementation of Information Systems on Performance in Small and Mid-sized Enterprises: an Empirical Study in Colombia. Cuadernos de Administración, 30 (52), 31-43.

TONA, O., CARLSSON, S. Y EOM, S. (2012). An Empirical Test of DeLone and McLean’s Information System Success Model in a Public Organization. AMCIS 2012 Proceedings. Paper 10, http:// aisel.aisnet.org/ amcis2012/proceedings/ StrategicUseIT/10.

URBACH, N., SMOLNIK, S., Y RIEMPP, G. (2009). The state of research on information systems success. Business & Information Systems Engineering, 1(4), 315–325.

WANG, Y. (2008). Assessing e-commerce systems success: a respecification and validation of the DeLone and McLean model of IS success. Information Systems Journal, 18, 529–557.

WIXOM, B. Y TODD, P. (2005). A Theoretical Integration of User Satisfaction and Technology Acceptance. Information Systems Research, 16(1), 85-102.

WU, J. Y WANG, Y. (2006). Measuring KMS success: a respecification of the DeLone and McLean’s model. Information and Management, 43, 728–739.

Recibido: 11/12/2015
Aceptado: 23/03/2016