Análisis multicriterio para la gestión integrada de aguas residuales industriales
Multicriteria analysis for the integrated management of industrial wastewaters
Adelmo Montalván-EstradaI, Yuri Aguilera-CorralesII, Eduardo Veitia-RodríguezI, Osvaldo Brígido-FloresI
I Centro de Ingeniería Ambiental de Camagüey. Camagüey, Cuba ]]>
II Instituto Superior de Tecnologías y Ciencias Aplicadas. La Habana, Cuba
RESUMEN
La aplicación de una estrategia de gestión integrada en el sector industrial necesita del empleo de herramientas de toma de decisiones capaces de integrar múltiples dimensiones y estimular la participación de diversos actores. Para ello, se desarrolló una herramienta de apoyo a la toma de decisiones operacionales en la gestión integrada de aguas residuales biodegradables en industrias de la rama alimentaria, basada en el análisis multicriterio. Se realizó una consulta a expertos por el método Delphi para seleccionar el conjunto de criterios a incluir en la herramienta. Se validó la herramienta mediante una prueba piloto y, con ayuda de un software, se aplicó con éxito en la evaluación de alternativas de acciones para mejorar la gestión de aguas residuales biodegradables en industrias del territorio camagüeyano. Se demostró que el análisis multicriterio puede contribuir favorablemente a la toma de decisiones en el marco de una gestión integrada en el sector industrial.
Palabras clave: toma de decisiones, gestión integrada, análisis multicriterio
ABSTRACT
The implementation of an integrated management strategy for the industrial sector requires the use of decision-making tools able to integrate multiple dimensions and encourage the participation of various stakeholders. To this end, it was developed a tool to support operational decision-making for integrated management of biodegradable wastewater in food industries, based on multi-criteria analysis. An expert consultation by the Delphi method was carried out to select the set of criteria to be included in the tool. The tool was validated by a pilot test and, using a software, successfully applied in the evaluation of alternatives of actions to improve the management of biodegradable wastewater in Camagüey industries. It was shown that the multi-criteria analysis can contribute favorably to the decision-making in the framework of an integrated management for the industrial sector.
Key words: decision-making, integrated management, multicriteria analysis.
]]> INTRODUCCIÓN
La gestión sostenible de los recursos hídricos es uno de los grandes retos que enfrenta la humanidad en el siglo XXI. Los informes más recientes publicados por importantes organismos internacionales evidencian una creciente alarma ante la reducción casi exponencial en la disponibilidad de agua dulce [1;2]. Las causas que influyen en la reducción de la disponibilidad de agua son complejas e interrelacionadas. La contaminación por el vertido de aguas residuales industriales es una de las causas antrópicas de mayor significación.
Tradicionalmente se ha considerado que las aguas residuales provenientes de la industria alimentaria no deben causar problemas, siempre que las descargas no contengan cantidades excesivas de contaminantes; esta aparente "inocuidad" al medio ha contribuido a que muchas empresas de este sector sean reacias a adoptar medidas para reducir la carga contaminante [3; 4]. Sin embargo, la industria alimentaria a nivel mundial es responsable de más de la mitad de la carga contaminante biodegradable de origen industrial que se dispone [1].
En las condiciones de Cuba parece más prometedor seguir una estrategia que aproveche todas las oportunidades para la gestión de las aguas residuales. Al respecto, Díaz Betancourt (2010) alerta sobre la necesidad de esta estrategia: "si se considera como un sistema único el proceso tecnológico, el sistema de tratamiento y el vertimiento final, es posible llegar a soluciones más económicas y eficientes" [5].
La gestión integrada es una estrategia de gestión cuyo fin es el desarrollo sostenible y se basa en el manejo multidimensional de la complejidad y la participación activa de los diversos actores involucrados. La gestión integrada posee varias dimensiones: institucional-organizacional, político-legal, económico-financiera, socio-cultural, técnica, ambiental. Si se desea realizar una gestión sostenible es importante tomar en cuenta todas estas dimensiones, las cuales se pueden evaluar y controlar mediante indicadores de gestión de diversa naturaleza.
La gestión integrada posee importantes resultados en la gestión de recursos hídricos a nivel de cuencas hidrográficas y en la gestión de residuos sólidos urbanos. Según Zhang y Roberts (2007), la gestión integrada requiere de una apropiada delimitación de su alcance temporal y espacial, lo que repercute directamente en las herramientas de planeamiento y de apoyo a la toma de decisiones, así como en los instrumentos para el control y evaluación[6].Con respecto a su aplicación en la gestión de aguas residuales industriales, la estrategia de gestión integrada está en desarrollo, en cuanto a su concepción teórica, la forma de aplicación y los resultados obtenidos.
Una línea de desarrollo se relaciona con la necesidad de asegurar un marco participativo amplio a los actores involucrados, no solo a través de la adopción de prácticas de responsabilidad social empresarial, sino mediante la participación directa en los procesos de toma de decisiones [7;8]. Es de gran actualidad científica el desarrollo de herramientas de apoyo a la toma de decisiones, que respondan a los objetivos de la sostenibilidad y al carácter complejo de las interacciones industria-entorno [9].
La literatura consultada evidencia que en el proceso de toma de decisiones se manifiestan dos tendencias, la primera se relaciona con la elevación de la racionalidad: uso de información científicamente relevante y empleo de herramientas de apoyo a la toma de decisiones; la segunda tendencia se relaciona con la "democratización" del proceso de toma de decisiones, mediante la participación de los actores interesados [10; 11; 12; 13].
Estas tendencias son el resultado del empleo de un enfoque holístico en la gestión y, tal como señala Bauler (2007), reflejan el antagonismo relacionado con la implementación de la gestión integrada: por un lado, la necesidad operacional de manejar la complejidad a través de la integración de múltiples dimensiones, y por otro lado, el llamado de los tomadores de decisiones por una información cada vez más simplificada y sintetizada [10].
El acceso a información científicamente relevante ha facilitado el desarrollo de herramientas de apoyo a las tomas de decisiones en cuestiones ambientales, incluidas las de modelación, que estimulan la comunicación efectiva entre los diversos actores de este proceso [14; 15].
]]> Una segunda línea de desarrollo se vincula a la necesidad de desarrollar un sistema de indicadores para la gestión integrada que considere todas las dimensiones del proceso de gestión [16], en contraposición al uso preferente de indicadores del proceso de producción industrial [17; 18]. Al mismo tiempo, es imprescindible la inclusión de indicadores sistémicos que valoren adecuadamente las interrelaciones entre los componentes del objeto de estudio.Otra línea de desarrollo se vincula a la inclusión, dentro de la gestión integrada, de eslabones de la cadena de desechos que tradicionalmente no son considerados, debido a su elevada complejidad y dinamismo. Tal es el caso de los procesos de autodepuración que tienen lugar en los cuerpos receptores.
Los amplios objetivos de la sostenibilidad hacen que la evaluación económica mediante el análisis de costo-beneficio no sea suficiente, debido a que las variables sociales y ambientales no son fáciles de expresar en términos monetarios [19]. El análisis multicriterio, a diferencia del análisis de costo-beneficio, puede incorporar criterios económicos, ambientales, y sociales en el proceso de evaluación; además, estos criterios pueden ser de naturaleza cualitativa o cuantitativa. Es por eso que el análisis multicriterio puede convertirse en una herramienta de gran significación para la toma de decisiones operacionales en el campo de la gestión integrada.
Sin embargo, autores como Ascough (2008) y Freitas (2013) consideran que la reducción de la incertidumbre asociada a los datos, los modelos, y las preferencias de los tomadores de decisión, es imprescindible para lograr una mayor aceptación del análisis multicriterio como herramienta de apoyo a la toma de decisiones [20; 21].
En el contexto nacional, a pesar de los avances, la gestión integrada de aguas residuales industriales mantieneel problema de la carencia de herramientas de toma de decisiones que incluyan criterios de evaluación multidimensionales y que faciliten una participación más activa de los diversos actores del proceso. El desarrollo de una herramienta con estas características requiere de la selección de un método de análisis multicriterial, la consulta a expertos con respecto a los criterios a incluir en la herramienta y su forma de evaluación, además de su validación.
El objetivo de este trabajo es desarrollar y aplicar una herramienta de apoyo a la toma de decisiones operacionales en el campo de la gestión integrada de aguas residuales biodegradables en industrias de la rama alimentaria, basada en el análisis multicriterio. Se espera que esta herramienta permita a los tomadores de decisiones seleccionar las mejores alternativas para realizar una gestión integrada.
MÉTODOS
Selección del conjunto de criterios a incluir en la herramienta
Se realizó una consulta a expertos por el método Delphi a dos rondas, según el algoritmo que se muestra en la Figura 1. La selección de expertos descansó sobre criterios o juicios, por tanto no fue posible aplicar un muestreo sobre bases probabilísticas, ni determinar un número mínimo de expertos, de acuerdo con [22]. Se confeccionó un listado de posibles expertos en el tema de investigación, considerando aspectos, tales como: experiencia, competencia, creatividad, capacidad de análisis. Este listado inicial incluyó a 37 personas. Se solicitó a los mismos su cooperación en la consulta, y finalmente 29 expertos recibieron los documentos. El período de espera a la respuesta de los expertos duró tres meses y se obtuvieron 15 respuestas (51,7 % del total de expertos consultados).
]]>
La evaluación de la competencia de los expertos se realizó según la metodología propuesta por el Comité Estatal para la Ciencia y la Técnica de Rusia, la cual establece un coeficiente de competencia de acuerdo con la auto-evaluación del experto sobre su nivel de conocimiento acerca del problema y con las fuentes que le permiten argumentar sus criterios [23].
Esta metodología se sigue empleando ampliamente por autores cubanos en variados campos de investigación: González (2007) y Pérez (2010) la emplean en la gestión turística y hotelera [24; 25]; mientras que Hernández y Díaz (2010) se auxilian de ella para la gestión de proyectos [26].
La consulta de la bibliografía sobre la gestión integrada y una tormenta de ideas realizada con investigadores del Centro de Ingeniería Ambiental de Camagüey (CIAC) brindaron la información necesaria para confeccionar una lista inicial de 31 criterios a considerar para su inclusión en la herramienta. El listado de items se circuló entre los expertos seleccionados y se tomó como criterio de aceptación el siguiente: el criterio puede incluirse en la herramienta si es seleccionado por el 70 % de los expertos, como mínimo.
Elaboración de la herramienta para la toma de decisiones operacionales
Se utilizó el método de la ponderación lineal para la evaluación y decisión multicriterio, debido a que permite abordar situaciones de incertidumbre o con pocos niveles de información, y es relativamente fácil de ejecutar. Este método se basa en la teoría del valor multi-atributo.
El modelo de agregación usado es aditivo: ver ecuación 1
Donde:
V(a) – valor total de cada alternativa.
]]> wi – peso de cada criterio.vi – valor de cada criterio.
En la herramienta se incluyeron los criterios seleccionados, al menos, por el 70 % de los expertos que participaron en la consulta. La cantidad y denominación de estos criterios se puede consultar en la Tabla 1. Se utilizó la escala de Likert para asignar el valor de cada criterio, según el grado de influencia de la alternativa evaluada. Para ello se empleó la siguiente escala: 5-muy favorable; 4-favorable; 3-satisfactorio; 2-desfavorable; 1-muy desfavorable. El empleo de esta escala facilitó el tratamiento estadístico de los datos, al considerarlo como variables ordinales. Todos los criterios tienen el mismo peso.
En el proceso evaluativo, para cada alternativa se obtiene un conjunto de valores que coincide con la cantidad de evaluadores. Esos valores se ordenan de forma ascendente y se determina la mediana. El rango de valores es una medida del grado de concordancia en el juicio de los evaluadores. En la jerarquización de las alternativas se considera que aquellas que reciben una mejor evaluación tienen una mayor prioridad.
Con ayuda de la programación orientada a objeto, se diseñó el software MULTIGES para facilitar el uso de la herramienta para la toma de decisiones. Este software se protegió con un certificado de derecho de autor, emitido por el Centro Nacional de Derecho de Autor (CENDA).
Confiabilidad y validez de la herramienta de apoyo a la toma de decisiones
Se realizó una prueba piloto, mediante la cual se aplicó la herramienta en la gestión de aguas residuales de la fábrica de conservas "El Mambí". La selección de esta industria obedeció a las siguientes razones: genera aguas residuales biodegradables; existe información actualizada sobre la gestión de sus aguas residuales, obtenida mediante monitoreos y caracterizaciones; su huella hídrica gris está en la media de las reportadas para las industrias del territorio.
La confiabilidad del instrumento de medición se determinó por el coeficiente alfa de Cronbach, mientras que la validez de contructo se determinó mediante el análisis factorial, tal como se ha sugerido por otros autores [27; 28]. El tamaño de muestra de los individuos que participaron en la prueba piloto se determinó por la siguiente expresión: ver ecuación 2
Donde:
]]> n – número de individuos de la muestra.K – percentil de la distribución normal con 95 % de probabilidad; K = 2.
p - probabilidad de la ocurrencia del éxito; p = 0,5.
Q- probabilidad de la no ocurrencia del éxito; Q = 1 - p = 0,5.
e - error máximo admisible; e = 0,1.
N - número de individuos de la muestra; N = 39.
Procesamiento estadístico de los resultados
Para el procesamiento estadístico de los resultados de la consulta a expertos y la prueba piloto se emplearon los paquetes estadísticos SPSS 16 Equinox y el StatGraphic Centurion XV. Las matrices de datos se describieron con el empleo de los estadígrafos de tendencia central y variación de mayor uso, así como con métodos gráficos. Los autores consideraron que los métodos no paramétricos son más adecuados que los métodos paramétricos, al trabajar con variables ordinales, tal como defienden diversos investigadores [27; 28].
Aplicación de la herramienta para la toma de decisiones
La herramienta se aplicó en los siguientes estudios de caso:
]]> 1) Jerarquización de alternativas para la gestión integrada de aguas residuales biodegradables en el combinado confitero de Camagüey.2) Jerarquización de alternativas para la gestión integrada de aguas residuales biodegradables en la cervecería Tínima.
3) Jerarquización de alternativas tecnológicas para la producción de biogás, a partir de las aguas residuales de la cervecería Tínima.
Como criterio de selección de las industrias se utilizó la amplitud del rango de sus huellas hídricas grises, a partir de las evaluaciones de los autores y el análisis bibliográfico. Dentro de las industrias evaluadas, la industria de confituras posee la menor huella hídrica gris (90 000 m3/año), mientras que la cervecería se ubica en la cúspide (20 000 000 m3/año).
RESULTADOS
Para la selección de los criterios se procesó la información suministrada por los 15 expertos que finalmente participaron en la consulta. Ocho de estos expertos son doctores en ciencias de determinada especialidad; también, ocho de ellos tienen alguna categoría investigativa y 12 poseen categorización docente. Además, el grupo de expertos cuenta con una media de 27 años de experiencia en el tema consultado. Todos poseen un nivel de competencia alto.
La Tabla 1 muestra los resultados de la selección de los criterios por los expertos. Un total de 21 criterios obtuvieron un grado de concordancia superior al 70 %.
Se incorporaron los criterios seleccionados por los expertos a la herramienta de toma de decisiones y se aplicó la prueba piloto con la participación de una muestra de 29 individuos, conformada por representantes de la industria alimentaria, gestores ambientales de órganos reguladores y centros científico-técnicos, gestores de recursos hídricos, miembros de la comunidad, y organizaciones que forman parte de la cadena de suministro de las organizaciones. En la Tabla 2 se observan los resultados de la prueba piloto.
La alternativa que tuvo la máxima prioridad fue "eliminación de salideros", con una mediana de 83; mientras que la alternativa con la mínima prioridad fue "contribución a la mejora de la hidroecomorfología del cuerpo receptor", con una mediana de 71.
]]> La determinación del coeficiente de confiabilidad de alfa de Cronbach mediante el paquete estadístico SPSS arrojó un valor de α = 0,794, lo cual está en el rango entre aceptable y elevada. La curva de sedimentación del análisis factorial mostró que seis factores son responsables del 78,3 % de la variabilidad de los datos originales.Breve descripción del software MULTIGES
Como se observa en la Figura 2, el software MULTIGES posee un menú principal que da acceso a los tres módulos fundamentales del programa: análisis multicriterio, análisis, resultados. El módulo de análisis multicriterio brinda los fundamentos teóricos de esta herramienta de toma de decisiones, y la forma en que tributa a la gestión integrada.
El modulo de análisis guía a los evaluadores en la introducción de la información que se necesita en el proceso de evaluación de las alternativas, sobre la base de los criterios seleccionados. Consta de la siguiente estructura: datos generales, datos de los evaluadores, alternativas, evaluación de criterios. Al menos deben participar tres evaluadores para poder obtener los resultados. La evaluación de los criterios se realiza con ayuda de la escala de Likert, lo que permite el tratamiento estadístico de los mismos como si fueran variables ordinales.
El módulo de resultados tiene el propósito de facilitar la información sobre la evaluación de las diferentes alternativas: por cada criterio y por cada evaluador. Permite la generación de reportes y gráficos.
Resultados de los estudios de caso
1) Jerarquización de alternativas para la gestión integrada de aguas residuales biodegradables en el combinado confitero de Camagüey.
En el proceso de evaluación se contó con la participación de tres representantes del combinado confitero, un gestor ambiental del CIAC, y un representante de la comunidad.
En la Tabla 3 se muestran las siete alternativas que se evaluaron para la mejora de la gestión de las aguas residuales de la organización, seleccionadas a partir de los resultados de un diagnóstico de la gestión de aguas residuales y la toma de decisiones estratégicas. Estas alternativas incluyen medidas preventivas y correctivas, e incorporan, además, la consideración de otros eslabones de la cadena de desechos.
]]> La alternativa que tuvo la máxima prioridad fue "eliminación de salideros", con una mediana de 79; mientras que la alternativa con la mínima prioridad fue "re-uso del agua en el proceso de enfriamiento de la fábrica de caramelo", con una mediana de 66.2) Jerarquización de alternativas para la gestión integrada de aguas residuales biodegradables en la cervecería Tínima.
En el proceso de evaluación se contó con la participación de cinco representantes de la cervecería, dos gestores ambientales del CIAC, y un representante de la comunidad.
En la Tabla 4 se muestran las siete alternativas que se evaluaron para la mejora de la gestión de las aguas residuales de la organización, seleccionadas a partir de los resultados del diagnóstico y la toma de decisiones estratégicas. Estas alternativas incluyen medidas preventivas y correctivas, e incorporan, además, la consideración de otros eslabones de la cadena de desechos. La relativa complejidad tecnológica de la cervecería permitió disponer de un mayor número de alternativas de re-uso y de reciclado dentro de la propia organización.
La alternativa que tuvo la máxima prioridad fue "reciclado del agua caliente del proceso de intercambio térmico para el enfriamiento del mosto", con una mediana de 76; mientras que la alternativa con la mínima prioridad fue "contribución a la mejora de la hidroecomorfología del cuerpo receptor", con una mediana de 71.
3) Jerarquización de alternativas tecnológicas para la producción de biogás, a partir de las aguas residuales de la cervecería Tínima.
En el proceso de evaluación se contó con la participación un representante de la cervecería, un gestor ambiental del CIAC, y un representante del INRH. Se evaluaron tres alternativas tecnológicas para la producción y uso del biogás, tal como se muestra en la Tabla 5.
La alternativa que tuvo la máxima prioridad fue "tecnología con reactor de lecho de lodos EGSB y empleo del biogás para la combustión en las calderas", con una mediana de 77; mientras que la alternativa con la mínima prioridad fue "tecnología con reactor de mezcla compuesta sin recirculación y empleo del biogás para la combustión en calderas", con una mediana de 66.
DISCUSIÓN
]]> Los criterios seleccionados por los expertos, con un grado de concordancia mayor al 70 %, abarcan todas las dimensiones de la gestión integrada e incluyen los tres componentes de la huella hídrica: verde, azul y gris. De esta forma se garantiza que en los procesos evaluativos se consideren los aspectos institucional-organizacional, político-legal, económico-financiero, socio-cultural, técnico, y ambiental de la gestión. El empleo de la huella hídrica se corresponde con las tendencias actuales en el desarrollo de indicadores sistémicos que reflejen los procesos de globalización en el uso del recurso hídrico [29].En la selección de los pesos de cada criterio, los autores consideraron que, para el objetivo de desarrollo sostenible que pretende la gestión integrada, todos los criterios deben tener el mismo peso, asegurando la misma relevancia para todas las dimensiones del proceso de gestión. Al respecto, discrepan de Galindo (2008), quien asignó mayor relevancia a los criterios ambientales al desarrollar una herramienta de toma de decisiones basada en el análisis multicriterio, cuyo objetivo fundamental era incorporar el análisis de procesos en la búsqueda de industrias ambientalmente sostenibles [18].
Los resultados de la prueba piloto reflejan que la herramienta de apoyo a la toma de decisiones operacionales en el campo de la gestión integrada de aguas residuales biodegradables en industrias alimentarias es confiable. El análisis factorial muestra adecuadamente la naturaleza del contructo que se propone, ya que los seis factores responsables del 78,3 % de la variabilidad de los datos originales se relacionan directamente con las seis dimensiones de la gestión integrada: institucional-organizacional, político-legal, económico-financiera, socio-cultural, técnica, ambiental.
El software MULTIGES facilita la aplicación de la herramienta de toma de decisiones y el análisis de los resultados; también permite elevar la cultura de los evaluadores en el uso del análisis multicriterio, al incluir un módulo teórico en su estructura. Se reafirma la opinión de diversos autores, quienes señalan los beneficios del empleo de las herramientas informáticas en los procesos de toma de decisiones: mayor racionalidad y mayor democratización [30; 31; 32].
Los estudios de caso realizados muestran las amplias potencialidades de aplicación de esta herramienta de apoyo a la toma de decisiones con ayuda del análisis multicriterio.
En el primer caso, la prioridad que los evaluadores asignaron a las diferentes alternativas es correcta, ya que se pretende erradicar inicialmente aquellas causas que originan los mayores consumos de agua y de energía (los salideros son responsables del 80 % del volumen de agua que se consume); además, se observa un cambio en la mentalidad ambiental de la organización, al combinar acciones preventivas y correctivas en la gestión y no limitarse solo a las opciones de tratamiento.Para obtener esos resultados son decisivos dos factores: la calidad de la información que se obtiene en la etapa de diagnóstico y la correcta capacitación ambiental de los actores involucrados en el proceso de toma de decisiones.
En el segundo caso, la prioridad que los evaluadores asignaron a las diferentes alternativas refleja la madurez que ha alcanzado la gestión ambiental de esta organización, ya que se otorga preferencia a medidas preventivas y de producciones más limpias, por encima de medidas correctivas relacionadas con el tratamiento. Sin embargo, sería recomendable en futuros procesos de toma de decisiones la incorporación de otras alternativas que consideren los procesos del área de embotellado, la cual aporta más del 90 % del volumen de aguas residuales.
El análisis multicriterio resulta una herramienta de toma de decisiones válida para establecer las prioridades en las alternativas de gestión integrada de aguas residuales del combinado confitero y la cervecería Tínima, permitiendo la participación y compromiso de diversos actores, y considerando aspectos de la cadena de desechos tradicionalmente subestimados.
En el tercer caso, se muestra la versatilidad en las posibles aplicaciones de esta herramienta al emplearse para evaluar diferentes opciones tecnológicas para la producción y uso del biogás, a partir de las aguas residuales de una organización industrial. Este análisis brinda elementos adicionales y complementarios al tradicional análisis de costo y beneficio, donde priman los criterios técnico-económicos.
]]> CONCLUSIONES
1. Se desarrolla una herramienta de apoyo a la toma de decisiones operacionales en el campo de la gestión integrada de aguas residuales biodegradables en industrias de la rama alimentaria, basada en el análisis multicriterio, mediante la cual se eleva la racionalidad en el proceso de toma de decisiones y se estimula la participación de diversos actores interesados.
2. El desarrollo de esta herramienta es un aporte al proceso de toma de decisiones en el marco de una estrategia de gestión integrada de aguas residuales biodegradables industriales. El conjunto de criterios incluidos en la herramienta y la forma de evaluación son las principales novedades del trabajo.
3. Los estudios de caso en que se aplicó la herramienta muestran que se pueden obtener resultados satisfactorios en el proceso de jerarquización de alternativas para la gestión integrada de aguas residuales biodegradables.
4. La aplicación de la herramienta con ayuda de un software le brinda ventajas adicionales: contribuye a la capacitación de los actores involucrados, facilita el procesamiento y conservación de la información, evita los errores de cálculo, agiliza el trabajo.
5. La generalización de esta herramienta para la gestión integrada en otros tipos de aguas residuales y en otros tipos de industrias requeriría una revisión de los criterios a incluir, mediante la consulta a expertos.
REFERENCIAS
1. WWAP (World Water Assessment Programme). The United Nations World Water Development Report 2015: Water for a sustainable world. In: Paris: UNESCO; 2015. p. 122.
]]>2. WWF (World Wild Fund). Living Planet Report 2014:Species and spaces, people and places. In: Gland, Switzerland: WWF; 2014. p. 180.
3. Giménez Leal G. Anàlisi d escenaris i tendencies en l ámbit de la gestió mediambiental a la indústria catalana tesis doctoral. Girona: Universitat de Girona; 2001.
4. Arvanitoyannis I. Waste Management for the Food Industries. En: London. Academic Press. p. 1096. ISBN 0080554938.
5. Díaz Betancourt R. Tratamiento de aguas y aguas residuales. La Habana, Cuba: Editorial Félix Varela; 2010. p. 515. ISBN 978-959-07-1027-5.
6. Zhang W, Roberts P. Integrated industrial waste management systems in China. Waste Management Research. 2007;25(3):288-95. ISSN 1096-3669.
]]>7. Rundle-Thiele S. Social gain: Is corporate social responsibility enough? Australasian Marketing Journal 2009;17(4):204-10. ISSN 1441-3582.
8. Heijden A, Driessen P, Cramer J. Making sense of Corporate Social Responsibility: Exploring organizational processes and strategies. Journal of Cleaner Production. 2010;18(18):1787-96. ISSN 0959-6526.
9. Delden H, Seppelt R, White R, et al. A methodology for the design and development of integrated models for policy support. Environmental Modelling and Software. 2011;26(3):266-79. ISSN 1364-8152.
10. Bauler T. Indicators for sustainable development: a discussion of their usability Doctor Degree Thesis. Belgium: University of Bruxelles; 2007.
11. Liu Y, Gupta H, Springer E, et al. Linking science with environmental decision making: experiences from an integrated modelling approach to supporting sustainable water resources management. Environmental Modelling and Software. 2008;23(7):846-58. ISSN 1364-8152.
]]>12. Voinov A, Bousquet F. Modelling with stakeholders. Environmental Modelling and Software. 2010;25(11):1268-81. ISSN 1364-8152.
13. Garnett K, Cooper T. Effective dialogue: Enhanced public engagement as a legitimizing tool for municipal waste management decision-making. Waste Management. 2014;34(12):2709-26. ISSN 0956-053X.
14. Xu XP, Booij MJ, Mynett AE. An appropriateness framework for the Dutch Meuse decision support system. Environmental Modelling and Software. 2007;22(11):1667-78. ISSN 1364-8152.
15. Ticehurst JL, Newham L, Rissik D. A Bayesian network approach for assessing the sustainability of coastal lakes in New South Wales, Australia. Environmental Modelling and Software. 2007;22(8):1129-39. ISSN 1364-8152.
16. Ahlroth S, Nilsson M, Finnveden G, et al. Weighting and valuation in selected environmental systems analysis tools – suggestions for further developments. Journal of Cleaner Production 2011;19(2-3):145-56. ISSN 0959-6526.
]]>17. Dvarioniene J, Stasiskiene Z. Integrated water resource management model for process industry in Lithuania. Journal of Cleaner Production. 2007;15(10):950-7. ISSN 0959-6526.
18. Galindo Llanes P. El análisis de procesos en la búsqueda de tecnologías más limpias tesis doctoral. Camagüey, Cuba: Universidad de Camagüey; 2008.
19. Munasinghe M. Multi-criteria analysis in environmental decision making. The Encyclopedia of Earth. 2007.
20. Ascough JC, Maier JK. Future research challenges for incorporation of uncertainty in environmental and ecological decision-making. Ecological Modelling. 2008;219(3-4):383-99. ISSN 0304-3800.
21. Freitas A, Magrini A. Multi-criteria decision-making to support sustainable water management in a mining complex in Brazil. Journal of Cleaner Production. 2013;47:118-28. ISSN 0959-6526.
]]>22. Hernández Sampieri R. Metodología de la Investigación. 5ta ed. México: McGraw-Hill Interamericana; 2010. p. 613. ISBN 978-607-15-0291-9.
23. Comité estatal para la ciencia y la técnica de rusia. Elaboración de pronósticos científico-técnicos. Moscú: Nauka; 1971
24. González MV. Procedimiento para realizar auditorías de información en instalaciones hoteleras. Universidad de Málaga Biblioteca virtual de Derecho, Economía, y Ciencias Sociales; 2007. [Citado 12 de mayo de 2011] Disponible en: http://www.eumed.net/libros-gratis/2009d/620.
25. Pérez Y. Procedimiento para obtener información y caracterizar comportamientos y determinantes individuales de elección de opciones turísticas. Universidad de Málaga, España: Biblioteca virtual de Derecho, Economía, y Ciencias Sociales; 2010. [Citado 12 de mayo de 2011] Disponible en: http://www.eumed.net/libros-gratis/2010a/655.
26. Hernández R, Díaz M. Procedimiento para evaluar proyectos y establecer un orden de prioridades para su ejecución. In: Memorias del Primer Congreso Iberoamericano de Ingeniería de Proyectos; Antofagasta, Chile; 2010
27. Siegel S. Diseño experimental no paramétrico. La Habana, Cuba: Pueblo y Educación; 1989. p. 346.
]]>28. Martínez Mígueles M. Validez y confiabilidad en la metodología cualitativa. Paradigmas. 2006;27(2). ISSN 1011-2251.
29. Hoekstra A, Chapagain A, Aldaya M, et al. The water footprint assessment manual: setting the global standard. Water Footprint Network; 2011.
30. Lienert J, Schnetzer F, Ingold K. Stakeholder analysis combined with social network analysis provides fine-grained insights into water infrastructure planning processes. Journal of Environmental Management. 2013;125:134-48. ISSN 0301-4797.
31. Khalili N, Duecker S. Application of multi-criteria decision analysis in design of sustainable environmental management system framework. Journal of Cleaner Production. 2013;47:188-98. ISSN 0959-6526.
32. Xie YL, Huang GH, Li W. An inexact two-stage stochastic programming model for water resources management in Nansihu Lake Basin, China. Journal of Environmental Management. 2013;127:188-205. ISSN 0301-4797.
]]>
Recibido: 29 de mayo del 2013.
Aprobado: 10 de noviembre de 2016.
Adelmo Montalván-Estrada. Centro de Ingeniería Ambiental de Camagüey. Camagüey, Cuba
Correo electrónico: montalvan@ciac.cu
