SciELO - Scientific Electronic Library Online

 
vol.52 issue4Pig breeding with royal palm nuts and other palm by-products. Short reviewMorphometric analysis of the gastrointestinal tract of rabbits fed mulberry forage and sugarcane stems author indexsubject indexarticles search
Home Pagealphabetic serial listing  

My SciELO

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Cuban Journal of Agricultural Science

Print version ISSN 0864-0408On-line version ISSN 2079-3480

Cuban J. Agric. Sci. vol.52 no.4 Mayabeque Oct.-Dec. 2018  Epub Nov 09, 2018

 

Biomatemática

Diseño de escala para evaluar la calidad metodológica de estudios relacionados con el valor nutritivo de ensilajes para rumiantes. Estudio piloto

Mildrey Torres1  * 

R. Rodríguez1 

Magaly Herrera1 

1Instituto de Ciencia Animal, Apartado Postal 24, San José de las Lajas, Mayabeque, Cuba

Resumen

Para proponer una escala específica que permita evaluar la calidad metodológica de estudios relacionados con la composición química y el valor nutritivo de ensilajes a incluir en meta-análisis, se tomaron los criterios de la escala de PEDro, referidos a la toma de la muestra, la aleatorización de los tratamientos a las unidades experimentales y la información estadística informada. Además, se incorporaron otros criterios, como las características del forraje para ensilar, la descripción del proceso de elaboración del ensilaje, los procedimientos de análisis químico utilizados, los métodos estadísticos que se emplean en la experimentación y el informe o no de variables clave de la composición química y fermentativa. Para identificar los criterios que conformaron la escala, se analizaron 80 artículos y, para su validación, se utilizaron 40 artículos de la temática. Para la búsqueda y selección de los artículos se utilizaron las bases de datos: EBSCO, Scielo, Science Direct y Researchgate, y para validar la escala se determinó la confiabilidad entre dos evaluadores mediante el coeficiente de correlación intraclase. La propuesta de escala valoró 12 criterios y considera que se acepte un estudio, como de buena calidad metodológica, si cumple con 9 o más criterios. La validación entre dos evaluadores, de manera independiente, resultó una fiabilidad excelente, con coeficiente de correlación intraclase de 0.81 (I.C95 % 0.67-0.89). La nueva escala se convierte así en una herramienta apropiada, que permitirá minimizar sesgos y mejorar la calidad de los estudios seleccionados para desarrollar el meta-análisis sobre la temática.

Palabras clave: ensilaje; meta-análisis; criterios de evaluación; fiabilidad

Introducción

Se sabe que el término meta-análisis se refiere al análisis sistémico e integral de una serie de resultados estadísticos de investigaciones individuales sobre un mismo tema, con el fin de hallar conclusiones relevantes (Sao 2013). La realización de todo meta-análisis implica el tránsito por diferentes etapas: formulación del problema a investigar, búsqueda de información, evaluación de la calidad metodológica de los estudios, codificación de posibles variables moderadoras, medida de los resultados, análisis e interpretación de los datos, y su publicación (Sánchez 2010).

Los estudios meta-analíticos se han empleado en diferentes investigaciones científicas, pero la mayoría se han desarrollado en la psicología, la medicina y las ciencias sociales como un método alternativo de revisión científica (Martín 1995). En las ciencias agropecuarias, el empleo de técnicas meta-analíticas no ha tenido una gran proliferación en comparación con otras áreas del saber (St-Pierre 2001), aunque en los últimos años se observa incremento en su uso (Signorini et al. 2012; Jensen et al. 2015; Busanello et al. 2016; Maccarana et al. 2016; Zimmermann et al. 2016; Dezordi et al. 2017 y Dinnen et al. 2017).

En los estudios consultados, sin embargo, se realiza meta-análisis, sin tener en cuenta la etapa de la evaluación de la calidad metodológica de los estudios. Zeballos (2013) plantea que la evaluación es un requisito fundamental para minimizar los sesgos y puede estar estadísticamente relacionada con los resultados del meta-análisis.

Existen dos instrumentos para realizar la evaluación de la calidad metodológica de los estudios: las listas de verificación y las escalas, siendo estas últimas las más utilizadas (Martín 2014). Específicamente, las escalas de evaluación reúnen múltiples criterios, definen un sistema de puntuación para cada criterio, y posibilitan atribuir a cada estudio una puntuación global de calidad, que considere conjuntamente todos los aspectos que inciden en ella. Actualmente, existen diversas escalas, pero se han desarrollado principalmente para ensayos clínicos aleatorizados, y no así en otro tipo de estudios (Cascaes et al. 2013).

El objetivo del trabajo fue proponer una escala específica, que permita evaluar la calidad metodológica de investigaciones acerca de la composición química y el valor nutritivo de los ensilajes basados en forrajes, para posteriormente incluir en un meta-análisis los estudios de mejor evaluación.

Materiales y Métodos

Diseño. Para la elaboración de la escala de calidad se tomó como referencia la escala de PEDro, desarrollada por Verhagen et al. (1998). Esta escala se desarrolló para su uso en estudios clínicos aleatorizados, y se encarga de medir la credibilidad del ensayo o validez interna, y de determinar si posee suficiente información estadística para poder interpretarlo (Fuentes 2016).

Para desarrollar la nueva propuesta de escala, se tomaron como base algunos criterios de la escala de PEDro, referidos a la toma de la muestra, la aleatorización de los tratamientos a las unidades experimentales y la información estadística reportada de los experimentos. Sin embargo, se descartaron los referidos a los estudios de experimentos a ciegas porque son propios de investigaciones de clínica en humanos.

Además, se incorporaron otros criterios, relacionados con las características del forraje para ensilar, la descripción del proceso de elaboración del ensilaje, los procedimientos de análisis químicos utilizados para determinar las variables clave, los métodos estadísticos empleados en la experimentación, y el informe o no de variables clave para estudios de ensilados basados en forraje. Estos criterios se seleccionaron a partir de una extensa revisión de la literatura, con el objetivo de identificar un instrumento del que se pudieran obtener criterios potenciales y dominios relevantes (Burgos et al. 2011).

Metodología. Para identificar los criterios que conformaron la escala, se analizaron 80 artículos, referentes a la evaluación de la calidad nutritiva de ensilajes de forrajes tropicales, destinados a la alimentación de rumiantes. Para la validación de la herramienta desarrollada, se utilizaron otros 40 artículos de la temática.

Para la búsqueda y selección de los artículos, se emplearon las bases de datos EBSCO, Scielo, Science Direct y Researchgate. La estrategia de búsqueda consistió en la utilización de los siguientes términos “silage”, “nutritive value”, “quality”, “chemical composition”, “ruminant”, los que se combinaron con el operador booleano “AND” o “OR”.

Análisis estadístico. Para validar la escala, se determinó la confiabilidad entre dos evaluadores mediante el coeficiente de correlación intraclase (CCI), con el paquete estadístico Epidat versión 4.2 (Hervada et al. 2016)

Resultados y Discusión

En la tabla 1 se muestran los criterios que conforman la propuesta de escala, que servirán de base para evaluar la calidad metodológica de los estudios sobre composición química y el valor nutritivo de ensilajes de forrajes para rumiantes.

Figure 1 Scale proposal for evaluating methodological quality of studies on chemical composition and nutritional value of forage silages for ruminants to be included in the meta-analysis 

El evaluador que utilice la escala para evaluar la calidad del estudio a incluir en el meta-análisis solo dará puntos, cuando el criterio se cumple claramente, por lo que se deberá tener en cuenta lo siguiente:

  • Criterio 1. Se cumple, si el artículo describe las características del forraje empleado para ensilar, por ejemplo: especie y variedad de pasto, edad de corte, tipo de suelo, variables climáticas de la región geográfica, uso de riego y niveles de fertilización

  • Criterio 2. Se cumple, si el estudio informa acerca del método de muestreo empleado, horario, altura de corte, equipo empleado y cantidad de forraje. También se debe informar acerca de la conservación de la muestra de forraje para su traslado al laboratorio químico y su procesamiento (secado, molinado y almacenamiento).

  • Criterio 3. Se cumple, si se describe adecuadamente el proceso de elaboración del ensilado: si el forraje se presecó previamente, el tipo de silo utilizado, tamaño de partícula, método de compactación, empleo de aditivos y niveles de inclusión, forma de sellado y tiempo de ensilado.

  • Criterio 4. Considera si el estudio realizó una designación al azar, si la fuente evaluada informa claramente que los tratamientos se asignaron a las unidades experimentales del producto a ensilar de manera aleatoria.

  • Criterio 5. Se cumple si se describe la toma de muestra en los silos y la cantidad de muestras analizadas por tratamiento

  • Criterio 6. Se cumple, si se informan adecuadamente los métodos de análisis químicos empleados para determinar las variables en estudio.

  • Criterio 7. Se cumple, si se detalla adecuadamente el método estadístico que se empleó durante el proceso de experimentación.

  • Criterio 8. Se cumple, si se reportan los resultados de las variables principales de la composición química de los forrajes utilizados para ensilar: materia seca [MS], materia orgánica [MO] o cenizas, proteína bruta [PB], fraccionamiento de la fibra, carbohidratos solubles [CHS] y capacidad tampón del forraje. No se da punto por este criterio, si se informan menos del 50 % de estas variables; o sea, se debe informar, al menos, tres de las variables anteriormente mencionadas para que el evaluador dé puntos por este criterio.

  • Criterio 9. Se cumple, si se reportan los resultados de las variables principales de la composición química y valor nutritivo de los productos ensilados: MS, MO, cenizas, PB, fraccionamiento de la fibra, CHS, o degradabilidad [MS, MO, PB]. No se da punto por este criterio, si se informan menos de 50 % de estas variables. Es decir, se debe informar, al menos, tres de las variables antes mencionadas para que el evaluador dé puntos por este criterio.

  • Criterio 10. Se cumple, si se reportan los resultados de las variables principales de la fermentación ocurrida durante el proceso de ensilaje: pH, ácido láctico, ácidos grasos de cadena corta [ácido acético, ácido propiónico, ácido butírico] o nitrógeno amoniacal. Se da punto por este criterio, si se informan, al menos, 75 % de estas variables. Esto es: al menos 3 variables.

  • Criterio 11. Se cumple, si se desarrolla la comparación estadística de medias de tratamientos y se informa la dócima que se empleó o la comparación de un tratamiento con una condición de control. La comparación se puede realizar mediante un contraste de hipótesis, que proporciona un valor de probabilidad.

  • Criterio 12. Se cumple, si se reporta el valor de las medias de los tratamientos y el estadístico de variabilidad para las variables clave medidas. Estos últimos incluyen desviaciones estándar, errores estándar, coeficiente de variación, intervalos de confianza, rango intercuartílicos (u otros rangos de cuantiles) y rangos medios.

A partir de la propuesta de escala desarrollada se puede evaluar la calidad metodológica de los estudios relacionados con el valor nutritivo de ensilajes para rumiantes, a partir de 12 criterios. Manterola y Otzen (2015) consideran que un estudio es riguroso, cuando cumple con 100 % de los criterios, mientras que un estudio es de poca calidad si su puntuación es inferior a 75 % del total de criterios que conforman el instrumento utilizado. Siendo consecuente con lo anterior, la nueva propuesta de escala evalúa un estudio como de buena calidad metodológica y bien diseñado, si recibe puntuación igual o mayor que 9 (75%).

Al validar la escala con dos evaluadores independientes, se obtuvo como resultado un CCI de 0.81, con un intervalo de confianza entre 0.67 y 0.89 para un nivel de significación de 0.05. Según Simancas y Arévalo (2017), valores del CCI superiores a 0.75 indican una fiabilidad excelente. Por tanto, el valor obtenido en la validación confirma la alta fiabilidad del instrumento diseñado.

En cuanto a la descripción de los 40 estudios incluidos, llama la atención que solo 10 % cumplen el cuarto criterio, respecto a la aleatoriedad de los tratamientos a las unidades experimentales. Además, los evaluadores solo observaron el cumplimiento del segundo criterio en 45 % del total de estudios. Es decir, no todos los autores describen el proceso de toma de muestra del forraje utilizado para ensilar.

El estudio piloto, con 40 artículos y dos evaluadores, permitió validar la fiabilidad de la escala, con excelente nivel de reproducibilidad o confiabilidad de medición entre diferentes observadores. Por ello, se concluye que el nuevo diseño de escala permite evaluar la calidad metodológica de los estudios relacionados con la composición química y el valor nutritivo de ensilajes para rumiantes. Se convierte así en una herramienta apropiada, que permitirá minimizar sesgos y mejorar la calidad de los estudios seleccionados para desarrollar meta-análisis sobre la temática.

References

Burgos, M.E., Manterola, C. & Sanhueza, A. 2011. Diseño de una escala para evaluar calidad metodológica de estudios de pruebas diagnósticas. Estudio piloto. Rev. Chilena de Cirugía. 63(5): 493-497 [ Links ]

Busanello, M., Velho, J. P., Cortiana, A. A., Moro, D. G., Pereira, I. M. & Thaler, A. 2016. A meta-analysis of in situ degradability of corn grains and non-starch energy sources found in Brazil. African Journal of Agricultural. 11(21): 1902-1907 [ Links ]

Cascaes, F., Valdivia, B.A., da Rosa, R., Barbosa, P.J. & da Silva, R. 2013. Escalas y listas de evaluación de la calidad de estudios científicos. Rev. Cubana de Información en Ciencias de la Salud. 24:295 [ Links ]

Dezordi, E., Andrighetto, M. E., Zago, D., Prates, E. R., Velho, J. P. & Jardim, J. O. 2017. The effect of live yeast supplementation on beef cattle performance: a systematic and meta-analysis. Journal of Agricultural Science. 9(4):21-37 [ Links ]

Dineen, M., Delaby, L., Gilliland, T. & McCarthy, B. 2017. Meta-analysis of the effect of white clover inclusion in perennial ryegrass swards on milk production. J. Dairy Sci. 101(1): 1-13 [ Links ]

Fuentes, M. 2016. Terapia robótica vs fisioterapia convencional en la reeducación de la marcha en personas con lesión medular: una revisión sistemática. Graduate Thesis, Universidad de Coruña, La Coruña, España, 44 p. [ Links ]

Hervada, X., Naveira, G., Santiago, M. I., Mujica, O. J., Vázquez, E., Manrique, R., Silva, L. C. & Bacallao, J. 2016. Epidat versión 4.2. Dirección General de Salud Pública, Galicia, España. Universidad CES, Medellín, Colombia. Centro Nacional de Información de Ciencias Médicas, La Habana, Cuba. Centro de Investigaciones y Referencia de Aterosclerosis, La Habana, Cuba. [ Links ]

Jensen, C., Ostergaard, S., Schei, I., Bertilsson, J. & Weisbjerg, M. 2015. A meta-analysis of milk production responses to increased net energy intake in Scandinavian dairy cows. Livestock Science. 175(1): 59-69 [ Links ]

Maccarana, L., Cattani, M., Tagliapietra, F., Schiavon, S., Bailoni, L. & Mantovani, R. 2016. Methodological factors affecting gas and methane production in vitro rumen fermentation evaluated by meta-analysis approach. Journal of Animal Science and Biotechnology. 7(1):35-47 [ Links ]

Manterola, C. & Otzen, T. 2015. Experimental studies 1st part. Clinical trial. Int. J. Morphol. 33(1):342-349 [ Links ]

Martín, J. 1995. Métodos estadísticos en meta-análisis. PhD Thesis, Universidad de Salamanca, Salamanca, España, 323 p. [ Links ]

Martín, H. 2014. La búsqueda bibliográfica, pilar fundamental de la medicina basada en la evidencia: evaluación multivariante de las enfermedades nutricionales y metabólicas. PhD Thesis, Universidad de Alicante, Alicante, España, 203 p. [ Links ]

Sao, A. C. 2013. Aplicación de una variante del meta-análisis a un estudio de la efectividad de la progesterona vaginal en la reducción del parto pretérmino. PhD Thesis, Universidad Autónoma de Barcelona, Barcelona, España, 94 p. [ Links ]

Sánchez, J. 2010. Cómo realizar una revisión sistemática y un meta-análisis. Aula Abierta. 38:53 [ Links ]

Signorini, M. L., Soto, L. P., Zbrun, M. V., Sequeira, G. J., Rosmini, M. R. & Frizzo, L. S. 2012. Impact of probiotic administration on the health and fecal microbiota of young calves: a meta-analysis of randomized controlled trials of lactic acid bacteria. Research in Veterinary Science. 93:250-258 [ Links ]

Simancas, M. & Arévalo, L. 2017. Desempeño de cuatro métodos estadísticos para evaluación de la concordancia prueba-reprueba de variables continuas en una muestra. Revista Biosalud. 16(1):19-29 [ Links ]

St-Pierre, N. R. 2001. Invited review: integrating quantitative findings from multiple studies using mixed model methodology. J. Dairy Sci . 84(4): 741-755 [ Links ]

Verhagen, A.P., de Vet, H.C., de Bie, R.A., Kessels, A.G., Boers, M., Bouter, L.M. & Knipschild, P.G. 1998. The Delphi list: a criteria list for quality assessment of randomised clinical trials for conducting systematic reviews developed by Delphi consensus. J. Clin. Epidem. 51(2):1235-1241 [ Links ]

Zeballos, L. 2013. Meta-análisis. Revista de Actualización Clínica. 33:1705-1709 [ Links ]

Zimmermann, J. A., Fusari, M. L., Rossler, E., Blajman, J. E., Romero, A., Astesana, D. M., Olivero, C. R., Berisvil, A. P., Signorini, M. L., Zbrun, M. V., Frizzo, L. S. & Soto, L. P. 2016. Effects of probiotics in swines growth performance: a meta-analysis of randomized controlled trials. Animal Feed Science and Technology. 219: 280-293 [ Links ]

Recibido: 21 de Marzo de 2018; Aprobado: 09 de Noviembre de 2018

Creative Commons License This is an open-access article distributed under the terms of the Creative Commons Attribution License