<?xml version="1.0" encoding="ISO-8859-1"?><article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<front>
<journal-meta>
<journal-id>2227-1899</journal-id>
<journal-title><![CDATA[Revista Cubana de Ciencias Informáticas]]></journal-title>
<abbrev-journal-title><![CDATA[Rev cuba cienc informat]]></abbrev-journal-title>
<issn>2227-1899</issn>
<publisher>
<publisher-name><![CDATA[Editorial Ediciones Futuro]]></publisher-name>
</publisher>
</journal-meta>
<article-meta>
<article-id>S2227-18992016000200014</article-id>
<title-group>
<article-title xml:lang="es"><![CDATA[Evaluación de alternativas para la clasificación de células cervicales utilizando solo rasgos del núcleo]]></article-title>
<article-title xml:lang="en"><![CDATA[Evaluation of alternatives for cervical cell classification using only nucleus&#8217; features]]></article-title>
</title-group>
<contrib-group>
<contrib contrib-type="author">
<name>
<surname><![CDATA[Rodríguez Vázquez]]></surname>
<given-names><![CDATA[Solangel]]></given-names>
</name>
<xref ref-type="aff" rid="A01"/>
</contrib>
<contrib contrib-type="author">
<name>
<surname><![CDATA[Martínez Borges]]></surname>
<given-names><![CDATA[Andy Vidal]]></given-names>
</name>
<xref ref-type="aff" rid="A02"/>
</contrib>
</contrib-group>
<aff id="A01">
<institution><![CDATA[,Universidad de las Ciencias Informáticas  ]]></institution>
<addr-line><![CDATA[La Lisa Ciudad de la Habana]]></addr-line>
</aff>
<aff id="A02">
<institution><![CDATA[,Empresa de tecnología para la defensa, XETID  ]]></institution>
<addr-line><![CDATA[La Lisa Ciudad de la Habana]]></addr-line>
</aff>
<pub-date pub-type="pub">
<day>00</day>
<month>06</month>
<year>2016</year>
</pub-date>
<pub-date pub-type="epub">
<day>00</day>
<month>06</month>
<year>2016</year>
</pub-date>
<volume>10</volume>
<numero>2</numero>
<fpage>211</fpage>
<lpage>222</lpage>
<copyright-statement/>
<copyright-year/>
<self-uri xlink:href="http://scielo.sld.cu/scielo.php?script=sci_arttext&amp;pid=S2227-18992016000200014&amp;lng=en&amp;nrm=iso"></self-uri><self-uri xlink:href="http://scielo.sld.cu/scielo.php?script=sci_abstract&amp;pid=S2227-18992016000200014&amp;lng=en&amp;nrm=iso"></self-uri><self-uri xlink:href="http://scielo.sld.cu/scielo.php?script=sci_pdf&amp;pid=S2227-18992016000200014&amp;lng=en&amp;nrm=iso"></self-uri><abstract abstract-type="short" xml:lang="es"><p><![CDATA[En este artículo se presenta un estudio comparativo del desempeño de tres de las técnicas de clasificación más utilizadas para el diagnóstico en la prueba de Papanicolaou basándose solamente en las características extraídas de la región del núcleo. Dentro de las técnicas seleccionadas se encuentran los clasificadores vecinos más cercanos (kNN), redes neuronales artificiales (RNA-RBF Network) y máquinas de soporte vectorial (SVM). El estudio comparativo se realiza con el objetivo de determinar la técnica con mayor capacidad para clasificar de forma correcta los patrones que identifican los cambios en las células cervicales a partir de matrices de rasgos de imágenes de la prueba de Papanicolaou. Para el estudio se utilizaron los resultados obtenidos en las iteraciones realizadas a cada clasificador con iguales conjuntos de datos, con el objetivo de determinar cuál de los métodos propuestos ofrece la mejor solución al problema de la clasificación de células cervicales. Se realizó un estudio experimental en el que se consideraron dominios con igualdad en los números de clases, atributos y ejemplos de entrenamiento, así como igual proporción de casos pertenecientes a cada clase. La comparación estadística se realizó en función de los resultados obtenidos por los índices de efectividad conocidos como medida F, media H, predictividad negativa y área bajo la curva ROC (AUC).]]></p></abstract>
<abstract abstract-type="short" xml:lang="en"><p><![CDATA[This paper presents a comparative study of the performance of three of the most widely used classification techniques for diagnosis in Pap tests based solely on features extracted from the nucleus&#8217; region. Among the selected techniques are the nearest neighbor classifier (kNN), artificial neural networks (ANN-RBF Network) and support vector machines (SVM). The comparative study is performed in order to determine the technique with greater ability to correctly classify the patterns that identify changes in cervical cells from feature matrices from images of Papanicolaou smears. In this study the results obtained from the iterations in each classifier using the same data sets were used in order to determine, which method offers the best solution to the problem of cervical cells classification. An experimental study was conducted considering domains with equal numbers of classes, attributes, and training examples, as well as an equal proportion of cases belonging to each class. The statistical comparison was made based in the results obtained in terms of the indexes of effectiveness known as F-measure, H-mean, negative predictivity and area under the ROC curve (AUC).]]></p></abstract>
<kwd-group>
<kwd lng="es"><![CDATA[células cervicales]]></kwd>
<kwd lng="es"><![CDATA[prueba de Papanicolaou]]></kwd>
<kwd lng="es"><![CDATA[clasificación]]></kwd>
<kwd lng="es"><![CDATA[kNN]]></kwd>
<kwd lng="es"><![CDATA[redes neuronales]]></kwd>
<kwd lng="es"><![CDATA[máquinas de soporte vectorial]]></kwd>
<kwd lng="en"><![CDATA[cervical cells]]></kwd>
<kwd lng="en"><![CDATA[Papanicolaou test]]></kwd>
<kwd lng="en"><![CDATA[classification]]></kwd>
<kwd lng="en"><![CDATA[kNN]]></kwd>
<kwd lng="en"><![CDATA[neural networks]]></kwd>
<kwd lng="en"><![CDATA[support vector machines]]></kwd>
</kwd-group>
</article-meta>
</front><body><![CDATA[ <p align="right"><font face="Verdana, Arial, Helvetica, sans-serif" size="2"><B>ART&Iacute;CULO  ORIGINAL</B></font></p>     <p>&nbsp;</p>     <p><font size="4"><strong><font face="Verdana, Arial, Helvetica, sans-serif">Evaluaci&oacute;n de alternativas para la clasificaci&oacute;n de  c&eacute;lulas cervicales utilizando solo rasgos del n&uacute;cleo</font></strong></font></p>     <p>&nbsp;</p>     <p><font size="3"><strong><font face="Verdana, Arial, Helvetica, sans-serif">Evaluation of alternatives  for cervical cell classification using only nucleus&rsquo; features</font></strong> </font></p>     <p>&nbsp;</p>     <p>&nbsp;</p>     <P><font size="2"><strong><font face="Verdana, Arial, Helvetica, sans-serif">Solangel  Rodr&iacute;guez V&aacute;zquez<strong><sup>1*</sup></strong>, Andy Vidal Mart&iacute;nez Borges</font><font face="Verdana, Arial, Helvetica, sans-serif"><strong><sup>2</sup></strong></font></strong></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><sup>1</sup></font> <font size="2" face="Verdana, Arial, Helvetica, sans-serif">Universidad de las  Ciencias Inform&aacute;ticas. Km 2&frac12; carretera San Antonio de los Ba&ntilde;os, Rpto. Torrens,  La Lisa, Ciudad de la Habana. <a href="mailto:svazquez@uci.cu">svazquez@uci.cu</a>    <br>     <sup>2 </sup></font><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Empresa de tecnolog&iacute;a para la defensa, XETID. Km 2&frac12; carretera San  Antonio de los Ba&ntilde;os, Rpto. Torrens, La Lisa, Ciudad de la Habana. <a href="mailto:avmartinez@xetid.cu">avmartinez@xetid.cu</a>    ]]></body>
<body><![CDATA[<br>         </font></p>     <P><font face="Verdana, Arial, Helvetica, sans-serif"><span class="class"><font size="2">*Autor para la correspondencia: </font></span></font><font size="2" face="Verdana, Arial, Helvetica, sans-serif"> <a href="mailto:svazquez@uci.cu">svazquez@uci.cu</a><a href="mailto:jova@uci.cu"></a></font><font face="Verdana, Arial, Helvetica, sans-serif"><a href="mailto:losorio@ismm.edu.cu"></a> </font>     <p>&nbsp;</p>     <p>&nbsp;</p> <hr>     <P><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b>RESUMEN</b> </font>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">En este art&iacute;culo se presenta un  estudio comparativo del desempe&ntilde;o de tres de las t&eacute;cnicas de clasificaci&oacute;n m&aacute;s  utilizadas para el diagn&oacute;stico en la prueba de Papanicolaou bas&aacute;ndose solamente  en las caracter&iacute;sticas extra&iacute;das de la regi&oacute;n del n&uacute;cleo. Dentro de las  t&eacute;cnicas seleccionadas se encuentran los clasificadores vecinos m&aacute;s cercanos (<em>kNN</em>), redes neuronales artificiales (RNA-RBF  Network) y m&aacute;quinas de soporte vectorial (SVM). El estudio comparativo se  realiza con el objetivo de determinar la t&eacute;cnica con mayor capacidad para  clasificar de forma correcta los patrones que identifican los cambios en las  c&eacute;lulas cervicales a partir de matrices de rasgos de im&aacute;genes de la prueba de  Papanicolaou. Para el estudio se utilizaron los resultados obtenidos en las  iteraciones realizadas a cada clasificador con iguales conjuntos de datos, con el objetivo de  determinar cu&aacute;l de los m&eacute;todos propuestos ofrece la mejor soluci&oacute;n al problema  de la clasificaci&oacute;n de c&eacute;lulas cervicales. Se realiz&oacute; un estudio experimental en  el que se consideraron dominios con igualdad en los n&uacute;meros de clases, atributos  y ejemplos de entrenamiento, as&iacute; como igual proporci&oacute;n de casos pertenecientes  a cada clase. La comparaci&oacute;n estad&iacute;stica se realiz&oacute; en funci&oacute;n de los  resultados obtenidos por los &iacute;ndices de efectividad conocidos como medida F, media  H, predictividad negativa y &aacute;rea bajo la curva ROC (AUC). </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b><span lang=EN-GB>Palabras clave:</span></b></font> <font size="2" face="Verdana, Arial, Helvetica, sans-serif">c&eacute;lulas cervicales, prueba de Papanicolaou, clasificaci&oacute;n, <em>kNN</em>, redes neuronales, m&aacute;quinas de  soporte vectorial.</font></p> <hr>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b><span lang=EN-GB>ABSTRACT</span></b> </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">This paper presents a comparative study of the  performance of three of the most widely used classification techniques for  diagnosis in Pap tests based solely on features extracted from the nucleus&rsquo;  region. Among the selected techniques are the nearest neighbor classifier  (kNN), artificial neural networks (ANN-RBF Network) and support vector machines  (SVM). The comparative study is performed in order to determine the technique  with greater ability to correctly classify the patterns that identify changes  in cervical cells from feature matrices from images of Papanicolaou smears. In  this study the results obtained from the iterations in each classifier using  the same data sets were used in order to determine, which method offers the  best solution to the problem of cervical cells classification. An experimental  study was conducted considering domains with equal numbers of classes, attributes,  and training examples, as well as an equal proportion of cases belonging to  each class. The statistical comparison was made based in the results obtained in  terms of the indexes of effectiveness known as F-measure, H-mean, negative  predictivity and area under the ROC curve (AUC).</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><b><span lang=EN-GB>Key words: </span></b>cervical cells, Papanicolaou  test, classification, kNN, neural networks, support vector machines.</font></p> <hr>     ]]></body>
<body><![CDATA[<p>&nbsp;</p>     <p>&nbsp;</p>     <p><font size="3" face="Verdana, Arial, Helvetica, sans-serif"><b>INTRODUCCI&Oacute;N</b></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">El c&aacute;ncer de c&eacute;rvix uterino es una de las enfermedades m&aacute;s frecuentes entre  las mujeres, aunque m&aacute;s del 80% se produce en pa&iacute;ses en v&iacute;as de desarrollo. El  cribado de c&aacute;ncer de c&eacute;rvix ha demostrado su efectividad para reducir la  incidencia y la mortalidad por esta enfermedad, especialmente cuando se realiza  a trav&eacute;s de programas poblacionales organizados. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">El cuello uterino es la abertura del &uacute;tero que se encuentra en la parte  superior de la vagina. Est&aacute; cubierto por una capa fina de tejido compuesto por  c&eacute;lulas. A medida que estas c&eacute;lulas se desarrollan, las que se encuentran en la  capa inferior se trasladan lentamente a la superficie del cuello uterino, Durante  este proceso, algunas c&eacute;lulas se pueden volver an&oacute;malas y ellas pueden devenir  en un proceso canceroso. Estas alteraciones precancerosas se denominan  displasia o lesiones escamosas intraepiteliales. La prueba de cribado o  citolog&iacute;a de Papanicolaou se utiliza para detectar c&eacute;lulas cervicales an&oacute;malas  en personas que no presentan se&ntilde;ales o s&iacute;ntomas. De esta manera es posible  administrar tratamiento en las primeras etapas de la enfermedad.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Debido al car&aacute;cter masivo de su aplicaci&oacute;n en la poblaci&oacute;n femenina, la  prueba de Papanicolaou genera una considerable carga de trabajo para los  laboratorios que analizan en el microscopio los frotis resultantes de esta  t&eacute;cnica citol&oacute;gica. En un frotis t&iacute;pico se pueden encontrar hasta 300000  c&eacute;lulas, lo que limita la productividad a no m&aacute;s de unas 60-80 citolog&iacute;as por  d&iacute;a de trabajo y observador (Lorenzo-Ginori and Rodr&iacute;guez-Santos, 2012). Adem&aacute;s de esto, a partir de la experiencia de la aplicaci&oacute;n de esta  prueba durante muchos a&ntilde;os, se ha podido determinar que existen diferentes  factores que afectan la calidad de los resultados. Estos son, principalmente,  los errores en la toma de las muestras, en su procesamiento y en su lectura e  interpretaci&oacute;n. Sobre este &uacute;ltimo caso, la necesidad de analizar una gran  cantidad de muestras con muy baja tasa de casos positivos tiende a sesgar el  resultado de la evaluaci&oacute;n, y adem&aacute;s provoca errores debidos a la rutina y a la  fatiga de los analistas.     <br> &quot;Si tenemos en cuenta que la esperanza de vida promedio de la mujer  en nuestro pa&iacute;s es de 80 a&ntilde;os, con cada fallecimiento se pierden 30 a&ntilde;os de  vida potenciales, por lo que es la principal causa de muerte prematura en la  poblaci&oacute;n femenina cubana. La carga para la sociedad es entonces muy alta,  adem&aacute;s de la discapacidad que genera en aquellas que no fallecen&quot;. (Acosta, 2012) </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Como consecuencia de los diferentes errores mencionados, aparece una  cierta tasa de falsos negativos en el resultado final. Estos implican que una  lesi&oacute;n precursora pueda progresar, o que un carcinoma in situ (curable) pueda  devenir en un c&aacute;ncer invasivo, sin que la paciente sea sometida a tratamiento  alguno. La aparici&oacute;n de falsos negativos motiva la necesidad de asegurar la  calidad en la toma y procesamiento de las muestras, y adem&aacute;s de disponer de  m&eacute;todos efectivos de revisi&oacute;n de las pruebas. Tanto en lo referido a la  necesidad de incrementar la productividad de los laboratorios, como a la de  reducir la tasa de falsos negativos, los m&eacute;todos que utilizan el procesamiento  digital de im&aacute;genes han comenzado a desempe&ntilde;ar, en los &uacute;ltimos a&ntilde;os, un  importante papel. (Lorenzo-Ginori and Rodr&iacute;guez-Santos, 2012) </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Seg&uacute;n (Acosta, 2012), en 2011 se reportaron en Cuba 1334 casos nuevos de c&aacute;ncer  c&eacute;rvicouterino, y unas 455 mujeres fallecieron por esta causa. Atendiendo a tal  situaci&oacute;n, se plantea que los programas de pesquisa y diagn&oacute;stico precoz del  c&aacute;ncer c&eacute;rvicouterino y sus lesiones precursoras cobran cada vez mayor  relevancia. Para mejorar la efectividad del cribado  se han introducido nuevas t&eacute;cnicas de obtenci&oacute;n de muestras citol&oacute;gicas, como  la citolog&iacute;a l&iacute;quida, y se han desarrollado sistemas automatizados de lectura  de las muestras citol&oacute;gicas que utilizan t&eacute;cnicas de clasificaci&oacute;n.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Los m&eacute;todos que se  refieren a la clasificaci&oacute;n de im&aacute;genes de Papanicolaou se basan en el c&aacute;lculo  de las caracter&iacute;sticas extra&iacute;das de las &aacute;reas del n&uacute;cleo y el citoplasma (Marinakis, Dounias et al. 2009; Marinakis, Marinaki et al. 2008). Se basan generalmente en caracter&iacute;sticas de forma y la  intensidad de los objetos de inter&eacute;s. Sin embargo, las caracter&iacute;sticas  calculadas no presentan la misma capacidad de discriminaci&oacute;n (Plissiti and Nikou, 2012 a). Para la determinaci&oacute;n  del conjunto de caracter&iacute;sticas m&aacute;s eficaz que se utiliza como entrada en un  clasificador, se han propuesto algunos esquemas de selecci&oacute;n de  caracter&iacute;sticas, y que se refieren a algoritmos gen&eacute;ticos (Marinakis, Dounias et al. 2009) y optimizaci&oacute;n de nubes  de part&iacute;culas (Marinakis, Marinaki et al. 2008). Estos m&eacute;todos utilizan  im&aacute;genes pre-segmentadas que contienen solo una c&eacute;lula, por lo que la  segmentaci&oacute;n correcta del n&uacute;cleo y el citoplasma es factible. En las im&aacute;genes  que contienen grupos de c&eacute;lulas, la detecci&oacute;n de la frontera del citoplasma es  un problema dif&iacute;cil y, hasta ahora, no se ha encontrado ninguna t&eacute;cnica en la  literatura estudiada que mencione algoritmos con buenos resultados en la  delimitaci&oacute;n de las fronteras. Sin embargo, la detecci&oacute;n y segmentaci&oacute;n de los  n&uacute;cleos de las im&aacute;genes que contienen c&eacute;lulas superpuestas y agrupaciones de  c&eacute;lulas ha sido abordado con &eacute;xito en varios estudios</font>. </p>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">En dicha investigaci&oacute;n se eval&uacute;a la  clasificaci&oacute;n de las c&eacute;lulas del cuello uterino, sobre la base de las  caracter&iacute;sticas extra&iacute;das del n&uacute;cleo. Los experimentos a realizar se basar&aacute;n en  la base de datos Herlev de referencia presentada en (Jantzen, Norup et al. 2005). La base de datos  consta de 917 im&aacute;genes que contienen cada uno una &uacute;nica c&eacute;lula (<a href="/img/revistas/rcci/v10n2/f0114216.jpg" target="_blank">figura 1</a>), y  las muestras se distribuyen irregularmente en siete clases. Tres de ellas son  consideradas como normales, y las cuatro restantes como anormales. La  descripci&oacute;n detallada de la base de datos se representa en la <a href="/img/revistas/rcci/v10n2/t0114216.jpg" target="_blank">Tabla 1</a>. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Las im&aacute;genes de la base  de datos han sido manualmente segmentadas por los expertos, y las &aacute;reas del  n&uacute;cleo y el citoplasma se definen con precisi&oacute;n. A partir de estas &aacute;reas,  fueron determinadas veinte caracter&iacute;sticas (Jantzen, Norup et al. 2005) relativas a la  intensidad y las caracter&iacute;sticas de forma de la regi&oacute;n espec&iacute;fica tanto del  n&uacute;cleo como de la zona del citoplasma (<a href="#t02">Tabla 2</a>). Nueve de cada veinte  caracter&iacute;sticas se refieren a la regi&oacute;n del n&uacute;cleo, los que pueden ser  calculados de forma independiente.</font></p>     <p align="center"><img src="/img/revistas/rcci/v10n2/t0214216.jpg" alt="t02" width="542" height="277"><a name="t02"></a></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">En algunas  investigaciones como es el caso de (Plissiti and Nikou, 2012 a) se hace uso de los 9  rasgos del n&uacute;cleo, debido a la mayor facilidad que presenta esta para  su segmentaci&oacute;n en im&aacute;genes que suelen exhibir un fuerte solapamiento entre los  citoplasmas de las c&eacute;lulas. No obstante en la presente investigaci&oacute;n solo se utilizan 5  rasgos de los 9 como <em>&aacute;rea, per&iacute;metro,  di&aacute;metro corto, di&aacute;metro m&aacute;s largo y la redondez</em> debido a que el objetivo  principal de la investigaci&oacute;n va encaminado a buscar cu&aacute;l es el clasificador  que, a partir de un conjunto simplificado de datos geom&eacute;tricos b&aacute;sicos, mejor  se adapta a la clasificaci&oacute;n binaria de c&eacute;lulas cervicales en la prueba de  Papanicolaou (Velezmoro and Villafuerte, 2001). La extracci&oacute;n de  rasgos es uno de los pasos fundamentales en el procesamiento de im&aacute;genes debido  a que mientras mejor sea la selecci&oacute;n de los atributos m&aacute;s acertada ser&aacute; la  clasificaci&oacute;n final de las c&eacute;lulas. Esto hace que la adecuada selecci&oacute;n de los  rasgos sea una de las limitantes en las investigaciones para la clasificaci&oacute;n  de im&aacute;genes, debido a que si no se cuenta con los rasgos apropiados los  resultados obtenidos por el clasificador no tendr&aacute;n la calidad que se necesita. </font></p>     <p>&nbsp;</p>     <p><font face="Verdana, Arial, Helvetica, sans-serif"><strong><font size="3">MATERIALES Y M&Eacute;TODOS</font></strong></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Para el caso de la  presente investigaci&oacute;n, las matrices de rasgos utilizadas fueron extra&iacute;das de  las im&aacute;genes ya previamente segmentadas (<a href="/img/revistas/rcci/v10n2/f0114216.jpg" target="_blank">Figura 1(c)</a>) pertenecientes a la base  de datos Herlev. Para ello se hizo uso de la herramienta Matlab y de las  funciones propias de la misma. De esta forma se desarroll&oacute; un algoritmo que  toma aleatoriamente de la base de datos Herlev un 80% de las im&aacute;genes y extrae  de ellas los rasgos antes mencionados. A continuaci&oacute;n, el algoritmo crea una  matriz con los rasgos extra&iacute;dos de las im&aacute;genes, la que ser&aacute; utilizada en el  entrenamiento del clasificador. Posteriormente el algoritmo extrae los rasgos  del 20% de las im&aacute;genes restantes y conforma la matriz de rasgos que se  utilizar&aacute; para realizar las pruebas. Estas matrices tienen como caracter&iacute;stica  fundamental que poseen vectores de rasgos diferentes lo que posibilita una  evaluaci&oacute;n correcta del funcionamiento del clasificador.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Para esto se utiliz&oacute; un  esquema experimental, validaci&oacute;n cruzada de k particiones (<em>k-fold cross validation</em>). Se realiz&oacute; un particionamiento de los  datos de la forma antes descrita y se realizaron siete ejecuciones. Se  comprobaron los mismos conjuntos de datos para cada clasificador, tanto en las  comparaciones internas de estos algoritmos como en la posterior comparaci&oacute;n  entre los mismos. Para las comparaciones de los resultados en cada algoritmo,  de los conjuntos de datos obtenidos en el particionamiento, se utilizaron las  tres particiones que mejores resultados mostraron en cuanto a las medidas Pn, &aacute;rea  bajo la curva ROC (AUC) y las medias arm&oacute;nicas H y F.</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">En la presente  investigaci&oacute;n, se defini&oacute; de forma heur&iacute;stica utilizar para la comparaci&oacute;n y  posterior selecci&oacute;n, tres algoritmos de clasificaci&oacute;n: las m&aacute;quinas de soporte  vectorial (SVM) (Vapnik, 2000), la b&uacute;squeda por el  vecino m&aacute;s cercano (<em>kNN</em>) (Duda, Hart et al. 2012) y las redes neuronales  (RNA) (Olabe, 1998).</font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">A trav&eacute;s de una  comparaci&oacute;n realizada por los autores se obtuvieron las caracter&iacute;sticas internas  con las cuales los algoritmos muestran los mejores resultados en la  clasificaci&oacute;n de este tipo de c&eacute;lulas. El algoritmo SVM con el kernel RBF mostr&oacute;  resultados en la clasificaci&oacute;n que se comportan entre un 78% y 86% de  predictividad negativa (Pn) adem&aacute;s de su bajo costo computacional en  comparaci&oacute;n del kernel lineal que mostr&oacute; una Pn entre 79% y 85% con un elevado  costo computacional. En el caso de las redes neuronales comparadas se evidencia  que la RBF Network es m&aacute;s eficiente en el momento de la clasificaci&oacute;n comport&aacute;ndose  entre un 81 y 91% de Pn en comparaci&oacute;n con la red neuronal MLP que mantuvo un  comportamiento entre un 81% y 86%, as&iacute; como en el caso del algoritmo <em>kNN</em>, la distancia Manhattan evidenci&oacute;  obtener resultados en la clasificaci&oacute;n que se comportan entre un 84 y 93% de Pn  con respecto a la distancia mahalanobis que mostr&oacute; un 84 y 90% de Pn. Para la  selecci&oacute;n de dichas caracter&iacute;sticas se tuvieron en cuenta adem&aacute;s los valores  obtenidos en cuanto a los &iacute;ndices de efectividad que a continuaci&oacute;n tambi&eacute;n se  utilizan en esta investigaci&oacute;n. Dichos algoritmos arrojaron resultados que  demuestran la eficiencia de cada uno en la clasificaci&oacute;n de las c&eacute;lulas  cervicales. </font></p>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">En la presente  investigaci&oacute;n se utilizaron, para evaluar la efectividad de los diferentes  clasificadores utilizados, los &iacute;ndices de efectividad, conocidos como  sensibilidad, especificidad, predictividad positiva y negativa, as&iacute; como la  tasa de clasificaci&oacute;n correcta. Otros &iacute;ndices de efectividad empleados en esta  investigaci&oacute;n para evaluar las distancias en el clasificador fueron el &aacute;rea  bajo la curva ROC, la predictividad negativa y las medidas <em>F </em>y <em>H</em>, dadas por: </font></p>     <p align="center"><img src="/img/revistas/rcci/v10n2/fo0114216.jpg" alt="fo01" width="363" height="101"></p>     <p>&nbsp;</p>     <p><font face="Verdana, Arial, Helvetica, sans-serif"><strong><font size="3">RESULTADOS Y DISCUSI&Oacute;N </font></strong></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">A fin de determinar la calidad relativa de los resultados se realiz&oacute; una  comparaci&oacute;n entre los clasificadores anteriormente mencionados. Se utiliz&oacute; una  programaci&oacute;n propia escrita en lenguaje Java y se us&oacute; adem&aacute;s las  implementaciones disponibles en el paquete de Miner&iacute;a de Datos WEKA. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><strong>An&aacute;lisis de los resultados  de acuerdo a la medida F </strong> </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">El objetivo de este estudio es realizar un an&aacute;lisis referente al  comportamiento del &iacute;ndice de efectividad conocido como medida F o media arm&oacute;nica ( F- measure, en la literatura en ingl&eacute;s). La media arm&oacute;nica determina hasta  qu&eacute; punto los resultados obtenidos se asemejan a los que se hubieran logrado  con una categorizaci&oacute;n manual real por cada iteraci&oacute;n de prueba. De acuerdo a  los datos ofrecidos en la <a href="#t03">tabla 3</a> se  muestra que el valor de la medida F se mantuvo por encima del 86% entre los tres clasificadores donde la  media prevaleci&oacute; por encima del 90%. En la corrida de las iteraciones de prueba  SVMcon el kernel RBF obtuvo un 95.1%  de medida F (mayor valor obtenido).</font></p>     <p align="center"><img src="/img/revistas/rcci/v10n2/t0314216.jpg" alt="t03" width="553" height="144"><a name="t03"></a></p>     <p><font size="2"><a><strong><font face="Verdana, Arial, Helvetica, sans-serif">An&aacute;lisis de los resultados de acuerdo a la Predictividad Negativa  (Pn)</font></strong></a> </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">El objetivo de este estudio es realizar un an&aacute;lisis referente al  comportamiento de la medida de evaluaci&oacute;n predictividad negativa (Pn). La Pn es  la probabilidad de que el clasificador detecte la c&eacute;lula como normal siendo en  realidad el resultado de la prueba diagn&oacute;stica negativo. De acuerdo a los datos  que se ofrecen en la <a href="#t04">tabla 4</a> se  muestra que el valor de Pn se mantuvo por encima del 74% entre los tres  clasificadores donde la media prevaleci&oacute; por encima del 80%. En la corrida de  las iteraciones de prueba <em>kNN </em>con la  distancia Manhattan obtuvo un 93% de Pn (mayor valor obtenido)</font>.</p>     ]]></body>
<body><![CDATA[<p align="center"><img src="/img/revistas/rcci/v10n2/t0414216.jpg" alt="t04" width="556" height="134"><a name="t04"></a></p>     <p><font size="2"><a><strong><font face="Verdana, Arial, Helvetica, sans-serif">&Aacute;rea bajo la curva ROC (A-ROC o AUC)</font></strong></a> </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">El objetivo  de este estudio es realizar un an&aacute;lisis referente al comportamiento de la  medida de evaluaci&oacute;n &aacute;rea bajo la curva ROC (A<em>-</em>ROC o AUC). El AUC seg&uacute;n (Bamber, 1975) y (Hanley and McNeil, 1982), se define como la probabilidad de clasificar correctamente un par de  individuos sano y enfermo, seleccionados al azar de la poblaci&oacute;n, mediante los  resultados obtenidos al aplicar la prueba diagn&oacute;stica. Los datos ofrecidos en  la <a href="/img/revistas/rcci/v10n2/t0514216.jpg" target="_blank">tabla 5</a> muestran que el valor de  la AUC se mantuvo por encima del 83% entre los tres clasificadores donde la  media prevaleci&oacute; por encima del 91.8%. En la corrida de las iteraciones de  prueba <em>kNN </em>con la distancia Manhattan  obtuvo un 97.6% de AUC (mayor valor obtenido). En la tabla se muestra la  estabilidad del clasificador <em>kNN </em>por  encima de SVM y RBF Network, donde obtuvo los mayores valores del &aacute;rea debajo  de la curva en todas las iteraciones de pruebas realizadas. </font></p>     <p><font size="2"><a><strong><font face="Verdana, Arial, Helvetica, sans-serif">An&aacute;lisis comparativo de los clasificadores</font></strong></a> </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Luego del an&aacute;lisis  realizado de acuerdo a las medidas de evaluaci&oacute;n aplicadas a los clasificadores  es necesario evaluar si existe alguna diferencia significativa que demuestre la  superioridad de un clasificador sobre los dem&aacute;s. Para ello se siguieron las  recomendaciones realizadas por Dem&scaron;ar (Dem&scaron;ar, 2006) y las extensiones  presentadas por Garc&iacute;a y Herrera (Garc&iacute;a and Herrera, 2008). Se procedi&oacute; a realizar  un an&aacute;lisis estad&iacute;stico a trav&eacute;s de pruebas no param&eacute;tricas para <em>k</em> muestras no relacionadas mediante el  Test de Friedman (Dem&scaron;ar, 2006) con el objetivo de  probar la hip&oacute;tesis nula de que todos los clasificadores alcanzan los mismos  resultados en promedio. Como pruebas post-hoc se aplic&oacute; primeramente el test  Bonferroni-Dunn (Dem&scaron;ar, 2006) para definir que existen  diferencias significativas entre el clasificador mejor rankeado y el siguiente.  Para contrastar los resultados se aplic&oacute; el test de Holm (Dem&scaron;ar, 2006). </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Las <a href="/img/revistas/rcci/v10n2/t067814216.jpg" target="_blank">tablas 6, 7 y 8</a> muestran los resultados experimentales de los tres  clasificadores para las particiones del conjunto de dato realizadas. Las dos  &uacute;ltimas filas muestran el ranking de cada uno de los clasificadores y su  posici&oacute;n. Despu&eacute;s de analizar estad&iacute;sticamente los resultados para detectar si  existen diferencias significativas entre los clasificadores para cada una de  las medidas utilizadas, se comprob&oacute; que el test de Friedman rechaz&oacute; la  hip&oacute;tesis nula para AUC con un valor de</font> <img src="/img/revistas/rcci/v10n2/fo0214216.jpg" alt="fo02" width="112" height="21"> <font size="2" face="Verdana, Arial, Helvetica, sans-serif">mientras que para Pn y la medida F no se encontraron diferencias  significativas. Por esta raz&oacute;n solo se aplicaron los test post-hoc para la  medida AUC. Los test Bonferroni-Dunn y de Holm rechazaron la hip&oacute;tesis nula  para valores de</font> <img src="/img/revistas/rcci/v10n2/fo0314216.jpg" alt="fo03" width="135" height="21"> <font size="2" face="Verdana, Arial, Helvetica, sans-serif">respectivamente, con un valor de confianza</font> <img src="/img/revistas/rcci/v10n2/fo0414216.jpg" alt="fo04" width="59" height="17"> <font size="2" face="Verdana, Arial, Helvetica, sans-serif">(<a href="/img/revistas/rcci/v10n2/t0914216.jpg" target="_blank">Tabla 9</a>). Estos resultados demuestran que el clasificador <em>kNN </em>tiene un mejor desempe&ntilde;o que RNA y equivalente que SVM para el  particionamiento de los datos realizados. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">De acuerdo al an&aacute;lisis  realizado y luego de evaluadas las medidas en cada clasificador, se evidencia  que el clasificador con mejor desempe&ntilde;o en la clasificaci&oacute;n de c&eacute;lulas  cervicales es el <em>kNN</em> haciendo uso de  la distancia Manhattan. Dicho clasificador presenta los mejores resultados para  las medidas evaluadas, con valores promedios de medida <em>F</em> de 91%, Pn de 83% y AUC de 94%. Adem&aacute;s, este clasificador mostr&oacute;  ser el m&aacute;s estable manteniendo los valores de AUC superiores al 90% y llegando  hasta un 97.6% (<a href="/img/revistas/rcci/v10n2/t0514216.jpg" target="_blank">Tabla 5</a>). Por estas razones se recomienda utilizar el  clasificador <em>kNN</em> con la distancia  Manhattan en la herramienta de visi&oacute;n computacional desarrollada. </font></p>     <p><font size="2"><strong><font face="Verdana, Arial, Helvetica, sans-serif">Comparaci&oacute;n con otros  enfoques de la literatura estudiada</font></strong></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">La <a href="#t10">tabla 10</a>  muestra la comparaci&oacute;n de la evaluaci&oacute;n estad&iacute;stica obtenida durante la  investigaci&oacute;n con los resultados obtenidos en otras investigaciones analizadas.  Dichas investigaciones utilizan al igual que la presente investigaci&oacute;n la base  de datos Herlev, aunque no especifican la forma en que se realiz&oacute; la partici&oacute;n  de los conjuntos de rasgos para las pruebas y el entrenamiento.</font> </p>     <p align="center"><img src="/img/revistas/rcci/v10n2/t1014216.jpg" alt="10" width="554" height="147"><a name="t10"></a></p>     ]]></body>
<body><![CDATA[<p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Se establece una comparaci&oacute;n en  funci&oacute;n de la media arm&oacute;nica      &nbsp;debido a que es la medida de evaluaci&oacute;n  utilizada por dichas investigaciones. El resultado obtenido por la presente  investigaci&oacute;n de acuerdo a la media arm&oacute;nica muestra que se logra superar los  resultados obtenidos en (Plissiti and Nikou, 2012 a), mientras que son  ligeramente inferiores a (Plissiti and Nikou, 2012 b) aunque se debe tener en  cuenta que este utiliza un mayor n&uacute;mero de rasgos.</font></p>     <p>&nbsp;</p>     <p><font face="Verdana, Arial, Helvetica, sans-serif" size="3"><B>CONCLUSIONES</B></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">En el presente art&iacute;culo  se realiza una comparaci&oacute;n entre los clasificadores de acuerdo a los resultados  obtenidos en cuanto a las medidas de evaluaci&oacute;n Exactitud, Medida F,  Predictividad Negativa y AUC. Se establece adem&aacute;s una comparaci&oacute;n entre el  clasificador resultante de la validaci&oacute;n experimental con resultados obtenidos en  investigaciones realizadas por otros autores. A ra&iacute;z de esto se puede concluir  que el clasificador <em>kNN</em> con empleo de  la distancia Manhattan ha sido el m&aacute;s estable de los clasificadores evaluados  en este trabajo, habiendo obtenido durante las iteraciones de prueba los  mayores valores en cuanto al &aacute;rea bajo la curva y la mejor probabilidad de  detecci&oacute;n correcta de los casos negativos. Cuando se compar&oacute; el resultado de la  presente investigaci&oacute;n con los resultados obtenidos en investigaciones  reportadas en la literatura en cuanto a los resultados de la clasificaci&oacute;n se  evidenci&oacute; una mejora referente al cumplimiento del objetivo que es la reducci&oacute;n  de falsos negativos en la prueba de Papanicolaou. Como direcci&oacute;n de trabajo  futuro, se propone introducir otros rasgos y realizar una selecci&oacute;n de estos sobre  la base de su efectividad, con el prop&oacute;sito de reducir la dimensionalidad de  las matrices de rasgos sin afectar significativamente el desempe&ntilde;o de los  clasificadores. A m&aacute;s largo plazo, se investigar&aacute; sobre el proceso de  clasificaci&oacute;n en varias clases para las im&aacute;genes de la prueba de Papanicolaou.</font></p>     <p>&nbsp;</p>     <p align="left"><font face="Verdana, Arial, Helvetica, sans-serif" size="3"><B>REFERENCIAS    BIBLIOGR&Aacute;FICAS</B></font>     <!-- ref --><p><font size="2"><a><font face="Verdana, Arial, Helvetica, sans-serif">ACOSTA, L. F. (2012). El diagn&oacute;stico temprano es  garant&iacute;a de vida. </font></a><font face="Verdana, Arial, Helvetica, sans-serif"><u>Peri&oacute;dico Granma</u>. Ciudad de la Habana.     </font></font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>BAMBER, D. (1975). &quot;The area  above the ordinal dominance graph and the area below the receiver operating  characteristic graph.&quot; <u>Journal of Mathematical Psychology</u> <strong>12</strong>(4): 387-415.</a> </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>DEM&Scaron;AR, J. (2006). &quot;Statistical  Comparisons of Classifiers over Multiple Data Sets.&quot; <u>The Journal of  Machine Learning Research</u> <strong>7</strong>: 1-30.</a> </font></p>     ]]></body>
<body><![CDATA[<!-- ref --><p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>DUDA, R. O., P. E. HART, et al. (2012). </a><u>Pattern classification</u>, John Wiley &amp; Sons.     </font></p>     <!-- ref --><p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>GARC&Iacute;A, S. AND F. HERRERA (2008).  &quot;An Extension on &quot;Statistical Comparisons of Classifiers over  Multiple Data Sets&quot; for all Pairwise Comparisons.&quot; <u>Journal of  Machine Learning Research</u> <strong>9</strong>:  2677-2694.    </a> </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>HANLEY, J. A. AND B. J. MCNEIL  (1982). &quot;The meaning and use of the area under a receiver operating  characteristic (ROC) curve.&quot; <u>Radiology</u> <strong>143</strong>(1): 29-36.</a> </font></p>     <!-- ref --><p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>JANTZEN, J., J. NORUP, et al. (2005).  &quot;Pap-smear Benchmark Data For Pattern Classification.&quot; </a>9.     </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>LORENZO-GINORI, J. V. AND I. RODR&Iacute;GUEZ-SANTOS (2012).  &quot;Aplicaci&oacute;n de t&eacute;cnicas de visi&oacute;n computacional en la prueba de  Papanicolaou.&quot; </a><u>Medicentro Electr&oacute;nica</u> <strong>16</strong>(3): 196-198. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>MARINAKIS, Y., G. DOUNIAS, et al. </a>(2009). &quot;Pap smear diagnosis using a hybrid intelligent scheme  focusing on genetic algorithm based feature selection and nearest neighbor  classification.&quot; <u>Computers in Biology and Medicine</u> <strong>39</strong>(1): 69-78. </font></p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>MARINAKIS, Y., M. MARINAKI, et al.  (2008). &quot;Particle swarm optimization for pap-smear diagnosis.&quot; </a><u>Expert Systems  with Applications</u> <strong>35</strong>(4):  1645-1656. </font></p>     ]]></body>
<body><![CDATA[<!-- ref --><p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>OLABE, XABIER&nbsp;B. (1998). <u>Redes Neuronales  Artificiales y sus Aplicaciones</u>. Bilbao, Espa&ntilde;a, Publicaciones de la  Escuela de Ingenieros.    </a> </font></p>     <!-- ref --><p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>PLISSITI, M. AND C. NIKOU (2012) a.  Cervical Cell Classification Based Exclusively on Nucleus Features. <u>Image  Analysis and Recognition</u>. A. Campilho and M. Kamel, Springer Berlin  Heidelberg. <strong>7325: </strong>483-490.    </a> </font></p>     <!-- ref --><p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>PLISSITI, M. E. AND C. NIKOU (2012) b  &quot;On the importance of nucleus features in the classification of cervical  cells in Pap smear images.&quot; <u>University of Ioannina</u>.    </a> </font></p>     <!-- ref --><p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>VAPNIK, V. N. (2000). <u>The Nature  of Statistical Learning Theory</u>, Springer.    </a> </font></p>     <!-- ref --><p><font size="2" face="Verdana, Arial, Helvetica, sans-serif"><a>VELEZMORO, G. A. B. AND D. F. VILLAFUERTE (2001).  Factores de riesgo que pron&oacute;stican el hallazgo de citolog&iacute;as cervicales anormales  en dos poblaciones: mujeres de obreros de construcci&oacute;n civil vs. mujeres  control en la posta m&eacute;dica &quot;Construcci&oacute;n Civil&quot; ESSALUD, de junio a  septiembre del 2000. <u>Facultad de Medicina Humana</u>. Lima, Per&uacute;,  Universidad Nacional Mayor de San Marcos<strong>: </strong>67.    </a></font><font size="2"></font> </p>     ]]></body>
<body><![CDATA[<p name="_ENREF_1">&nbsp;</p>     <p name="_ENREF_1">&nbsp;</p>     <p><font size="2" face="Verdana, Arial, Helvetica, sans-serif">Recibido: 01/02/2015    <br> Aceptado: 14/01/2016</font></p>      ]]></body><back>
<ref-list>
<ref id="B1">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[ACOSTA]]></surname>
<given-names><![CDATA[L. F]]></given-names>
</name>
</person-group>
<source><![CDATA[El diagnóstico temprano es garantía de vida.]]></source>
<year>2012</year>
<publisher-loc><![CDATA[^eCiudad de la Habana Ciudad de la Habana]]></publisher-loc>
<publisher-name><![CDATA[Periódico Granma]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B2">
<nlm-citation citation-type="">
<person-group person-group-type="author">
<name>
<surname><![CDATA[BAMBER]]></surname>
<given-names><![CDATA[D]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[The area above the ordinal dominance graph and the area below the receiver operating characteristic graph.]]></article-title>
<source><![CDATA[]]></source>
<year></year>
<volume>12</volume>
<numero>4</numero>
<issue>4</issue>
<page-range>387-415</page-range></nlm-citation>
</ref>
<ref id="B3">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[DEM&#352;AR]]></surname>
<given-names><![CDATA[J]]></given-names>
</name>
</person-group>
<source><![CDATA[Statistical Comparisons of Classifiers over Multiple Data Sets.]]></source>
<year>2006</year>
<volume>7</volume>
<page-range>1-30</page-range><publisher-name><![CDATA[The Journal of Machine Learning Research]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B4">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[DUDA]]></surname>
<given-names><![CDATA[R. O]]></given-names>
</name>
<name>
<surname><![CDATA[HART]]></surname>
<given-names><![CDATA[P. E.]]></given-names>
</name>
</person-group>
<source><![CDATA[Pattern classification]]></source>
<year>2012</year>
<publisher-name><![CDATA[John Wiley & Sons]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B5">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[GARCÍA]]></surname>
<given-names><![CDATA[S]]></given-names>
</name>
<name>
<surname><![CDATA[HERRERA]]></surname>
<given-names><![CDATA[F]]></given-names>
</name>
</person-group>
<source><![CDATA[An Extension on Statistical Comparisons of Classifiers over Multiple Data Sets for all Pairwise Comparisons.]]></source>
<year>2008</year>
<volume>9</volume>
<page-range>2677-2694</page-range><publisher-name><![CDATA[Journal of Machine Learning Research]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B6">
<nlm-citation citation-type="">
<person-group person-group-type="author">
<name>
<surname><![CDATA[HANLEY]]></surname>
<given-names><![CDATA[J. A]]></given-names>
</name>
<name>
<surname><![CDATA[MCNEIL]]></surname>
<given-names><![CDATA[B. J]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[The meaning and use of the area under a receiver operating characteristic (ROC) curve.]]></article-title>
<source><![CDATA[]]></source>
<year></year>
<volume>143</volume>
<numero>1</numero>
<issue>1</issue>
<page-range>29-36</page-range></nlm-citation>
</ref>
<ref id="B7">
<nlm-citation citation-type="">
<person-group person-group-type="author">
<name>
<surname><![CDATA[JANTZEN]]></surname>
<given-names><![CDATA[J]]></given-names>
</name>
<name>
<surname><![CDATA[NORUP]]></surname>
<given-names><![CDATA[J]]></given-names>
</name>
</person-group>
<source><![CDATA[Pap-smear Benchmark Data For Pattern Classification]]></source>
<year>2005</year>
</nlm-citation>
</ref>
<ref id="B8">
<nlm-citation citation-type="">
<person-group person-group-type="author">
<name>
<surname><![CDATA[LORENZO-GINORI]]></surname>
<given-names><![CDATA[J. V]]></given-names>
</name>
<name>
<surname><![CDATA[RODRÍGUEZ-SANTOS]]></surname>
<given-names><![CDATA[I]]></given-names>
</name>
</person-group>
<article-title xml:lang="es"><![CDATA[Aplicación de técnicas de visión computacional en la prueba de Papanicolaou]]></article-title>
<source><![CDATA[]]></source>
<year></year>
<volume>16</volume>
<numero>3</numero>
<issue>3</issue>
<page-range>196-198</page-range></nlm-citation>
</ref>
<ref id="B9">
<nlm-citation citation-type="">
<person-group person-group-type="author">
<name>
<surname><![CDATA[MARINAKIS]]></surname>
<given-names><![CDATA[Y]]></given-names>
</name>
<name>
<surname><![CDATA[DOUNIAS]]></surname>
<given-names><![CDATA[G]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Pap smear diagnosis using a hybrid intelligent scheme focusing on genetic algorithm based feature selection and nearest neighbor classification.]]></article-title>
<source><![CDATA[]]></source>
<year></year>
<volume>39</volume>
<numero>1</numero>
<issue>1</issue>
<page-range>69-78</page-range></nlm-citation>
</ref>
<ref id="B10">
<nlm-citation citation-type="">
<person-group person-group-type="author">
<name>
<surname><![CDATA[MARINAKIS]]></surname>
<given-names><![CDATA[Y]]></given-names>
</name>
<name>
<surname><![CDATA[MARINAKI]]></surname>
<given-names><![CDATA[M]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Particle swarm optimization for pap-smear diagnosis]]></article-title>
<source><![CDATA[]]></source>
<year></year>
<volume>35</volume>
<numero>4</numero>
<issue>4</issue>
<page-range>1645-1656</page-range></nlm-citation>
</ref>
<ref id="B11">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[OLABE]]></surname>
<given-names><![CDATA[XABIER B]]></given-names>
</name>
</person-group>
<source><![CDATA[Redes Neuronales Artificiales y sus Aplicaciones.]]></source>
<year>1998</year>
<publisher-loc><![CDATA[^eBilbao Bilbao]]></publisher-loc>
<publisher-name><![CDATA[Publicaciones de la Escuela de Ingenieros]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B12">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[PLISSITI]]></surname>
<given-names><![CDATA[M]]></given-names>
</name>
<name>
<surname><![CDATA[NIKOU]]></surname>
<given-names><![CDATA[C]]></given-names>
</name>
</person-group>
<source><![CDATA[Cervical Cell Classification Based Exclusively on Nucleus Features]]></source>
<year>2012</year>
<volume>7325</volume>
<page-range>483-490</page-range><publisher-name><![CDATA[Springer Berlin Heidelberg]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B13">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[PLISSITI]]></surname>
<given-names><![CDATA[M. E]]></given-names>
</name>
<name>
<surname><![CDATA[NIKOU]]></surname>
<given-names><![CDATA[C]]></given-names>
</name>
</person-group>
<source><![CDATA[On the importance of nucleus features in the classification of cervical cells in Pap smear images]]></source>
<year>2012</year>
<publisher-name><![CDATA[University of Ioannina]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B14">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[VAPNIK]]></surname>
<given-names><![CDATA[V. N]]></given-names>
</name>
</person-group>
<source><![CDATA[The Nature of Statistical Learning Theory]]></source>
<year>2000</year>
<publisher-name><![CDATA[Springer]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B15">
<nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[VELEZMORO]]></surname>
<given-names><![CDATA[G. A. B]]></given-names>
</name>
<name>
<surname><![CDATA[VILLAFUERTE]]></surname>
<given-names><![CDATA[D. F]]></given-names>
</name>
</person-group>
<source><![CDATA[Factores de riesgo que pronóstican el hallazgo de citologías cervicales anormales en dos poblaciones: mujeres de obreros de construcción civil vs. mujeres control en la posta médica Construcción Civil ESSALUD, de junio a septiembre del 2000.]]></source>
<year>2001</year>
<publisher-loc><![CDATA[^eLima Lima]]></publisher-loc>
<publisher-name><![CDATA[Universidad Nacional Mayor de San Marcos]]></publisher-name>
</nlm-citation>
</ref>
</ref-list>
</back>
</article>
