SciELO - Scientific Electronic Library Online

 
vol.32 issue1The postgraduate in the iSchool movement in North America, Asia Pacific and EuropeTraining aspiring PhDs in the advanced use of the reference manager EndNote author indexsubject indexarticles search
Home Pagealphabetic serial listing  

My SciELO

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Revista Cubana de Información en Ciencias de la Salud

On-line version ISSN 2307-2113

Rev. cuba. inf. cienc. salud vol.32 no.1 La Habana Jan.-Mar. 2021  Epub Mar 01, 2021

 

Artículo original

Checklist para avaliação do desempenho do Sistema de Informação de Imunização: desenvolvimento e validação

Lista de verificación para evaluar el desempeño del Sistema de Información sobre Inmunizaciones: desarrollo y validación

Checklist for evaluation of the Immunization Information System: development and validation

Ana Paula Ferreira1 
http://orcid.org/0000-0001-6933-1578

Brener Santos Silva2 
http://orcid.org/0000-0003-4610-3227

Matheus Adriano Divino Pereira1 
http://orcid.org/0000-0002-5127-5659

Valéria Conceição de Oliveira1 
http://orcid.org/0000-0003-2606-9754

Humberto Ferreira de Oliveira Quites1 
http://orcid.org/0000-0002-7299-5217

Gabriela Gonçalves Amaral2 
http://orcid.org/0000-0002-9629-2815

Eliete Albano de Azevedo Guimarães1  * 
http://orcid.org/0000-0001-9236-8643

1Universidade Federal de São João del-Rei, Campus Centro-Oeste Dona Lindu (UFSJ/CCO). Divinópolis, Minas Gerais, Brasil.

2Universidade de São Paulo (USP), Ribeirão Preto. São Paulo, Brasil.

RESUMO

O estudo teve por objetivo desenvolver e validar conteúdo e aparência de um checklist para avaliação do desempenho do Sistema de Informação de Imunização brasileiro nas salas de vacinação. Trata-se de um estudo metodológico com abordagem quantitativa, que conduziu a validação de conteúdo e aparência dos itens de um checklist, estruturado em duas dimensões, estrutura e processo. A técnica Delphi foi utilizada para a validação dos itens segundo os critérios de relevância, objetividade e clareza. Foi calculado o índice de validação de conteúdo e o coeficiente alfa de Cronbach para analisar a consistência interna do checklist. O checklist é composto por 7 itens na dimensão estrutura e 17 na dimensão processo, este subdividido em 3 componentes: gestão do sistema de informação de imunização; registro do vacinado; movimento dos imunobiológicos. Considerando as duas dimensões, o índice de validação de conteúdo total do checklist foi 89,6 %. Obteve-se na dimensão estrutura um índice de validade de conteúdo médio de 89,9 % e 89,2 % na dimensão processo, sendo obtido no componente gestão do Sistema de Informação de Imunização um índice de validade de conteúdo médio de 86,2 %; 92,6 % no Registro do vacinado e 88,9 % no movimento dos imunobiológicos. O checklist mostrou-se consistente internamente, apresentado um valor para o alfa de Cronbach total de 0,97 e valores de 0,86 e 0,97 para as dimensões estrutura e processo, respectivamente. Quanto à validação de aparência, o instrumento foi considerado inteligível. O estudo fornece um checklist com conteúdo e aparência válidos para avaliar o desempenho do Sistema de Informação de Imunização brasileiro e subsidia a supervisão e o monitoramento das funcionalidades deste sistema nas salas de vacinação.

Palavras chave: Programas de imunização; sistema de informação; estudos de validação; avaliação em saúde; enfermagem

RESUMEN

El estudio tuvo como objetivo desarrollar y validar el contenido y la apariencia de una lista de verificación para evaluar el desempeño del Sistema de Información de Inmunización del Brasil en las salas de vacunación. Se trata de un estudio metodológico con enfoque cuantitativo, que condujo a la validación de contenido y apariencia de los ítems en una lista de verificación, estructurada en dos dimensiones: estructura y proceso. Se utilizó la técnica Delphi para validar los ítems según los criterios de relevancia, objetividad y claridad. Se calcularon el índice de validación de contenido y el coeficiente alfa de Cronbach para analizar la consistencia interna de la lista de verificación, la cual consta de 7 ítems en la dimensión estructura y 17 en la dimensión proceso, y se subdivide en 3 componentes: gestión del sistema de información de inmunización; registro del vacunado y movimiento de inmunobiológicos. Considerando las dos dimensiones, el índice de validación de contenido total de la lista de verificación fue del 89,6 %. En la dimensión estructura se obtuvo un índice de validación de contenido promedio de 89,9 y 89,2 % en la dimensión de procesos, y de 86,2 % en el componente de gestión del Sistema de Información de Inmunización; 92,6 % en el registro de vacunados y 88,9 % en el movimiento de inmunobiológicos. La lista de verificación demostró ser consistente internamente, con un valor para el alfa de Cronbach total de 0,97 y valores de 0,86 y 0,97 para las dimensiones de estructura y proceso, respectivamente. En cuanto a la validación de la apariencia, el instrumento se consideró inteligible. El estudio proporciona una lista de verificación con contenido y apariencia válidos para evaluar el desempeño del Sistema de Información de Inmunización brasileño y apoya la supervisión y el seguimiento de las funcionalidades de este sistema en las salas de vacunación.

Palabras clave: Programas de inmunización; sistema de información; estudios de validación; evaluación de salud; Enfermería

ABSTRACT

The study aimed to develop and validate the content and appearance of a checklist to evaluate the performance of the Brazilian Immunization Information System in vaccination rooms. It is a methodological study with a quantitative approach, which led to the validation of the content and appearance of the items in a checklist, structured in two dimensions: structure and process. The Delphi technique was used to validate the items according to the criteria of relevance, objectivity and clarity. The content validation index and Cronbach's alpha coefficient were calculated to analyze the internal consistency of the checklist, which consists of 7 items in the structure dimension and 17 in the process dimension, and is subdivided into 3 components: management the immunization information system; registry of the vaccinated and movement of immunobiologicals. Considering the two dimensions, the total content validation rate of the checklist was 89.6%. In the structure dimension, an average content validation index was 89.9; 89.2% was obtained in the processes dimension, and 86.2% in the management component of the Immunization Information System; 92.6% in the registry of vaccinated and 88.9% in the immunobiological movement. The checklist proved to be internally consistent, with a total Cronbach's alpha value of 0.97 and values ​​of 0.86 and 0.97 for the structure and process dimensions, respectively. Regarding the validation of the appearance, the instrument was considered intelligible. The study provides a checklist with valid content and appearance to evaluate the performance of the Brazilian Immunization Information System and supports the supervision and monitoring of the functionalities of this system in the vaccination rooms.

Key words: Immunization program; information systems; validation studies; health evaluation; nursing

Introdução

Os Sistemas de informação em saúde (SIS) são entendidos como um conjunto de componentes inter-relacionados que coletam, processam, armazenam, distribuem a informação e garantem a produção de dados necessários para o processo do controle e decisão dos serviços de saúde. Estes asseguram dados, informações e conhecimentos acerca da saúde do indivíduo e da população, se tornando importantes e decisivos para o planejamento da equipe multidisciplinar durante a assistência à saúde da população.1,2,3) Quando utilizados, além do gerenciamento das informações, os SIS auxiliam na organização dos serviços de saúde no que tange o processo de assistência, contribuindo para o registro dos diagnósticos; prescrição dos medicamentos; no agendamento de consultas; na prestação de cuidado individual e ou coletivo, impactando assim, na promoção das ações e programas de saúde.4,5

Mesmo com este recurso, os responsáveis pela gestão dos serviços de saúde quase não fazem proveito das informações em saúde providas pelo sistema em suas unidades, apresentando dificuldades no gerenciamento das atividades, o que afeta a efetividade e eficiência do SIS, comprometendo a fidedignidade de informações geradas.5 Outro fato importante observado é que estes gestores possuem pouco conhecimento sobre os SIS e suas potencialidades, baseando-se na ideia de que estes são apenas instrumentos obrigatórios, burocráticos, cuja função é captar dados dos serviços de saúde e encaminhá-los aos níveis estadual e federal.6 Agrega-se ainda neste cenário, a escassez de recursos humanos capacitados, o déficit em tecnologia da informação nas secretarias e a ineficácia da atualização dos SIS associado à sua baixa interoperabilidade.7

Um dos SIS de impacto nos serviços de saúde é o Sistema de Informação de Imunização (SII), utilizado no gerenciamento das ações de vacinação. A imunização é uma atividade estratégica essencial para controlar e erradicar as doenças infecciosas nas populações, podendo evitar entre duas a três milhões de mortes a cada ano. Neste contexto, o SII aparece como uma ferramenta importante, capaz de fornecer o histórico de consolidados de vacinação; indicar dados agregados sobre vacinas para uso em avaliações de cobertura e operações dos programas nacionais de imunizações; orientar ações de saúde pública para se atingir melhores taxas de coberturas vacinais e ainda propiciar uma economia de custo.8,9,10

No Brasil, a coleta de dados individualizada referente às atividades de vacinação, realizadas nas salas de vacinação, é feita por meio do Sistema de Informação do Programa Nacional de Imunização, implantado em 2010, apresentando-se como uma ferramenta gerencial com grande potencial para o planejamento e tomada de decisões.7,11 Os dados produzidos pelo SII permitem monitorar, avaliar e supervisionar as ações de vacinação.12

Institucionalizar o uso da informação no cotidiano dos serviços permite a melhoria dos processos, fortalecendo e desenvolvendo a qualidade técnica necessária para adotar as ações pertinentes ao planejamento e à gestão de qualidade. Assim, torna-se necessário conhecer um pouco mais sobre as nuances que envolvem o uso do SII brasileiro e sua prática nas salas de vacinação das unidades de atenção primária à saúde (APS). Nesse interim, a utilização de instrumentos de mensuração padronizados, como cheklists, confiáveis e válidos tornam-se uma alternativa consistente para o contexto de avaliação em saúde.13) Nesta perspectiva questiona-se, é possível desenvolver e validar um instrumento que possa avaliar o desempenho do SII brasileiro?

Atualmente não há disponibilizado, de acordo com buscas realizadas na literatura nacional recente, um instrumento de mensuração validado que possa avaliar o contexto do SII brasileiro. Assim, este estudo teve como objetivo desenvolver e validar conteúdo e aparência de um checklist para avaliação do desempenho do Sistema de Informação de Imunização (SII) brasileiro nas salas de vacinação.

Métodos

Trata-se de um estudo metodológico com abordagem quantitativa e delineamento transversal que conduziu a validação de conteúdo e aparência de um checklist para avaliação do desempenho do SII brasileiro nas salas de vacinação. Os estudos metodológicos utilizam métodos de obtenção, organização e análise de dados e aborda a elaboração e validação dos instrumentos de pesquisa.13

A validação de conteúdo e de aparência é a primeira etapa no desenvolvimento dos instrumentos de mensuração, representando o início do processo de associação de conceitos abstratos a indicadores observáveis e mensuráveis. Tal validação determina se o instrumento consegue ser eficaz na mensuração do construto em avaliação, e, portanto, verifica se os itens elaborados o representam adequadamente. Não se trata de uma avaliação estatística, mas um juízo em relação à propriedade e representatividade do contruto. Já a validade de aparência, considerada uma forma subjetiva de validar o instrumento, consiste no julgamento de um grupo de juízes quanto à clareza dos itens, facilidade de leitura, compreensão e forma de apresentação do instrumento, que dirão se o instrumento aparentemente mede o contruto de interesse.14,15

Para validação de conteúdo e aparência dos itens do checklist foi realizada a técnica Delphi, definida como um método de tomada de decisão em grupos de especialistas (juízes) cujo objetivo principal é chegar a um consenso acerca do construto em avaliação pelo intrumento a ser validado.16 Neste estudo, os critérios definidos para a seleção dos juízes seguiram as recomendações da literatura:16 apresentar título de mestre, doutor ou livre docência na grande área de concentração das ciências da saúde; atuar no ensino de graduação no Brasil, independente do estado e município e apresentar atuação e/ou produção científica na área de sistemas de informação de imunização nos últimos cinco anos; ser especialista atuante na área em estudo.

Realizou-se uma busca avançada por assunto na base de dados do Conselho Nacional de Desenvolvimento Científico (CNPq), especificamente, na Plataforma Lattes, que reúne o currículo de pesquisadores, utilizando as seguintes palavras chaves: Sistemas de Informação em Saúde, Sistemas de Informação em Imunização; Programas de Imunização, Estudos de Validação. Após esta busca, aplicou-se alguns critérios de inclusão nos currículos encontrados, tais como: atuação profissional; publicação em eventos científicos na área; mestrado ou doutorado sobre o objeto em questão. Foram selecionados 13 doutores e mestres da área acadêmica e 16 especialistas atuantes no ministério da saúde, secretaria de estado de saúde e secretarias municipais de saúde, que constituíram o corpo de juízes, totalizando 29 participantes. Identificou-se nos currículos que os juízes possuíam experiência na temática, atestados pelas suas produções técnico-científicas e pelos vínculos empregatícios em renomadas instituições brasileiras.

O checklist foi desenvolvido a partir do Estudo de Avaliabilidade do SII brasileiro17) e estruturado em duas dimensões, estrutura e processo. A dimensão processo foi composta por três componentes: Gestão do SII; Registro do vacinado; Movimento dos imunobiológicos. Inicialmente, foi composto por 34 itens avaliativos, 10 da dimensão estrutura e 24 da dimensão processo, subdivididos pelos seus: Gestão do SII (18 itens); Registro do vacinado (5 itens); Movimento dos imunobiológicos (1 iten).

Para a coleta de dados, foi estabelecido um contato prévio via e-mail com os 29 juízes selecionados, a fim de apresenta-los os propósitos do estudo, a relevância da análise dos itens e a solicitação da participação no estudo, por meio do acesso ao link de um formulário elaborado no software eSurvey. Essa logística, utilizando um comitê de juízes com contatos por e-mail, bem como a utilização da internet, configura-se como um procedimento recente, que possui vantagens como a rapidez na distribuição dos questionários e coleta, assim como no processamento dos dados. Para os juízes, há a facilidade de responder aos itens quando julgar pertinente e sem a necessidade de um encontro presencial.18 Por outro lado, embora a tecnologia tenha ajudado positivamente a condução da coleta de dados, ocorreu um aumento das taxas de não respondentes ou de respostas parciais.

Na sequência, foi encaminhado um e-mail com o link para acessar o questionário on-line contendo os itens a serem analisados e classificados segundo os critérios relevância, objetividade e clareza. Para a avaliação de cada item foi adotada uma escala de opinião do tipo likert, que recebeu um valor numérico conforme se segue: 1) não representativo; 2) representativo; 3) representativo, mas precisa de revisão.19 Na validação de aparência, foi observada a forma como o conteúdo foi apresentado; a clareza e a facilidade na leitura dos itens, e a adequação dos itens nas respectivas dimensões, componentes e subcomponentes. Foi facultado aos juízes dar sugestões de textos alternativos para os itens e recomendações que julgassem necessárias de forma a aperfeiçoar o checklist. O prazo para a devolutiva do questionário foi de sete a quinze dias e, dependendo dos resultados do grau de concordância dos juízes, outros ciclos da técnica Delphi poderiam ser realizados. Ao final, outro e-mail foi enviado aos juízes para agradecer a sua colaboração no estudo.

Para a análise dos dados utilizou-se o índice de validade de conteúdo (IVC) para identificar o grau de concordância entre os juízes, durante o processo de análise das respostas aos itens. O IVC mede a proporção de juízes que estão em concordância sobre determinados aspectos do instrumento e de seus itens, individualmente e de forma geral para o instrumento. A convergência das respostas ou o nível de consenso esperado para este estudo foi de 75 %, como estipulado pela literatura.20

O IVC foi calculado a partir da somatória das respostas “2” (iten representativo) de cada juiz em cada item do checklist, dividido esta soma pelo número total de respostas e multiplicado por 100 (IVC = número de respostas “2” / número total de respostas x 100). Calculou-se também os IVC médios dos critérios para cada item, somando-se cada percentual obtido em cada critério e dividindo-os por 3, ou seja, pelos três critérios utilizados. O IVC varia entre 0 e 1 e, quanto mais próximo de 1, melhor será o desempenho do item segundo os juízes.20

A consistência interna foi avaliada pelo coeficiente alfa de Cronbach para todos os juízes participantes do estudo, tomando por base o valor de alfa mínimo de 0,7. Quando o valor de alfa atingido for ≥ a 0,7 diz-se que há confiabilidade das medidas. Foram calculadas todas as correlações (p) entre o escore de cada item e o escore total dos demais itens. O valor de alfa foi a média de todos os coeficientes de correlação.21

Este projeto de pesquisa foi aprovado no Comitê de Ética em Pesquisa com Seres Humanos da Universidade Federal de São João del-Rei (CEP/UFSJ), sob o parecer no 2035.176 e CAAE 65656017.6.0000.5545.

Resultados

Foram realizadas duas rodadas da técnica Delphi. Do total de juízes identificados (n= 29), 12 responderam aos questionários no primeiro ciclo e nove responderam no segundo ciclo. No primeiro ciclo, identificou-se um IVC total de 74,8 % no conjunto dos itens avaliados. Na dimensão estrutura, o IVC foi de 73,0 %, e 75,6 % na dimensão processo, no qual se averiguou um IVC de 75,4 %, 75 % e 80,5 % para os componentes Gestão do SII; Registro do vacinado e Movimento dos imunobiológicos, respectivamente.

Os itens que receberam pontuação inferior a 75 % em algum dos critérios (relevância, objetividade e clareza) foram reavaliados, sendo alguns deles reescritos. Destaca-se que mesmo alguns itens que alcançaram níveis satisfatórios, foram reestruturados, procurando torná-los mais claros e compreensíveis, com bases nas recomendações dos juízes. Tais recomendações referiam-se, principalmente, à aparência, como, por exemplo, montar frases diretas, não itens elaborar itens que induzem às respostas ou itens sejam afirmativas ou negativas. Neste primeiro ciclo, foram reescritos seis itens da dimensão estrutura e quatorze da dimensão processo. Os juízes recomendaram a exclusão de dois itens na dimensão estrutura e a realocação de três itens do componente Gestão do SII para o componente Movimento dos imunobiológicos. Após realizar todas as modificações consideradas pertinentes, o checklist foi reenviado aos 12 juízes para nova avaliação.

No segundo ciclo, nove juízes responderam ao questionário. Nesta etapa, para facilitar o entendimento dos itens, pequenas alterações foram feitas em dois itens da dimensão estrutura e quatro da dimensão processo. Além disso, os juízes recomendaram a exclusão de um item na dimensão estrutura e sete itens da dimensão processo, sendo cinco do componente Gestão do SII, uma do componente Registro do vacinado e uma do componente Movimento dos imunobiológicos, pois estes, na opinião dos juízes, não se configuraram como itens avaliativos.

Considerando as duas dimensões, o IVC total do checklist foi 89,6 %. Obteve-se na dimensão estrutura um IVC médio de 89,9 % e 89,2 % na dimensão processo, sendo obtido no componente Gestão do SII um IVC médio de 86,2 %; 92,6 % no Registro do vacinado e 88,9 % no Movimento dos imunobiológicos. Destaca-se que três da dimensão processo (itens 16, 18 e 23) obtiveram valores inferiores a 75 %, no quesito clareza, o que gerou um IVC médio de 74,1 %. As recomendações dos juízes foram relativas à semântica dos itens, o que foi atendido pelos pesquisadores sem a necessidade de retorná-los para um terceiro ciclo da técnica Delphi.

A seguir, estão apresentados nas tabelas 1 e 2 os resultados das análises dos itens, para os critérios avaliados (relevância, objetividade e clareza), conforme os valores dos IVC obtidos no segundo ciclo da técnica Delphi.

Tabela 1 Concordância dos juízes em relação aos critérios de relevância, objetividade e clareza dos itens da dimensão estrutura. Minas Gerais, Brasil, 2020 

Estrutura IVC* IVC* Médio (%)
Relevância (%) Objetividade (%) Clareza (%)
1 Na sala de vacinação tem computador com o SII em uso? 100,0 100,0 100,0 100,0
2 O manual que orienta a manipulação do SII está disponível (versão impressa, digital ou on-line) para a consulta dos profissionais? 77,7 88,9 66,7 77,8
3 Existe um profissional técnico para oferecer suporte relacionado ao SII quando necessário? 88,9 100,0 100,0 96,3
4 Você já utilizou algum canal de comunicação para sanar dúvidas, esclarecimentos, informes sobre o SII? 100,0 100,0 66,7 88,9
5 Você foi capacitado para operacionalizar o SII? 88,9 77,8 77,8 81,5
6 A sala de vacinação tem acesso à internet? 100,0 100,0 88,9 96,3
7 Qual é a versão utilizada do SII? 88,9 88,9 88,9 88,9
Total - 89,9

*Índice de Validade de Conteúdo: IVC= número de respostas “2” / número total de respostas x 100.

Tabela 2 Concordância dos juízes em relação aos critérios de relevância, objetividade e clareza dos itens da dimensão processo. Minas Gerais, Brasil, 2020 

*Índice de Validade de Conteúdo: IVC = número de respostas “2” / número total de respostas x 100.

A versão final do checklist é composta por 24 itens, 7 na dimensão estrutura e 17 na dimensão processo, e mostrou-se consistente internamente, apresentado um valor para o alfa de Cronbach total de 0,97 e valores de 0,86 e 0,97 para as dimensões estrutura e processo, respectivamente.

O quadro 1 apresenta a versão final do checklist denominado “Checklist para Avaliação do Sistema de Informação de Imunização (CASII)”, compostos por 18 itens para caracterização dos respondentes e 24 itens avaliativos, estruturadas em duas dimensões. A dimensão estrutura é composta por 7 itens, já a dimensão processo é composta por 17 itens, estes subdivididos em 3 componentes: Gestão do SII (11 itens); Registro do vacinado (3 itens) e Movimento dos imunobiológicos (3 itens).

Quadro 1 Checklist Minas Gerais, Brasil, 2020 

Checklist para avaliação do sistema de informação de imunização
Caracterização sociodemográfica
1. Município:
2. Unidade de Saúde:
3. Idade: 4. Sexo: ☐ Feminino ☐ Masculino
5. Ano de formação (curso de auxiliar, técnico ou graduação):
6. Categoria Profissional: ☐ Enfermeiro ☐ Técnico de enfermagem ☐ Auxiliar de enfermagem ☐ Agente Comunitário de Saúde (ACS) ☐ Outro profissional: 7. Local de trabalho: ☐ Estratégia Saúde da Família (ESF) ☐ Centro de Saúde ☐ Estratégia de Agentes Comunitários de Saúde (EACS) ☐ Central de Rede de Frio de conservação de vacina ☐ Outros:
8. Nível de formação: ☐ Ensino Fundamental (Auxiliar de Enfermagem) ☐ Ensino Médio Profissionalizante (Técnico de Enfermagem) ☐ Graduação ☐ Especialização ☐ Mestrado ☐ Doutorado ☐ Pós-Doutorado
9. Há quanto tempo (anos) trabalha na sala de vacinação? (Caso o tempo de trabalho na sala de vacinação seja menor que 1 ano, deve-se escrever a quantidade em meses, ou seja, acrescentar a palavra mês (es) na frente do número.)
10. Em uma escala de 0 a 10, como você avalia seu conhecimento sobre o SII?
11. Qual é o sistema de informação utilizado para o registro das informações em sala de vacinação? ☐ SII governamental ☐ O município utiliza sistema de informação próprio
12. Número de profissionais que atuam na sala de vacinação:
13. Número de profissionais vacinadores (pessoas que administram vacinas) existentes na unidade de saúde:
14. Número de profissionais vacinadores (pessoas que administram vacinas) cadastrados no SII:
15. Número de profissionais cadastrados no SII que não administram vacinas:
16. O operador do SII é algum profissional que trabalha na própria unidade de saúde? ☐ Sim ☐ Não
17. Data de implantação do SIPNI:
18. Há coexistência de uso de papel e o SII para o registro das atividades realizadas na sala de vacinação? ☐ Sim ☐ Não
Dimensão estrutura
1. Na sala de vacinação tem computador com o SII em uso? ☐ Sim ☐ Não
2. O manual que orienta a manipulação do SII está disponível (versão impressa, digital ou on-line) para a consulta dos profissionais? ☐ Sim ☐ Não
3. Existe um profissional técnico para oferecer suporte relacionado ao SII quando necessário? ☐ Sim ☐ Não
4. Você já utilizou algum canal de comunicação para sanar dúvidas, esclarecimentos, informes sobre o SII? ☐ Sim ☐ Não
5. Você foi capacitado para operacionalizar o SII? ☐ Sim, fui capacitado e me sinto preparado ☐ Sim, fui capacitado, mas não me sinto preparado ☐ Não fui capacitado, mas me sinto preparado ☐ Não fui capacitado e não me sinto preparado
6. A sala de vacinação tem acesso à internet? ☐ Sim, com internet estável ☐ Sim, com internet instável ☐ Não tem acesso a internet
7. Qual é a versão utilizada do SII? (Esse item vale para aquelas salas de vacinação que possuem o SII governamental oferecido pelo Ministério da Saúde e não o sistema próprio, as demais devem marcar a opção NÃO SE APLICA) ☐ Versão web (online) ☐ Versão desktop ☐ Não se aplica (sistema de informação próprio)
Dimensão processo
Gestão do SII
8. Todos os profissionais que atuam em sala de vacinação estão cadastrados como vacinadores no SII? ☐ Sim ☐ Não
9. As pessoas da área de abrangência desta unidade estão cadastradas no SII? ☐ Sim, todas as pessoas ☐ Não, somente as pessoas que vão receber vacina ☐ Não cadastra
10. Ao término do trabalho diário é realizada a cópia de segurança dos dados (backup) do SII? ☐ Sim, diariamente ☐ Sim, não diariamente ☐ Nunca ☐ Não se aplica (versão SIPNI Web) ☐ Não se aplica (sistema de informação próprio)
11. Em que local é armazenado a cópia de segurança dos dados do SII? ☐ Fora desse computador (pen drive, nuvem de dados, CD, DVD, HD externo, etc) ☐ Uma outra pasta no computador ☐ Pasta padrão do SIPNI ☐ Não realiza a cópia de segurança dos dados do SIPNI ☐ Não se aplica (versão SIPNI Web) ☐ Não se aplica (sistema de informação próprio)
12. Envia os arquivos de exportação mensalmente para a coordenação municipal do SII? ☐ Sim ☐ Não ☐ Não se aplica (versão SIPNI Web) ☐ Não se aplica (sistema de informação próprio)
13. É gerado relatório para monitorar as doses aplicadas? ☐ Mensalmente ☐ Trimestralmente ☐ Semestralmente ☐ Anualmente
14. É gerado relatório para monitorar a listagem de pessoas com o cartão atrasado (faltosos)? ☐ Mensalmente ☐ Trimestralmente ☐ Semestralmente ☐ Anualmente
15. É gerado relatório para monitorar a cobertura vacinal? ☐ Mensalmente ☐ Trimestralmente ☐ Semestralmente ☐ Anualmente
16. As informações produzidas pelo SII são utilizadas para controlar o estoque dos imunobiológicos? ☐ Sim ☐ Não
17. As informações geradas pelo SII são utilizadas para o cálculo das taxas de abandono? ☐ Sim ☐ Não ☐ Às vezes
18. As informações consolidadas produzidas no SII são divulgadas para a população? ☐ Sim ☐ Não
Registro do Vacinado
19. Realiza o registro das informações (não obrigatórias) do vacinado na tela registro do vacinado? ☐ Sim ☐ Não
20. É realizado o registro das vacinas administradas anteriormente (registro anterior) no SII? ☐ Sim ☐ Não ☐ Às vezes
21. Quando a vacina administrada não tem aprazamento automático pelo SII, você realiza o aprazamento manualmente no sistema? ☐ Sim ☐ Não ☐ Às vezes
Movimento dos imunobiológicos
22. Os cadastros dos lotes de vacinas no SII são atualizados? ☐ Sim ☐ Não
23. É cadastrado no SII, o número de frascos de vacinas recebidos e utilizados na sala de vacinação? ☐ Sim ☐ Não
24. Você preenche os campos de perdas de imunobiológicos no módulo movimento dos imunobiológicos do SII? ☐ Sim ☐ Não

Discussão

O checklist desenvolvido e validado teve uma avaliação satisfatória em relação aos critérios de relevância, objetividade e clareza dos itens analisados, apresentando IVC superior ao ponto de corte estabelecido. O ponto de corte para obtenção do consenso varia na literatura entre 50 a 80 %, sendo recomendados nas pesquisas em enfermagem percentis não inferiores a 75 %.22 Não obstante, o checklist mostrou-se confiável, considerando a sua consistência interna, evidenciando pelos excelentes valores obtidos para o alfa de Cronbach.

Quanto à validação de aparência, o checklist foi considerado inteligível para os juízes. As pequenas e necessárias recomendações apontadas no processo de validação, referiam-se, principalmente, à clareza do conteúdo e à semântica dos itens. A validação semântica é de fundamental importância para a compreensão de um instrumento, considerando a clareza dos itens de acordo com a linguagem dos envolvidos no processo.23) A validação de conteúdo conseguiu avaliar o nível em que cada item do checklist se tornou relevante e representativo.24

A técnica Delphi apresentou-se como uma importante ferramenta neste estudo, tanto no aprimoramento como também nos ajustes do checklist. O julgamento, o processo sistematizado e as reflexões proporcionam muitas vantagens, como por exemplo a flexibilidade no número de ciclos, para o alcance do nível de concordância pretendido dos itens e na diversidade de juízes. As diferentes atuações profissionais, ainda que sejam de localidades bem distantes do pesquisador, tornam mais ampla a validação dos instrumentos.22) Outro importante fator foi a expertise dos juízes participantes, sendo na maioria, doutores na área de conhecimento, das diferentes regiões do país. Quanto mais títulos, maior são os números de pesquisas realizadas e, consequentemente maior o tempo de experiência na área, o que sugere uma maior qualificação para exercer o papel de juiz durante a validação de instrumentos.22

Elementos estruturais como a disponibilidade da internet, a presença de computador na sala de vacinação e o suporte técnico em informática são indispensáveis para a operacionalização de um sistema informacional. Sabe-se que alguns desafios ainda precisam ser trabalhados no desempenho do SII e a disponibilidade de acesso a uma internet adequada e a qualidade da inovação tecnológica são alguns deles.2,7 Estudos para analisar a implantação e a usabilidade de um SII brasileiro identificou que o suporte técnico da equipe de gestão de tecnologias da informação, bem como a existência de computadores e internet e a qualidade tecnológica do software influenciaram a aceitação e utilização do sistema.25,26,27

Outro elemento estrutural de relevância para o bom desempenho do SII brasileiro é a qualificação do profissional para a utilização dos SIS28). A disponibilidade de capacitações para os usuários do SIS favorece e facilita o seu uso e são fundamentais para aprimorarem as habilidades com a tecnologia.2,29

O profissional qualificado para operacionalizar o SII é capaz de desenvolver as atividades previstas nos componentes Gestão do SII, Registro do vacinado e Movimento de imunobiológicos. O componente Registro do vacinado apresentou alta relevância para este checklist, uma vez que realizado de forma eficaz permite o monitoramento da situação vacinal dos indivíduos, evitando revacinações por perdas do cartão vacinal. Este fato pode gerar uma redução importante nos gastos com imunobiológicos e insumos materiais, bem como no risco de eventos adversos pós-vacinais (EAPV).7,30

Os itens do componente Gestão do SII são abordam elementos indispensáveis para a realização do gerenciamento das atividades de vacinação e a tomada de decisões valendo-se dos relatórios emitidos pelo SII. Estes relatórios permitem acompanhar e analisar a dinâmica de risco no que diz respeito a ocorrência de surtos ou epidemias, controlar o estoque de imunobiológicos, além de acompanhar a rotina dos usuários, o que possibilita o planejamento.31

Sobre os itens do componente movimento dos imunobiológicos, estes contribuem para analisar o preenchimento adequado do módulo Movimentação de imunobiológico no SII, que subsidia o planejamento e programação dos imunobiológicos gerenciados pelo Programa Nacional de Imunizações brasileiro em todas as instâncias.31

Esse estudo tem como fortaleza o desenvolvimento e validação de conteúdo e aparência de checklist de supervisão a ser utilizado nas salas de vacinação, configurando-se como útil para a prática de gerenciamento das atividades do enfermeiro no seu cotidiano, profissional responsável pelas salas de vacinação no Brasil. Este checklist, se utilizado rotineiramente nas salas de vacinação, pode impactar na redução de perdas desnecessárias de imunobiológicos, na minimização dos riscos de EAPV e na prestação de uma assistência segura e de qualidade à população. A expectativa é de que o checklist validado seja divulgado na comunidade científica para amparar outras pesquisas na área, além de ser utilizado como uma ferramenta de gerenciamento e supervisão nas salas de vacinação.

Como limitação do estudo é importante citar que a utilização de formulários eletrônicos proporciona muitos benefícios, entretanto, pode gerar alguns entraves como o aumento de taxas de não respondentes ou de respostas parciais, corroborando outros estudos.18,32

O estudo permitiu desenvolver e validar um checklist para avaliar o desempenho do SII brasileiro nas salas de vacinação. O checklist pode ser utilizado como uma ferramenta de gestão para supervisão, monitoramento e avaliação das funcionalidades do SII. Isso possibilitará a identificação de fragilidades, potencializando a qualidade do atendimento realizado aos usuários nas salas de vacinação e promover a formação dos profissionais de enfermagem atuantes nestas salas, incidindo, consequentemente, na qualidade das informações de imunização. Ademais, nas investigações científicas o checklist também poderá ser utilizado em pesquisas avaliativas, uma vez que possui conteúdo e aparência validados.

Referências bibliográficas

1 . Santos AF, Sobrinho DF, Araújo LL, Procópio CSD, Lopes EAS, Lima AMLD, et al. Incorporation of Information and Communication Technologies and quality of primary healthcare in Brazil. Cad Saúde Públ. 2017;33(5):e00172815. [ Links ]

2. Santos TO, Pereira LP, Silveira DT. Implantação de sistemas informatizados na saúde: uma revisão sistemática. RECIIS. 2017;11(3):1-11. [ Links ]

3. Namageyo-Funa A, Aketch M, Tabu C, Macneil A, Bloland P. Assessment of select electronic health information systems that support immunization data capture - Kenya, 2017. BMC Health Serv Res. 2018;18(1):1-7. [ Links ]

4. Cavalcante RB, Vasconcelos DD, Gontijo TL, Guimarães EAA, Machado RM, Oliveira VC. computerization of primary health care information systems: advances and challenges. Cogitare Enferm. 2018;23(3):54297. [ Links ]

5. Pinheiro ALS, Andrade KTS, Silva DO, Zacharias FCM, Gomide MFS, Pinto IC. Health management: the use of information systems and knowledge sharing for the decision making process. Tex Cont Enferm. 2016;25(3):1-9. [ Links ]

6. Lima KWS, Antunes JLF, Silva ZP. Percepção dos gestores sobre o uso de indicadores nos serviços de saúde. Saúde Soc. 2015;24(1):61-71. [ Links ]

7. Sato APS. National Immunization Program: Computerized System as a tool for new challenges. Rev Saúde Públ. 2015;49:1-5. [ Links ]

8. Cutts FT, Claquin P, Danovaro-Holliday MC, Rhoda DA. Monitoring vaccination coverage: Defining the role of surveys. Vaccine. 2016;34(35):44103-9. [ Links ]

9. Derrough T, Olsson K, Gianfredi V, Simondon F, Heijbel H, Danielsson N, et al. Immunisation information systems: useful tools for monitoring vaccination programmes in EE.UU./EEA countries 2016. Eur Surveill. 2017;22(17):1-11. [ Links ]

10. Muscoplat MH, Rajamani S. Immunization Information System and Informatics to Promote Immunizations: Perspective From Minnesota Immunization Information Connection. Biomed Inform Insights. 2017;9:1178222616688893. [ Links ]

11 . Ministério da Saúde. Departamento de Informática do SUS. Sistema de Informação do Programa Nacional de Imunizações - SIPNI. Brasília (DF): Ministério da Saúde; 2019 [acesso: 20/06/2020]. Disponível em: Disponível em: http://datasus.saude.gov.br/sistemas-e- aplicativos/epidemiologicos/si-pniLinks ]

12. D'Ancona F, Gianfredi V, Riccardo F, Iannazzo S. Immunisation registries at regional level in Italy and the roadmap for a future Italian National Registry. Ann Ig. 2018;30:77-85. [ Links ]

13. Polit DF, Yang FM. Measurement and the measurement of change. China: Wolters Kluwer; 2016. [ Links ]

14. Monteiro GTR, Hora HRM. Pesquisa em Saúde Pública: como desenvolver e validar instrumentos de coleta de dados. Curitiba (PR): Appris; 2013. [ Links ]

15. Pasquali L. Instrumentação psicológica: Fundamentos e práticas. Porto Alegre (RN): Artmed; 2010. [ Links ]

16. Scarparo AF, Laus AM, Azevedo ALCS, Freitas MRI, Gabriel CS, Chaves LDP. Reflexões sobre o uso da técnica Delphi em pesquisas na enfermagem. Rev Ren. 2012;13(1):242-51. [ Links ]

17. Silva BS, Coelho HV, Cavalcante RB, Oliveira VC, Guimarães EAA. Evaluation study of the National Immunization Program Information System. Rev Bras Enferm. 2018;71:660-69. [ Links ]

18. Timmins F. Surveys and questionnaires in nursing research. Nurs Stand. 2015;29(42):42-50. [ Links ]

19. Lucian R, Dornellas JS. Mensuração de Atitude: proposição de um protocolo de elaboração de escalas. RAC. 2015;19(2):157-77. [ Links ]

20. Pereira RDM, Alvim NAT. Delphi technique in dialogue with nurses on acupuncture as a proposed nursing intervention. Esc Anna Nery Rev Enferm. 2015;19(1):174-80. [ Links ]

21. Souza AC, Alexandre NMC, Guirardello EB. Psychometric properties in instruments: evaluation of reliability and validity. Epidemiol Serv Saúde. 2017;26(3):649-59. [ Links ]

22. Fuzissaki MA, Santos CB, Almeida AM, Gozzo TO, Clapis MJ. Semantic validation of an instrument to identify the nursing practice in the management of radiodermatitis. Rev Eletr Enferm. 2016;18:1142. [ Links ]

23. Carvalho EMP, Göttems LBD, Pires MRGM. Adherence to best care practices in normal birth: construction and validation of an instrument. Rev Esc Enferm USP. 2015;49(6):890-98. [ Links ]

24 . Dutra VBR, Ávila SH, Mattos VLD. Validação de um instrumento de avaliação da satisfação dos discentes de cursos de graduação em Matemática. Scientia Plena. 2017;13(4),1-9. [ Links ]

25. Silva BS, Guimarães EAA, Oliveira VC, Cavalcante RB, Pinheiro MMK, Gontijo TL, et al. National Immunization Program Information System: implementation context assessment. BMC Health Serv Res. 2020;20(333):1-10. [ Links ]

26 . Guimarães EAA, Morato YC, Carvalho DBF, Oliveira VC, Pivatti VMS, Cavalcante RB, et al. Evaluation of the usability of the Immunization Information System in Brazil: A Mixed-Method Study. Telemed Health. 2020; Ahead of print. [ Links ]

27. Morato YC, Carvalho DBF, Oliveira VC, Dias TMR, Cavalcante RB, Amaral GG, et al. Análise do Sistema de Informação em Imunizações do Brasil sob a ótica das heurísticas de usabilidade. Rev Cubana Inf Cienc Salud. 2020;31(2):e1515. [ Links ]

28. Oliveira VC, Guimarães EAA, Amaral GG, Silva TIM, Fabriz LA, Pinto IC. Acceptance and use of the Information System of the National Immunization Program. Rev Latino-Amer Enfermagem. 2020;28:e3307. [ Links ]

29. Oliveira VC, Rennó HMS, Santos YR, Rabelo AFG, Serrano MDP, Pinto IC. Educação para o trabalho em sala de vacina: percepção dos profissionais de enfermagem. Rev Enferm Cent-Oeste Min. 2016;6(3):2331-41. [ Links ]

30. Cardoso WS, Nascimento LCN, Dias FMV. Implantação do sistema de informação do programa nacional de imunizações Desktop. Rev Bras Pesq Saúde Viória. 2017;19(1):1-6. [ Links ]

31 . Ministério da Saúde. Manual do usuário do SIPNI (Desktop): Módulo de cadastro de pacientes (registro vacinação individualizada) e Movimentação de imunobiológicos nas salas de vacinação. Brasília (DF): Ministério da Saúde; 2018[acesso: 19/05/2020]. Disponível em: Disponível em: http://pni.datasus.gov.br/sipni/documentos/manual_sipni.pdf Links ]

32. Salvador PTCO, Rodrigues CCFM, Lima KYN, Alves KYA, Santos VEP. Non-conventional technologies for data collection in Brazilian dissertations and theses. Rev Bras Enferm. 2015;68(2):269-77. [ Links ]

Financiamento

Fundação de Amparo à Pesquisa do Estado de Minas Gerais (FAPEMIG) (APQ-03787-17 - Programa de Pesquisa para o SUS - PPSUS); Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) (Código de financiamento 001).

Recibido: 13 de Agosto de 2020; Aprobado: 11 de Diciembre de 2020

*Autor para la correspondencia: elietealbano@ufsj.edu.br

Os autores declaram não haver conflitos de interesses.

Valéria Conceição de Oliveira; Eliete Albano de Azevedo Guimarães: Conceptualización.

Ana Paula Ferreira; Brener Santos Silva; Matheus Adriano Divino Pereira: Curación de datos.

Todos los autores aprueban la versión finalmente remitida

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons