Abstract Objective To analyze the validity and reliability of an instrument used for auditing the Unified Health System (SUS). Methods Methodological research that used the steps of adaptation of an audit instrument, recommended by the Ministry of Health, Ordinance No. 3410/2013: expert validation of content and reliability testing of the validated instrument. Results Regarding the adequacy of the instrument, it originally had 100 items and 32 sub-items, and remained with 55 items, with their respective evaluation criteria, as well as the source of data collection, totaling 165 items of analysis. For validation of this instrument, the experts suggested changes in semantics and content in 77 (46.66%) items. The reliability test presented an agreement index of 0.85 among nurses one and two; 0.82 among nurses one and three; and 0.96 among nurses two and three, with a mean of 0.88, representing an almost perfect inter-rater agreement. Conclusion The adequacy of the instrument, based on the current legislation and expert validation, made it concise, clear, and objective, presenting statistical consistency for use in auditing in the SUS, as demonstrated by the reliability test.
Resumen Objetivo evaluar la validez y confiabilidad de un instrumento utilizado en auditoría en el Sistema Único de Salud (SUS). Métodos investigación metodológica en la que se emplearon las siguientes etapas: adaptación de un instrumento de auditoría recomendado por el Ministerio de Salud, Resolución nro. 3410/2013, validación del contenido por experts y prueba de confiabilidad del instrumento validado. Resultados con relación a la adaptación del instrumento, este contenía originalmente 100 ítems y 32 subítems, y pasó a tener 55 ítems, con sus respectivos criterios de evaluación, así como la fuente de recolección de información, con un total de 165 ítems de análisis. En la validación del instrumento, los experts sugirieron cambios relacionados con la semántica y el contenido en 77 ítems (46,66%). La prueba de confiabilidad presentó un índice de concordancia de 0,85 entre las enfermeras auditoras 1 y 2; 0,82 entre las enfermeras auditoras 1 y 3, y 0,96 entre las enfermeras auditoras 2 y 3, con un promedio de 0,88, lo que representa una concordancia entre evaluadoras casi perfecta. Conclusión la adaptación del instrumento fundamentado en la legislación vigente y la validación por experts contribuyeron para que quedara conciso, claro y objetivo, con consistencia estadística para uso en auditoría en el SUS, demostrada por la prueba de confiabilidad.
Resumo Objetivo Analisar a validade e a confiabilidade de um instrumento utilizado em auditoria no Sistema Único de Saúde (SUS). Métodos Pesquisa metodológica que empregou as etapas de adaptação de um instrumento de auditoria recomendado pelo Ministério da Saúde, Portaria nº 3410/2013, validação do conteúdo por experts e teste de confiabilidade do instrumento validado. Resultados Em relação a adequação do instrumento, originalmente o mesmo possuía 100 itens e 32 subitens, e passou a apresentar 55 itens, com seus respetivos critérios de avaliação, bem como a fonte de coleta da informação, totalizando 165 itens de analise. Na validação desse instrumento os experts sugeriram alterações quanto à semântica e o conteúdo em 77 (46,66%) itens. O teste de confiabilidade apresentou índice de concordância de 0,85 entre as enfermeiras auditoras 1 e 2; 0,82 entre as enfermeiras auditoras 1 e 3 e 0,96 entre as enfermeiras auditoras 2 e 3 com média de 0,88, representando uma concordância quase perfeita interavaliadoras. Conclusão A adequação do instrumento fundamentado na legislação vigente e a validação por experts deixou-o conciso, claro e objetivo, apresentando consistência estatística para uso em auditoria no SUS, demonstrada pelo teste de confiabilidade.
