Este estudo de validação visa conferir a precisão de um modelo de avaliação. Em uma avaliação, existe a necessidade de validar os instrumentos de coleta de dados utilizados quanto à sua reprodutibilidade e precisão. Neste estudo, foi utilizada a Avaliação da Gestão da Saúde Bucal na Atenção Básica em Santa Catarina como referência, cujo modelo utiliza dados primários, coletados via formulário eletrônico, e secundários, disponíveis nos sistemas de informação do SUS, para cálculo dos indicadores. Para a realização deste estudo, o formulário foi aplicado nos municípios da Região Carbonífera de Santa Catarina em dois momentos distintos para verificar sua reprodutibilidade, seguidos de discussão das respostas com o pesquisador. Os resultados observados foram consolidados e debatidos em oficina de consenso com especialistas na área, detectando imprecisões relativas ao conceito, à fonte utilizada e ao perfil dos próprios respondentes. A taxa de concordância bruta observada para as duas coletas foi de 87%, e as imprecisões somaram 36% das respostas. Sugestões de fontes preferenciais, modificações de enunciado e orientações para o correto preenchimento do formulário foram algumas mudanças propostas, aperfeiçoando a matriz original e seu instrumento de coleta de dados.

This validation study seeks to check the accuracy of an evaluation model. In an evaluation, it is necessary to validate the precision and reliability of the data collection instrument. In this study, the Management Assessment of Oral Health in Primary Care in Santa Catarina was used as a benchmark to calculate the indicators. Its model analyzes primary data, collected via an electronic form, and secondary data, available in the Unified Health System (SUS) database. For this study, the form was applied in the cities of Santa Catarina's Coal Region at two different moments to check its reproducibility, followed by a discussion over the answers with the researcher. The results obtained were analyzed and debated in a consensus workshop with specialists in the field, detecting inaccuracies relating to the concept, the source used and the profile of the respondents themselves. The gross agreement rate in the two data collections was 87%, and the inaccuracies amounted to 36% of the answers. Preferential source suggestions, question modifications and guidelines for the correct filling out of the form were some of the proposed changes, improving the original matrix and the data collection instrument.

Este estudo de validação visa conferir a precisão de um modelo de avaliação. Em uma avaliação, existe a necessidade de validar os instrumentos de coleta de dados utilizados quanto à sua reprodutibilidade e precisão. Neste estudo, foi utilizada a Avaliação da Gestão da Saúde Bucal na Atenção Básica em Santa Catarina como referência, cujo modelo utiliza dados primários, coletados via formulário eletrônico, e secundários, disponíveis nos sistemas de informação do SUS, para cálculo dos indicadores. Para a realização deste estudo, o formulário foi aplicado nos municípios da Região Carbonífera de Santa Catarina em dois momentos distintos para verificar sua reprodutibilidade, seguidos de discussão das respostas com o pesquisador. Os resultados observados foram consolidados e debatidos em oficina de consenso com especialistas na área, detectando imprecisões relativas ao conceito, à fonte utilizada e ao perfil dos próprios respondentes. A taxa de concordância bruta observada para as duas coletas foi de 87%, e as imprecisões somaram 36% das respostas. Sugestões de fontes preferenciais, modificações de enunciado e orientações para o correto preenchimento do formulário foram algumas mudanças propostas, aperfeiçoando a matriz original e seu instrumento de coleta de dados.

This validation study seeks to check the accuracy of an evaluation model. In an evaluation, it is necessary to validate the precision and reliability of the data collection instrument. In this study, the Management Assessment of Oral Health in Primary Care in Santa Catarina was used as a benchmark to calculate the indicators. Its model analyzes primary data, collected via an electronic form, and secondary data, available in the Unified Health System (SUS) database. For this study, the form was applied in the cities of Santa Catarina's Coal Region at two different moments to check its reproducibility, followed by a discussion over the answers with the researcher. The results obtained were analyzed and debated in a consensus workshop with specialists in the field, detecting inaccuracies relating to the concept, the source used and the profile of the respondents themselves. The gross agreement rate in the two data collections was 87%, and the inaccuracies amounted to 36% of the answers. Preferential source suggestions, question modifications and guidelines for the correct filling out of the form were some of the proposed changes, improving the original matrix and the data collection instrument.