Abstract This is an Evaluability Study (ES) of the Visceral Leishmaniasis Surveillance and Control Program, with a view to building bases for a future evaluation. A descriptive-qualitative approach was used in four steps: (1) Delimitation of the program; (2) Construction of the logical model, with the explanation of the necessary resources, the activities to be performed and the expected results, as well as the evaluative matrices, with the dimensions of analysis, categories and indicators; (3) Identification of evaluative questions and choice of evaluation design; (4) Authors' recommendations on Visceral Leishmaniasis Surveillance and Control Program and the pertinence of carrying out an evaluation of the program. This ES concluded that the intervention was able to be evaluated, because it was possible to identify the intervention design; the consensus among specialists about it; and the identification of evaluative questions that support a subsequent evaluation. It highlights the importance of the participation of key actors in all stages of the study's development, which have a central role in the program's development process at the various management levels. It is expected that this pre-assessment will contribute to identifying priorities and redirecting actions, to ensure feasibility in the assessment of Visceral Leishmaniasis Surveillance and Control Program, generating intervention actions promptly (ES descriptivequalitative descriptive qualitative steps 1 (1 program 2 (2 model resources results matrices analysis indicators 3 (3 design 4 (4 Authors evaluated studys study s programs levels preassessment pre (

Resumo Trata-se de um Estudo de Avaliabilidade (EA) do Programa de Vigilância e Controle da Leishmaniose Visceral (PVCLV), com vistas à construção de bases para uma futura avaliação. Utilizou-se uma abordagem descritivo-qualitativa em quatro etapas: (1) Delimitação do programa; (2) Construção do modelo lógico, com a explicitação dos recursos necessários, atividades a serem desempenhadas e resultados esperados, bem como das matrizes avaliativas, com as dimensões de análise, categorias e indicadores; (3) Identificação de perguntas avaliativas e escolha do desenho da avaliação; (4) Recomendações dos autores sobre o PVCLV e a pertinência da realização da avaliação do programa. Este EA concluiu que a intervenção está apta a ser avaliada, porque foi possível identificar o delineamento da intervenção; o consenso entre os especialistas sobre ela; e a identificação de perguntas avaliativas que subsidiam uma posterior avaliação. Destaca-se a importância da participação de atores-chave em todas as etapas de desenvolvimento do estudo, os quais têm papel central no processo de desenvolvimento do programa nos diversos níveis de gestão. Espera-se que esta pré-avaliação contribua para identificação de prioridades e redirecionamento das ações, de modo a assegurar factibilidade na avaliação do PVCLV, gerando ações de intervenção em tempo oportuno. Tratase Trata se (EA , (PVCLV) Utilizouse Utilizou descritivoqualitativa descritivo qualitativa 1 (1 2 (2 lógico necessários esperados análise indicadores 3 (3 4 (4 avaliada ela Destacase Destaca atoreschave atores chave estudo gestão Esperase Espera préavaliação pré oportuno (PVCLV (

Abstract This is an Evaluability Study (ES) of the Visceral Leishmaniasis Surveillance and Control Program, with a view to building bases for a future evaluation. A descriptive-qualitative approach was used in four steps: (1) Delimitation of the program; (2) Construction of the logical model, with the explanation of the necessary resources, the activities to be performed and the expected results, as well as the evaluative matrices, with the dimensions of analysis, categories and indicators; (3) Identification of evaluative questions and choice of evaluation design; (4) Authors' recommendations on Visceral Leishmaniasis Surveillance and Control Program and the pertinence of carrying out an evaluation of the program. This ES concluded that the intervention was able to be evaluated, because it was possible to identify the intervention design; the consensus among specialists about it; and the identification of evaluative questions that support a subsequent evaluation. It highlights the importance of the participation of key actors in all stages of the study's development, which have a central role in the program's development process at the various management levels. It is expected that this pre-assessment will contribute to identifying priorities and redirecting actions, to ensure feasibility in the assessment of Visceral Leishmaniasis Surveillance and Control Program, generating intervention actions promptly

Resumo Trata-se de um Estudo de Avaliabilidade (EA) do Programa de Vigilância e Controle da Leishmaniose Visceral (PVCLV), com vistas à construção de bases para uma futura avaliação. Utilizou-se uma abordagem descritivo-qualitativa em quatro etapas: (1) Delimitação do programa; (2) Construção do modelo lógico, com a explicitação dos recursos necessários, atividades a serem desempenhadas e resultados esperados, bem como das matrizes avaliativas, com as dimensões de análise, categorias e indicadores; (3) Identificação de perguntas avaliativas e escolha do desenho da avaliação; (4) Recomendações dos autores sobre o PVCLV e a pertinência da realização da avaliação do programa. Este EA concluiu que a intervenção está apta a ser avaliada, porque foi possível identificar o delineamento da intervenção; o consenso entre os especialistas sobre ela; e a identificação de perguntas avaliativas que subsidiam uma posterior avaliação. Destaca-se a importância da participação de atores-chave em todas as etapas de desenvolvimento do estudo, os quais têm papel central no processo de desenvolvimento do programa nos diversos níveis de gestão. Espera-se que esta pré-avaliação contribua para identificação de prioridades e redirecionamento das ações, de modo a assegurar factibilidade na avaliação do PVCLV, gerando ações de intervenção em tempo oportuno.

RESUMO O monitoramento e a avaliação vêm despontando crescente interesse nas organizações de saúde. Para que esses processos possam qualificar o desempenho, faz-se necessário analisar sua utilidade. Recorreu-se à experiência de Monitoramento do Desempenho da Gestão da Vigilância em Saúde (MDGVS), proposto pela Secretaria Estadual de Saúde do Estado de Pernambuco. O objetivo foi o de analisar fatores dificultadores e facilitadores do uso e influência, baseados nas dimensões de credibilidade, pertinência, fundamentação teórica e capacidade institucional. Trata-se de estudo exploratório, cujos dados foram coletados por meio de entrevistas semiestruturadas com 21 informantes-chave, além de revisão de documentos. Calcularam-se a média e o respectivo desvio padrão das categorias de análise, revelando boa incorporação do monitoramento, com sua contribuição na aprendizagem organizacional. O processo não só apresentou legitimidade como está integrado à agenda política da Vigilância em Saúde. Por outro lado, houve ênfase nas fragilidades como: dificuldades de integração e na divulgação externa dos resultados.

ABSTRACT Health Organizations have showed increasing interest in monitoring and evaluation. In order for these processes to comply performance qualification, it is necessary to analyze its value. The experience of Monitoring the Health Surveillance Management Performance (MDGVS) proposed by the State Health Department of Pernambuco was applied. The goal was to analyze factors that hinder and facilitate the use and influence by adopting the dimensions credibility, pertinence, theoretical framework and institutional capacity. It’s an exploratory study whose data were collected by means of semi-structured interviews with 21 key informants, as well as by means of the review of documents. The average and the standard deviation for each analysis category were calculated, showing a good monitoring incorporation and its contribution to organizational learning. The process presented legitimacy, being integrated into the HS political agenda. On the other hand, there was an emphasis on weaknesses, difficulties of integration, and external dissemination of results.

RESUMO O monitoramento e a avaliação vêm despontando crescente interesse nas organizações de saúde. Para que esses processos possam qualificar o desempenho, faz-se necessário analisar sua utilidade. Recorreu-se à experiência de Monitoramento do Desempenho da Gestão da Vigilância em Saúde (MDGVS), proposto pela Secretaria Estadual de Saúde do Estado de Pernambuco. O objetivo foi o de analisar fatores dificultadores e facilitadores do uso e influência, baseados nas dimensões de credibilidade, pertinência, fundamentação teórica e capacidade institucional. Trata-se de estudo exploratório, cujos dados foram coletados por meio de entrevistas semiestruturadas com 21 informantes-chave, além de revisão de documentos. Calcularam-se a média e o respectivo desvio padrão das categorias de análise, revelando boa incorporação do monitoramento, com sua contribuição na aprendizagem organizacional. O processo não só apresentou legitimidade como está integrado à agenda política da Vigilância em Saúde. Por outro lado, houve ênfase nas fragilidades como: dificuldades de integração e na divulgação externa dos resultados.

ABSTRACT Health Organizations have showed increasing interest in monitoring and evaluation. In order for these processes to comply performance qualification, it is necessary to analyze its value. The experience of Monitoring the Health Surveillance Management Performance (MDGVS) proposed by the State Health Department of Pernambuco was applied. The goal was to analyze factors that hinder and facilitate the use and influence by adopting the dimensions credibility, pertinence, theoretical framework and institutional capacity. It’s an exploratory study whose data were collected by means of semi-structured interviews with 21 key informants, as well as by means of the review of documents. The average and the standard deviation for each analysis category were calculated, showing a good monitoring incorporation and its contribution to organizational learning. The process presented legitimacy, being integrated into the HS political agenda. On the other hand, there was an emphasis on weaknesses, difficulties of integration, and external dissemination of results.

RESUMO Avaliou-se o desempenho das Unidades Pernambucanas de Atenção Especializada (Upae) tipo II nos municípios de Caruaru, Garanhuns e Petrolina em 2016. As unidades têm recente implantação na rede de saúde e foram criadas como estratégia para expansão da média complexidade que historicamente se apresenta como um vazio assistencial no Estado. Utilizou-se o modelo Balanced Scorecard (BSC), que adota as perspectivas financeira, de processos internos, de aprendizado e crescimento, e do usuário. Para tanto, elaborou-se o modelo lógico das Upae, adaptou-se ao BSC e gerou-se a matriz de medidas e julgamento. Classificouse o desempenho em excelente (≥75%), satisfatório (74-50%), insatisfatório (49-25%) e crítico (<25%). Identificou-se melhor desempenho na Upae Petrolina (88,2%). Quanto às perspectivas, a do usuário mostrou o maior desempenho (100%), enquanto aprendizado e crescimento apresentou o menor desempenho (65%). Destaca-se que as Upae possuem ferramentas e insumos físicos, humanos e de equipamentos necessários à prestação de serviços aos usuários do Sistema Único de Saúde, necessitando aprimorar alguns indicadores financeiros, de processos internos e aprendizado e crescimento.

ABSTRACT The Performance of Specialized Care Units (Upae) type II in the State of Pernambuco, Brazil, was assessed in 2016 as for the cities of Caruaru, Garanhuns and Petrolina. The units have recent been inserted in the health network deployment and were created as a strategy for expansion of medium complexity care, which has historically played a role of care emptiness in the State. The Balanced Scorecard (BSC) model was applied, grounded on its four components of finance, internal processes, learning and growth, and user. For this purpose, the logical model of Upae was created, then adapted to BSC, and followed by de generation of a matrix of measures and assessment. Performance was ranked as excellent (≥75%), satisfactory (74-50%), unsatisfactory (49-25%) and critical (<25%). As for the components, the user showed the highest performance (100%), while learning and growth presented the lowest one (65%). It is worth noting that Upae hold tools and physical, human and equipment resources necessary for the delivery of services to users circumscribed to the Unified Health System, although requiring the improvement of some financial indicators, as those of internal processes and learning and growth.

RESUMO Avaliou-se o desempenho das Unidades Pernambucanas de Atenção Especializada (Upae) tipo II nos municípios de Caruaru, Garanhuns e Petrolina em 2016. As unidades têm recente implantação na rede de saúde e foram criadas como estratégia para expansão da média complexidade que historicamente se apresenta como um vazio assistencial no Estado. Utilizou-se o modelo Balanced Scorecard (BSC), que adota as perspectivas financeira, de processos internos, de aprendizado e crescimento, e do usuário. Para tanto, elaborou-se o modelo lógico das Upae, adaptou-se ao BSC e gerou-se a matriz de medidas e julgamento. Classificouse o desempenho em excelente (≥75%), satisfatório (74-50%), insatisfatório (49-25%) e crítico (<25%). Identificou-se melhor desempenho na Upae Petrolina (88,2%). Quanto às perspectivas, a do usuário mostrou o maior desempenho (100%), enquanto aprendizado e crescimento apresentou o menor desempenho (65%). Destaca-se que as Upae possuem ferramentas e insumos físicos, humanos e de equipamentos necessários à prestação de serviços aos usuários do Sistema Único de Saúde, necessitando aprimorar alguns indicadores financeiros, de processos internos e aprendizado e crescimento.

ABSTRACT The Performance of Specialized Care Units (Upae) type II in the State of Pernambuco, Brazil, was assessed in 2016 as for the cities of Caruaru, Garanhuns and Petrolina. The units have recent been inserted in the health network deployment and were created as a strategy for expansion of medium complexity care, which has historically played a role of care emptiness in the State. The Balanced Scorecard (BSC) model was applied, grounded on its four components of finance, internal processes, learning and growth, and user. For this purpose, the logical model of Upae was created, then adapted to BSC, and followed by de generation of a matrix of measures and assessment. Performance was ranked as excellent (≥75%), satisfactory (74-50%), unsatisfactory (49-25%) and critical (<25%). As for the components, the user showed the highest performance (100%), while learning and growth presented the lowest one (65%). It is worth noting that Upae hold tools and physical, human and equipment resources necessary for the delivery of services to users circumscribed to the Unified Health System, although requiring the improvement of some financial indicators, as those of internal processes and learning and growth.