Resumo Como parte do estudo de avaliabilidade da avaliação da implementação do Prontuário Eletrônico do Paciente (PEP), o objetivo desta Revisão Sistemática (RS) foi identificar os domínios de avaliação a serem abordados. Esta RS, alinhada com o Cochrane Handbook for Systematic Reviews of Interventions e o Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) englobou artigos publicados de 2006 até 2019. Realizou-se a busca nas bases de dados eletrônicas SciELO, Oásis IBICT, BVS Regional e Scopus. A busca retornou 1.178 artigos, sendo 42 que atenderam aos critérios de inclusão. A maioria dos estudos utilizaram métodos qualitativos para análises. As publicações ocorreram entre 2006 e 2019, tendo sua concentração em 2017 com 9 (21%) artigos publicados. Não foram identificados estudos publicados em 2008 e 2009. Somente 10 estudos incluíam descrição, análises ou resultados relacionados aos domínios de implementação. Os principais domínios em que o PEP foi problematizado foram: subutilização; resistência dos profissionais ao seu uso; ênfase na usabilidade; e o PEP como repositório de informações. Apesar da inclusão de todos os estudos que contemplaram os princípios e diretrizes da Política Nacional de Humanização (PNH), eles ainda são incipientes.

Abstract As part of the evaluability study of the implementation of the Electronic Patient Record (EPR) evaluation, the aim of this Systematic Review (SR) was to identify the evaluation domains to be addressed. This SR, aligned with the Cochrane Handbook for Systematic Reviews of Interventions and the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) encompassed articles published from 2006 to 2019. The search was carried out in the electronic databases SciELO, Oasis IBICT, BVS Regional and Scopus. The search resulted in 1,178 articles, 42 of which met the inclusion criteria. Most studies used qualitative methods for the analyses. The publications took place between 2006 and 2019, with a concentration in 2017 with 9 (21%) articles published in that year. No studies were published in 2008 and 2009. Only 10 studies included the description, analysis or results related to the domains of implementation. The main domains in which the EPR was problematized were: underutilization; professionals’ resistance to its use; emphasis on usability; and EPR as an information source. Despite the inclusion of all studies that covered the principles and guidelines of the National Humanization Policy (NHP), they are still incipient.

Abstract As part of the evaluability study of the implementation of the Electronic Patient Record (EPR) evaluation, the aim of this Systematic Review (SR) was to identify the evaluation domains to be addressed. This SR, aligned with the Cochrane Handbook for Systematic Reviews of Interventions and the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) encompassed articles published from 2006 to 2019. The search was carried out in the electronic databases SciELO, Oasis IBICT, BVS Regional and Scopus. The search resulted in 1,178 articles, 42 of which met the inclusion criteria. Most studies used qualitative methods for the analyses. The publications took place between 2006 and 2019, with a concentration in 2017 with 9 (21%) articles published in that year. No studies were published in 2008 and 2009. Only 10 studies included the description, analysis or results related to the domains of implementation. The main domains in which the EPR was problematized were: underutilization; professionals’ resistance to its use; emphasis on usability; and EPR as an information source. Despite the inclusion of all studies that covered the principles and guidelines of the National Humanization Policy (NHP), they are still incipient.

Resumo Como parte do estudo de avaliabilidade da avaliação da implementação do Prontuário Eletrônico do Paciente (PEP), o objetivo desta Revisão Sistemática (RS) foi identificar os domínios de avaliação a serem abordados. Esta RS, alinhada com o Cochrane Handbook for Systematic Reviews of Interventions e o Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) englobou artigos publicados de 2006 até 2019. Realizou-se a busca nas bases de dados eletrônicas SciELO, Oásis IBICT, BVS Regional e Scopus. A busca retornou 1.178 artigos, sendo 42 que atenderam aos critérios de inclusão. A maioria dos estudos utilizaram métodos qualitativos para análises. As publicações ocorreram entre 2006 e 2019, tendo sua concentração em 2017 com 9 (21%) artigos publicados. Não foram identificados estudos publicados em 2008 e 2009. Somente 10 estudos incluíam descrição, análises ou resultados relacionados aos domínios de implementação. Os principais domínios em que o PEP foi problematizado foram: subutilização; resistência dos profissionais ao seu uso; ênfase na usabilidade; e o PEP como repositório de informações. Apesar da inclusão de todos os estudos que contemplaram os princípios e diretrizes da Política Nacional de Humanização (PNH), eles ainda são incipientes.

Resumo O objetivo do artigo é avaliar a contribuição do DOTS comunitário, do inglês “Directly Observed Treatment Short-Course”, nas ações de prevenção e controle da tuberculose na atenção primária no Brasil e na Etiópia, a partir das percepções e práticas dos agentes comunitários de saúde (ACS). Utilizou-se o referencial conceitual e metodológico dos sítios simbólicos de pertencimento, com suas três tipologias: caixas preta, conceitual e operacional. Empregou-se o estudo de dois casos contrastantes, triangulando e complementando informações advindas de entrevistas semiestruturadas com ACS e profissionais de saúde e também observação participante. Os achados destacam o sentido de comprometimento dos ACS como um valor importante nas ações desenvolvidas em ambos contextos. Os principais desafios são a insuficiência de capacitação e supervisão das ações realizadas (caixa conceitual), assim como as dificuldades de acesso (caixa de ferramentas), expressas em distâncias geográficas no caso etíope e em barreiras relacionadas à violência no território, não explicitadas, no contexto brasileiro. Isto implica em um esforço contínuo dos ACS para adaptar suas práticas, respeitando os valores culturais (caixa preta) que dão sentido e direção às suas ações na superação dos desafios.

Abstract This article aims to evaluate the contribution of Community DOTS, Directly Observed Treatment Short-Course, for the prevention and control of Tuberculosis actions in primary care in Brazil and Ethiopia, based on the perceptions and practice of the community health care workers. We employed the Symbolic Sites conceptual-methodological framework, accounting for its three types: Black box, Conceptual box, and Toolbox. The contrasting case study involved triangulating and complementing data collection and analysis from semi-structured interviews with community health workers and health professionals, site observation, and document analysis. The results highlight a sense of commitment as an essential value regarding the activities developed by community health workers in both contexts. The main challenges are the insufficient capacity building and supervision (Conceptual box), and the difficulties related to access (Toolbox), expressed in long geographic distances in the Ethiopian case and barriers related to territory violence, mostly drug trafficking, although not explicit, in the Brazilian context. This implies in a continuous effort for the community health workers to adapt their practices, respecting the cultural values (Black box), in order to direct their actions to overcome these challenges.

Abstract This article aims to evaluate the contribution of Community DOTS, Directly Observed Treatment Short-Course, for the prevention and control of Tuberculosis actions in primary care in Brazil and Ethiopia, based on the perceptions and practice of the community health care workers. We employed the Symbolic Sites conceptual-methodological framework, accounting for its three types: Black box, Conceptual box, and Toolbox. The contrasting case study involved triangulating and complementing data collection and analysis from semi-structured interviews with community health workers and health professionals, site observation, and document analysis. The results highlight a sense of commitment as an essential value regarding the activities developed by community health workers in both contexts. The main challenges are the insufficient capacity building and supervision (Conceptual box), and the difficulties related to access (Toolbox), expressed in long geographic distances in the Ethiopian case and barriers related to territory violence, mostly drug trafficking, although not explicit, in the Brazilian context. This implies in a continuous effort for the community health workers to adapt their practices, respecting the cultural values (Black box), in order to direct their actions to overcome these challenges.

Resumo O objetivo do artigo é avaliar a contribuição do DOTS comunitário, do inglês “Directly Observed Treatment Short-Course”, nas ações de prevenção e controle da tuberculose na atenção primária no Brasil e na Etiópia, a partir das percepções e práticas dos agentes comunitários de saúde (ACS). Utilizou-se o referencial conceitual e metodológico dos sítios simbólicos de pertencimento, com suas três tipologias: caixas preta, conceitual e operacional. Empregou-se o estudo de dois casos contrastantes, triangulando e complementando informações advindas de entrevistas semiestruturadas com ACS e profissionais de saúde e também observação participante. Os achados destacam o sentido de comprometimento dos ACS como um valor importante nas ações desenvolvidas em ambos contextos. Os principais desafios são a insuficiência de capacitação e supervisão das ações realizadas (caixa conceitual), assim como as dificuldades de acesso (caixa de ferramentas), expressas em distâncias geográficas no caso etíope e em barreiras relacionadas à violência no território, não explicitadas, no contexto brasileiro. Isto implica em um esforço contínuo dos ACS para adaptar suas práticas, respeitando os valores culturais (caixa preta) que dão sentido e direção às suas ações na superação dos desafios.

RESUMO O QualiSUS-Rede buscou qualificar a atenção e a gestão em saúde via organização das redes de atenção. O objetivo do estudo foi analisar o processo de formulação e implementação do QualiSUS-Rede relacionado à gestão. Trata-se de estudo qualitativo, de base documental. Fez-se uso da análise estratégica, considerando suas três dimensões: pertinência do problema priorizado; pertinência do objetivo e das soluções propostas; pertinência das parcerias. Aplicou-se a análise estratégica de forma hibridizada com a teoria de mudança em seus três eixos: cadeia de efeitos e seus condicionantes, modo de funcionamento e as interações entre os atores. Elaborou-se a linha do tempo do QualiSUS-Rede, identificando os eventos críticos. Como resultado, verificou-se que o QualiSUS-Rede obteve pertinência nas três dimensões da análise estratégica. No entanto, as evidências apontam que, em intervenções futuras, os seguintes aspectos precisam ser observados: i) a agilização dos tempos institucionais; ii) a fragilidade do modelo institucional de monitoramento e avaliação; e iii) dificuldade das instâncias envolvidas com a gestão de riscos, especialmente daqueles originários das transições governamentais. O uso de múltiplas estratégias metodológicas, com base na teoria da intervenção, considerando a cadeia de efeitos e causalidades, mostrou-se potente para explicitar a teoria e o modelo de gestão no QualiSUS-Rede.

ABSTRACT QualiSUS-Network sought to qualify management and health care by means of organization of health networks. The objective of our study is to analyze the process of formulation and implementation of QualiSUS-Network related to management. This is a qualitative study, on a documentary basis. Strategic analysis was used, by considering its three dimensions: relevance of the problem prioritized; relevance of the proposed objectives and solutions; relevance of partnerships. Strategic analysis was used in a hybrid way together with the theory of change considering its three axes: chain of results and its conditioners, operation mode and interactions among actors. A timeline of QualiSUS-Network was also developed, identifying critical events. As a result, it was verified that QualiSUS-Network achieved relevance in the three dimensions of the strategic analysis. However, the evidences point out that, in future interventions, the following barriers need to be observed: i) the streamlining of institutional times; ii) the weakness of the institutional model for monitoring and evaluation; iii) difficulty of the bodies involved with risk management, especially those originating from government transitions. The use of multiple methodological strategies, based on the intervention theory, considering the chain of outcomes and causalities, have proved to be potent in explaining the theory and management model in the QualiSUS-Network.

ABSTRACT QualiSUS-Network sought to qualify management and health care by means of organization of health networks. The objective of our study is to analyze the process of formulation and implementation of QualiSUS-Network related to management. This is a qualitative study, on a documentary basis. Strategic analysis was used, by considering its three dimensions: relevance of the problem prioritized; relevance of the proposed objectives and solutions; relevance of partnerships. Strategic analysis was used in a hybrid way together with the theory of change considering its three axes: chain of results and its conditioners, operation mode and interactions among actors. A timeline of QualiSUS-Network was also developed, identifying critical events. As a result, it was verified that QualiSUS-Network achieved relevance in the three dimensions of the strategic analysis. However, the evidences point out that, in future interventions, the following barriers need to be observed: i) the streamlining of institutional times; ii) the weakness of the institutional model for monitoring and evaluation; iii) difficulty of the bodies involved with risk management, especially those originating from government transitions. The use of multiple methodological strategies, based on the intervention theory, considering the chain of outcomes and causalities, have proved to be potent in explaining the theory and management model in the QualiSUS-Network.

RESUMO O QualiSUS-Rede buscou qualificar a atenção e a gestão em saúde via organização das redes de atenção. O objetivo do estudo foi analisar o processo de formulação e implementação do QualiSUS-Rede relacionado à gestão. Trata-se de estudo qualitativo, de base documental. Fez-se uso da análise estratégica, considerando suas três dimensões: pertinência do problema priorizado; pertinência do objetivo e das soluções propostas; pertinência das parcerias. Aplicou-se a análise estratégica de forma hibridizada com a teoria de mudança em seus três eixos: cadeia de efeitos e seus condicionantes, modo de funcionamento e as interações entre os atores. Elaborou-se a linha do tempo do QualiSUS-Rede, identificando os eventos críticos. Como resultado, verificou-se que o QualiSUS-Rede obteve pertinência nas três dimensões da análise estratégica. No entanto, as evidências apontam que, em intervenções futuras, os seguintes aspectos precisam ser observados: i) a agilização dos tempos institucionais; ii) a fragilidade do modelo institucional de monitoramento e avaliação; e iii) dificuldade das instâncias envolvidas com a gestão de riscos, especialmente daqueles originários das transições governamentais. O uso de múltiplas estratégias metodológicas, com base na teoria da intervenção, considerando a cadeia de efeitos e causalidades, mostrou-se potente para explicitar a teoria e o modelo de gestão no QualiSUS-Rede.

RESUMO A incorporação dos diferentes interessados ao processo avaliativo é estratégica para facilitar a compreensão da avaliação e a apropriação de seus resultados. Este artigo se propõe a descrever e analisar criticamente a participação dos atores (stakeholders) no processo de avaliação, utilizando a pesquisa avaliativa do Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). Para isto, foram tomadas como base as memórias das reuniões de trabalho, das oficinas de alinhamento conceitual e de validação dos Modelos Lógicos dos seminários realizados, assim como dos relatórios elaborados no período de agosto de 2012 a dezembro de 2015. A abordagem colaborativa envolveu inúmeros desafios, englobando 15 projetos, com distintos níveis de abrangência e complexidade, e com diversos stakeholders, com diferentes tipos e níveis de colaboração, o que condicionou os limites e as possibilidades de participação. Esta experiência gerou a adaptação do Modelo de Avaliação Colaborativa de Rodriguez-Campos e Rincones-Gomez (2013). A abordagem colaborativa exige por parte dos avaliadores um exercício de flexibilização e de ajuste às distintas particularidades e aos contextos locais, sem perder de vista o alinhamento às teorias da intervenção e ao modelo teórico da avaliação.

ABSTRACT Stakeholder approaches to evaluation imply the incorporation of different stakeholders in the evaluation process as to facilitate its comprehension and the appropriation of its results. This article aims to describe and critically analyze the participation of the stakeholders in the evaluation process taking into account the evaluation study Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). For this purpose, we analyzed the reports regarding work meetings, workshops for conceptual alignment and validation of the projects Logical Models, seminars, as well as partial and final reports, during the period of August 2012 to December 2015. The collaborative approach involved numerous challenges encompassing 15 projects, with different levels of complexity, and with a diverse number and variety of stakeholders, which brought us to the limits and possibilities of participation of the different actors. We adapted the Collaborative Evaluation Model, from Rodriguez-Campos and Rincones-Gomez (2013). This type of approach requires the evaluators to exercise flexibility and adjustment to different local contexts and particularities, without losing sight of conformity to the theory of intervention and to the evaluation theoretical model.

ABSTRACT Stakeholder approaches to evaluation imply the incorporation of different stakeholders in the evaluation process as to facilitate its comprehension and the appropriation of its results. This article aims to describe and critically analyze the participation of the stakeholders in the evaluation process taking into account the evaluation study Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). For this purpose, we analyzed the reports regarding work meetings, workshops for conceptual alignment and validation of the projects Logical Models, seminars, as well as partial and final reports, during the period of August 2012 to December 2015. The collaborative approach involved numerous challenges encompassing 15 projects, with different levels of complexity, and with a diverse number and variety of stakeholders, which brought us to the limits and possibilities of participation of the different actors. We adapted the Collaborative Evaluation Model, from Rodriguez-Campos and Rincones-Gomez (2013). This type of approach requires the evaluators to exercise flexibility and adjustment to different local contexts and particularities, without losing sight of conformity to the theory of intervention and to the evaluation theoretical model.

RESUMO A incorporação dos diferentes interessados ao processo avaliativo é estratégica para facilitar a compreensão da avaliação e a apropriação de seus resultados. Este artigo se propõe a descrever e analisar criticamente a participação dos atores (stakeholders) no processo de avaliação, utilizando a pesquisa avaliativa do Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). Para isto, foram tomadas como base as memórias das reuniões de trabalho, das oficinas de alinhamento conceitual e de validação dos Modelos Lógicos dos seminários realizados, assim como dos relatórios elaborados no período de agosto de 2012 a dezembro de 2015. A abordagem colaborativa envolveu inúmeros desafios, englobando 15 projetos, com distintos níveis de abrangência e complexidade, e com diversos stakeholders, com diferentes tipos e níveis de colaboração, o que condicionou os limites e as possibilidades de participação. Esta experiência gerou a adaptação do Modelo de Avaliação Colaborativa de Rodriguez-Campos e Rincones-Gomez (2013). A abordagem colaborativa exige por parte dos avaliadores um exercício de flexibilização e de ajuste às distintas particularidades e aos contextos locais, sem perder de vista o alinhamento às teorias da intervenção e ao modelo teórico da avaliação.

RESUMO O artigo apresenta a Análise Estratégica (AE) do processo de formulação da Política Nacional de Monitoramento e Avaliação do Sistema Único de Saúde (PNM&A-SUS). O estudo qualitativo utilizou-se da análise documental e revisão de literatura considerando as três dimensões da AE: pertinência do problema, ou seja, necessidade institucional da política; dos objetivos propostos e das parcerias mobilizadas. A análise mostrou que a formulação vem acontecendo de forma descontínua e não há definição de conceitos, proposições e usos unanimemente aceita entre os stakeholders. O processo interrompido necessita ser retomado para a elaboração consensuada da PNM&A-SUS, considerando as lições aprendidas e a apropriação realista do contexto.

ABSTRACT This article presents the Strategic Analysis (AE) of the formulation process of SUS National Policy on Monitoring and Evaluation (PNM&A-SUS). The study employed a qualitative document analysis and literature review, accounting for the three dimensions of AE: relevance of the problem (needed institutional policy); proposed objectives and mobilized partnerships. The analysis showed a discontinuous formulation process with relevant controversies regarding evaluation purposes, assumptions, responsibilities and expected competencies among stakeholders. The interrupted formulation process needs to be recommenced, as for the lessons learned and the realistic context assessment.

RESUMO Partindo de uma avaliação de desempenho, o artigo traz algumas reflexões conceituais que tomam como base teórica a translação do conhecimento e sua relação com os usos e influências de uma avaliação. Realizou-se estudo exploratório com análise documental, tendo como questões norteadoras a identificação de possíveis alianças e fatores que pudessem facilitar ou dificultar a translação do conhecimento. Os resultados indicaram que a teoria instrumenta a validação de construto do processo de utilização, estabelecendo base racional e lógica para abranger diferentes actantes e os interesses que os mobilizam. Algumas limitações da interface entre avaliação e a teoria do ator rede foram identificadas.

ABSTRACT This article, based on a performance evaluation, aims to discuss some conceptual reflections on knowledge translation theory and its relation to the uses and influences of evaluation. An exploratory study was conducted, centered on documental analysis, aiming to identify possible alliances and factors that could facilitate or hinder the translation of knowledge. The results indicated that the theory is a tool that enables the validation of utilization construct process, establishing the rational and logical basis for incorporating different actants and the interests involved. We could also identify some limitations of the interface between evaluation and the actor-network theory.

RESUMO Este artigo reflete sobre o apoiador institucional do Ministério da Saúde a partir da avaliação de implementação do Projeto QualiSUS-Rede. Utiliza-se o referencial de atores intermediários, inspirado na Teoria Ator-Rede, adaptada ao objeto do estudo. Entrevistaram-se treze apoiadores, explorando-se as operações de translação e os domínios de mediação cognitivos, estratégicos e logísticos. Os resultados indicam a legitimação da função apoio como unidade organizacional, embora com pouca autonomia gerencial e financeira, diluindo a possibilidade desses atores de produzir e gerenciar conexões inovadoras para a construção de alianças, encaminhamentos e superação de conflitos e controvérsias.

ABSTRACT This paper reflects on the Ministry of Health 'institutional supporter', based on the implementation evaluation of QualiSUS-Network Project. We employed the intermediate actors theory, inspired by the Actor-Network Theory, and adapted to the study's object. Thirteen 'supporters' were interviewed to explore the relationship between the translation operations and mediation process (cognitive, strategic and logistic). The results indicate the 'supporter' as an organizational unit with a legitimate function, but with limited managerial and financial autonomy, which dilutes these actors possibility to produce and manage innovative connections to build alliances and overcome conflicts and controversies.

RESUMO Este artigo identifica e analisa os modelos de avaliação de desempenho de sistemas de saúde, considerando-se a sua capacidade avaliativa. Realizou-se a revisão sistemática da literatura, identificando-se seis artigos que apresentaram o modelo adotado para a avaliação de desempenho. Procedeu-se à apreciação da capacidade avaliativa segundo critérios definidos de meta-avaliação. Conclui-se que o foco dos debates em torno dos modelos enfatiza as dimensões avaliativas, o perfil e qualidade dos indicadores em detrimento da compreensão pactuada do 'avaliando' e do processo de valoração. Espera-se ter contribuído para a sistematização de critérios de meta-avaliação de modelos avaliativos.

ABSTRACT This paper aims to characterize the evaluation potential of currently known health performance models. A systematic literature was performed and six articles were selected because they specified the adopted model of performance. The review showed that most of the debates concerning the models was focused on the description of the analytic dimensions and indicators. Issues such as valuation theory, standards and thresholds for judgment were missing. Thus, this study expects to contribute to systematize criteria to assess health performance evaluation models highlighting focus, theoretical assumptions and methodological strategies.

ABSTRACT This article, based on a performance evaluation, aims to discuss some conceptual reflections on knowledge translation theory and its relation to the uses and influences of evaluation. An exploratory study was conducted, centered on documental analysis, aiming to identify possible alliances and factors that could facilitate or hinder the translation of knowledge. The results indicated that the theory is a tool that enables the validation of utilization construct process, establishing the rational and logical basis for incorporating different actants and the interests involved. We could also identify some limitations of the interface between evaluation and the actor-network theory.

RESUMO Partindo de uma avaliação de desempenho, o artigo traz algumas reflexões conceituais que tomam como base teórica a translação do conhecimento e sua relação com os usos e influências de uma avaliação. Realizou-se estudo exploratório com análise documental, tendo como questões norteadoras a identificação de possíveis alianças e fatores que pudessem facilitar ou dificultar a translação do conhecimento. Os resultados indicaram que a teoria instrumenta a validação de construto do processo de utilização, estabelecendo base racional e lógica para abranger diferentes actantes e os interesses que os mobilizam. Algumas limitações da interface entre avaliação e a teoria do ator rede foram identificadas.