Resumo Este trabalho tem como objetivo descrever o uso da Técnica Delphi no processo de atualização e validação de conteúdo do Questionário de Avaliação da Qualidade de Serviços de Atenção Básica (QualiAB) para aplicação nacional. Deste estudo participaram 19 especialistas com experiência em pesquisa em avaliação em saúde, assistência e gestão em atenção primária à saúde (APS). Uma versão revisada do instrumento QualiAB com 105 indicadores foi encaminhada para avaliação quanto ao grau de relevância, aplicabilidade nacional e aceitabilidade. A Técnica Delphi modificada foi realizada em duas rodadas. Os resultados apontam que a taxa de resposta na primeira rodada foi de 73,6%, 40 indicadores foram aceitos e 65 não obtiveram consenso, dos quais 54 receberam sugestões de alteração da questão e/ou do indicador. Na segunda rodada a taxa de resposta foi de 92,8%. Foram reenviados 65 indicadores com incorporação de alterações, dos quais seis foram aceitos. Dos 59 restantes, 51 obtiveram sugestões de alteração. A Técnica Delphi modificada contribuiu para o aprimoramento do instrumento QualiAB enquanto etapa intermediária de um processo de validação iterativa. Contudo, a realização em duas rodadas demonstrou ser insuficiente para validação dos indicadores de qualidade organizacional diante da abrangência e diversidade das ações realizadas pelos serviços de APS.

Abstract This article aims to describe the use of the Delphi Technique in a process of updating and validating the content of the Primary Care Services Quality Assessment Questionnaire (QualiAB) for national application. In this study, 19 experts with experience in research in health evaluation, care and management in Primary Health Care (PHC) agreed to participate. A revised version of the QualiAB instrument with 105 indicators was submitted for evaluation as to its relevance, national applicability and acceptability. The modified Delphi Technique was performed in two rounds. The response rate of experts in the first round was 73.6%, 40 indicators were accepted and 65 did not reach consensus, of which 54 obtained suggestions to change the question and/or indicator. In the second, the response rate was 92.8%, and 65 indicators were resent with incorporation of changes, of which six were accepted. Of the remaining 59, 51 obtained suggestions for change. The modified Delphi Technique contributed to the improvement of the QualiAB instrument as an intermediate step in an iterative validation process. However, the performance in two rounds proved to be insufficient to validate the organizational quality indicators in view of the scope and diversity of the actions performed by the PHC services.

Resumo Este trabalho tem como objetivo descrever o uso da Técnica Delphi no processo de atualização e validação de conteúdo do Questionário de Avaliação da Qualidade de Serviços de Atenção Básica (QualiAB) para aplicação nacional. Deste estudo participaram 19 especialistas com experiência em pesquisa em avaliação em saúde, assistência e gestão em atenção primária à saúde (APS). Uma versão revisada do instrumento QualiAB com 105 indicadores foi encaminhada para avaliação quanto ao grau de relevância, aplicabilidade nacional e aceitabilidade. A Técnica Delphi modificada foi realizada em duas rodadas. Os resultados apontam que a taxa de resposta na primeira rodada foi de 73,6%, 40 indicadores foram aceitos e 65 não obtiveram consenso, dos quais 54 receberam sugestões de alteração da questão e/ou do indicador. Na segunda rodada a taxa de resposta foi de 92,8%. Foram reenviados 65 indicadores com incorporação de alterações, dos quais seis foram aceitos. Dos 59 restantes, 51 obtiveram sugestões de alteração. A Técnica Delphi modificada contribuiu para o aprimoramento do instrumento QualiAB enquanto etapa intermediária de um processo de validação iterativa. Contudo, a realização em duas rodadas demonstrou ser insuficiente para validação dos indicadores de qualidade organizacional diante da abrangência e diversidade das ações realizadas pelos serviços de APS.

Abstract This article aims to describe the use of the Delphi Technique in a process of updating and validating the content of the Primary Care Services Quality Assessment Questionnaire (QualiAB) for national application. In this study, 19 experts with experience in research in health evaluation, care and management in Primary Health Care (PHC) agreed to participate. A revised version of the QualiAB instrument with 105 indicators was submitted for evaluation as to its relevance, national applicability and acceptability. The modified Delphi Technique was performed in two rounds. The response rate of experts in the first round was 73.6%, 40 indicators were accepted and 65 did not reach consensus, of which 54 obtained suggestions to change the question and/or indicator. In the second, the response rate was 92.8%, and 65 indicators were resent with incorporation of changes, of which six were accepted. Of the remaining 59, 51 obtained suggestions for change. The modified Delphi Technique contributed to the improvement of the QualiAB instrument as an intermediate step in an iterative validation process. However, the performance in two rounds proved to be insufficient to validate the organizational quality indicators in view of the scope and diversity of the actions performed by the PHC services.

RESUMO OBJETIVO Avaliar o desempenho da atenção integral ao idoso em serviços de atenção primária do Sistema Único de Saúde no estado de São Paulo, Brasi lMÉTODOS Um total de 157 serviços de atenção primária de cinco regiões de saúde do centro-oeste paulista respondeu, de outubro a dezembro de 2014, o instrumento pré-validado Questionário de Avaliação e Monitoramento de Serviços de Atenção Básica 2014. Foram selecionadas 155 questões, com base nas políticas e diretrizes nacionais sobre essa temática. As respostas indicam o desempenho do serviço na atenção ao idoso, agrupadas em três domínios de análise: atenção à saúde para o envelhecimento ativo e saudável (45 indicadores, d1), atenção às doenças crônicas não transmissíveis (89 indicadores, d2) e rede de apoio na atenção ao envelhecimento (21 indicadores, d3). A medida de desempenho foi a soma de respostas positivas (valor 1) ou negativas (valor 0) para cada indicador. Os serviços foram agrupados segundo k-médias dos escores de desempenho de cada um dos domínios. Após a ponderação dos domínios (testes Z), foram estimadas as associações entre os escores de cada domínio e variáveis independentes de gestão (tipologia, planejamento e avaliação dos serviços), por meio de regressão linear simples e múltipla. RESULTADOS A atenção às doenças crônicas não transmissíveis (d2) mostrou, para todos os agrupamentos, melhor desempenho médio (55,7) do que os domínios d1 (35,4) e d3 (39,2). O desempenho do serviço na área geral de planejamento e avaliação esteve associado ao desempenho da atenção ao idoso. CONCLUSÕES Os serviços avaliados apresentaram implementação incipiente da atenção integral ao idoso. O quadro avaliativo pode contribuir para processos de melhoria da qualidade da atenção primária à saúde.

ABSTRACT OBJECTIVE To evaluate the performance of comprehensive care for older adults in primary care services in the Brazilian Unified Health System in the state of São Paulo, Brazil. METHODS A total of 157 primary care services from five health regions in midwestern São Paulo responded, from October to December 2014, the pre-validated 2014 questionnaire for primary care services assessment and monitoring. We selected 155 questions, based on national policies and guidelines on this theme. The responses indicate the service performance in older adults’ care, clustered into three areas of analysis: health care for active and healthy aging (45 indicators, d1), chronic noncommunicable diseases care (89 indicators, d2), and support network in aging care (21 indicators, d3). Performance was measured by the sum of positive (value 1) or negative (value 0) responses for each indicator. Services were clustered according to k-means of the performance scores of each domain. After weighting the domains (Z tests), we estimated the associations between the scores of each domain and independent management variables (typology, planning and evaluation of services), with simple and multiple linear regression. RESULTS Chronic noncommunicable diseases care (d2) showed, for all clusters, better average performance (55.7) than domains d1 (35.4) and d3 (39.2). Service performance in the general area of planning and evaluation associates with the performance of older adults’ care. CONCLUSIONS The evaluated services had incipient implementation of comprehensive care for older adults. The evaluation framework can contribute to processes to improve the quality of primary health care.

RESUMO OBJETIVO Avaliar o desempenho da atenção integral ao idoso em serviços de atenção primária do Sistema Único de Saúde no estado de São Paulo, Brasi lMÉTODOS Um total de 157 serviços de atenção primária de cinco regiões de saúde do centro-oeste paulista respondeu, de outubro a dezembro de 2014, o instrumento pré-validado Questionário de Avaliação e Monitoramento de Serviços de Atenção Básica 2014. Foram selecionadas 155 questões, com base nas políticas e diretrizes nacionais sobre essa temática. As respostas indicam o desempenho do serviço na atenção ao idoso, agrupadas em três domínios de análise: atenção à saúde para o envelhecimento ativo e saudável (45 indicadores, d1), atenção às doenças crônicas não transmissíveis (89 indicadores, d2) e rede de apoio na atenção ao envelhecimento (21 indicadores, d3). A medida de desempenho foi a soma de respostas positivas (valor 1) ou negativas (valor 0) para cada indicador. Os serviços foram agrupados segundo k-médias dos escores de desempenho de cada um dos domínios. Após a ponderação dos domínios (testes Z), foram estimadas as associações entre os escores de cada domínio e variáveis independentes de gestão (tipologia, planejamento e avaliação dos serviços), por meio de regressão linear simples e múltipla. RESULTADOS A atenção às doenças crônicas não transmissíveis (d2) mostrou, para todos os agrupamentos, melhor desempenho médio (55,7) do que os domínios d1 (35,4) e d3 (39,2). O desempenho do serviço na área geral de planejamento e avaliação esteve associado ao desempenho da atenção ao idoso. CONCLUSÕES Os serviços avaliados apresentaram implementação incipiente da atenção integral ao idoso. O quadro avaliativo pode contribuir para processos de melhoria da qualidade da atenção primária à saúde.

ABSTRACT OBJECTIVE To evaluate the performance of comprehensive care for older adults in primary care services in the Brazilian Unified Health System in the state of São Paulo, Brazil. METHODS A total of 157 primary care services from five health regions in midwestern São Paulo responded, from October to December 2014, the pre-validated 2014 questionnaire for primary care services assessment and monitoring. We selected 155 questions, based on national policies and guidelines on this theme. The responses indicate the service performance in older adults’ care, clustered into three areas of analysis: health care for active and healthy aging (45 indicators, d1), chronic noncommunicable diseases care (89 indicators, d2), and support network in aging care (21 indicators, d3). Performance was measured by the sum of positive (value 1) or negative (value 0) responses for each indicator. Services were clustered according to k-means of the performance scores of each domain. After weighting the domains (Z tests), we estimated the associations between the scores of each domain and independent management variables (typology, planning and evaluation of services), with simple and multiple linear regression. RESULTS Chronic noncommunicable diseases care (d2) showed, for all clusters, better average performance (55.7) than domains d1 (35.4) and d3 (39.2). Service performance in the general area of planning and evaluation associates with the performance of older adults’ care. CONCLUSIONS The evaluated services had incipient implementation of comprehensive care for older adults. The evaluation framework can contribute to processes to improve the quality of primary health care.

Resumo O artigo descreve os núcleos de significação social identificados nas falas de profissionais de saúde da atenção primária com relação à qualidade das ações desenvolvidas. Trata-se de estudo de caso realizado em dois serviços organizados segundo modelos diferentes: uma unidade “tradicional”, com agentes comunitários, e uma de saúde da família. As entrevistas e observações realizadas são analisadas a partir do referencial proposto por Vigotski, em diálogo com a literatura sobre o processo de trabalho em saúde. Os resultados apontam como principais núcleos de significação da qualidade na atenção básica o acolhimento como interação entre profissional e usuário do Sistema Único de Saúde, as diversidades de ofertas multiprofissionais e intersetoriais, os agentes comunitários como elo entre equipe de saúde e comunidade, e o trabalho em equipe e gerenciamento democrático. Ainda que esses núcleos estejam socializados entre os profissionais como significados de qualidade, observam-se tensionamentos e contradições entre o legitimado e o instituído como prática.

Abstract This article describes the cores of social significance identified in the speeches of primary healthcare professionals regarding the quality of the actions performed. This is a case study carried out in two services organized according to different models: a “traditional” unit, with community agents, and one for family healthcare. The interviews and observations are analyzed based on the framework proposed by Vigotsky, dialogically with the literature on the working processes in health care. The results point as the main cores of quality in basic care: reception as interaction between professional and user of the Brazilian National Health System (SUS); diversity of multi-professional and intersectoral offers; community agents as a link between healthcare team and community; and teamwork and democratic management. Even though these aspects are socially understood as cores for quality in primary health care among professionals, there are tensions and contradictions between the legitimized and the instituted as practices.

Resumo O artigo descreve os núcleos de significação social identificados nas falas de profissionais de saúde da atenção primária com relação à qualidade das ações desenvolvidas. Trata-se de estudo de caso realizado em dois serviços organizados segundo modelos diferentes: uma unidade “tradicional”, com agentes comunitários, e uma de saúde da família. As entrevistas e observações realizadas são analisadas a partir do referencial proposto por Vigotski, em diálogo com a literatura sobre o processo de trabalho em saúde. Os resultados apontam como principais núcleos de significação da qualidade na atenção básica o acolhimento como interação entre profissional e usuário do Sistema Único de Saúde, as diversidades de ofertas multiprofissionais e intersetoriais, os agentes comunitários como elo entre equipe de saúde e comunidade, e o trabalho em equipe e gerenciamento democrático. Ainda que esses núcleos estejam socializados entre os profissionais como significados de qualidade, observam-se tensionamentos e contradições entre o legitimado e o instituído como prática.

Abstract This article describes the cores of social significance identified in the speeches of primary healthcare professionals regarding the quality of the actions performed. This is a case study carried out in two services organized according to different models: a “traditional” unit, with community agents, and one for family healthcare. The interviews and observations are analyzed based on the framework proposed by Vigotsky, dialogically with the literature on the working processes in health care. The results point as the main cores of quality in basic care: reception as interaction between professional and user of the Brazilian National Health System (SUS); diversity of multi-professional and intersectoral offers; community agents as a link between healthcare team and community; and teamwork and democratic management. Even though these aspects are socially understood as cores for quality in primary health care among professionals, there are tensions and contradictions between the legitimized and the instituted as practices.

RESUMO Objetivo Descrever as características da gerência das unidades de atenção primária à saúde e o perfil dos gerentes e discutir as implicações desses elementos para a efetivação dos pressupostos do Sistema Único de Saúde no Brasil de forma coerente com as proposições de Alma-Ata. Métodos Estudo descritivo, transversal, com dados colhidos pelo questionário de Avaliação da Qualidade de Serviços de Atenção Básica (QualiAB), um instrumento autoaplicado via web. O QualiAB foi respondido voluntariamente por 157 gerentes de unidades básicas de saúde de 41 municípios do estado de São Paulo entre outubro e dezembro de 2014. Resultados Das 157 unidades, 67 (42,7%) eram unidades de saúde da família e 58 (36,9%) eram unidades básicas de saúde de organização “tradicional”; 95 (60,5%) se localizavam em região urbana periférica. No momento do estudo, oito (5,0%) unidades não possuíam gerente e oito (5,0%) eram gerenciadas por secretários municipais de saúde. Quase 80% dos gerentes eram enfermeiros e desempenhavam múltiplas funções além da gerência. O matriciamento (supervisão técnica como forma de educação permanente) era feito em 75 (47,7%) unidades; 60 (38,2%) unidades não contavam com nenhum tipo de matriciamento. A participação em processos avaliativos foi referida por 130 (82,8%) serviços. Os principais desdobramentos induzidos por avaliações foram planejamento e reprogramação das atividades com participação da equipe multiprofissional em 40 unidades (25,5%) e definição de um plano anual de atividades em 38 (24,2%). Não tiveram acesso aos resultados das avaliações 29 unidades (17,8%). Conclusão O estudo recoloca a importância da gestão do trabalho e a necessidade de (re)investir na formação e valorização do gerenciamento local como estratégia para efetivar uma atenção primária à saúde capaz de promover a saúde como direito e condição de cidadania.

ABSTRACT Objective To describe the characteristics of the management process in primary health care units as well as the profile of managers, and to discuss the implications of these elements for the attainment of Unified Health System principles in Brazil in accordance with the propositions of the Alma-Ata Declaration. Method This descriptive, cross-sectional study used data collected with the Primary Care Service Quality Assessment tool (QualiAB), a self-administered, web-based instrument. QualiAB was voluntarily answered by 157 unit managers from 41 municipalities in the state of São Paulo from October to December 2014. Results Of 157 units, 67 (42.7%) were family health care units and 58 (36.9%) were “traditional” units; 95 (60.5%) were located in urban peripheries. At the time of the study, eight (5.0%) units did not have a manager and eight (5.0%) were managed by the city health secretary. Almost 80% of the managers were nurses and performed multiple tasks in addition to management. Multidisciplinary support (technical supervision as a means of continuing education) was available in 75 (47.7%) units; 60 (38.2%) units did not have any kind of multidisciplinary support. Participation in evaluative processes was mentioned in 130 (82.8%) units. The main results of evaluations were planning and reprogramming of activities with the engagement of the multiprofessional team in 40 units (25.5%) and definition of an annual activity plan in 38 (24.2%). Twenty-nine units (17.8%) did not have access to the results of evaluations. Conclusion The study supports the importance of work process management and the need to (re)invest in training and recognition of local management as a strategy to produce primary health care that is capable of promoting health as a right and a condition of citizenship.

RESUMEN Objetivo Describir las características de la gestión de las unidades de atención primaria de salud y el perfil de los gerentes, y analizar las implicaciones de esos elementos en la puesta en práctica de los principios del Sistema Único de Salud de Brasil de forma coherente con las propuestas de Alma- Ata. Métodos Estudio descriptivo, transversal, con datos recolectados a través del cuestionario de Evaluación de la Calidad de Servicios de Atención Básica (QualiAB), un instrumento autoadministrado a través de Internet. En total 157 gerentes de Unidades Básicas de Salud de 41 municipios del estado de São Paulo respondieron voluntariamente el QualiAB entre octubre y diciembre de 2014. Resultados De las 157 unidades, 67 (42,7%) eran unidades salud de la familia y 58 (36,9%) eran unidades básicas de salud de organización “tradicional”; 95 (60,5%) estan ubicadas en una región urbana periférica. En el momento del estudio, ocho (5,0%) unidades no poseían gerente y ocho (5,0%) eran gestionadas por secretarios municipales de salud. Casi el 80% de los gerentes eran enfermeros y desempeñaban múltiples funciones además de la gerencia. En 75 (47,7%) unidades se disponía de apoyo multidisciplinario (supervisión técnica como forma de educación permanente); 60 (38,2%) unidades no contaban con ningún tipo de apoyo multidisciplinario. La participación en procesos de evaluación fue referida por 130 (82,8%) servicios. Las principales modificaciones inducidas por las evaluaciones fueron la planificación y reprogramación de las actividades con participación del equipo multiprofesional en 40 unidades (25,5%) y la definición de un plan anual de actividades en 38 (24,2%). No tuvieron acceso a los resultados de las evaluaciones 29 unidades (17,8%). Conclusión El estudio subraya la importancia de la gestión del trabajo y la necesidad de reinvertir en la formación y valorización de la gestión local como estrategia para hacer efectiva una atención primaria de salud capaz de promover la salud como derecho y condición de ciudadanía.

Este artigo apresenta o desenvolvimento, validação e utilização de uma metodologia de avaliação da qualidade dos serviços de atenção primária do Sistema Único de Saúde (SUS), o Questionário de Avaliação da Qualidade de Serviços de Atenção Básica (QualiAB). Destina-se aos serviços de atenção básica, organizados segundo diferentes modelos de atenção, incluindo a Saúde da Família. Contém 50 indicadores sobre oferta e organização do trabalho assistencial e programático e 15 sobre gerenciamento, na forma de questões de múltipla escolha, autorespondidas via web pela equipe local do serviço. Confere a cada resposta valor zero, um ou dois; a média geral atribui ao serviço um grau de qualidade expresso pela distância do melhor padrão correspondente à média dois. Foi construído por processo de consenso interativo, que incluiu metodologias qualitativas, teste-piloto, aplicação em 127 serviços, validação de construto e confiabilidade. Respondido, em 2007, por 598 (92%) dos serviços de 115 municípios paulistas, mostrou bom poder para discriminar níveis de qualidade. Adotado em 2010 como parte de um programa de apoio à Atenção Básica da Secretaria de Estado da Saúde de São Paulo, foi respondido por 95% (2.735) dos serviços de 586 municípios (90,8% do Estado). Os resultados foram encaminhados aos municípios. O QualiAB fornece uma avaliação válida, simples e com a possibilidade de retorno imediato para gerentes e profissionais. Mostrou factibilidade, aceitabilidade, bom poder de discriminação e utilidade para auxiliar a gestão da rede de atenção básica do SUS em São Paulo. A experiência indica aplicabilidade nas redes de atenção básica do Brasil.

This paper presents the development, validation and utilization of a methodology for assessing the quality of the primary health care services of Sistema Único de Saúde (SUS - Brazil's National Health System), the Questionnaire for the Assessment of the Quality of Primary Health Care Services - QualiAB. It is addressed to all primary health care services, organized according to different care models, including Family Health. It contains 50 indicators about availability and organization of the care and programmatic work, and 15 about local management, in the form of multiple choice questions self-responded through the Web by the local service team. It attributes to every answer the values zero, one or two; the general average attributes a 'quality degree' to the service, expressed by the distance to the best standard corresponding to the average two. It was built by an interactive consensual process, which included qualitative methodologies, pilot-testing, application to 127 services, construct validation and reliability. It was answered in 2007 by 598 (92%) services of 115 municipalities of the State of São Paulo, showing good sensitivity to differentiate quality levels. It was adopted in 2010 as part of a supporting program to the Primary Health Care of São Paulo's State Health Department, being answered by 95% (2735) of the services of 586 cities (90,8% of the State). The results were sent to the municipalities. QualiAB provides a valid and simple assessment, with immediate feedback to managers and professionals. It has shown feasibility, acceptability, power to differentiate quality levels and utility to help the management of the primary health care network of SUS in São Paulo. This experience might be extended to Brazil as a whole.

Este artigo apresenta o desenvolvimento, validação e utilização de uma metodologia de avaliação da qualidade dos serviços de atenção primária do Sistema Único de Saúde (SUS), o Questionário de Avaliação da Qualidade de Serviços de Atenção Básica (QualiAB). Destina-se aos serviços de atenção básica, organizados segundo diferentes modelos de atenção, incluindo a Saúde da Família. Contém 50 indicadores sobre oferta e organização do trabalho assistencial e programático e 15 sobre gerenciamento, na forma de questões de múltipla escolha, autorespondidas via web pela equipe local do serviço. Confere a cada resposta valor zero, um ou dois; a média geral atribui ao serviço um grau de qualidade expresso pela distância do melhor padrão correspondente à média dois. Foi construído por processo de consenso interativo, que incluiu metodologias qualitativas, teste-piloto, aplicação em 127 serviços, validação de construto e confiabilidade. Respondido, em 2007, por 598 (92%) dos serviços de 115 municípios paulistas, mostrou bom poder para discriminar níveis de qualidade. Adotado em 2010 como parte de um programa de apoio à Atenção Básica da Secretaria de Estado da Saúde de São Paulo, foi respondido por 95% (2.735) dos serviços de 586 municípios (90,8% do Estado). Os resultados foram encaminhados aos municípios. O QualiAB fornece uma avaliação válida, simples e com a possibilidade de retorno imediato para gerentes e profissionais. Mostrou factibilidade, aceitabilidade, bom poder de discriminação e utilidade para auxiliar a gestão da rede de atenção básica do SUS em São Paulo. A experiência indica aplicabilidade nas redes de atenção básica do Brasil.

This paper presents the development, validation and utilization of a methodology for assessing the quality of the primary health care services of Sistema Único de Saúde (SUS - Brazil's National Health System), the Questionnaire for the Assessment of the Quality of Primary Health Care Services - QualiAB. It is addressed to all primary health care services, organized according to different care models, including Family Health. It contains 50 indicators about availability and organization of the care and programmatic work, and 15 about local management, in the form of multiple choice questions self-responded through the Web by the local service team. It attributes to every answer the values zero, one or two; the general average attributes a 'quality degree' to the service, expressed by the distance to the best standard corresponding to the average two. It was built by an interactive consensual process, which included qualitative methodologies, pilot-testing, application to 127 services, construct validation and reliability. It was answered in 2007 by 598 (92%) services of 115 municipalities of the State of São Paulo, showing good sensitivity to differentiate quality levels. It was adopted in 2010 as part of a supporting program to the Primary Health Care of São Paulo's State Health Department, being answered by 95% (2735) of the services of 586 cities (90,8% of the State). The results were sent to the municipalities. QualiAB provides a valid and simple assessment, with immediate feedback to managers and professionals. It has shown feasibility, acceptability, power to differentiate quality levels and utility to help the management of the primary health care network of SUS in São Paulo. This experience might be extended to Brazil as a whole.