Avaliação da Formação

_____________________________________________________________________ Avaliação da Formação

Índice OBJECTIVOS PEDAGÓGICOS DO MANUAL................................................................................3 COMO UTILIZAR O MANUAL..........................................................................................................4 CONTEÚDOS PROGRAMÁTICOS....................................................................................................5 INTRODUÇÃO ....................................................... ........................................................... .................... 6 CAPÍTULO 1 – A AVALIAÇÃO E A EFICÁCIA DA FORMAÇÃO PROFISSIONAL PROFISSIONAL ............... 7 CAPÍTULO 2 - CRITÉRIOS E INDICADORES DA EFICÁCIA DA FORMAÇÃO.................... 9 INDICADORES DA EFICÁCIA DA FORMAÇÃO .........................................................................................9 COMPORTAMENTO E DESEMPENHO DOS FORMANDOS NO SEU LOCAL E POSTO DE TRABALHO.............10 EFEITOS SOBRE O CONTEXTO SÓCIO-ORGANIZACIONAL ONDE INSEREM-SE OS FORMANDOS ...............11 OBJECTIVOS DA AVALIAÇÃO......................................................................................................12 CAPÍTULO 3 - O QUE AVALIAR? ............................................................ ..................................... 13 A DEFINIÇÃO DAS QUESTÕES AVALIATIVAS A COLOCAR ...................................................................13

CAPÍTULO 4 - NÍVEIS DE AVALIAÇÃO DA FORMAÇÃO ...................................................... 14 NÍVEL 1 – AVALIAR O GRAU DE SATISFAÇÃO DOS PARTICIPANTES NA FORMAÇÃO.............................15 NÍVEL 2 – AVALIAÇÃO DO GRAU DE DOMÍNIO DE DETERMINADOS SABERES – AVALIAÇÃO DE APRENDIZAGENS.................................................................................................................................21 NÍVEL 3 – AVALIAR A TRANSFERÊNCIA DA FORMAÇÃO......................................................................22 NÍVEL 4 – AVALIAÇÃO DOS IMPACTES DA FORMAÇÃO NO DESEMPENHO DA ORGANIZAÇÃO.............23 NÍVEL 5 – RETORNO DO INVESTIMENTO (ROI – ROI – RETURN ON INVESTMENT) ............. .................... ............. ............. ...........24 ....24 CAPÍTULO 5 – SELECCIONAR AS TÉCNICAS DE AVALIAÇÃO A UTILIZAR...................25 TÉCNICAS MAIS UTILIZADAS EM CADA NÍVEL DE AVALIAÇÃO............................................................28 Nível 1 – Avaliação do grau de satisfação satisfação dos participantes na formação....... ........................... 28 Nível 2 – Avaliação do grau de domínio de determinados determinados saberes .............................................. 28 Nível 3 – Avaliação da transferência transferência da formação..................................................... .................. 29 Nível 4 – Avaliação dos impactes da formação nos indicadores de desempenho desempenho e da organização ..................................................... ............................................................ ..................................... 29

CONCLUSÃO ......................................................... ........................................................... .................. 35 BIBLIOGRAFIA..................................................................................................................................37

__________________________________________________________________ Formação Pedagógica Inicial de Formadores

2


Objectivos Pedagógicos do manual O presente manual tem como principais objectivos: Apresentar uma perspectiva integrada de avaliação que permita ao utilizador deste manual dotar-se de um conjunto de ferramentas capazes de garantir, de forma sistemática, coerência e articulação entre os vários momentos de avaliação; Sinalizar algumas das principais responsabilidades a assumir por parte dos vários actores que intervêm em processos de avaliação da formação. 




3


Como utilizar o manual O presente manual encontra-se organizado em capítulos: Capítulo 1 – A Avaliação e a eficácia da Formação Profissional Capítulo 2 – Critérios e indicadores da eficácia da Formação Capítulo 3 – O que avaliar? Capítulo 4 – Níveis de avaliação da Formação Capítulo 5 – Seleccionar as técnicas de avaliação a utilizar Este manual pode ser explorado tanto na parte teórica como também nos exemplos práticos dos instrumentos de avaliação que são disponibilizados no Capítulo 5.


4


Conteúdos Programáticos    

Critérios de eficácia da formação Análise evolutiva e sistémica dos resultados de formação Tipos de desvios e acções de regulação Instrumentos de avaliação


5


Introdução Valoriza-se cada vez mais a avaliação nas práticas de formação. E isto compreende-se à luz de três elementos novos: i) as empresas e outras organizações não vêem a formação como uma mera obrigação ou uma inevitabilidade, antes a consideram como uma estratégia de gestão e inovação; ii) aos responsáveis pela formação ou pela execução dos planos de formação exige-se agora o conhecimento dos resultados dos investimentos realizados em formação; iii) a formação permanente, ao longo de toda a vida, requer uma avaliação de cada etapa da formação que se desenvolve. Sendo um investimento, é preciso, desde início, prever os seus resultados. Assim, a avaliação da formação vai fazendo parte integrante dos próprios planos de formação, constituindo, à medida que estes vão sendo executados, uma preciosa fonte de informação para a gestão das pessoas, ao serviço das organizações e dos seus projectos. Avaliar a formação não é, contudo, uma tarefa fácil. Fácil e usual é reproduzir os modelos de avaliação escolar e aplicá-los à avaliação da formação contínua nas organizações. E esta é uma tendência que importa combater, evoluindo para uma avaliação mais completa e complexa do impacto da formação tanto nas pessoas e no seu desempenho como nas equipas de trabalho e na evolução da organização.


6


Capítulo 1 – A Avaliação e a Eficácia da Formação Profissional Para as Pessoas Ao considerar-se uma avaliação, há que ter em conta as possíveis consequências que esta pode representar para as pessoas avaliadas. A avaliação cria uma situação em que as pessoas se expõem perante os outros, provocando uma certa ansiedade, inquietação, receio, por pensar-se que pode estar em jogo uma diminuição de crédito, a interrupção de um projecto, etc. No sentido de obviar a estas dificuldades, os formandos deverão ser implicados na sua própria avaliação, o mais possível, fazendo com que esta funcione como um estímulo e não como uma sanção. O formando deverá também ser preparado para auto-avaliar-se, comprovando ele próprio os seus progressos, tentando descobrir o seu próprio caminho na busca de soluções, e colaborar com o/a formador/a na correcção de possíveis lacunas. Os resultados deverão ser interpretados (analisados) à luz de critérios conhecidos e aceites pelos formandos e serem imediatamente acessíveis a eles. Portanto, a avaliação deverá preocupar-se também com as expectativas dos formandos procurando encontrar respostas para elas e assim contribuir para a eficácia da formação.

Para os Grupos Num grupo em formação deve procurar-se obter uma conjugação de esforços para alcançar um objectivo que é comum. O comportamento do grupo deverá pautar-se pela tolerância e compreensão na busca de consensos possíveis, e no respeito pela individualidade dos seus membros. Sendo na diversidade de aptidões e comportamentos que o grupo encontrará a sua dinâmica, é a cooperação que conduzirá a resultados positivos.


7


A avaliação bem conduzida poderá e deverá ter um papel fundamental no relacionamento do grupo se for orientada por princípios de justiça e objectividade que possam ser aceites e assumidos por todos, contribuindo desta forma para a criação de um clima de confiança e entre ajuda do qual beneficiará a eficácia da formação.

Para as Instituições Enquanto organizações definidoras e executoras das políticas de formação e no cumprimento dos objectivos pré-determinados, deverão criar, implementar e assumir um sistema de avaliação em que elas próprias estejam incluídas como objecto de avaliação. Deverão criar mecanismos que permitam a escolha e exploração objectiva dos resultados da formação, introduzir as necessárias reformulações quer no que respeita a programas, métodos, técnicas, como meios, estruturas e ou introdução de novos elementos de apoio que garantam a eficácia da formação


8


Capítulo 2 - Critérios e Indicadores da Eficácia da Formação OBJECTIVOS Aprendizagem, organização, desejáveis, etc.…

RESULTADOS

INDICADORES

Indicadores da Eficácia da Formação Comportamento e desempenho dos formandos no seu local e posto de trabalho Efeitos sobre o contexto sócio-organizacional onde inserem-se os formandos. 




9


Comportamento e desempenho dos formandos no seu local e posto de trabalho

Objectivo da Medição Avaliar: Quanto do que foi transmitido resultou em mudanças de comportamento e atitudes no trabalho? Foram resolvidos problemas e necessidades? Indicadores de melhoria da produtividade, eficácia, eficiência, comunicação, integração sócio-profissional, etc. 

 

Medir – Avaliação de Desempenho: Ritmos de trabalho; Hipóteses de promoção profissional; Organização no trabalho; Motivação; Iniciativa; Comunicação empresarial; Exercício das funções conforme o cargo que ocupa.       

Melhoria de Desempenho e Integração Profissional Diminuição da Rotação e Absentismo; Melhoria da Produtividade; Melhoria do Nível de qualidade.   


10


Efeitos sobre o contexto sócio-organizacional onde inserem- se os formandos

Objectivos da Medição Indícios que a formação foi uma mais valia para o êxito organizacional; Avaliar se foram alcançadas expectativas formandos/entidade, a nível de: Melhoria da produtividade/qualidade; Melhoria Motivação/satisfação; Melhoria da rede e do fluxo de comunicação; Incrementaram conhecimentos;  

o

o

o

o

Indicadores a Medir Índice de Produtividade Índice de Qualidade Índice de Satisfação Índice de Promoção    


11


Objectivos da Avaliação A avaliação, processo que visa a obtenção e tratamento de dados, pondo em evidência as competências adquiridas pelos formandos, tem como principais objectivos: a) Seleccionar os candidatos mais aptos para seguirem uma formação; b) Testar os conhecimentos e competências necessárias para abordar a formação com sucesso; c) Situar os formandos no nível que lhes convém em função do desempenho demonstrado; d) Controlar as aquisições dos formandos nos vários domínios do saber; e) Informar aos formandos dos seus progressos; f) Classificar os formandos, situando-os em relação ao grupo; g) Orientar, aconselhar ou corrigir os formandos durante a formação; h) Controlar no final da formação se as competências adquiridas pelos formandos correspondem ao perfil desejado; i) Avaliar os objectivos da formação; j) Diagnosticar os pontos fracos da formação, através dos resultados obtidos; k) Recolher e processar dados com vista à melhoria da formação.


12


Capítulo 3 - O Que Avaliar? A Definição das questões avaliativas a colocar Devemos ter sempre presente que qualquer processo de avaliação procura resposta a um conjunto de questões, normalmente designadas por “questões

de avaliação”. As questões de avaliação são normalmente colocadas de acordo com: 1) a tipologia de avaliação pretendida (diagnóstica, formativa, sumativa); 2) a natureza das dimensões/componentes da formação em presença; 3) o maior ou menor domínio das metodologias de avaliação pretendidas. O avaliador poderá ter de sacrificar algumas questões avaliativas, sempre que não estejam reunidas as condições necessárias à recolha dos dados pretendidos. Vejamos que questões de avaliação são normalmente consideradas em cada um dos níveis de avaliação.


13


Capítulo 4 - Níveis de Avaliação da Formação Conceito bastante utilizado no âmbito da abordagem apresentada por D. Kirkpatrick (1994). Para este autor níveis representam as diferentes “dimensões” (avaliar o quê?) em que a formação pode ser avaliada. Essas “dimensões” são: Nível 1 – Reacção (em que medida os participantes estão satisfeitos com o programa?); Nível 2 – Aprendizagem (em que medida ocorreram aprendizagens?); Nível 3 – Comportamento (em que medida as aprendizagens adquiridas/desenvolvidas foram transferidas para os contextos de trabalho?); Nível 4 – Resultados (em que medida a aplicação dos novos saberes provocaram mudanças no desempenho da organização?). Os níveis de D. Kirkpatrick são provavelmente os mais conhecidos pela maior parte dos especialistas de avaliação. Esta taxonomia difundiu-se sobretudo, e rapidamente, no contexto dos projectos de formação intra-empresa, tendo sido entretanto desenvolvido/ajustado por forma a ser aplicado a outros contextos. J. Phillips propõe um quinto nível de avaliação, também sequencial em relação aos níveis de D. Kirkpatrick: Nível 5 – Retorno do investimento (aplicação da abordagem ROI). Este autor defende que para além da aferição de eventuais impactes ao nível do desempenho de uma organização, importa efectuar análises custobenefício de forma a determinar em que medida os impactes obtidos justificaram o investimento efectuado.

Fontes: Phillips, J. (1997); Kirkpatrick (1998-A); Phillips, P. (2002)


14


Nível 1 – Avaliar o grau de satisfação dos participantes na formação

A sinalização das questões de avaliação, associadas ao nível 1 de avaliação, implica que se reflicta sobre as grandes dimensões ou compenentes da formação acerca das quais se deseja aferir o grau de satisfação dos formandos.

Expectativas Iniciais Apoio Logístico

Condições físicas de apoio

Objectivos de Aprendizagem

Nível 1 de avaliação

Actividades Pedagógicas

Conteúdos de Formação

Recursos pedagógicos Formadores/as

Sobre cada uma destas componentes do processo de avaliação são colocadas questões que visam gerar informação a devolver aos diferentes destinatários deste nível avaliativo. Importa aqui ter presente que, podemos sinalizar um conjunto diversificado de questões para cada dimenção a avaliar, assim como oscilar entre uma abordagem de avaliação com maior ou menor grau de profundidade de análise, consoante o tipo de dados a recolher sobre cada uma destas dimensões. Sugere-se que sobre cada uma das dimensões/componentes de avaliação sinalizadas sejam colocadas as seguintes questões: __________________________________________________________________ Formação Pedagógica Inicial de Formadores

15


O que se considera pertinente saber sobre ....? Ou: O que é que os vários agentes envolvidos na formação gostariam de saber sobre...? Numa avaliação de reacção podem ser consideradas questões abertas, que permitem recolher informação mais detalhada acerca das intervenções formativas em curso ou a desenvolver, relativas a:

DIMENSÕES DE ANÁLISE

QUESTÕES DE AVALIAÇÃO (POSSÍVEIS)

CRITÉRIOS DE AVALIAÇÃO 

EXPECTATIVAS INICIAIS

As expectativas iniciais dos formandos foram cumpridas?





Como foram construídos os objectivos?





OBJECTIVOS DE APRENDIZAGEM



Como foram comunicados os objectivos aos formandos?

Como se articulam

 



Cumprimento das expectativas dos formandos ao longo da execução da formação Cumprimento de expectativas iniciais ( no final das intervenções) A articulação dos mesmos com as necessidades de formação previamente sinalizadas; Clareza na determinação da acção a executar, das condições de execução e respectivo critério de êxito a alcançar Participação dos formandos na participação dos mesmos. Apresentação e discussão, no início das intervenções, dos objectivos a alcançar com a formação; Clareza na respectiva descrição; Sinalização dos respectivos critérios de êxito, para posterior avaliação. Correspondência de cada um dos


16

_____________________________________________________________________ Avaliação da Formação as necessidades de formação sentidas pelos formandos com os objectivos de aprendizagem prédefinidos?

Foram cumpridos os objectivos de aprendizagem?









DESEMPENHO DO/A FORMADOR/A

O/A formador/a domina as matérias/temas abordados?







O/A formador/a recorre a métodos pedagógicos adequados?









O/A formador/a recorre a linguagem adequada?

objectivos de aprendizagem a competências concretas a desenvolver; Coerência entre a natureza do saber contemplado no objectivo de aprendizagem e a natureza da competência a mobilizar posteriormente Conformidade com o apresentado no programa da acção/curso; Conformidade com o definido ao longo da realização do curso. Capacidade de resposta demonstrada quando questionado pelos participantes acerca dos assuntos abordados; Domínio dos termos técnicos da área de intervenção; Capacidade para remeter os participantes para autores de referência nas matérias abordadas; Adequação dos métodos pedagógicos face às características dos formandos; Adequação dos métodos pedagógicos face aos estilos de aprendizagens dos formandos; Adequação dos métodos pedagógicos face à natureza dos saberes/competências a desenvolver. Clareza na apresentação dos assuntos abordados; Compreensão por parte dos formandos, dos termos técnicos utilizados na abordagem aos assuntos;


17

_____________________________________________________________________ Avaliação da Formação 





Como se relacionou o/a formador/a com os formandos?









Os conteúdos propostos para o curso foram os mais adequados? CONTEÚDOS PROGRAMÁTICOS











O desenvolvimento dos conteúdos foi o mais adequado?





A duração do



Facilidade dos formandos em acompanhar a dinâmica das exposições efectuadas pelo/a formador/a. Disponibilidade para responder às questões dos formandos; Demonstração de interesse pelas questões apresentadas por parte dos formandos; Incentivo à participação activa dos formandos nas várias actividades pedagógicas; Acompanhamento da progressão da aprendizagem dos formandos. Actualidade dos assuntos abordados; Utilidade dos mesmos para a resolução de problemas concretos sinalizados pelos formandos; Utilidade dos mesmos para a função exercida ou a exercer; Adequação de exemplos e exercícios práticos apresentados face ao nível de qualificação dos formandos; Estruturação e articulação dos conteúdos; Aplicabilidade dos conteúdos na resolução de problemas concretos de trabalho. Profundidade na abordagem dos temas; Equilíbrio entre a teoria e a prática; Coerência na abordagem aos vários assuntos. Adequação da carga horária


18

_____________________________________________________________________ Avaliação da Formação programa foi a mais adequada?







RECURSOS TÉCNICOPEDAGÓGICOS (ao serviço do/a formador/a e dos formandos)

Os recursos técnicopedagógicos utilizados foram os mais adequados?

  



SUPORTES DE APOIO UTILIZADOS NA FORMAÇÃO (meios áudiovisuais)

Os suportes de apoio utilizados foram os mais adequados?



 







DOCUMENTAÇÃO DE APOIO À FORMAÇÃO (perspectiva do formando)

A documentação disponibilizada foi a mais adequada?









associada a cada intervenção programática, face às exigências de cada objectivo de aprendizagem; Cumprimento de cargas horárias pré-estabelecidas. Qualidade dos recursos utilizados; Diversidade dos recursos; Eficácia na sua exploração; Actualidade dos recursos; Adequação da respectiva exploração; Contributo dos recursos para a compreensão/construção dos saberes pretendidos Diversidade dos suportes mobilizados para a formação; Qualidade dos suportes de apoio; Actualidade dos suportes de apoio utilizados. Cuidados na apresentação da documentação; Adequação do momento em que é distribuída a documentação aos formandos; Acessibilidade aos respectivos conteúdos ( organização e estruturação dos conteúdos); Profundidade na abordagem dos temas; Quantidade da documentação fornecida; Diversidade dos materiais fornecidos; Qualidade da documentação fornecida (na perspectiva da sua utilidade para os formandos).


19

_____________________________________________________________________ Avaliação da Formação O apoio logístico APOIO prestado foi TÉCNICO/ADMINISTRATIVO/ suficiente e APOIO LOGÍSTICO adequado?

  



ESPAÇOS E INSTALAÇÕES

Os espaços e instalações colocados ao serviço da formação foram os mais adequados?



Oportunidade das intervenções; Qualidade do serviço prestado; Diversidade dos serviços prestados. Adequação de luminosidade, temperatura, equipamento disponibilizado para a formação; Adequação da área disponibilizada para a formação face aos objectivos de aprendizagem pretendidos.

Acções de Formação em curso Comentários/sugestões de melhoria ou comentários sobre o curso; Pontos fortes/pontos fracos da acção que se encontra a decorrer; Sugestões para a entidade formadora – temas a suprir; acrescentar; a aprofundar.   

Acções de Formação já concluídas Sugestões/críticas/recomendações para acções futuras; Outras acções que gostaria de frequentar; Grau de facilidade de transposição para a sua organização dos conhecimentos adquiridos; Acções que pensa empreender, no respectivo contexto de trabalho, no seguimento da acção de formação; Impacte esperado do programa na respectiva evolução profissional; Classificação da acção quando comparada com outras acções de formação em que já participou. Primeira medida a desencadear após o regresso ao respectivo posto de trabalho; Recomendações (perspectiva global) a dirigir aos coordenadores e formadores/as da intervenção formativa; Se o ex-formando recomendaria a acção de formação, na qual participou, a outros colegas de trabalho ou amigos.   



 








20


Nível 2 – Avaliação do grau de domínio de determinados saberes – Avaliação de aprendizagens

Visa aferir em que medida os objectivos de aprendizagem do programa foram alcançados, por parte dos seus beneficiários directos (formandos). No âmbito de uma avaliação de aprendizagens podem ser utilizados métodos de natureza qualitativa e quantitativa. Este tipo de avaliação procura, regra geral, dar uma resposta concreta às seguintes questões: 

Que conhecimentos (saberes) foram adquiridos/desenvolvidos por parte dos formandos?



Que capacidades (saberes-fazer) foram adquiridos ou melhorados?



Que atitudes (saberes relacionais) foram adquiridas e /ou melhoradas?

Numa avaliação centrada no tipo de “saberes” (de natureza cognitiva) adquiridos/ desenvolvidos, os testes de conhecimentos são os instrumentos mais aplicados. Métodos e/ou técnicas, tais como a simulação de actividades, a elaboração de trabalhos/projectos finais, as avaliações sem contextos reais de trabalho (caso das actividades formativas realizadas em regime de alternância), etc. são mais utilizadas nas avaliações que incidem sobre saberes-fazer técnicos. No que respeita às abordagens avaliativas centradas nos saberes relacionais, as técnicas de avaliação mais utilizadas são os testes (que visam “medir” atitudes), as observações e as simulações.

Fontes: Kirkpatrick (1998); Woods J. (et al.) (2000); Valadares e Graça (1998)


21


Nível 3 – Avaliar a transferência da formação

Visa aferir em que medida os saberes adquiridos pela via da formação foram efectivamente mobilizados para os respectivos contextos de aplicação. A análise a vários estudos realizados sobre a matéria, permitiu concluir que a preparação do contexto de desempenho de um indivíduo recém-formado assume uma importância crucial aquando da respectiva mobilização de saberes adquiridos/desenvolvidos pela via da formação. Das principais barreiras ao processo de transferências de aprendizagens destacam-se as seguintes: 





Ausência ou fraco envolvimento da gestão de topo ao longo do processo formativo; Desarticulação entre os vários níveis hierárquicos de uma organização, no que se prende a estabelecimento de objectivos consensuais de mudança; Estabelecimento de objectivos ambiciosos para a formação. Na maior parte das vezes a formação é encarada como um fim e não, como seria desejável, um meio para alcançar determinados fins.

Fontes: Phillips (1997); Broad (et al.) (1992); Kirkpatrick (1994); Meignant (1999)


22


Nível 4 – Avaliação dos Impactes da Formação no Desempenho da Organização

Visa aferir as mudanças ocorridas ao nível do desempenho dos indivíduos, das organizações e eventualmente do contexto socioeconómico no qual estes se inserem, decorrentes da implementação de determinado programa/projecto formativo. Realiza-se normalmente após a execução da formação, podendo, no entanto, ser igualmente aferida durante e no final de uma intervenção formativa (ex.: no contexto de programas formativos desenvolvidos em regime de alternância); Neste tipo de avaliação podem ser aplicados métodos de natureza quantitativa e qualitativa. Uma avaliação de impactes pode incidir à partida sobre duas realidades distintas: (1) em que medida o programa de formação contribuiu directamente para o cumprimento dos objectivos da organização; (2) em que medida criou as condições para que tal viesse a acontecer (contribuição indirecta). A compreensão destes dois tipos de objectivos torna-se fundamental aquando da aferição do retorno do investimento A utilidade deste tipo de avaliação reside, fundamentalmente, no facto de permitir (1) aferir as alterações produzidas pela formação nos contextos em que foi aplicada; (2) justificar a eventual continuidade de um programa/plano de formação, a sua reformulação ou mesmo a sua extinção; (3) aferir o retorno do investimento na formação.

Fontes: Phillips (1997); Kirkpatrick (1998-A); Moy e MacDonald (2000);


23


Nível 5 – Retorno do investimento (ROI – Return On Investment)

O retorno do investimento é a comparação, em valores monetários, dos resultados líquidos obtidos face ao custo do programa formativo (expresso em percentagens). Este novo nível de avaliação tornou-se muito popular. Muitos directores não estão dispostos a empreender um projecto de formação se não lhes é garantido um bom nível de retorno do investimento que foi exigido para o levar a cabo. Não lhes basta bons resultados, querem garantir uma recuperação do investimento. É importante não confundir Retorno do investimento com Índice custo/ benefício. Vejamos a diferença:

IBC = Benefícios Brutos da Formação Custos do Programa

ROI = Benefícios Líquidos da Formação Custos do Programa

Como se pode constatar, a diferença fundamental consiste no facto de o IBC considerar os benefícios brutos e o ROI considerar os benefícios líquidos, descontando os custos e sendo expresso em percentagens. O problema de fundo deste quinto nível de avaliação consiste em isolar os benefícios ligados directamente ao programa de formação, isto é, saber como quantificá-los separadamente. Esta técnica tem, evidentemente, dificuldades, mas, apesar disso, não deixa de ser um exercício relevante.


24


Capítulo 5 – Seleccionar as Técnicas de Avaliação a utilizar TIPO DE TÉCNICA

BREVE CARACTERIZAÇÃO

TESTES DE CONHECIMENTOS

Associado a testes de “caneta e papel” que pretendem avaliar aprendizagens de cariz teórico. Consiste em colocar um conjunto de questões ou exercícios práticos destinados a aferir a aquisição/desenvolvimento de determinados saberes. A respectiva aplicação surge, regra geral, associada a uma determinada norma ou critério de sucesso prédefinidos. Testes com itens objectivos:  Testes de verdadeiro/falso  Testes de escolha múltipla  Testes de associação  Testes de complemento (preenchimento de espaços)  Testes de resposta curta Testes com itens não objectivos

TESTES DE PERFORMANCE (DESEMPENHO)

Associados a desempenhos reais de trabalho, visam recolher dados acerca dos níveis de proficiência profissional detidos pelos indivíduos, uma vez colocados em situações de demonstração de domínios e saberes específicos.

INQUÉRITO POR ENTREVISTA

Consiste em recolher informação, de forma mais ou menos estruturada, através da aplicação de processos de comunicação e interacção humana. Contrariamente ao inquérito por questionário, a entrevista caracteriza-se, normalmente, por um contacto mais aprofundado entre o entrevistador e os seus interlocutores.  Entrevista aberta (o entrevistador propõe um tema e apenas intervém para insistir ou encorajar);  Entrevista semidirectiva (semidirectiva no sentido em que não é inteiramente aberta, nem orientada por um grande nº de perguntas precisas);


25


INQUÉRITO POR QUESTIONÁRIO

Entrevista directiva (o entrevistador dispõe de um conjunto de tópicos precisos que, necessariamente, aborda durante a entrevista)

Consiste em colocar a um determinado nº de inquiridos, geralmente representativo de uma dada população, uma série de perguntas pré-estabelecidas e orientadas para um conjunto de temas de interesse do avaliador.  Inquérito por questionários com aplicação indirecta (quando o próprio inquiridor o completa a partir das respostas que são fornecidas pelo inquirido;  Inquérito por questionário com aplicação directa (quando o próprio inquirido preenche o inquérito)

ANÁLISE DOCUMENTAL

Consiste em reunir e analisar diferentes fontes de informação, tais como, os resultados de relatórios, inquéritos, entrevistas ou outros documentos, já existentes.

OBSERVAÇÃO DIRECTA

Consiste em observar e registar uma impressão sensorial directa, recorrendo a grelhas de registo, com maior ou menor grau de pormenor, podendo aplicar-se a diferentes contextos e, de preferência, com recurso a observadores com formação própria.

FOCUS GROUP

Consiste em reunir/animar um grupo para discutir um ou mais temas previamente definidos, de uma forma estruturada ou semi-estruturada, e com a intervenção de um moderador.

ESTUDO DE CASO

Consiste em recolher informações sobre casos concretos (indivíduos, grupo de formandos, projectos formativos, organizações, etc.) considerados significativos para o processo de avaliação. Um estudo de caso pode ser:  Explicativo (destinado a justificar casualidades);  Descritivo/Ilustrativo (destinado a descrever/ilustrar a intervenção formativa e o seu contexto);  Exploratório (aplicado no caso em que a intervenção formativa não apresenta resultados).

SIMULAÇÃO/DRAMATIZAÇÃO A criação de situações fictícias que permitam aos


26

_____________________________________________________________________ Avaliação da Formação DE DESEMPENHOS (ROLEPLAY)

vários participantes na formação demonstrar que detêm determinadas competências, traduz, no essencial, a técnica do Role Play.

ELABORAÇÃO DE PROJECTOS FINAIS

O desafio para a construção de um projecto ao longo ou no final de determinada intervenção formativa permite, igualmente, aferir da capacidade do formando em mobilizar saberes “construídos” ao longo da execução da formação.

ANÁLISE DE INCIDENTES CRÍTICOS

Consiste num conjunto de procedimentos que visam a recolha de informações sobre desempenhos efectuados, considerados referências positivas ou negativas, sendo solicitado ao indivíduo responsável pelo desempenho em análise, a descrição do “incidente-crítico” de modo a poderem ser aferidos aspectos a manter e reforçar ou aspectos a corrigir, melhorar.

ELABORAÇÃO DE PORTFÓLIOS

É uma colecção organizada e devidamente planeada de trabalhos produzidos por este ao longo de um determinado período de tempo, de forma a poder proporcionar uma visão tão alargada e detalhada quanto possível das diferentes componentes do seu desenvolvimento (cognitivo, metacognitivo, afectivo) (Valadares e Graça, 1998)

ELABORAÇÃO DE MAPAS CONCEPTUAIS

Um Mapa Conceptual remete o formando para a construção de diagramas hierárquicos constituídos por conceitos e respectivas interligações. São utilizados no contexto da avaliação da formação sempre que se pretende que sejam externalizadas as estruturas cognitivas dos respectivos autores.

ANÁLISE CUSTO/BENEFÍCIO

Consiste em comparar os custos com os benefícios associados ao desenvolvimento da formação. As variantes para este tipo de técnica estão associadas à selecção das variáveis para caracterizar os custos (pessoal, material, logísticos, etc.) e os benefícios (produtividade, lucros, gestão de recursos humanos, etc.)


27


Técnicas mais utilizadas em cada nível de avaliação

Nível 1 – Avaliação do grau de satisfação dos participantes na formação 

  



 

Inquéritos por questionários para a aferição do grau de satisfação dos formandos (auto e hetero-avaliação); Realização de Focus Group; Inquérito por entrevista; Registo de comentários mais ou menos estruturados dos participantes na formação (ex.: criação de fóruns de discussão onde os formandos são convidados a pronunciarem-se sobre a intervenção formativa/registo de comentários fora do espaço de aprendizagem); Registo de comentários mais ou menos estruturados dos elementos da equipa de formação; Aplicação de instrumentos de controlo e acompanhamento de processo; Realização de observações de comportamentos dos participantes na formação.

Nível 2 – Avaliação do grau de domínio de determinados saberes     

  

 

Testes escritos; Testes orais; Role Play; Elaboração de projectos; Jogos pedagógicos para a resolução de situações/problemas reais associados a parte ou ao todo organizacional (business games); Estudos de caso; Aplicação de instrumentos de auto-avaliação; Realização de observações (participantes e não participantes) – exige construção de grelhas de avaliação; Elaboração de portfólios de competências; Elaboração de mapas conceptuais;


28




Recurso à métodos já existentes (contactos com os vários intervenientes no processo formativo) Ex.: assessment center method; Registo e análise de incidentes críticos (aplicação de grelhas de observação)

Nível 3 – Avaliação da transferência da formação 



    

Entrevista de chegada (aquando do regresso do colaborador ao posto de trabalho); Aplicação de questionários para avaliar transferências e resultados no desempenho individual; Construção de um plano de intervenção específico; Observações no posto de trabalho; Análise de performance; Registo e análise dos incidentes críticos; Auto-avaliação;

Nível 4 – Avaliação dos impactes da formação nos indicadores de desempenho e da organização     

Análise de painel de indicadores de performance; Aplicação da fórmula ROI (Return on Investment); Análise custo-benefício; Análise dos resultados de planos de intervenção específicos; Análise dos resultados de planos de desenvolvimento de competências (valor do capital humano da organização).


29


Exemplos de Instrumentos de Avaliação da Formação Exemplo 1 Critérios de Avaliação 1 – Insuficiente 2 – Suficiente 3 – Bom 4 – Muito Bom 5 – Excelente 1. Objectivos da Acção

1.1 Os Objectivos propostos para a acção foram atingidos 1

2

3

4

5

4

5

1.2 As Actividades realizadas Motivaram o Grupo 1

2

3

1.3 Os Acompanhantes enquadraram-se fácilmente no espirito do grupo 1

2

3

4

5

4

5

2. Os Meios

2.1 A organização da acção foi eficaz 1

2

3

2.2 O ambiente exterior foi adequada e agradável à realização das actividades 1

2

3

4

5

2.3 Os Meios para a realização das actividades foram adequados 1

2

3

4

5


30

_____________________________________________________________________ Avaliação da Formação 3. Os Formadores

3.1 Os Métodos Utilizados 1

2

3

4

5

2

3

4

5

2

3

4

5

3.2 O empenhamento 1 3.3 O relacionamento 1

4. A Sua Satisfação Pessoal

4.1 Tudo Somado, qual a sua Satisfação Geral com esta Acção? 1

2

3

4

5

5. Comentários e Sugestões 


31


Exemplo 2 AVALIAÇÃO DO PROCESSO DE FORMAÇÃO

APRECIAÇÃO GLOBAL DA ACÇÃO POR PARTICIPANTE DESENVOLVIMENTO DA ACÇÃO DE FORMAÇÃO

1

2

3

4

5

•

OBJECTIVOS DA ACÇÃO

Confusos

Muito claros

•

CONTEÚDOS DA ACÇÃO

Inadequados

Totalmente adequados

•

UTILIDADE DOS CONTEÚDOS

Inaplicáveis

Totalmente aplicáveis

•

MOTIVAÇÃO E PARTICIPAÇÃO

•

ACTIVIDADES PROPOSTAS

•

RELACIONAMENTO ENTRE PESSOAS

•

INSTALAÇÕES E EQUIPAMENTOS

•

DOCUMENTAÇÃO DE APOIO

•

MEIOS AUDIOVISUAIS DISPONÍVEIS

•

UTILIZAÇÃO DOS RECURSOS DIDÁCTICOS

•

APOIO DA COORDENAÇÃO DA ACÇÃO

Nula

Plena

Insuficientes

Muito adequadas

Negativo

Muito positivo

Deficientes

Excelentes

Inadequada

Totalmente adequada

Inadequados

Totalmente adequados

Inadequado

Totalmente adequado

Ineficaz

Muito eficaz

INTERVENÇÃO DOS FORMADORES FORMADORES

DOMÍNIO DO MÉTODOS ASSUNTO 1 2 3 4 5 1 2 3 4 5

e t n e i c i f e D

o n e l P

s o d a u q e d a n I

LINGUAGEM 1 2 3

s a o t i o s u d f u a n M u o q C e d a

4 5

a r a l c o t i u M

EMPENHAMENTO

RELACIONAMENTO

1

1

e t n e i c i f u s n I

2

3

4

5

o d a v e l E

2

3

4

o d a h c e F

o t r e b A

SUGESTÕES / CRÍTICAS Temas considerados mais importantes, a desenvolver com maior profundidade ou a incluir em Aspectos mais conseguidos e a melhorar. Sugestões e outras observações.

(Continue numa outra f olha, se o espaaçoo f or insuf iciente)

DATA

____ - ____ - ____

NOME (facultativo)


5

32


Exemplo 3 AVALIAÇÃO DO PROCESSO DE FORMAÇÃO PELO COORDENADOR Data de Início da acção ____ - ____ - ____ Data Final da acção ____ - ____ - ____ Coordenador da Acção/Coordenador da Equipa Formativa ______________________________________________________________________

Unidade(s) Modular(es) /Módulo(s)

Avaliação Desempenho do Formador

Formador

Designação

Data de Início e Fim

Monitoragem do Módulo Má 1

Mtº Boa 2

3

4

Intervenção na Avaliação dos Formandos (Módulo) Má Mtº Boa 1

2

3

4

Intervenção na Avaliação dos Formandos (Avaliação Final) Má Mtº Boa 1

De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__


33

2

3

4


Exemplo 4 RELATÓRIO DE APRECIAÇÃO SÍNTESE DA ACÇÃO 1. Identificação da Entidade Formadora Denominação Endereço da Sede Código Postal Acreditação n.º Domínios de Acreditação

Localidade

Telefone

Válida até

2. Identificação do Curso / Acção de Formação Designação do Curso Certificado de Homologação n.º Local de realização Data de realização Início Fim

Válido até Horário de Realização N.º Inicial de Formandos

3. Análise da Realização da Acção 1.

Avaliação dos formandos •

2.

Avaliação dos formadores (em percentagem) Satisfatório

Muito bom

(Quantidade, qualidade e relação com os temas) Satisfatório

Bom

Muito bom

Avaliação dos aspectos organizativos (em percentagem)

(Articulação da formação com os m eios audiovisuais, materiais didáticos, equipamento e serviços de apoio) Insatisfatório

5.

Bom

Avaliação dos materiais pedagógicos (em percentagem) Insatisfatório

4.

N.º formandos não aprovados

Grau de sucesso:

Insatisfatório

3.

N.º formandos aprovados

Satisfatório

Bom

Muito bom

Avaliação dos meios associados (em percentagem) 





Instalações Insatisfatório Utilizadas Equipamentos Pedagógicos Insatisfatório

Satisfatório

Bom

Muito bom

Satisfatório

Bom

Muito Bom

Serviços de Apoio

Satisfatório

Bom

Muito Bom

Insatisfatório

4. Observações – Síntese dos Comentários / Propostas dos Formadores / Propostas dos Formandos

Pela Entidade Formadora:

Nome: _____________________________________ Cargo: ________________________ Data: ___- ___ - ___

Assinatura: ______________________


34


Conclusão A formação conheceu nos últimos anos um grande incremento, tornando-se uma forte aliada das empresas, que reconhecem que é necessário manter os seus colaboradores a par de novos métodos, técnicas, tecnologias ou conceitos. As mudanças no mundo empresarial são constantes, situando-se estas não só no plano tecnológico como também no plano organizacional e no domínio das atitudes. Não raras vezes as mudanças procuradas pelas empresas situam-se sobretudo ao nível dos comportamentos e da maneira de pensar perante novas exigências de desempenho profissional. A avaliação da formação pode dar um contributo precioso, fornecendo novas referências e sugestões de aperfeiçoamentos para incorporar tanto no decurso de acções de formação como em futuras acções. Para além das melhorias que se podem introduzir nos dispositivos de formação, muitas vezes as informações obtidas a partir de processos contínuos de avaliação também permitem, inclusive, transportar de novo e directamente para o universo laboral ideias, sugestões e soluções válidas e directamente aplicáveis. A formação e a sua avaliação são duas faces de uma mesma moeda que fomentam a melhoria das organizações, na medida em que procuram que as actividades formativas sejam consequentes, ajustadas e com impacto positivo nos processos de trabalho. As repercussões da formação ao nível dos processos de trabalho só podem ser apreendidas se a sua avaliação for de facto aproveitada e incorporada em processos de melhoria contínua. De facto, saber que uma dada acção correu bem ou mal não chega. É preciso conhecer os desvios entre uma situação desejada e a situação a que efectivamente chegámos. A avaliação deve ajudar-nos a (re) pensar as situações-problema na óptica da sua solução. Mais do que proceder meramente ao controlo de resultados, é importante aliar às actividades formativas momentos de reflexão interactivos para captar efeitos de __________________________________________________________________ Formação Pedagógica Inicial de Formadores

35


mudança. Por outras palavras, é importante aliar a prática à análise, transformar uma vivência numa experiência que ajude a tomar consciência, a verificar o valor e atribuir um sentido ao que é feito em formação. Esse sentido assume cada vez mais importância enquanto sentido de mudança, de mudança necessária e contínua. Avaliar é como aprender, é um processo contínuo. A avaliação ganha um sentido acrescido e utilitário a partir do momento em que é percebida como um processo de aprendizagem e conhecimento contínuos. Se é verdade que uma acção de formação isolada só por si não provoca a mudança, também é verdade que uma avaliação de uma dimensão isolada não se revela útil. É importante captar, absorver e adaptar os resultados da avaliação e inseri-los nas actividades formativas de forma contínua. O desenvolvimento das organizações e dos indivíduos que as integram é um processo que implica mudanças, sendo importante acolher a formação enquanto oportunidade facilitadora para que essas mudanças ocorram. Cabe à avaliação fornecer o sentido do que é feito, encontrar formas para que as melhorias desejadas sejam, de facto, alcançadas.


36

Avaliação da Formação

Recommend Documents