Avaliação da formação na empresa Ficha Técnica PRONA PRONACI CI Edição 2002
Ficha Técnica PRONACI “Avaliação da formação na empresa”
Fundação Manuel Leão PRONACI - Programa Nacional de Qualificação de Chefias Intermédias AEP - Associação Associação Empresari Empresarial al de Portugal Setembro de 2002
1
ÍNDICE Página 2
Introdução Página 3
Conceitos e tipos de avaliação Página 6
Porquê avaliar? Objectivos da avaliação Página 7
O que avaliar? Níveis de avaliação Página 10
A avaliação como uma fase no ciclo da formação Página 11
Melhorias contínuas precisam-se! Página 13
Diálogos sobre deformações da formação Página 15
Quem envolver? O papel da chefia intermédia Página 16
Como preparar a avaliação da formação Página 19
Instrumentos e procedimentos Página 23
Erros que não vai cometer
2
INTRODUÇÃO
Valoriza-se cada vez mais a avaliação nas práticas de formação. E isto compreende-se à luz de três elementos novos: i) as empresas e outras organizações não vêem a formação como uma mera obrigação ou uma inevitabilidade, antes a consideram como uma estratégia de gestão e inovação; ii) aos responsáveis pela formação ou pela execução dos planos de formação exige-se agora o conhecimento dos resultados dos investimentos realizados em formação; iii) a formação permanente, ao longo de toda a vida, requer uma avaliação de cada etapa da formação que se desenvolve. Sendo um investimento, é preciso, desde início, prever os seus resultados. Assim, a avaliação da formação vai fazendo parte integrante dos próprios planos de formação, constituindo, à medida que estes vão sendo executados, uma preciosa fonte de informação para a gestão das pessoas, ao serviço das organizações e dos seus projectos. Avaliar a formação não é, contudo, uma tarefa fácil. Fácil e usual é reproduzir os modelos de avaliação escolar e aplicá-los à avaliação da formação contínua nas organizações. E esta é uma tendência que importa combater, evoluindo para uma avaliação mais completa e complexa do impacto da formação tanto nas pessoas e no seu desempenho como nas equipas de trabalho e na evolução da organização. Daí, pois, esta publicação, que pretende constituir um instrumento de apoio a todos quantos estão envolvidos na formação e na gestão das pessoas, sobretudo das PME.
3
CONCEITOS E TIPOS DE AVALIAÇÃO
Avaliação da formação pode ser definida como a apreciação da qualidade ou do grau de eficácia de um processo de formação. Por outras palavras, a avaliação resulta de uma reflexão sobre todos os momentos e factores que intervêm na formação, a fim de determinar quais podem ser, estão a ser ou foram os resultados da mesma. Esta, como qualquer outra definição, não esgota as possibilidades de sentido que a avaliação de uma acção de formação pode encerrar. De facto, uma intervenção com carácter formativo, ao assumir e colocar em prática diversos itinerários/formatos, pode originar actividades de avaliação específicas e directamente relacionadas com uma dada vertente formativa em particular. As possibilidades de definição do que é avaliação da formação podem, desde logo, estar também aliadas a práticas de avaliação realizadas tendo em conta tanto o momento da avaliação como o processo de avaliação. Neste sentido, a avaliação da formação quanto ao momento, dentro deste universo de possibilidades de definição, pode compreender os seguintes tipos de formação:
Avaliação inicial ou diagnóstica É feita no início da formação e serve quer para orientar os formandos quer para verificar o nível de conhecimentos face ao tema a desenvolver e o seu posicionamento perante ele. Este tipo de avaliação é de grande importância, de modo particular, quando, previamente à actividade formativa, não foi traçado um perfil de entrada dos formandos.
Avaliação formativa ou contínua É feita ao longo da formação e serve para o formando identificar as suas dificuldades e verificar de que modo está a atingir os seus objectivos. Tem uma finalidade de regulação da aprendizagem e da acção do formador. Por outras palavras, permite avaliar o grau de envolvimento e interesse dos formandos pela actividade formativa e seu progresso em termos de aprendizagem.
Avaliação sumativa ou final É feita no final da formação, procurando verificar o que foi aprendido, bem como apurar a qualidade da relação pedagógica. É globalizante e avalia o resultado final da formação, podendo servir para a certificar.
4
Avaliação prognóstica É efectuada algum tempo após o final da formação. Serve para estabelecer uma previsão sobre os resultados ou sobre o comportamento posterior das pessoas avaliadas. Por outras palavras, serve para saber em que medida a actividade formativa irá contribuir para alterar qualitativamente as suas competências profissionais a nível de conhecimentos, aptidões e atitudes.
Avaliação de impacto Esta avaliação tem como principal objectivo apurar o impacto da aprendizagem na valorização humana e técnico-profissional dos formandos e na organização. Este tipo de avaliação procura responder às seguintes perguntas: • Os formandos mudaram mesmo? • E a empresa ou organização? Também mudou? A avaliação da formação quanto ao processo pode, por seu turno, compreender os seguintes tipos de formação:
Avaliação normativa Este procedimento consiste em submeter um grupo de formandos ao mesmo teste. Os formandos são escalonados pelo valor obtido no teste e colocados por ordem decrescente (ou crescente). Esta avaliação consiste em estabelecer uma classificação das pessoas, na base de uma medida ou de uma observação.
Avaliação criterial Pretende-se verificar os conhecimentos alcançados pelos formandos, em função de um critério, que são os objectivos ou comportamentos que têm que adquirir. Este critério é absoluto e não depende dos outros formandos. Não raras vezes a definição de avaliação é confundida com outras definições vizinhas e que também encerram práticas e princípios de avaliação. Neste sentido, é útil referenciar aqui as definições de avaliação do nível de formação, de avaliação de competências e também as definições, pelo menos duas, do âmbito da avaliação e certificação. A avaliação do nível de formação pode ser entendida como a apreciação dos conhecimentos obtidos num curso ou programa de formação, podendo exigir uma prova de conhecimentos ou um exame final.
5
A avaliação de competências tem vindo a ganhar uma importância crescente, dado que muitas vezes não existe uma correspondência necessária entre a aquisição de saberes e a capacidade para os mobilizar ou aplicar no contexto de trabalho. De facto, deter um saber não confere a capacidade de o usar nos vários contextos laborais e de vida. Por outro lado, a crescente desvalorização dos certificados escolares tem originado, por parte das entidades empregadoras, a procura de colaboradores que apresentem um leque de competências, para além das tradicionais credenciais escolares. Cada vez mais os processos de avaliação podem ter como intuito a certificação. Neste sentido, podemos falar de certificação da formação profissional ou de certificação profissional. A certif icação da formação profissional é o reconhecimento oficial do saber ou do saber-fazer adquiridos em acções de formação, tendo em conta a natureza das acções. Esta certificação pode ter em conta o reconhecimento de formações e a correspondência de qualificações no âmbito da União Europeia. A certif icação profissional consiste no reconhecimento e na comprovação da formação, da experiência adquirida ou das qualificações profissionais, bem como a verificação de outras condições requeridas para o exercício de uma dada actividade profissional. É um processo mediante o qual é reconhecido oficialmente o nível de qualificação, o saber e o saber-fazer e é emitido um certificado. Note-se, finalmente, que é crescente o número de pessoas que alcança um emprego e que acede à formação, ao longo da vida, sem que haja lugar seja à verificação das certificações seja à emissão de certificações da formação.
6
PORQUÊ AVALIAR? OBJECTIVOS DA AVALIAÇÃO
Apesar de subsistirem dúvidas, diríamos quase eternas, sobre qual a melhor forma de proceder ou quais as melhores práticas a adoptar na avaliação da formação, parece-nos que todos os actores directa ou indirectamente relacionados com a formação demonstram interesse em conhecer os resultados, os impactos e o valor acrescentado da formação em que estão envolvidos e para a qual, cada um à sua maneira, contribuem. Certamente com posicionamentos diferentes, todos os intervenientes na formação reveriam e melhorariam a sua actuação, a vários níveis, se pudessem contar com uma informação e avaliação credível sobre a formação realizada. De facto, por um lado, muitos responsáveis e dirigentes querem saber os resultados que as suas empresas obtêm com as acções que realizam e promovem. Por outro, os formadores e gestores de formação querem saber qual o impacto que os seus programas têm nos indivíduos e nas empresas e, por outro lado ainda, os formandos e as suas chefias querem saber que tipo de valor acrescentado podem esperar do tempo que passam fora do local de trabalho para participar em acções de formação. Estas questões fornecem, desde logo, o mote para estabelecer, acolher e articular vontades em conhecer e acompanhar, por via de práticas de avaliação, todas as fases de um programa de formação. Cada empresa, ao mobilizar recursos para empreender um programa de formação, deve, antes de mais, preocupar-se em definir o que é para a empresa um programa de formação bem sucedido. Com as devidas adaptações ao contexto específico, actual e desejável de cada empresa, podemos definir que um programa de formação é bem sucedido quando os participantes certos (selecção) desenvolvem os conhecimentos, os comportamentos e as atitudes esperadas, através de processos de aprendizagem fomentados por métodos, meios e formadores adequados, no momento e no local certo, de forma a satisfazer as necessidades do indivíduo e da organização em que se insere.
7
O QUE AVALIAR? NÍVEIS DE AVALIAÇÃO
Como vimos, dependendo do tipo de avaliação e dos seus objectivos, o que é objecto de avaliação pode assumir diferentes níveis e configurações. Os resultados de um processo de avaliação podem estar orientados, entre outros, para o conhecimento: • das diferenças entre os objectivos e referenciais inicialmente fixados e os resultados efectivamente alcançados; • dos efeitos da formação ao nível do desempenho dos formandos nos postos de trabalho; • dos factores explicativos que estão na base dos resultados esperados, quer estes tenham sido superados quer tenham ficado aquém do esperado. Uma das metodologias mais referenciadas em toda a investigação sobre avaliação é a de Donald Kirkpatrick, que, há mais de quarenta anos, identificou os seguintes quatro níveis de avaliação:
Nível 1 – Reacção Os formandos gostaram do curso? É uma das formas mais tradicionais e usadas para avaliar. É fácil, rápida e com baixo custo de aplicação. Os resultados negativos podem significar dificuldades de aprendizagem no curso.
Nível 2 – Aprendizagem Os formandos aprenderam com base nos objectivos do curso? A aprendizagem pode ser medida através de pré e pós-testes, bem como através de testes escritos ou testes de performance.
Nível 3 – Comportamento O comportamento dos formandos no posto de trabalho mudou? Os formandos aplicam o que aprenderam? Difícil de operacionalizar. Podem ser utilizados questionários ou grelhas de observação, após a formação.
Nível 4 – Resultados Qual o impacto da formação na organização? Trata-se de avaliar o impacto da formação em termos de resultados na actividade da empresa. Este nível de avaliação é geralmente aplicado a cursos de formação que procuram resolver problemas específicos causados por falta de conhecimentos e qualificações. O autor nunca define, de uma forma simples e clara, como se processa este nível de avaliação. Dá alguns exemplos, entre outros, de reduções nos custos e no absentismo. Apesar de ser um nível de avaliação bastante atractivo e almejado por várias empresas, a sua
8
aplicação é extremamente difícil. As dificuldades em estabelecer relações causais directas entre formação/resultados da empresa, bem como a dificuldade em isolar factores de influência nos resultados, não permitem afirmar, categoricamente, que uma dada acção de formação originou um aumento percentual de x nos resultados y da empresa. Se estabelecemos relações directas entre uma dada formação e um certo tipo de resultados, podemos estar a “enredar” muitos outros factores, externos à formação, e que podem ter actuado em simultâneo para a obtenção desses mesmos resultados. Mais recentemente, temos vindo a assistir à emergência de um “novo” nível de avaliação, que procura ir um pouco mais além do nível 4.
Nível 5 – Retorno do investimento (ROI
– Return On Investment )
O retorno do investimento é a comparação, em valores monetários, dos resultados líquidos obtidos face ao custo do programa formativo (expresso em percentagens). Este novo nível de avaliação tornou-se muito popular. Muitos directores não estão dispostos a empreender um projecto de formação se não lhes é garantido um bom nível de retorno do investimento que foi exigido para o levar a cabo. Não lhes basta bons resultados, querem garantir uma recuperação do investimento. É importante não confundir Retorno do investimento com Índice custo/ benefício. Vejamos a diferença: Benefícios brutos da formação IBC = Custos do programa
ROI =
Benefícios líquidos da formação Custos do programa
Suponhamos o seguinte exemplo: Os custos de um dado programa de formação são 20.000 euros e os benefícios são de 100.000 euros (os benefícios podem ser calculados com base em múltiplos indicadores, tais como o aumento de produtividade e a redução de absentismo, entre outros); logo: IBC =
100.000 20.000
=5
ROI =
80.000 20.000
x 100 = 400%
9
Como se pode constatar, a diferença fundamental consiste no facto de o IBC considerar os benefícios brutos e o ROI considerar os benefícios líquidos, descontando os custos e sendo expresso em percentagens. O problema de fundo deste quinto nível de avaliação consiste em isolar os benefícios ligados directamente ao programa de formação, isto é, saber como quantificá-los separadamente. Esta técnica tem, evidentemente, dificuldades, mas, apesar disso, não deixa de ser um exercício relevante. Mas afinal o que é que se pode avaliar? Muitos elementos se podem avaliar. Por exemplo: - Os objectivos da formação; - As necessidades de formação; - A satisfação dos formandos; - Os métodos pedagógicos; - O desempenho dos formandos; - O desempenho dos formadores; - A competência dos formadores; - A adequação dos conteúdos; - A adequação dos programas aos formandos; - A duração da acção de formação; - A documentação de apoio; - O material pedagógico; - O funcionamento do grupo de formação; - A participação dos formandos; - As relações entre formandos e entre formandos e formadores; - As condições materiais e ambientais; - A aplicação dos conhecimentos adquiridos; - O grau de cumprimento dos resultados previstos; - Os efeitos inesperados da formação; - As mudanças no meio envolvente; - O impacto na instituição / empresa; - ... Esta listagem, que não é exaustiva, mas indicativa, serve para salientar que a focagem da avaliação depende sobretudo dos objectivos e das finalidades da avaliação.
10
A AVALIAÇÃO COMO UMA FASE NO CICLO DA FORMAÇÃO Olhar para a formação como um ciclo possibilita perspectivar as actividades e intervenções de carácter formativo como algo que não se esgota no momento em que se efectiva a realização de uma dada acção de formação.
O ciclo da formação Concepção
Planeamento
Organização
Diagnóstico
Desenvolvimento
Avaliação
De facto, de entre os vários domínios de intervenção (expressão da responsabilidade do INOFOR para designar as fases de um processo formativo), não constituirá exagero afirmar que a avaliação tem vindo a constituir o centro prioritário das atenções. Da avaliação das entidades formadoras (a acreditação junto do INOFOR) à importância crescente atribuída pelo IEFP aos momentos avaliativos que fundamentam (diagnóstico de necessidades) e validam (acompanhamento e avaliação) os projectos de formação submetidos a financiamento, passando pelo controlo exercido pelo Departamento de Homologação de Cursos de Formação Inicial de Formadores do IEFP (em particular, no que diz respeito ao intensificar de exigências na definição/estruturação das estratégias avaliativas) e ainda pela emergência de um movimento nacional no sentido da certificação de competências, são vários os indicadores a fazer crer que a avaliação é, cada vez mais, entendida como uma peça central do processo formativo, assumindo a tripla função de diagnosticar, regular e certificar. No entanto, este contexto de exigências não parece ter vindo a encontrar suficiente eco no que diz respeito às capacidades e competências avaliativas instaladas, quer por entidades formadoras quer por formadores. No caso das entidades formadoras, atente-se na diminuta percentagem de entre elas que obteve acreditação nos domínios do diagnóstico de necessidades (na prática, o primeiro momento avaliativo de uma acção de formação) e do acompanhamento e avaliação da formação. Esta é, efectivamente, uma das áreas em que importa promover melhorias sensíveis nos processos de formação.
11
MELHORIAS CONTÍNUAS PRECISAM-SE!
A formação conheceu nos últimos anos um grande incremento, tornando-se uma forte aliada das empresas, que reconhecem que é necessário manter os seus colaboradores a par de novos métodos, técnicas, tecnologias ou conceitos. As mudanças no mundo empresarial são constantes, situando-se estas não só no plano tecnológico como também no plano organizacional e no domínio das atitudes. Não raras vezes as mudanças procuradas pelas empresas situam-se sobretudo ao nível dos comportamentos e da maneira de pensar perante novas exigências de desempenho profissional. A avaliação da formação pode dar um contributo precioso, fornecendo novas referências e sugestões de aperfeiçoamentos para incorporar tanto no decurso de acções de formação como em futuras acções. Para além das melhorias que se podem introduzir nos dispositivos de formação, muitas vezes as informações obtidas a partir de processos contínuos de avaliação também permitem, inclusive, transportar de novo e directamente para o universo laboral ideias, sugestões e soluções válidas e directamente aplicáveis. A formação e a sua avaliação são duas faces de uma mesma moeda que fomentam a melhoria das organizações, na medida em que procuram que as actividades formativas sejam consequentes, ajustadas e com impacto positivo nos processos de trabalho. As repercussões da formação ao nível dos processos de trabalho só podem ser apreendidas se a sua avaliação for de facto aproveitada e incorporada em processos de melhoria contínua. De facto, saber que uma dada acção correu bem ou mal não chega. É preciso conhecer os desvios entre uma situação desejada e a situação a que efectivamente chegámos. A avaliação deve ajudar-nos a (re)pensar as situações-problema na óptica da sua solução. Mais do que proceder meramente ao controlo de resultados, é importante aliar às actividades formativas momentos de reflexão interactivos para captar efeitos de mudança. Por outras palavras, é importante aliar a prática à análise, transformar uma vivência numa experiência que ajude a tomar consciência, a verificar o valor e atribuir um sentido ao que é feito em formação. Esse sentido assume cada vez mais importância enquanto sentido de mudança, de mudança necessária e contínua. Avaliar é como aprender, é um processo contínuo. A avaliação ganha um sentido acrescido e utilitário a partir do momento em que é percebida como um processo de aprendizagem e conhecimento contínuos. Se é verdade que uma acção de formação isolada só por si não provoca a mudança, também é verdade que uma avaliação de uma dimensão isolada não se revela útil. É importante captar,
12
absorver e adaptar os resultados da avaliação e inseri-los nas actividades formativas de forma contínua. O desenvolvimento das organizações e dos indivíduos que as integram é um processo que implica mudanças, sendo importante acolher a formação enquanto oportunidade facilitadora para que essas mudanças ocorram. Cabe à avaliação fornecer o sentido do que é feito, encontrar formas para que as melhorias desejadas sejam, de facto, alcançadas.
13
DIÁLOGOS SOBRE DEFORMAÇÕES DA FORMAÇÃO A necessidade de reduzir os atrasos em termos de qualificações profissionais tem levado os poderes públicos a promover e a disponibilizar recursos financeiros para a realização de acções de formação profissional. Em Portugal e em especial a partir da chegada dos fundos comunitários, registou-se uma explosão da actividade formativa sem precedentes. No entanto, como é do conhecimento geral, a par de bons exemplos de práticas formativas verdadeiramente inovadoras e portadoras de mais-valias para os indivíduos e para as organizações, emergiram também algumas práticas formativas menos boas. Quando falamos em formação e, em particular, em avaliação da formação, existe sempre a necessidade de perceber as intenções que estão na origem da realização de uma dada acção de formação. Na base da realização de uma acção deve existir sempre um conjunto de necessidades reais que a justifiquem e sustentem. Quando estas necessidades não existem ou quando as trajectórias de chegada dos indivíduos à formação não são acompanhadas por alguma vontade própria em mudar, aprender, aperfeiçoar ou progredir, as avaliações que se fizerem apontarão sempre para resultados débeis. Não é a avaliação que endireita a sombra de uma vara torta. Para demonstrar aquilo de que estamos a falar, de seguida apresentamos algumas deformações ou falsas utilizações da actividade formativa referenciadas por Paulo da Trindade Ferreira, em parte, citando Jean Dubois. Ambas as referências às “deformações” estão guarnecidas com afirmações frequentemente ouvidas a dirigentes e gestores. É curioso notar que, apesar de o autor citado ter utilizado estes qualificativos em 1971, estes revelam um grande realismo e oportunidade nos nossos dias. A “Formação-castigo” Do director de produção para o encarregado de manutenção: – “ Se a avaria de ontem tornar a repetir-se, vejo-me forçado a mandá-lo para um curso de formação”. A “Formação-recompensa” Do gerente da empresa para o técnico administrativo: – “Dada a grande fidelidade que sempre tem demonstrado, a gerência decidiu mandá-lo tirar um curso de formação”. A “Formação-tapa-buracos” De um gestor de formação para um cliente: – “Quando a carteira de encomendas baixa, entretemos os trabalhadores com uns ‘cursinhos’ de formação. É uma forma de estarem ocupados”.
14
A “Formação-férias” Do director comercial para o adjunto: – “Se o curso em que vai participar não interessar, aproveite o tempo... e descanse”. A “Formação-analgésico” Do director de pessoal para um consultor externo: – “ Para acalmar os refilões, nada melhor do que ‘despachá-los’ para um curso de formação. Vêm de lá mansos que nem uns cordeiros”. A “Formação-moda” De um gerente de empresa: – “Para que não digam que a nossa empresa está ultrapassada ou já perdeu o comboio, vamos começar a organizar umas acções de formação”. A “Formação-enlatado” De um director-geral para um administrador: – “Não podemos perder muito tempo com essas coisas da formação. Sempre que precisamos de um curso, encomendamo-lo a empresas de fora que já têm tudo confeccionado”. A “Formação-saque” De um director financeiro para um director de pessoal: – “Para ver se também nos calha ‘algum’, contratamos um consultor para fazer um projecto de formação e tratar da papelada necessária”. A “Formação-engodo” De um director de produção para um chefe de equipa: – “Se, para nos candidatarmos aos financiamentos para a modernização das empresas, nos obrigam a fazer determinadas horas de formação, há que fazê-las, custe o que custar”. A “Formação-seca” De formandos para formador: – “De vez em quando, fazem-se lá na empresa uns cursos que ninguém sabe bem para que servem. Chamam um ‘craque’ de fora, que, durante horas seguidas, faz ao pessoal uma verdadeira ‘lavagem ao cérebro’...”.
15
QUEM ENVOLVER? O PAPEL DA CHEFIA INTERMÉDIA Um processo de avaliação entendido como um processo de análise e reflexão deverá envolver um leque alargado de interlocutores. Este envolvimento é tanto mais importante quanto esperamos que da formação haja resultados positivos nas pessoas e nas organizações. Neste sentido, para além dos formandos e formadores que têm um envolvimento directo na formação, há que perspectivar a participação das chefias intermédias. Em quê e como pode ser eficaz a acção das chefias intermédias nas empresas, sobretudo nas PME? a) na identificação das lacunas de formação nos colaboradores a formar; b) na ajuda à definição dos objectivos da formação, dando informações pertinentes e oportunas; c) na mobilização e incentivo dos colaboradores das equipas de trabalho para adesão à formação; d) no incentivo aos colaboradores em formação e já formados a aplicar os conhecimentos e competências adquiridos; e) cooperando na avaliação do impacto real da formação na organização; f) contribuindo para melhorar a eficácia e eficiência da formação. Por estas razões, a chefia intermédia pode constituir uma peça-chave no processo de avaliação da formação, devendo ser eleita o elemento prioritário, a ser ouvido e envolvido em qualquer processo avaliativo.
16
COMO PREPARAR A AVALIAÇÃO DA FORMAÇÃO
A - Antes e durante a preparação da formação 1. Definição dos objectivos e resultados esperados da avaliação: - Hierarquia - Chefia directa - Formandos - Formador - Serviço de formação. 2. Listagem dos aspectos que vão ser objecto de avaliação. 3. Definição de indicadores, em função dos objectivos da formação e da avaliação. 4. Definição dos papéis dos diferentes actores no processo de avaliação, para cada um dos objectivos e em cada momento da avaliação (fornece informações / é informado / valida / participa / conduz / anima directamente). 5. Concepção dos instrumentos de avaliação a utilizar. 6. Concepção do dispositivo de avaliação. 7. Divulgação do dispositivo de avaliação. Instrumentos: entrevistas; questionários; reuniões.
17
B - Durante a formação 1. Apreciação pelos formandos das componentes da acção de formação, no final da cada módulo / acção de formação. Instrumentos: entrevistas; questionários; reuniões. 2. Avaliação pelos formadores dos componentes da acção de formação, no final de cada módulo / acção de formação. Instrumentos: entrevistas; questionários; reuniões. 3. Avaliação da aprendizagem realizada. Instrumentos: testes; grelhas de observação. 4. Aplicação dos conhecimentos no posto de trabalho (sobretudo se se tratar de formação em alternância ou formação-acção). Instrumentos: diário de bordo; relatórios; observação directa; entrevista à chefia directa; reuniões. 5. Divulgação de informação seleccionada aos diferentes actores, para garantir o seu envolvimento e mantê-los informados. Instrumentos: comunicações internas; boletim da empresa; reuniões.
18
C - Depois da formação 1. Aprendizagem efectiva. Instrumentos: grelhas de observação; questionários; entrevistas; reuniões. 2. Repercussões da formação observadas pela chefia directa. Instrumentos: entrevistas; reuniões. 3. Aplicação dos conhecimentos adquiridos e seus resultados. Instrumentos: reuniões com formandos e chefias; informações de gestão e produção. 4. Efeitos inesperados da formação. Instrumentos: entrevistas individuais; observações da hierarquia. 5. Novos pedidos de formação. Instrumentos: entrevistas com a hierarquia sobre os projectos do serviço; elementos decorrentes da avaliação do desempenho; análise de pedidos individuais.
Em síntese: Avaliar a formação é, pois, uma forma de encontrar um sentido, compreender um investimento, apreender uma direcção que norteie a melhoria contínua do desempenho dos indivíduos e das organizações.
19
INSTRUMENTOS E PROCEDIMENTOS
A avaliação da formação é, como já vimos, um processo amplo e complexo que supõe a necessidade de recolher informação em diferentes momentos e a diferentes níveis tendo em vista a melhoria do dispositivo de formação e dos seus resultados. Para levar a cabo um processo de avaliação importa, por um lado, levantar um conjunto de questões, no sentido de estabelecer os critérios de escolha dos instrumentos de avaliação e as condições necessárias à utilização dos instrumentos de avaliação. Por outro lado, é importante observar os pontos-chave para construir um projecto de avaliação e ter a noção que é importante privilegiar a utilização de mais de um instrumento. Neste sentido e antes da apresentação de alguns instrumentos de avaliação, passamos em revista cada um dos aspectos mencionados.
Critérios de escolha dos instrumentos de avaliação 1. Em que medida correspondem aos objectivos enunciados? 2. Custos (elaboração; aplicação; tratamento da informação). Em função das informações a recolher e da sua complexidade, qual é o tempo a investir no tratamento das respostas? 3. Grau de adesão dos actores. Quais as facilidades e dificuldades que o instrumento apresenta para o actor a quem deve ser aplicado (formando, chefia directa, etc)? Qual a utilidade para o actor? 4. Grau de integração no processo de formação. Como é apresentado? Que tempo lhe é consagrado? Qual a utilização prevista para os resultados (sob que forma serão apresentados? Em que prazos?) 5. Grau de utilização das informações existentes. Em que medida são exploradas as informações de gestão corrente da empresa? 6. Grau de adesão de quem tem que aplicar o instrumento (formador, responsáveis operacionais). Quais as precauções tomadas para que o utilizador do instrumento de avaliação esteja ao corrente dos seus objectivos, da forma de aplicá-lo correctamente?
20
Condições necessárias à utilização dos instrumentos de avaliação 1. Clareza quanto à finalidade da avaliação 2. Clareza quanto às regras do jogo: utilização dos resultados, confidencialidade. 3. Compreensão da utilidade do instrumento por parte de todos os actores. 4. Retorno rápido da informação. 5. Compreensão das mudanças produzidas pela avaliação. 6. Facilidade de utilização (conteúdo, linguagem, apresentação).
Pontos-chave para construir um projecto de avaliação 1. Quem avalia? 2. O que vai ser avaliado? 3. Quem são os destinatários da avaliação? A utilização que cada um dos destinatários pode fazer dos resultados da avaliação determina o tipo e tratamento das informações a prestar-lhe. A avaliação de um determinado aspecto da acção de formação, dirigida ao responsável pela formação, não tem o mesmo conteúdo que a enviada ao responsável hierárquico. Do mesmo modo, o responsável pela formação ou o formador podem apoiar-se nos resultados da avaliação para iniciarem um diálogo com o responsável operacional; este pode basear-se na avaliação para fazer evoluir determinados aspectos do funcionamento do seu serviço. 4. Em que contexto decorre a formação e vai fazer-se a avaliação? A análise do contexto permite esclarecer os constrangimentos ou limitações que devem ser respeitados pelo processo de avaliação (normas, prazos, meios, etc.). 5. Com que finalidade? A decisão sobre o método de avaliação a utilizar (participativo, conduzido por um especialista, etc.) e os instrumentos de avaliação a aplicar depende da finalidade principal da avaliação. A resposta a estas cinco perguntas permite definir o conjunto de instrumentos a utilizar na avaliação da acção de formação.
21
Porquê utilizar um conjunto de instrumentos? - Porque a aplicação isolada de um instrumento pode corresponder mais a um juízo, enquanto vários permitem avaliar a tendência, as variações, a complexidade, os vários intervenientes. - Porque cada momento do processo de formação presta-se a diferentes tipos de avaliação. - Porque cada objectivo de avaliação requer um instrumento apropriado. Segue-se uma listagem de instrumentos de avaliação e uma explicitação das condições da sua utilização.
Instrumentos de avaliação 1. Observação (pelo menos meio dia) Vantagens: Contacto directo com o terreno. Desvantagens: Custos em tempo (construção de grelhas de observação; tempo de observação; exploração dos resultados). 2. Entrevista individual semiestruturada (uma hora/pessoa aproximadamente) Vantagens: Contacto personalizado; possibilidade de expressão livre. Desvantagens: Custos em tempo (preparação da entrevista; entrevista; tratamento da informação); a imagem global fornecida acentua as opiniões individuais, em detrimento das colectivas ou institucionais. 3. Entrevista de grupo pouco estruturada (cerca de 1 h 30 m) Vantagens: Economia de tempo; possibilidade de analisar a situação para além da expressão individual. Desvantagens: Influência do clima ou características do grupo pode ser inibitória da expressão individual; falta de tempo para recolha de opiniões individuais. 4. Reunião (cerca de 1 h 30 m) Vantagens: Economia de tempo; possibilidade de tomar decisões; implicação da hierarquia.
22
Desvantagens: Carácter oficial; peso da participação dos responsáveis hierárquicos; pouca participação dos formandos na organização da reunião. 5. Questionários (5 a 20 minutos) Vantagens: Economia de tempo na recolha da informação; possibilidade de utilizar diferentes questionários (anónimo/identificado; curto/extenso, etc.), com diferentes apresentações (perguntas abertas/fechadas; gráficos para completar; perguntas de escolha múltipla; frases para completar; etc.) em diferentes momentos da formação. Desvantagens: Necessidade de esquematizar os aspectos propostos; custos em tempo de elaboração; necessidade de conceber questionários específicos, de acordo com os objectivos a atingir e o aspecto a observar. 6. Utilização de diversos tipos de informação decorrentes da actividade da empresa (Gestão, Produção, etc.) Vantagens: Ligar a formação aos objectivos da empresa; implicar a hierarquia. Desvantagens: As informações não têm relação directa com a acção de formação, pelo que têm muitas vezes de sofrer adaptações. 7. Aplicações informáticas, software específico ou desenvolvido à medida.
23
ERROS QUE NÃO VAI COMETER
Um processo rigoroso de avaliação da formação deverá facultar informação credível e, tanto quanto possível, liberta de alguns procedimentos e decisões menos correctos. Sem pretendermos ser exaustivos, de seguida apresentamos um conjunto de causas e/ou factores que com frequência originam a ocorrência de equívocos, imprecisões e/ou resultados avaliativos débeis: Factores de não qualidade: - A formação não resulta de necessidades, estratégicas ou operacionais, devidamente explicitadas e resultantes de processos credíveis de análise e diagnóstico. - Ausência de coerência e eficiência nos sistemas de formação, em termos de programas adequados, com processos pedagógicos que privilegiem as aprendizagens em ambientes mais próximos da “produção”. - A formação implica investimentos desmesurados para os resultados pretendidos. - As empresas e outras organizações, aquando da organização da formação, não criam condições de acolhimento que potenciem a transferência e a manutenção do saber adquirido para o contexto do trabalho. Enquanto avaliadores, há que proceder com alguns cuidados: - Não efectuar, abusivamente, juízos de valor directamente centrados nas pessoas. - Não utilizar critérios implícitos, ainda que evidentes, mas que não foram explicitados, em referência a vivências pessoais. - Não atribuir à formação todas as aquisições de capacidades observáveis num dado momento. Factores de subjectividade do avaliador: - Ausência de critérios comuns. A maior parte dos enviesamentos e da subjectividade presente na avaliação tem como causa a ausência de critérios comuns aos diferentes avaliadores. Com objectivos definidos, explicitados e partilhados, evita-se a utilização de critérios pessoais, necessariamente diferentes entre avaliadores. Neste sentido, o processo de avaliação/verificação das aquisições/evoluções torna-se mais objectivo e comummente aceite. - Informação prévia. Geralmente, o conhecimento de informação prévia relativa aos formandos tende a influenciar o avaliador, podendo influenciar o
24
juízo, ideia e opinião e, deste modo, criar um preconceito, tendo repercussões sobre a avaliação; - Efeito de halo. Diz respeito à impressão produzida por uma pessoa que, ao ser posteriormente avaliada, pode condicionar a avaliação no sentido da impressão produzida (positiva ou negativamente); - Efeito de estereotipia. Tem a ver com o preconceito criado acerca de um dado formando, fazendo com que a avaliação tenha sempre um dado sentido, independentemente da sua evolução ou retrocesso. “Os bons tendem a avaliar-se sempre bem e os maus sempre mal”. - Efeito de ordem de avaliação. Também designado por efeito contraste. A subjectividade está aqui presente por via da comparação entre avaliações. Se, por exemplo, é efectuada uma avaliação excelente sobre um formando num dado momento, a avaliação seguinte de outro formando normal tende a ser medíocre. O inverso pode também ocorrer. - Infidelidade do mesmo avaliador. Resulta da discordância ou infidelidade do mesmo avaliador em avaliações sobre o mesmo objecto de avaliação, em momentos diferentes. A razão principal desta subjectividade pode encontrar-se na ausência de critérios rigorosos ou, ainda, em alterações de comportamento do avaliador, estado físico, mental, etc.. Avisado sobre estes possíveis desvios nas práticas de avaliação, o avaliador pode evitar cair em equívocos e falhas que possam desvirtuar de modo evidente os resultados do processo de avaliação.
BIBLIOGRAFIA GERAL
BENTO, Luís e SALGADO, Cristina Tavares. A formação pragmática – Um novo olhar , Cascais: Editora Pergaminho, 2001 CÂMARA, Pedro B. Da. Humanator – Recursos humanos e sucesso empresarial, Lisboa: Publicações D. Quixote, 1997 CRUZ, Jorge Valadas Preto, Formação Profissional em Portugal – Do Levantamento de necessidades de formação, Lisboa: Edições Silabo, 1998 FERREIRA, Paulo T., Guia do Animador – Animar uma actividade de formação, Lisboa: Multinova, 1999 HADJI, Charles, A Avaliação, regras do jogo – Das intenções aos instrumentos, Porto: Porto Editora, 1994 MÃO-DE-FERRO, António, Na Rota da Pedagogia, Lisboa: Edições Colibri, 1987 MARC, Edmond e GARCIA-LOCQUENEUX, Guia de métodos e práticas em formação, Instituto Piaget, 1995 MÉNDEZ, J.M. Álvarez, Avaliar para conhecer, examinar para excluir , Porto: Edições ASA, 2002 PAIN, Abraham, Évaluer les actions de formation, Paris: Les Éditions d’Organisation, 1992 PARRY, Scott B. Evaluating the impact of training – a collection of tools and techniques, Alexandria: ASTD, 1997 ROLDÃO, Maria do Céu et al., Avaliação do impacto da formação: um estudo dos centros de formação da Lezíria e Médio Tejo – 1993/1998, Lisboa: Edições Colibri, 2000 TIRA-PICOS, António, A avaliação da formação profissional, Lisboa: IEFP, 1990
A produção de ferramentas de trabalho para os encarregados e para as chefias intermédias das nossas empresas constitui uma das tarefas mais importantes do PRONACI. AEP - Associação Empresarial de Portugal
O desenvolvimento integrado das empresas depende cada vez mais de pro jectos que recorrem a metodologias e instrumentos de formação diferenciados e adaptados aos seus destinatários. Gpf - Gabinete de Coordenação de Parcerias e Formação Profissional
UNIÃO EUROPEIA Fundos Estruturais
AEP - Associação Empresarial de Portugal • PRONACI - Programa Nacional de Qualificação de Chefias Intermédias 4450-617 Leça de Palmeira • Tel.: 22 998 15 00 / Fax: 22 998 17 71 • www.aeportugal.pt/pronaci
