M8_Avaliação Da Formação e Das Aprendizagens

FPIF Módulo VIII AVALIAÇÃO DA FORMAÇÃO E DAS APRENDIZAGENS

Flávia Silva

Formação Pedagógica Inicial Formadores

OBJECTIVOS ESPECIFICOS:

Pretende-se que cada formando, após este módulo esteja apto a: - Distinguir diferentes níveis de avaliação dos resultados de formação; - Construir e aplicar instrumentos de avaliação em função dos objetivos previamente definidos, que permitam verificar e controlar os resultados da aprendizagem, a eficiência e a eficácia da formação; - Identificar causas de subjetividade na avaliação; - Aplicar um método sistémico e evolutivo de análise de resultados de formação; - Propor medidas de regulação, com vista à melhoria do processo de formação.

M8 | Avaliação da formação e das aprendizagens| Flávia Silva

2

Formação Pedagógica Inicial Formadores INTRODUÇÃO

3

3

«A avaliação é um processo continuado de recolher e interpretar informações no sentido de verificar decisões no planeamento de um sistema de aprendizagem.» Davis, R.,1974

------------------------------------------------------------------------------------------------------------------------«A avaliação é um processo sistemático, contínuo e integral, destinado a determinar até que ponto os objectivos pedagógicos foram alcançados.» Fermin, s.d. ---------------------------------------------------------------------------------------------------------------------------

«O essencial não está na grandeza das intenções, mas naquilo que o aluno realmente aprende.» D' Hainault , L., 1977

Ao considerar-se uma avaliação, há que ter em conta as possíveis consequências que esta pode representar para as pessoas avaliadas. A avaliação cria uma situação em que as pessoas se expõem perante os outros, provocando uma certa ansiedade, inquietação, receio,...

No sentido de contornar estas dificuldades, os formandos deverão ser implicados na sua própria avaliação, o mais possível, fazendo com que esta funcione como um estímulo e não como uma sanção.



4

4 Mas, o que é a avaliação? avaliação?

AJUIZAR?

JULGAR?

COMPARAR?

MEDIR?

TESTAR?

Em sentido lato, é uma atitude do nosso quotidiano sem que o façamos à priori, com qualquer fim determinado, determinado, que diz respeito a um ajuizar, medir, testar, comparar , estabelecendo relações através do recurso aos nossos sentidos, aos nossos conhecimentos e às nossas experiências.

No sentido estrito, ou seja, mais directamente ligada à função pedagógica… «A avaliação é um método de colecta e de processamento dos dados necessários à melhoria da aprendizagem e do ensino.» ensino.» Y. Tourner e C. Vasamillet



1. CRITÉRIOS DE AVALIAÇÃO

1.1 O QUE AVALIAR

A avaliação deverá, pois incidir não apenas sobre as aquisições dos formandos relativamente relativamente aos objectivos, mas abranger todos os comportamentos comportamentos do sistema, ou seja: seja:

* O programa

– enquanto conteúdo de ensino (os fins e os objectivos de

formação); * A metodologia seguida

– quer dizer, o modo de funcionamento do sistema. O que se faz e

* Os formadores

– no que respeita à forma como aplicam os métodos e as técnicas e

como se faz para atingir os objectivos.

o uso que fazem dos equipamentos postos à sua disposição; * A instituição e a estrutura de formação

– para avaliar da sua

flexibilidade na procura e adaptação de

* Os resultados

– num sentido amplo, isto é, devem ser avaliados não só os

respostas às dificuldades surgidas;

resultados esperados da formação, mas também aqueles que não foram previstos – os resultados inesperados; inesperados; * A própria avaliação

– como

parte integrante e importante do processo, no sentido de

sabermos se o tipo de avaliação usado, os meios e os instrumentos, se adaptam a sua função.


5


1.2 OS OBJECTIVOS DE AVALIAÇÃO

A avaliação, processo que visa a obtenção e tratamento de dados, pondo em evidência as competências adquiridas pelos formandos, tem como objectivos: Seleccionar os candidatos mais aptos para seguirem uma formação; Testar os conhecimentos e competências necessários para abordar a formação com sucesso;

Situar os formandos no nível que lhes convém em função do desempenho demonstrado; Controlar as aquisições dos formandos nos vários domínios do saber; Informar os formandos dos seus progressos; Classificar os formandos, situando-os em relação aos colegas; Ordenar, aconselhar ou corrigir os formandos, durante a formação; Controlar no final da formação se as competências adquiridas pelos formandos correspondem ao perfil desejado; Avaliar os objectivos de formação; Diagnosticar os pontos fracos da formação, através dos resultados obtidos; Recolher e processar dados com vista à melhoria da formação.

A avaliação constrói-se numa interacção entre quem organiza a formação e quem beneficia dela, mediante a recolha de informação no decurso do processo formativo.


6

6

Formação Pedagógica Inicial Formadores A avaliação conduz a uma garantia do produto formativo; a uma mobilização da informação entre os intervenientes no processo: empresas, formandos, formadores, trabalhadores (ex-formandos).

A avaliação consiste, pois, num processo de comparação de resultados face aos objectivos prefixados (tomando um padrão), no diagnóstico de causas de deficiências e dos pontos fortes da formação e estabelecimento de acções ou planos de correcção, aperfeiçoamento ou manutenção.

7

ENTRADAS

TRANSFORMAÇÃO • Programas

• Formandos

de

formação profissional

• Formadores

• Processos de

• Recursos

organizacionais

SAÍDAS

• Conhecimentos • Atitudes • Habilidades

aprendizagem • Comportamentos • Técnicas • Eficácia

organizacional

AVALIAÇÃO DA EFICÁCIA

VALIDAÇÃO DA ACÇÃO A visão sistémica é a ideal para a formação profissional: dinamismo e controlo:

DINAMISMO - actuando como subsistema do sistema organização, o órgão de formação profissional interage com ele e com os demais subsistemas para o recebimento e processamento dos inputs e utilização dos produtos obtidos bem conhecidos e estruturados

CONTROLO - concebida a organização como um sistema, os seus objectivos precisos permitem uma determinação mais exacta das necessidades de formação profissional e uma melhor utilizaçãodos inputs.


Formação Pedagógica Inicial Formadores Embora se trate de um subsistema, devemos orientá-la para uma tríplice totalidade que não é antagónica mas complementar: *a totalidade indivíduo-trabalhador, *a totalidade organização; *a totalidade sociedade. Assim, e uma vez identificada a necessidade ou problema existente, descritos os seus elementos básicos e compreendida a situação na realidade do seu ambiente, projectam-se recursos, avaliam-se restrições e, finalmente, escolhe-se uma solução que será posta em prática mediante estratégias específicas, prevendo-se também a avaliação e realimentação.


8 8

Formação Pedagógica Inicial Formadores 1.3 COMO AVALIAR – NÍVEIS DE AVALIAÇÃO DA FORMAÇÃO

A qualidade da avaliação define-se, constrói-se e controla-se OBJECTIVOS

PROCESSO AVALIATIVO 9 9

NÍVEIS DE AVALIAÇÃO DA FORMAÇÃO (segundo HAMBLIN) NÍVEL

OBJECTIVOS

5

RESULTADOS

Sociais

Sociais

4

Operacionais da organização

De desempenho na organização

3

De desempenho no posto de trabalho

Resultado do ex-formando no posto de trabalho

2 1

De formação

De formação

Pedagógicos (gerais e operatórios)

Reacção dos formandos

AVALIAÇÃO AO 1° NÍVEL (antes da formação) OBJECTIVO: permite ajuizar a validade e qualidade pedagógica das acções de formação assim como a eventual necessidade de alterar situações, metodologias, programas e objectivos.

É inerente ao processo formativo. Começa antes da acção se realizar - contribui para a forma como o formador a vai organizar.

Pré-Avaliação

Avaliação Prévia (de diagnóstico)

Durante a Difusão

Formativa (formadora)

Pós Difusão

Sumativa



MOMENTO

TIPO

MBITO PEDAG GICO Levantamento das condições de realização da acção, sua pertinência e objectivos - articulação com a realidade organizacional (objectivos organizacionais; objectivos da formação; objectivos da acção); 

ANTES

AVALIAÇÃO PRÉVIA

Definição de estratégia formativa;



Preparação/planificação da acção de formação/início da acção.



10 10

Os formandos: - quem são? - Porque foram convocados? - que nível de conhecimentos possuem? - que utilização vão dar à aprendizagem efectuada? 

DIAGNÓSTICA

Os formandos: - como reagem ao grupo e ao formador? - integração no processo de aprendizagem. 

DURANTE

Os objectivos operativos: AVALIAÇÃO * adequação de métodos, meios, conteúdos; FORMATIVA * avaliação reflexiva; * destina-se a garantir que a aprendizagem se está a r ealizar (se não, porqu (O FORMADOR) Performance dos formandos. 

Os métodos; as técnicas; os meios;



AVALIAÇÃO FORMADORA

A participação como forma de "aprender a aprender";



A meta-aprendizagem.



Funções pedagógicas: * Reflexiva - adequação da acção à finalidade; * Os objectivos gerais da acção; * Feedback (o formador); 

AVALIAÇÃO SUMATIVA DEPOIS

Funções sociais: * Classificadora; * Certificadora; * De selecção. 


Formação Pedagógica Inicial Formadores AVALIAÇÃO AO 2° NÍVEL (durante a formação) OBJECTIVO: medir os resultados, em termos de aprendizagem, alcançados pelos formandos no termo de uma acção de formação ou em momentos decisivos desta.

Testes

Tipo académico: • Escrito • Oral

2 Tipos

• Desempenho em situação simulada

Desempenho em situação real (só em cursos com estágios práticos)

Escalas e Listas de Observação

AVALIAÇÃO AO 3° NÍVEL (entre o 6.º e o 12.º mês após a formação) OBJECTIVO: verificar quais os resultados alcançados pelos ex-formandos no normal desempenho das funções abrangidas pelo posto de trabalhoem que estão colocados. Articula a formação e os seus objectivos pedagógicos, com a organização solicitadora e as suas necessidades (objectivos) reais em termos do desempenho exigido aos seus funcionários. Permite melhorar a articulação - impactos futuros sobre novas acções de formação (correcção e/ou adaptação dos objectivos das acções). Permite também constatar se a detecção de necessidades de formação foi correcta - se a formação era a resposta indicada para o problema organizacional em questão. Este tipo de avaliação apoia-se na amostragem.


11 11


OBSERVAÇÃO DIRECTA

RECOLHA DE OPINIÕES FORMAS

ANÁLISE DOS PRODUTOS

Utiliza ficha de observação É efectuada in loco É efectuada por responsável ou por técnico (no caso de técnico, inclui entrevista ao responsável) Pressupõe diálogo Utiliza questionários (standarização) Em qualquer lugar Responsável Ex-formando Não inclui diálogo Implica dois questionários Incide sobre: * Relatórios * Índices estatísticos * Reclamações * Erros * Omissões * Disfunções defeitos * Etc. Não inclui diálogo


12 12

Formação Pedagógica Inicial Formadores AVALIAÇÃO AOS 4° E 5° NÍVEIS OBJECTIVO: verificar a articulação entre o sistema de formação e os resultados (impactos) do seu funcionamento ao nível: * da empresa e do fim que persegue (nível 4); * da envolvente social considerada como pertinente (nível 5) - a zona geográfica, o sector de actividade, a realidade sócio-política - região, país, comunidade económica, etc.

NÍVEL 4

NÍVEL 5

(a médio prazo - 1 a 5 anos após a formação)

(a longo prazo – 10 anos)

OBJECTIVO: validar o impacto da formação ao nível OBJECTIVO: validar o impacto da formação ao nível da organização - relaciona-se com o alcançar dos do espaço social envolvente. Tratam-se de objectivos sociais de âmbito global. objectivos organizacionais. É sempre indirecta - incide sobre dados estatísticos Implica uma política global de formação, com uma da evolução da organização relativos a sectores, clara definição de políticas sectoriais articuladas. actividades, comportamentos sobre os quais incidiu a intervenção formativa. Necessidade de articulação entre os sectores de gestão, planeamento, estatística e formação, na medida em que, na recolha e tratamento dos dados relativos ao funcionamento da organização deve ser contemplado o valor de informação pertinente relativa à actividade de formação. Implica o planeamento: uma clara definição dos objectivos organizacionais; uma clara definição dos objectivos de formação.


13 13

Formação Pedagógica Inicial Formadores ENVOLVE:

Definição dos objectivos sociais globais

Curto prazo (1 ano) Médio prazo (5 anos) Longo prazo (10 anos)

1 Definição dos objectivos sectoriais

Interligados Interrelacionados articulados

14 14 Financeiros Humanos materiais 2

Atribuição – Afectação de meios

A pilotagem (gestão) do processo. O controlo do processo

Como, quando, onde, porquê quando e para quê

3 Escolha, recolha e tratamento de informação pertinente

Concluindo… A avaliação poderá ser equacionada como a gestão do provável, na qual se procede a uma análise da situação e a uma apreciação das consequências prováveis do seu acto em tal circunstância. Trata-se em suma "pensar" o presente para melhor prepara o futuro.

AVALIAR… onde?

como?

para quem?

o quê?

A avaliação é um processo e acompanha todo o processo formativo. Os vários procedimentos que a constituem (planificação, obtenção de informação, formulação de juízos de valor, tomada de decisão), desenvolvem-se em todos os momentos da acção.


Formação Pedagógica Inicial Formadores Onde

Como

Para quem

O quê

Na envolvente social Na empresa No posto de trabalho

1.º nível

Formador

Em sala

1.º e 2.º níveis

Formador Avaliação pedagógica: Organização que - formativa; formadora fornece - selectiva; certificadora

Avaliação pedagógica (prévia) - condições de realização da acção - que acção de formação?

15 15

No posto de trabalho

2.º e 3.º níveis

Formador Organização que fornece

Na empresa

3.º e 4.º níveis

Organização que O sistema de formação fornece A formação como instrumento de gestão Organização que solicita

Na envolvente social

5.º nível

Organização que Estratégias de sobrevivência solicita Sociedade organização envolvente Políticas de formação

Das competências certificadas performances realizadas


às

da

Formação Pedagógica Inicial Formadores 1.4 QUANDO AVALIAR

A avaliação como processo sistemático, contínuo e integral, deverá verificar-se:

ANTES DA FORMAÇÃO – Perfil de Entrada

16 16

DURANTE A FORMAÇÃO – Desenvolvimento da Formação DEPOIS DA FORMAÇÃO – Perfil de Saída

1.5 QUE EXPRESSÃO PODE TOMAR A AVALIAÇÃO - ESCALAS

A notação atribuída aos formandos funciona como um juízo em relação ao trabalho realizado e tem por fim estabelecer uma ordem de classificação consoante o grau, mais ou menos elevado, de domínio dos conhecimentos que demonstrem possuir. A avaliação expressa-se através de escalas de vários tipos (Numéricas, Literais, Descritivas), cujos parâmetros podem variar de avaliador para avaliador e em função dos conteúdos em presença. Estas escalas são, no entanto, (e quase sempre) subdivididas em NÍVEIS que, por via de regra, não vão além de 5.

EXEMPLOS 0a5 0 a 10 0 a 20 0 a 100

Ordinais ESCALA NUMÉRICA Percentuais

90 – 100%

75 – 89%

ESCALA LITERAL

A

B

ESCALA DESCRITIVA

MUITO BOM

BOM

50 – 74% C SUFICIENTE


20 – 49% D MEDÍOCRE

0 – 19% E MAU

Formação Pedagógica

Inicial Formadores

EXEMPLO:

17



Inicial Formadores

2. SUBJECTIVIDADE NA AVALIAÇÃO

Cada avaliador tem a sua própria maneira de avaliar, baseada em muitos factores, alguns dos quais escapam à sua própria consciência.

18

Uns avaliadores são conhecidos pela sua severidade, outros pela benevolência perante os formandos. Do mesmo modo, existem os que atribuem as notas à volta da média e os que percorrem toda a escala, atribuindo quer notas altas, quer baixas ou médias. Se distribuirmos a mesma prova a vários avaliadores, comprovaremos, certamente, que lhes atribuirão classificações muito diferentes. Por tudo isto, pode-se afirmar que:

A avaliação que tradicionalmente se faz é profundamente subjectiva.

Todos conhecemos as implicações que a avaliação pode ter na vida dos formandos, quer se trate de crianças, adolescentes ou adultos.

Em seguida apresentamos as principais causas de subjectividade da avaliação. O nosso objectivo é que os formadores/avaliadores estejam atentos para as que possam evitar e combater vigorosamente, já que todos conhecemos as implicações...


18


Inicial Formadores

2.1 CAUSAS DA SUBJECTIVIDADE DA AVALIAÇÃO (ou Fontes de Discordância entre Avaliadores)

Abordaremos causas de subjectividade da avaliação englobando-as em 6 grupos.

19

Cada causa de subjectividade será seleccionada com situações que lhe podem dar origem, sem contudo se esgotarem, como não podia deixar de ser.

1.ª Ausência de Critérios Comuns A principal causa de subjectividade da avaliação é, sem dúvida, a ausência de critérios comuns aos diferentes avaliadores. Isto resulta em grande medida do facto de não se conceberem objectivos de formação e, consequentemente, de a avaliação não incidir em itens de verificação desses objectivos, tendo como base o desempenho, a condição e o critério de êxito, bem definidos.

2.ª Efeito da Informação Prévia O facto de o avaliador possuir informações acerca do formando que avalia, pode influenciar a avaliação. Essas informações prévias podem ser, por exemplo, a capacidade intelectual, a capacidade de trabalho, a dedicação, o seu comportamento na formação (ou mesmo fora dela), as suas crenças (religiosas, políticas), a sua origem social, etc. 3.ª Efeito de Halo Trata-se de um preconceito formado acerca dos formandos, motivado por exemplo pela sua apresentação (vestuário, higiene, etc.), presença física (agradável, desagradável), comportamento físico (voz, tiques) fluência da linguagem, apresentação de provas escritas (caligrafia, ortografia, etc.) Devido ao efeito de halo, o avaliador actua de acordo com o preconceito que tem acerca dos formandos, sendo assim influenciando positiva ou negativamente no seu julgamento.


19


Inicial Formadores

4ª Estereotípia Face ao preconceito criado acerca de um formando, o avaliador tem tendência a avaliálo sempre da mesma maneira, indiferente à sua evolução ou retrocesso. O povo reconhece a existência deste fenómeno expressando-se através do seguinte ditado: “cria fama e deita-se na cama”. Portanto, os bons tendem a avaliar-se sempre bem e os maus sempre mal. 5ª Efeito da Ordem de Avaliação A ordem pela qual se avalia, também pode interferir na classificação. Um exemplo muito corrente deste facto, que todos conhecerão, é o que acontece quando numa avaliação oral, a um “aluno brilhante” se segue um “aluno normal”. Este, terá dificuldade em deixar uma boa imagem. Quando, porém, a um “aluno mau” se segue um “aluno normal” acontece o contrário, deixando este, com facilidade, uma boa imagem. A estas 2 situações descritas, devidas à ordem de avaliação, chama-se também efeito de contraste. 6.ª Infidelidade do Mesmo Avaliador Como se a discordância entre diferentes avaliadores não bastasse já para criar grandes problemas de subjectividade, à avaliação, também a avaliação feita pelo mesmo avaliador é susceptível de subjectividade, pois nem sempre avalia da mesma maneira. De facto, a avaliação feita por determinado avaliador, está dependente de factores pessoais como o estado de saúde física e mental, alterações do comportamento (como o humor no momento de avaliação, etc.), o grau de exigência, o cansaço e muitos outros factores.

Todas as causas de subjectividade da avaliação ou fontes de discordância entre avaliadores, se devem fundamentalmente à falta de critérios de avaliação comuns, rigorosos, previamente estabelecidos e aceites pelos avaliadores. Há que adoptar esses critérios e lutar contra todas as causas que levam à avaliação subjectiva.


20

20


Inicial Formadores

3. TIPOS DE AVALIAÇÃO: QUANTO AO PROCESSO E QUANTO AO MOMENTO

3.1 AVALIAÇÃO QUANTO AO PROCESSO

21

21 AVALIAÇÃO NORMATIVA ( ou de posicionamento) Situa o desempenho de um formando numa distribuição estatística por referência ao desempenho de outros, utilizando um critério relativo. (Ex.: seleccionar os 4 melhores de um grupo). situar o formando em relação aos outros elementos do grupo, segundo uma ordem. AVALIAÇÃO CRITERIAL (ou de domínio) Centrada no controlo do domínio de um objectivo, a um padrão previamente estabelecido, fazendo uso de um critério absoluto (independente dos desempenhos dos outros formandos). verificar se o objectivo proposto foi ou não alcançado pelo formando.



Inicial Formadores

QUADRO COMPARATIVO

AVALIAÇÃO NORMATIVA

AVALIAÇÃO CRITERIAL

(ou de posicionamento)

(ou de domínio)

Avaliar o comportamento do formando tendo como base o comportamento dos outros formandos do grupo.

Avaliar o comportamento do formando tendo como base o objectivo a ser atingido.

A classificação atribuída ao CLASSIFICAÇÃO formando, pelo formador, varia em função das classificações atribuídas aos outros formandos.

A classificação atribuída ao formando, pelo formador, reflecte o atingir do objectivo.

PADRÃO

Ao atribuir classificações aos formandos, o formador utilizou um padrão relativo.

Ao atribuir classificações aos formandos, o formador utilizou um padrão absoluto.

FUNÇÃO DOS ITENS DE TESTE

Os itens de teste são construídos para permitir discriminação em faixas distintas de classificação.

Os itens de teste são construídos para verificar o alcance dos objectivos pelos formandos.

UTILIZAÇÃO DO RESULTADO

O resultado do teste é usado para seleccionar formandos, ou para os graduar numa lista.

O resultado do teste é usado para determinar a eficácia da formação.

FUNÇÃO PRINCIPAL


22 22


Inicial Formadores

3.2 AVALIAÇÃO QUANTO AO MOMENTO

AVALIAÇÃO INICIAL (ou Diagnostica) pretende seleccionar indivíduos para os mais diversos fins - Verificar se os formandos satisfazem os pré-requisitos de uma determinada formação (Selecção); - Situar os formandos num nível da formação, segundo as capacidades demonstradas (Colocação); - Orientar os formandos para uma determinada formação (Orientação).

AVALIAÇÃO FORMATIVA (ou Contínua) levada a cabo durante o desenvolvimento da acção formativa, emtodas as situações de aprendizagem, objectivo a objectivo - Visa a obtenção de um “feed-back” contínuo e permanente; - Possibilitar um diagnóstico fiel do processo evolutivo dos formandos; - Identificação das dificuldades de aprendizagem eventualmente surgidas; - Introduzir estratégias de recuperação adequadas; - Alterar a sequência da aprendizagem.

AVALIAÇÃO SUMATIVA (ou Final) surge no final da formação (ou de parte significativa desta) - Visa avaliar o resultado final da aprendizagem, em função do perfil de saída esperado; - Destina-se a fazer controlo das aquisições globais, a certificar as competências adquiridas e a efectuar um juízo sobre a formação; - Destina-se a classificar a certificar os formandos. M8 | Avaliação da formação e das aprendizagens| Flávia Silva

23 23


Inicial Formadores

24

RELAÇÃO ENTRE AVALIAÇÃO INICIAL, FORMATIVA E SUMATIVA AVALIAÇÃO INICIAL

AVALIAÇÃO FORMATIVA

AVALIAÇÃO SUMATIVA

AVALIA

*Realizações prévias relevantes (experiências, capacidades) *Conhecimentos e habilidades (prérequisitos, pré-adquiridos) *Aptidões relevantes para escolha de alternativas de aprendizagem

*A estrutura de cada unidade de aprendizagem (programa) *O formando no seu grau de domínio dos objectivos

24

*Em que grau de satisfação ocorreu a aprendizagem *Se o processo de aprendizagem foi efectivo

*O formador na sua f unção Técnico-Pedagógica *O processo de ensinoaprendizagem *As causas dos insucessos na aprendizagem PERMITE (a cada momento)

*Seleccionar para a aprendizagem (selecção) *Decidir do ponto de entrada na aprendizagem (colocação) *Orientar o formando para uma aprendizagem (orientação)

(à posteriori)

*Melhorar a organização do programa

*Concluir se os objectivos gerais foram alcançados

*Alterar a sequência de aprendizagem

*Verificar em que extensão o formando atingiu os resultados

*Rectroalimentação em função do progresso de formando *Prescrever alternativas de aprendizagem *Prescrever materiais necessários no domínio dos objectivos


*Concluir das mudanças necessárias *Classificar e certificar os formandos


Inicial Formadores

4. TÉCNICAS E INSTRUMENTOS DE AVALIAÇÃO DA APRENDIZAGEM A utilização correcta das diferentes técnicas e dos correspondentes instrumentos de avaliação conduzir-nos-á a uma avaliação mais objectiva e mais justa, cabendo a todos os formadores, enquanto avaliadores, a responsabilidade de tudo fazerem para o conseguirem.

25

Na Formação Profissional, o formador avaliador pode utilizar simultânea ou separadamente as seguintes técnicas:

TÉCNICAS E INSTRUMENTOS DE AVALIAÇÃO

Técnica

Observação

Forma

Instrumentos

Directa Indirecta

Ficha de observação Lista de ocorrência Escala de classificação

(vídeo, etc.)

Avaliação oral

Lista de perguntas

Inquéritos

Formulação de perguntas

Avaliação escrita

De produção Testes De selecção

Medição

Avaliação prática

Fichas de avaliação analítica


Questionário Inventário Escala de atitudes Sociograma

Produção curta Produção longa Escolha múltipla Emparelhamento Verdadeiro-falso De completar

Qualitativa Quantitativa

25


Inicial Formadores

4.1 OBSERVAÇÃO

É uma das técnicas mais simples e talvez a mais usada pelos formadores. Permite obter dados em todos os domínios do saber. Ex.:Afectivos – interesse, zelo, participação, pontualidade, etc.

26 Cognitivos – conhecimento, compreensão, aplicação, capacidade de análise e de síntese,.. Psicomotores – capacidade motora, habilidade manual, resistência à fadiga, etc.

A) ALGUMAS REGRAS INDISPENSÁVEIS A UMA OBSERVAÇÃO EFICAZ

Para tirar o máximo partido da observação, deveremos seguir algumas regras como: * Inventariar previamente, os dados que pretendemos recolher, isto é, fazer com que a observação, seja uma técnica e não uma improvisação; * Observar discretamente, sem perturbar o formando; * Criar no grupo um ambiente de franqueza, de à vontade, propício à observação; * Ter em conta a natureza dos formandos, de modo a não desvalorizar os mais reservados ou inibidos; * Procurar ser imparcial e objectivo; * Manter o bom senso e a prudência quanto ao tratamento, generalização e utilização dos dados recolhidos; * Criar instrumentos objectivos, para não misturar factos concretos com simples opiniões subjectivas.



Inicial Formadores

B) VANTAGENS DA OBSERVAÇÃO

Uma das maiores vantagens é a de permitir colher dados no momento em que estão a acontecer, sendo portanto reais e fidedignos.

C) INCONVENIENTES DA OBSERVAÇÃO

27 27

Para que a observação seja correcta, o formador/avaliador necessita despender muito tempo. Enquanto observa e avalia determinados pormenores relativamente a um formando não poderá estar atento ao que se passa com outros.

D) INSTRUMENTOS USADOS PARA OBSERVAÇÃO Ficha de observação Nela se registam factos que vão ocorrendo, com interesse para a avaliação (Ex.: durante uma lição, sessão de formação, visita de estudos, etc.) Cada um conceberá as suas próprias fichas. Lista de ocorrências Trata-se de uma listagem dos comportamentos que esperamos venham a ocorrer, tornando o seu registo mais fácil, rápido e objectivo. Escala de classificação Permite registar e atribuir um determinado grau, numa escala crescente.


Formação Pedagógica Inicial Formadores 4.2 FORMULAÇÃO DE PERGUNTAS

As perguntas ou questões podem ser feitas aos formandos de duas formas diferentes: -

Oralmente ou avaliação oral;

-

Por escrito ou avaliação escrita.

Em qualquer dos casos, obtemos sobretudo dados cognitivos.

4.2.1 AVALIAÇÃO ORAL

É uma forma muito eficaz de avaliação sumativa, sobretudo quando se avalia um formando de cada vez, porque o diálogo directo com este, permite que avaliemos com clareza os seus conhecimentos, quer qualitativa quer quantitativamente. Na avaliação formativa, o formador utiliza-a sobretudo para obter o “feed-back” da sua actuação.

A) ALGUMAS REGRAS INDISPENSÁVEIS A UMA AVALIAÇÃO ORAL EFICAZ * Elaborar previamente, uma lista de perguntas objectivas e representativas da matéria a avaliar; * Procurar uma avaliação correcta dos conhecimentos dos formandos, não pesquisando excessivamente as sua falhas; * Fazer perguntas claras, o mais curtas possível e sempre numa linguagem adequada aos formandos; * Apresentar as questões de outra forma se não tiverem sido suficientemente compreendidas; * Nunca dar pistas, ajudas ou qualquer contributo para a resposta; * Na avaliação sumativa deverão fazer-se as mesmas perguntas a todos os formandos, criando assim condições de uniformidade e igualdade na avaliação.


28

Formação Pedagógica Inicial Formadores B) VANTAGENS DA AVALIAÇÃO ORAL * Facilita o diálogo directo formador-formando; * Permite o treino da expressão oral.

29

C) INCONVENIENTES DA AVALIAÇÃO ORAL

29 * A avaliação oral individual é um processo moroso; * Dificuldade em criar condições de igualdade e uniformidade na avaliação, pois é muito difícil fazer perguntas iguais a todos sem que delas tenham conhecimento-prévio; * Dá vantagem aos formandos com maior capacidade de expressão oral, bem como aos mais desinibidos.

D) INSTRUMENTOS DA AVALIAÇÃO ORAL

Deverão conceber-se previamente LISTAS DE PERGUNTAS.

4.2.2 AVALIAÇÃO ESCRITA

Consiste em apresentar ao formando questões escritas, às quais deverá responder também por escrito. São comuns 2 formas de avaliação escrita: inquéritos e testes.



INQUÉRITOS

Permitem apresentar questões escritas, de forma sintética, destinando-se sobretudo a colher dados do domínio afectivo. Revestem-se de interesse sobretudo para avaliação diagnóstica (selecção, dificuldades de aprendizagem, etc.). Os seus instrumentos são entre outros: * Questionário * Inventário * Escala de atitudes * Sociograma

Questionário : Instrumento de avaliação mais utilizado - questionário de satisfação do formando

preenchido depois do final da acção ou algum tempo depois de concluído o programa. KirKpatrick - 5 passos para o desenvolvimento de um questionário: 1 - Definir o que se pretende avaliar 2 - Organizar as questões num formulário específico 3 - Assegurar que as respostas possam ser quantificadas 4 - Garantir o anonimato de quem responde 5 - Estimular os participantes a fazerem comentários adicionais para além daquilo que é directamente perguntado no questionário de satisfação Também a crença de que um bom ambiente facilita a aprendizagem. A literatura aponta que existem correlações negativas entre a reacção dos formandos e as aprendizagens realizadas. De facto não permitem tirar conclusões sobre o nível de aprendizagem nem sobre o retorno do investimento. A influência de que uma boa impressão sobre um programa pode ter na decisão de dar continuidade a repetidas edições desse programa.


30 30

Formação Pedagógica Inicial Formadores Tipos de Questionários - Momento - Questionário inicial - Questionário final de módulo - Questionário final de curso - Questionário final de estágio 31

31 A Quem Aplicar O Questionário? • Formadores • Formandos • Coordenadores • Entidade formadora • Entidade acolhedora • Tutores

Questionários - Tipos de Questões • Fechadas • Abertas • Semi-abertas

TESTES

Os testes, numa perspectiva pedagógica (utilizados na formação), destinam-se sobretudo a avaliar dados do domínio cognitivo. Podem ser constituídos por uma ou, mais vulgarmente, por várias questões ou perguntas (ou itens de teste).


Formação Pedagógica Inicial Formadores São 2 os tipos de testes: 1 – Testes de Produção ou Resposta Aberta Assim designados porque o formando redige (produz) a sua própria resposta livremente. Consoante a extensão da resposta solicitada ao formando, há 2 tipos de Testes de Produção: 1.1 Produção Curta ou Resposta Curta

Consistem em apresentar as questões ao formando pedindo-lhe que forneça as respostas adequadas sucintamente, como por exemplo, numa palavra, em poucas palavras, poucas linhas, em 5 minutos, etc. O formando tem portanto liberdade para se exprimir, mas condicionada a determinado tempo, espaço ou extensão. 1.2 Produção Longa, Resposta Longa ou Redacção

Neste tipo de testes apresentam-se as questões ao formando, permitindo que ele responda livremente, espontaneamente, dando largas à sua imaginação e criatividade. É esta característica que lhes confere vantagem sobre outros tipos de testes escritos, sendo os instrumentos ideais para avaliar matérias complexas e processos mentais superiores, como o espírito crítico, a capacidade de julgar e a criatividade.

2 – Testes de Selecção ou Resposta Fechada

Nos testes de selecção fornecem-se ao formando a pergunta e, geralmente, várias respostas entre as quais ele terá de seleccionar a(s) resposta(s) adequadas. São usuais 4 tipos de testes de selecção: 2.1 Verdadeiro-Falso Consistem em apresentar ao formando afirmações que ele terá de assinalar como sendo Verdadeiras ou Falsas.


32

Formação Pedagógica Inicial Formadores 2.2 Questões de Completar Consistem em apresentar ao formando frases incompletas, solicitando-lhe que as complete por forma a que tenham sentido, inscrevendo uma palavra em cada espaço em branco. 2.3 Emparelhamento Consistem em fornecer ao formando 2 grupos (ou séries ou colunas) de elementos afins, pedindo-lhe para os emparelhar, fazer corresponder, associar ou ligar entre si, atendendo à sua afinidade. Os grupos podem ser constituídos só por frases, por frases e símbolos ou apenas símbolos. 2.4 Questões de Escolha Múltipla (Q.E.M) Consistem em apresentar uma questão ao formando, fornecendo-lhe simultaneamente várias respostas entre as quais terá de seleccionar as correcta(s).

4.3 MEDIÇÃO

Consiste

em

“performances” ou

medir

determinadas

qualidades de execução do

formando.

Na

óptica

da

Formação

Profissional

é

indispensável para avaliar tarefas de execução prática. Assim, destina-se a colher dados sobretudo do domínio psicomotor, como: - tempo de execução; - quantidade de trabalho produzido; - qualidade do trabalho: respeito pelas medidas pré-determinadas, tolerâncias máximas, normas de execução, acabamento, etc.


33

Formação Pedagógica Inicial Formadores A) INSTRUMENTOS USADOS PARA MEDIÇÃO

Fichas de Avaliação dos Trabalhos Práticos Na formação profissional os trabalhos práticos classificam-se habitualmente através de notas quantitativas, geralmente na base de O a 20. Com muita frequência há necessidade de recorrer a escalas mais alargadas (60, 80, 100, 200, ...), permitindo uma margem de cotação ampla para atender a todos os pormenores de execução importantes, a classificar. Por parecer muito adequado à avaliação dos trabalhos práticos refere-se, em seguida, um procedimento que pode chamar-se de método analítico ou avaliação analítica e que consta no seguinte: * O formador indica aos formandos, a tarefa, operações, etc., a executar, fornecendo- lhes medidas, cotas, desenhos, e outras características. A partir dessa informação e em colaboração com o formador, os formandos vão estabelecendo o método de execução - o processo de executar esse trabalho, os materiais e o equipamento necessário a esse fim. * Todas as etapas necessárias para desenvolver o trabalho são registadas numa ficha da classificação apropriada, semelhante às que apresenta no exemplo anterior, na qual se registam outros aspectos importantes como o acabamento do trabalho, o respeito pelas tolerâncias: o tempo gasto e as cotações a atribuir a cada um desses itens a avaliar, etc. * A classificação atribuída aos trabalhos elaborados por cada um dos formandos é feita em função dos aspectos e das cotações anteriormente acordadas, devendo o formando tomar consciência dos aspectos positivos e negativos do seu trabalho, contribuindo para desenvolver nestes a capacidade de auto-avaliação, favorecendo a autoconfiança e o relacionamento entre o formador e o formando.


34 34

Formação Pedagógica Inicial Formadores Exemplo:

35 35

Os instrumentos adequados à sua avaliação são as Fichas de Avaliação de Trabalhos Práticos, cujos dois modelos mais generalizados são: »» a Ficha de Avaliação Analítica e Quantitativa ;

»» a Ficha de Avaliação Analítica e Qualitativa.


Formação Pedagógica Inicial Formadores FASES DE ELABORAÇÃO DOS INSTRUMENTOS DE AVALIAÇÃO

1. Identificar o tipo de avaliação pretendida (formativa, sumativa, etc) e adequar os instrumentos à finalidade dessa avaliação, seleccionando objectivos gerais, específicos, ou micro-objectivos para serem avaliados.

36

2. Formular questões para que haja equivalência entre o desempenho, as condições de realização e os critérios previstos nos objectivos e as mesmas componentes nos instrumentos de avaliação.

3. Elaborar a corrigenda com as respectivas respostas-tipo correctas. 4. Criar tabelas de notação (ou cotação), nas quais se deverão prever: cotação atribuída a cada questão correcta; desconto a efectuar por cada questão errada (ou parcialmente errada se tal for admissível).

5. Prever a decisão, isso é qual o limite mínimo de conhecimentos admitidos. De acordo com a importância da matéria (critério definido nos objectivos e nos instrumentos) poderá ser por exemplo: *não se admite nenhum erro (sem erros);*admitem-se X erros; *admite-se a cotação mínima de... Caso o formando satisfaça as exigências mínimas, a decisão poderá ser: - domina a matéria, pode prosseguir, ou aprovado, apto, etc Caso o formando não satisfaça as exigências mínimas, a decisão poderá ser: não domina a matéria, não pode prosseguir ou reprovado, eliminado.

6. Prever a remediação. Na avaliação formativa quando o formando não domina deve prever- se a remediação, a qual pode consistir em aconselhar o formando a rever parte da matéria não dominada ou oferecer-lhe outras alternativas de aprendizagem (outros métodos, outros meios), uma vez que o objectivo nuclear não é o de classificar mas essencialmente diagnosticar em ordem a que o formando seja bem sucedido na aprendizagem.


36


MÓDULO VIII – SUB.MÓDULO 8.2. AVALIAÇÃO:DA FORMAÇÃO AO CONTEXTO DE TRABALHO 1. Modelo de Avaliação – Donald Kirkpatrick

“Semeia um pensamento e colherás um desejo; semeia um desejo e colherás a acção; semeia a acção e colherás um hábito; semeia o hábito e colherás o carácter.”(Tihamer Toth) De um modo geral, os esquemas clássicos de avaliação apontam para a realização de provas presenciais a que os formandos se submetem para poderem aceder à certificação da sua formação. Todavia, com o aparecimento de novas tecnologias e novas estratégias de aprendizagem, nomeadamente com a utilização da Internet, começa-se a equacionar o desenvolvimento de novas formas de avaliação, com carácter não presencial, desde que, evidentemente, seja garantida a credibilidade individual da avaliação efectuada

Nenhuma formação tem sentido se não forem tidos em conta os seus resultados. Trata-se, afinal da prova da verdade: que resultados se obtiveram?

Para ultrapassar esta questão é necessário saber colocar o problema, saber o que se quer avaliar, porquê e em que condições esta avaliação é realizável. Impõe-se também colocar a questão da sua utilidade: a quem servem os resultados da avaliação e a que se destinam?

Para este objectivo, uma das propostas mais conhecidas é o modelo de Donald L. Kirkpatrick, que permite medir a qualidade e efectividade da formação ministrada a partir da análise de quatro níveis de avaliação. Os níveis são sequenciais. Cada um tem a sua importância e influência os seguintes. Por isso nenhum deve ser ignorado por se considerar o seguinte mais importante. À medida que se avança nos níveis o processo torna-se mais complexo e proporciona informações mais valiosas. O modelo de avaliação de Kirkpatrick tem como princípio de base uma estratégia avaliativa assente em quatro questões:


37

Formação Pedagógica Inicial Formadores 1. Como reagiram os alunos ao programa de ensino-aprendizagem?

3

2. O que aprenderam? 3. O que utilizaram do que aprenderam? 4. Quais os efeitos organizacionais gerados pela formação?

O modelo de avaliação de Kirkpatrick é capaz de medir a qualidade e efectividade de uma intervenção

38

formativa a partir da análise de quatro níveis de avaliação:

Impacto Transferência Aprendizagem

Reacção

NÍVEL 1 – REACÇÃO

Qual a opinião “a quente” dos f ormandos sobre a prestação da formação?

Visa avaliar o grau de satisfação dos vários intervenientes no processo formativo.


4

Formação Pedagógica Inicial Formadores Mesmo que os resultados da formação sejam compensadores, há sempre a necessidade do sistema de formação ser objecto de uma avaliação crítica. O objectivo consiste em avaliar o grau de satisfação dos vários intervenientes no processo formativo e, assim, detectar disfuncionalidades não perceptíveis pelos agentes internos. Em última análise, a avaliação da reacção consiste em tornar o sistema de formação dinâmico, isto é, a formação efectuada numa determinada altura não se deve repetir ciclicamente ad infinitum, mas modificar-se, adaptar-se e aperfeiçoar-se sempre às realidades de cada momento, e, portanto, ir ao encontro das necessidades do público-alvo que pretendemos satisfazer.

A avaliação da reacção dos participantes é efectuada de forma contínua através da análise da sua reacção à realização das actividades de aprendizagem propostas e à participação. Ao longo do processo formativo os formandos são avaliados recorrendo a métodos quantitativos e qualitativos de acordo com vários critérios, nomeadamente a forma como participam na acção, o desempenho nas actividades propostas, a utilização dos recursos disponibilizados e a capacidade de interacção com o sistema de formação.

Na literatura sobre este tema, as grelhas que se distribuem pelos formandos e com base nas quais se faz esta avaliação da satisfação são apelidadas, laconicamente, de smiling sheets (folhas do sorriso). A razão de ser desta ironia radica na ideia de que quanto mais os formadores são simpáticos e sorridentes, melhores são os resultados da avaliação. De facto, é fácil que a subjectividade tome conta desta avaliação. Para além disso, estudos realizados permitiram observar, nalguns casos, correlação negativa entre as avaliações da satisfação e a avaliação das aprendizagens. Ou seja, as pessoas diziam gostar muito e, na realidade, aprenderam pouco. Não obstante as suas enormes limitações, por demais provadas e afirmadas, esta avaliação é importante, uma vez que: é sabido que a satisfação dos formandos ajuda a compreender o seu grau de motivação e este, por sua vez, está directamente relacionado com a vontade e a disposição para aprender; informa os formandos que os formadores estão ali para os ajudar a desenvolver competências e que necessitam de saber até que ponto foram eficazes; se não for feita, dá a entender aos formados a entender que se pode avaliar um programa sem necessitar das suas opiniões; as avaliações proporcionam informações quantitativas que podemos facultar aos agentes envolvidos no programa de ensino-aprendizagem.


39

Formação Pedagógica Inicial Formadores Esta avaliação consiste em interrogar os formandos no fim da formação, sobre o seu nível de satisfação relativamente à prestação da fornecida. Esta modalidade é a mais difundida e normalmente é formalizada por meio de um questionário que os formandos são convidados a preencher. 40

Vantagens: :: avalia o grau de satisfação dos “clientes; 6

:: intensifica os domínios em que se devem introduzir melhorias; :: fornece aos intervenientes no centro de formação dados sobre os eixos da progressão; :: comunica os resultados obtidos à empresa que “forneceu ” a formação.

Desvantagens: :: a primeira opinião dos formandos não pressupõe nada sobre a realidade dos conhecimentos adquiridos; :: smile sheet – se o formador sorri muito, os resultados serão bons e vice-versa. É absolutamente possível ter frequentado uma formação inútil e ter dela uma boa opinião baseada no ambiente e no grau de simpatia que o animador e os outros participantes inspiraram. O inverso também é verdadeiro; :: põe os formandos numa situação de avaliar o formador e não o contrario; :: não permite fazer conjecturas nem sobre a aplicação real pelo formandos do que aprenderam, nem sobre os efeitos que esta aplicação vai ter para a empresa.

É útil mas não mede os resultados da formação


Formação Pedagógica Inicial Formadores NÍVEL 2 – APRENDIZAGEM

Os formandos adquiriram conhecimentos e know-how. Memorizaram-nos?

7

41 Visa avaliar até que ponto os formandos estão a a dquirir conhecimentos pretendidos e prédefinidos no diagnóstico de necessidades de formação (saber-saber). Trata-se de uma avaliação que tem por objectivo proporcionar ao formando um feedback sobre o modo como ele está a evoluir ao longo do processo de auto-aprendizagem orientada, permitindo a correcção, a reformulação e a melhoria constante dos participantes e a correcção de eventuais fragilidades. A avaliação formativa permite ao formador aferir os progressos do formando na aprendizagem e, simultaneamente, assegurar a interactividade deste com o sistema formativo. Este tipo de avaliação pretende ainda desenvolver no formando capacidades e interesses (além de recursos metodológicos) capazes de sustentar a autonomia na aprendizagem.

Esta avaliação mede os conhecimentos adquiridos pelos formandos no fim da formação e pressupõe que tenham sido definidos objectivos baseados em critérios que permitam uma observação e medição.

Os efeitos de qualquer actividade educativa devem poder ser medidos por indicadores, a partir de objectivos definidos previamente por objectivos operatórios. É aquilo que se designa por Referencial de Formação

Vantagens:


Formação Pedagógica Inicial Formadores :: aparentemente é objectivo pois exclui qualquer acção cujas intenções são expressas meramente por programas académicos ou por objectivos imprecisos (do tipo compreender, ou sensibilizar para …); :: é apenas importante aquilo que o formando tenha condições de provar por meio de um acto. Desvantagens: :: não se adequa às formações comportamentais ou mais genericamente às formações de desenvolvimento pessoal, que não têm nem podem ter objectivos pré-definidos em termos de bom, comportamento a transmitir.

Subjectividade da avaliação

NÍVEL 3 – TRANSFERÊNCIA

Os formandos adquiriam capacidades. Aplicam aquilo que aprenderam?

Visa avaliar em que medida os novos conhecimentos adquiridos estão a modificar os comportamentos e, portanto, a ser postos em prática melhorando, assim, o seu desempenho (saber fazer e/ou saber estar).

Este nível de avaliação tem como objectivo melhorar o nível de desempenho e, portanto, de produtividade do indivíduo nas várias competências que compõem o seu perfil funcional - estratégicoconceptuais (saber saber), técnico-profissionais (saber fazer) e sócio-comportamentais (saber estar ou ser).

Procura-se avaliar a mudança de comportamento aduzida pelos novos conhecimentos, isto é, até que ponto estão a ser postos em prática, contribuindo para a melhoria do desempenho. Ou seja,


42

Formação Pedagógica Inicial Formadores visa-se neste nível melhorar o nível de desempenho, da produtividade do indivíduo nas suas diversas competências funcionais, o saber-saber, o saber-fazer e o saber-ser/estar.

Esta avaliação consiste em verificar que efeitos foram induzidos pela formação. Mas também se avalia uma modificação da actividade dos serviços operacionais. Portanto, tanto avalia a capacidade de gestão para valorizar os conhecimentos adquiridos dos formandos, como a própria formação.

10

43

Conclusões: A partir do momento em que se coloca o problema da avaliação da formação fora do campo estritamente pedagógico, deve-se estar consciente e colocar questões que são da ordem da gestão e do sistema de decisão. Este tipo de avaliação (acompanhamento da formação) é apenas um momento forte do processo de aprendizagem que só terá real interesse caso se torne num contributo significativo para um determinado individuo se adaptar activamente no seu ambiente.

Resistência à mudança por parte dos colegas / chefias Ausência de meios para pôr em prática os novos conhecimentos

NÍVEL 4 – IMPACTO

A formação permitiu alcançar os objectivos individuais e colectivos fixados?

Visa avaliar a variação detectada (análise do gap detectado no diagnóstico de necessidades de formação) a partir de indicadores palpáveis.


11

Formação Pedagógica Inicial Formadores Embora não esteja generalizada a utilização deste referencial de avaliação, é um facto que o que interessa num processo de formação é saber

até que ponto se vão modificar os

comportamentos e colocá-los ao serviço de um determinado sistema / organização e, portanto, avaliar a variação de indicadores concretos previamente estabelecidos. Procura-se avaliar a variação detectada a partir de indicadores concretos. Determina-se assim as mudanças de comportamento verificadas e a sua colocação ao serviço de determinada organização.

44 Para medir a eficácia registada podem-se usar os seguintes medidores: :: melhor nível de proficiência; :: menor tempo de execução de tarefas; :: menor número de reclamações por unidade de tempo ou serviço; :: melhoria da qualidade dos produtos face aos anteriores; :: modificação dos processos produtivos; :: aumento das receitas por mudanças estratégicas originadas pela formação;

Essa eficácia é, por outras palavras, o Retorno do Investimento. E será pelos resultados registados pelos diferentes indicadores que se pode argumentar que a formação mais do que um custo é um investimento rentável a médio e mesmo a curto prazo.

Este tipo de avaliação pressupõe, naturalmente, critérios previamente definidos em função dos objectivos traçados. Contido, os resultados esperados só serão realmente avaliáveis após um período de vários anos.


12

Formação Pedagógica Inicial Formadores O ROI – Retorno do Investimento em Formação O processo de cálculo do ROI requer o acompanhamento da formação, desde o seu planeamento à sua execução e relaciona os benefícios esperados e reais da formação com os objectivos da empresa e focaliza-se na avaliação das competências com impacto no negócio e na melhoria de desempenho dos trabalhadores.

45 O cálculo do ROI da formação define a situação de partida da empresa ou dos seus trabalhadores relativamente a um conjunto de indicadores: capacidade financeira, índices de produtividade e eficiência, retenção dos trabalhadores, qualidade dos produtos e serviços, satisfação dos clientes, redução das reclamações, práticas de investimento nos recursos humanos, etc. A metodologia ROI permite uma análise cuidada no que respeita à antecipação de determinado problema/oportunidade organizacional, o enquadramento estratégico da empresa e/ou do consórcio de empresas e riscos associados, a análise de custo-benefício; o posicionamento dos stakeholders, do mercado e o impacto no negócio.

A metodologia focaliza-se: :: Na distinção entre benefícios tangíveis e intangíveis e no isolamento dos efeitos decorrentes da formação (através de técnicas de estimativa de impacto, grupos de controlo e feedback dos clientes) :: No levantamento das mudanças de desempenho (três, seis meses ou 1 ano após a formação) :: Na tradução das novas competências em unidades de medida; na determinação do valor associado a cada unidade de medida; no cálculo do valor mensal e/ou anual associado às melhorias.

Em suma, trata-se de aferir a percentagem de melhoria atribuída à formação e converter os benefícios em valores monetários.

Em suma, as funções avaliativas no âmbito de qualquer projecto ou programa de formação devem constituir-se como verdadeira consciência crítica do mesmo e, paralelamente, como elemento de controlo da qualidade do seu desenvolvimento e respectivos resultados.


13


2. Nota final – O Novo Papel da Formação Se o acto de avaliar em si só já é difícil devido à enorme subjectividade que ele encerra, ainda se agrava mais quando, em alguns casos, se faz formação sem saber para quê! O que se pretende com a formação? Como foram determinadas as necessidades? São questões para as quais nem sempre encontramos resposta. Se não se sabe o que é que se pretendia, como será possível medir se se atingiu

46

o que quer que seja. Para avaliar é preciso ter definido o ponto a que se quer chegar.

A avaliação procura analisar até que ponto a formação atingiu os objetivos pretendidos que, naturalmente, terão implicações no que é produzido pela organização e, claro, reflexos no cliente. Mas será que algum responsável da formação será capaz de responder claramente a esses reflexos? Parece ter chegado o momento de conceber um processo de avaliação da formação, sem deixar de considerar que ele implica a definição clara dos objectivos a avaliar, assim como todas as suas interacções e, para isso, é importante diminuir a pressão que muitas vezes é dirigida aos responsáveis da formação para que não seja alterada a essência da avaliação e aniquilado o processo avaliativo.

Se a necessidade da formação é grande, a de avaliar é ainda maior, mas é preciso não esquecer que a avaliação está inserida numa determinada situação e não pode ser compreendida ou julgada senão em relação a essa situação com a qual está em interacção. Mas a tarefa não é fácil porque à medida que se vai avançando na avaliação mais questões vão aflorando, porque qualquer juízo sobre o formando exige fundamentação, e a avaliação terá forçosamente de assentar na observação e na explicação. Será que faz sentido falar da avaliação daquele que aprende sem analisar a própria instituição onde a formação se insere, e o mesmo é dizer, todos os seus intervenientes sem excluir os fatores contingenciais? Após um curso de formação de vendedores, por exemplo, o mercado pode encontrar-se em grande expansão e as vendas aumentarem fortemente, ou pode haver recessão e as vendas diminuírem. Será que neste caso é possível dizer simplesmente que as vendas diminuíram ou aumentaram por causa da formação? Mas há muitas mais questões a considerar: Que importância tem a instituição que desenvolve a


15

Formação Pedagógica Inicial Formadores formação? Que importância tem no êxito ou no insucesso dos resultados, o recrutamento, o funcionamento, a selecção ou a organização da formação? Há uma série de características próprias em interacção que nalgumas situações são fundamentais para se compreender os resultados. A dificuldade ainda é maior numa altura em que a escola se instala na instituição e aquela lhe serve de modelo, e quando se reconhece a necessidade e a importância da individualização da formação.

47

Em muitas dezenas de acções de formação que tratam o tema Avaliação, tem sido solicitado aos participantes na acção, formadores e professores, para, numa escala de 0 a 20, classificarem uma determinada composição. Tem sido enorme a disparidade de notas que têm sido atribuídas. A maior disparidade foi de 4 a 19 valores e verificou-se num curso de pós-graduação num estabelecimento de ensino universitário. É curioso e não deixa de fazer reflectir. Classificado por um, o trabalho era brilhante. Classificado por outro era mau. Noutros locais onde a composição tem sido classificada, as disparidades andam sempre em cerca de 7 a 10 pontos, e quando se pede às pessoas para darem a sua opinião sobre a classificação que atribuíram, referem-se a vários aspectos como: a letra, estrutura, número de linhas pré-definido, erros de ortografia, palavras desadaptadas da situação, etc.

Curiosamente, numa boa parte das explicações dadas, o conteúdo tem pouco peso. Assim continua a ser feita a avaliação...

IMPACTO DA FORMAÇÃO NA ORGANIZAÇÃO

Na avaliação devem considerar-se as reacções: :: dos formandos e do formador; :: os resultados da aprendizagem;

Mas também e, sobretudo, :: os resultados da formação no posto de trabalho;


16

Formação Pedagógica Inicial Formadores :: os resultados da formação ( o seu impacto) ao nível da organização. É preciso não esquecer que a formação só tem utilidade se acrescentar valor àquilo que é produzido, e quando ela é bem sucedida verificam-se resultados a três níveis: :: Nas novas competências, conhecimentos ou atitudes que são adquiridos a partir da formação; :: Na mudança comportamental - as competências, conhecimentos ou atitudes são

48

transformadas em comportamentos; :: Na tradução em valor acrescentado à organização.

Pensar e repensar o papel do educador é uma exigência permanente. Bill Gates afirma, no seu livro “Rumo ao Futuro” que “ os educadores tal como tantos profissionais na economia actual são, entre outras coisas, facilitadores. Estes educadores tal como muitos outros trabalhadores semelhantes, terão de se adaptar e readaptar às condições em mudança. Todavia, ao contrário de outras profissões, o futuro do ensino parece ser extremamente brilhante. Os educadores que levem energia e criatividade para a sala vão prosperar ”.

Ainda segundo Bill Gates “atualmente os testes são bastante depressivos para muitos alunos ”. Estão associados à frustração: “Tive má nota”, ou “não tive tempo”, ou “não estava preparado”. Passado algum tempo, muitos alunos a quem os testes não correram bem, podem pensar por si próprios: “É melhor fingir que os testes não são importantes para mim, porque nunca consigo ter boa nota”. Os testes podem fazer com que um estudante desenvolva uma atitude negativa para com a educação. A rede interactiva permitirá uma auto-avaliação sem correr riscos. Os testes passarão a constituir uma parte positiva do sistema de aprendizagem. Um erro não provocará uma reprimenda: dá início ao sistema que irá ajudar a ultrapassar o engano. Deverá haver uma menor apreensão relativamente aos testes formais e menos surpresas, porque o auto-exame dará a cada indivíduo um melhor conhecimento sobre a situação. Cada elemento começa por fazer um teste de avaliação para determinar que assuntos conhece e o que necessário aprender. O sistema cria depois uma lição personalizada. Testes periódicos verificam o


17

Formação Pedagógica Inicial Formadores progresso, e o plano da lição pode ser modificado à medida que vão sendo dominados os conceitos. O programa também pode indicar eventuais problemas ao instrutor, que depois dá a cada participante uma ajuda individual. Até agora, a empresa descobriu que os elementos de programas-piloto com nova tecnologia gostam do novo material de aprendizagem, mas os grupos com maior êxito são aqueles em que o instrutor está mais disponível. Estes resultados realçam a ideia de que a nova tecnologia, por si só, não é suficiente para melhorar a formação.

49

Definir a meta onde se pretende chegar, é o factor principal, porque só assim é possível saber quais são as necessidades de formação que é preciso satisfazer para se conseguir o que se pretende. É, pois, importante considerar os seguintes factores: Organização da Acção :: Organizar uma acção de formação será uma solução melhor do que outras alternativas? :: Será possível solucionar as carências com uma acção de formação? Porquê? 18

:: Que resultados se prevê que venham a ser atingidos com a acção de formação? :: Será que a diferença que advém da formação compensa o investimento na mesma?

Concepção do Programa Para a concepção do programa é importante auscultar especialistas para que, de acordo com as necessidades, se possam pronunciar sobre qual o melhor tipo de programa, se o programa escolhido será melhor que outros, e se será suficientemente bom para se avançar com ele. Nesta fase pode também fazer-se a auscultação dos participantes quando os mesmos têm uma boa percepção dos assuntos do programa.

Realização da Acção Através da observação da folha de presenças, da auscultação do formador e dos formandos, da análise de ocorrências, do ambiente reinante no grupo, é possível avaliar se o programa está a decorrer conforme previsto, se os tempos estão a ser respeitados, se os formandos gostam da acção, se os custos estão a decorrer como o previsto. Enfim, tudo o que permita saber o que se está a passar


Formação Pedagógica Inicial Formadores de facto. Resultados no Final do Curso O que é que os participantes adquiriram?

Poderá conseguir-se obter esta resposta através da observação, da simulação, da auto-avaliação, ou ainda da análise por amostragem de alguns produtos do trabalho desenvolvido. 19

Resultados de Utilização :: Que conhecimentos retiveram e como estão a ser utilizados assim como as competências e atitudes apreendidas? :: Que parte do conteúdo está a ser utilizado?

Esta avaliação poderá ser feita através de relatórios individuais dos colegas e das chefias, dos incidentes críticos, da observação e da análise por amostragem de alguns produtos.

Impacto da Acção :: O que é que a organização beneficiou? -> Quanto ganhou em termos práticos? -> O que é feito pelos formandos finda a acção? -> Melhorou a qualidade do serviço? Aumentou a produtividade? Foram minimizados os custos? Esta avaliação pode ser feita, por exemplo, através da observação da quantidade produzida e dos defeitos mais frequentes antes e depois da formação, da análise de documentos, de processos concluídos e, ainda, das vendas, etc.

Impacto no País ou na Região Esta deveria ser uma avaliação feita pelos organismos públicos, devendo analisar até que ponto o desemprego diminui na área em análise e se a influência da formação foi ao ponto de gerar riqueza, aumentar as exportações, etc.


50


Sejamos realistas, o papel do formador é imprescindível e reforça-se com as auto-estradas da informação, mas é necessário que ele não se acomode, por isso se lhe exige que seja capaz de, entre outras coisas e em conjunto com os organizadores da formação, minimizar a subjectividade da avaliação, e a definição prévia de critérios rigorosos pode contribuir decisivamente para isso.

51

Há dois tipos de pessoas:

Aquelas que dividem as pessoas em dois tipos e aquelas que não dividem.

DESVIOS À FORMAÇÃO Com base no exposto sobre o Processo de Avaliação da Formação, importa ainda salientar a possibilidade de ocorrência de desvios à formação prevista, bem como as respectivas formas para solucionar o problema e evitar esses mesmos desvios.

1. Objectivos que se verificou serem difíceis de alcançar 

Deverá então reformular a definição desses objectivos.

2. Distribuição do tempo mal calculado


M8_Avaliação Da Formação e Das Aprendizagens

Recommend Documents