Mensuração de T&D – Modelo Kirkpetrick

imagem de uma mulher em frente ao fundo amarelo. A mulkher segura o tablet na altura do rosto e no tablet temos ícones de satisfação e inssatisfação que lembram uma avaliação de reação.
Fonte: Freepik

Como fazer?

Avaliar os dados de uma formação é importante e, geralmente, vão além dos indicadores passados pela própria plataforma de aprendizagem, que são um excelente meio de se acompanhar a eficácia de uma formação, a ideia é ir além e aplicar avaliações que estejam presentes no antes, durante e após uma formação.

E para dar embasamento para falar a respeito desse modelo de medição, abordaremos neste artigo rapidamente os 4 níveis de avaliação no modelo Kirkpatrick. Entre os modelos propostos temos: A avaliação de reação, A avaliação de aprendizagem, A avaliação de comportamento e por fim, a avaliação de resultados.

A aplicação dos 4 modelos de avaliação previstos na metodologia Kirkpatrick é interessante, pois permite à organização entender se os programas de treinamentos da empresa estão dando retorno de acordo com o investimento. Por isso, adotar essas avaliações em suas formações é uma boa ideia, para avaliar metas cumpridas versus eficácia.

  •   O primeiro modelo de avaliação que conheceremos é o de reação:

Como o nome sugere, essa avaliação está mais voltada a entender a opinião e percepção dos estudantes acerca do programa de formação que foi disponibilizado. Digamos que a empresa está fazendo uma avaliação de experiência do usuário. Neste sentido, respostas dos alunos dos cursos servirão como guia para entender o que deve, ou não, ser melhorado no curso a partir das compreensões de gaps e falhas.

No modelo Kirkpatrick essa avaliação possui três níveis ou dimensões: O primeiro está relacionado à satisfação do cliente, o segundo está relacionado a relevância e o terceiro está relacionado ao engajamento.

E é aqui que a organização vai avaliar itens como didática do instrutor, tecnologia, qualidade dos materiais, organização lógica do conteúdo, entre outros. O que fará com que a organização tenha em mãos um relatório completo da impressão da turma.

Essa avaliação geralmente é aplicada apenas no final de módulos, ou do curso, como um todo e o usuário não precisa se identificar, a ideia é que ele fale abertamente o que achou do programa.

  •  O segundo modelo de avaliação, conheceremos a de aprendizado.

No segundo nível, a avaliação visa identificar o que realmente foi aprendido pelos alunos, medindo seus conhecimentos, habilidades e atitudes pós formação, e comparando-os com o ideal esperado pela organização.

Apesar de parecer uma avaliação simples, dentro da metodologia kirkPatrick ela não é. Aqui, fugir da subjetividade e documentar tudo é lei! Neste sentido, ela deve ser pensada de forma a comprovar se as condições adequadas de aprendizagem foram alcançadas, seja no âmbito do aprendizado individual, no âmbito do aprendizado social ou em grupo.

Ela é uma excelente ferramenta que permite que o colaborador seja avaliado tanto no decorrer da formação quanto ao término dela, por meio de testes, quizzes e resolução de cases.

A ideia é entender, através das atividades avaliativas propostas, o grau de aproveitamento do aluno em relação a todos os aspectos da formação, como forma de aprimorar as competências já existentes.

Cuidado! Ela tem que ser bem pensada, bem planejada e não deve levar em conta apenas o resultado, mas também o perfil de cada aluno e da própria formação.

  •  Um terceiro nível de avaliação, nessa metodologia, é a avaliação comportamental.

A ideia é avaliar o que de fato aconteceu com o colaborador durante a formação e quais mudanças de comportamento existem de fato, ou seja, o objetivo é identificar se os comportamentos estão aderentes ao conteúdo aprendido no curso.

Neste modelo de avaliação questionamos o aluno acerca do tempo de assimilação do conhecimento, bem como verificamos a aplicação do conhecimento em suas atividades laborais diárias, permitindo identificar se a organização possibilitou tais aplicações ou não.

Podemos, também, avaliar o comportamento de liderança como fontes de engajamento do seu time, na realização e aplicação dos aprendizados dos cursos no dia a dia.

Diferente dos modelos anteriores em que o aluno recebia um formulário em mãos ou eletrônico para imputar suas respostas, nesse modelo ocorre a observação. Envolve a chefia e, até mesmo, as demais áreas internas atendidas pelo colaborador, primeiro para colher o feedback das atividades e para, em seguida, entrevistar o aluno.

Essa avaliação ainda é composta pelo que chamamos de ‘drives necessários’, que na prática dizem respeito aos processos e sistemas que reforçam, apoiam e até mesmo monitoram a mudança de comportamento durante as atividades laborais, em alguns casos até recompensa.

Para que ele ocorra o colaborador deve se enquadrar em alguns critérios: Estar engajado e com mentalidade de melhoria, precisa ter acesso facilitado às ferramentas. A cultura da organização deve estar focada no aprendizado contínuo. 

Esse modelo de avaliação é muito aplicado pela liderança imediata, com o retorno dos colaboradores, após formações, às posições de trabalho.

  •  E o quarto nível compreende a Avaliação de resultados.

Se a organização cria uma formação de aprendizado, certamente está focada em resolver alguma dor que a impede de alcançar melhores resultados. Pois bem, essa avaliação é o que vai permitir que a organização metrifique os ganhos pós formação, medindo assim sua eficácia ou não eficácia.

Essa é uma etapa bem complexa de avaliar, mas pode ser iniciada medindo se houve ganho de tempo na execução das tarefas pelos colaboradores após o treinamento, ou se ocorreu a redução de acidentes.

Outra forma de avaliar a eficácia de uma formação é pela comparação de períodos, através dos dados específicos e indicadores de pré e pós treinamento. Esse formato é interessante, possibilita identificar gaps que podem ser trabalhados em formações de reciclagem ou em pequenas ações ‘on the job’.

É importante identificar os principais dados a serem analisados, o que certamente foi aplicado ou selecionado na fase de análise da formação, seja por uma matriz GUT ou mesmo um Paretto que determinaram os temas que receberiam maior e menor atenção.

Além disso, compare os dados estatísticos do LMS (sistema de gestão de aprendizagem), para entender o desenvolvimento do aproveitamento do aluno no decorrer do processo

Lembre-se que essa avaliação em especial está muito vinculada ao ROI (Retorno do Investimento), junta com as demais, permitirá que a organização e as áreas tenham uma visão ainda mais detalhada dos indicadores, das dores e dos acertos permitindo uma nova tomada de decisão baseada em dados mais eficazes que, consequentemente, trarão mais resultados para organização.

 _________

Muita coisa tem que ser observada quando pensamos em mensurar um programa de treinamento. Não podemos ficar presos apenas nas avaliações somativas, mais voltadas ao conhecimento e muito menos presos, apenas, aos dados das avaliações de reação e aos dados do LMS.

Avaliações, como as de comportamento que partem da observação do colaborador em seu ambiente de trabalho, somada às avaliações de resultados que comparam períodos e, para além deles, compreendem as novas necessidades e suas soluções, são extremamente importantes para o sucesso da organização.

 Para saber mais sobre como planejar as avaliações e realizar o acompanhamento dos dados da área de treinamento da sua organização, fique atento aos conteúdos da Lógos Edtech.

E para soluções eficientes e eficazes, para sua organização, entre em contato com nossos consultores através do e-mail [email protected].

Eficácia do curso online – Como acompanhar a pós aplicação?

mesa com  note book aberto com gráficos e mãos apontando.
fonte: Freepik

Trabalhar com o desenvolvimento de cursos, em uma primeira olhada (desavisada), pode parecer muito simples. Afinal, a pessoa do T&D vai aplicar aqueles treinamentos que são obrigatórios por Lei, ou que são indicados pelas áreas internas e pronto, está tudo resolvido.

 Só que a verdade não é bem essa!

Para que um curso seja eficaz, antes mesmo de iniciar o seu desenvolvimento, a sua produção, precisamos entender as dores do negócio e os contextos de aplicação. E isso é feito a partir da análise de dados demográficos do público-alvo, para o qual o curso é indicado, junto a outros indicadores e relatórios que apontem desvios em determinados procedimentos ou comportamentos.

Nesse primeiro passo, que a pessoa que trabalha com o T&D faz, é entender o contexto do curso. Para quem ele será aplicado? Qual a faixa etária? Qual a escolaridade? Qual a demografia: porcentagem de homens e mulheres? Qual a vivência e letramento digital? Linguagem mais indicada para uso nos materiais, entre outros.

Uma vez que a persona esteja mapeada, se faz necessário entender (nos indicadores), quais são as dores, os problemas e, principalmente, a causa desses problemas. Essa causa geralmente é identificada no uso de dinâmicas de focus group com o público-alvo, na aplicação de pesquisa survey, na análise dos relatórios e planejamentos de ferramentas como PDCA e SDCA e, até mesmo, em um gráfico de Ishikawa. E, claro, ao ouvir os feedbacks apresentados pelos superiores dos setores.

Somente com todos esses dados em mãos, essa pessoa de T&D, que geralmente é o Designer Instrucional, estará preparado para desenvolver uma solução instrucional e de aprendizagem que seja significativa e que resolva os principais problemas identificados pelos envolvidos no projeto.

DICA: Usar a matriz GUT ou gráfico de Pareto para priorizar os tópicos a serem tratados, pode ser uma boa nessa hora.

Fiz análise de contexto, e agora?

Agora é a hora de colocar a mão na massa e escolher os recursos (vídeos, videoaulas, simuladores, telas interativas, one pages, games…) levando em consideração a persona mapeada e os dados que serão gerados por esses recursos dentro do LMS (Plataforma de ensino), para acompanhamento do desenvolvimento da turma.

Arquivos com empacotamento scorm, que é um padrão de empacotamento criado para mapear as ações do aluno dentro de uma jornada de aprendizagem on-line, permitem receber de imediato alguns status como: iniciado ou não, completo ou incompleto, aprovado ou reprovado, média de aproveitamento, tempo de realização do curso e até mesmo o número de tentativas.

Além desses, temos os recursos que são adicionados diretamente no LMS (Plataforma de ensino), e conseguimos dados indicando se o aluno fez o acesso ou até mesmo o download. E quando pensamos em avaliações e quizzes, temos acesso as notas e os acertos e erros.  Além disso, escolher uma plataforma mais robusta e que seja compatível com mais objetos de aprendizagem e que possua, por sua vez, mais plugins para relatórios pode ser uma boa pedida.

Quando a formação acontece de forma presencial, temos que ter em mente a análise do instrutor e a sua percepção sobre o andamento de cada aluno no decorrer da formação. Avaliações, testes e dinâmicas, serão os principais balizadores de desenvolvimento neste sentido, fazendo com que o instrutor entenda o que precisa, ou não, ser calibrado no decorrer do curso.

 Produzida as mídias para o curso on-line, o que fazer?

Agora é atuar forte na tutoria humanizada. Mesmo para aqueles cursos que sejam voltados a um perfil mais alto instrucional, motivar o aluno para participar de fóruns e chats também pode ser um excelente meio de perceber o seu desenvolvimento acerca do tema proposto na formação. 

Além disso, o ritmo de entrega da turma e de participação nas atividades, atrelados as notas de avaliações somativas e até mesmo de avaliações de reação (que são mais voltadas a avaliar o curso e seu ambiente), resultam em dados importantes para entender a eficácia do curso para toda a turma e para os alunos de forma individualizada.

Uma vez que é perceptível que os alunos não estão entregando as atividades ou reprovando nelas, é chegada a hora de analisar o que se passa. Uma pesquisa diretamente com alguns alunos pode ser fundamental para o sucesso de um curso. Afinal o que faz sentido para um, pode não fazer sentido para outro. Se o aluno for reprovado, pode ser um indício de que o curso não atendeu as expectativas ou que não fez sentido para os estudantes repetentes. Entender os contextos de impedimento de aproveitamento, que podem estar relacionados a tempo, complexidade de entregas, aulas ao vivo mais curtas, entre outros, é fundamental e deve acontecer antes de pedir para que o aluno realize novamente a formação.

Já para os alunos que forem aprovados, o teste de fogo começa com seu retorno nas operações. É importante observar, não só o rendimento do colaborador de forma individual, mas os indicadores da área como um todo. Indicadores melhores e comportamentos mais aderentes podem ser sinal de que o curso foi eficaz. 

Em resumo, para saber se um curso é mesmo eficaz, antes temos que ter em mente, de forma clara, o porquê de o curso ser aplicado; para, ao final, saber avaliar se os comportamentos e erros foram sanados. Esse processo de retorno à operação é o que chamamos de ROI, pois ele vai impactar diretamente nos indicadores, que consequentemente batem no financeiro. 

Se você quiser saber mais sobre análise de eficácia de treinamento, fique de olho nos conteúdos que traremos em nossas redes sociais, ou entre em contato pelo e-mail [email protected].