Medição de L&D: das luzes da rua aos holofotes

13 de maio de 2025

4

Encontre seus holofotes de medição de L&D: comece com o objetivo de negócios

No artigo anterior desta série, exploramos o efeito Streetlight através da antiga história de um bêbado procurando sua chave sob a luz da rua, em vez de onde ele a perdeu. A medição de L&D geralmente luta com seu próprio efeito de luz da rua: medindo onde eles podem, em vez de onde deveriam.

É importante ter em mente que medimos e avaliamos o aprendizado por diferentes razões. Você pode fazer uma melhoria contínua de seus programas, provar a conformidade ou medir o efeito (incluindo ROI). Saiba o seu motivo primeiro antes de começar a medir!

Então, como escapamos do feitiço da luz da rua em L&D? O primeiro passo é mudar onde começamos nossa pesquisa. Em vez de projetar um treinamento e depois perguntar: “Okay, como medimos seu impacto?”, Vire o roteiro: comece com o fim em mente. Identifique qual resultado comercial você está tentando alcançar e deixe isso impulsionar o design de treinamento e o plano de medição.

Construindo uma estratégia de dados para trás

Começar com o objetivo dos negócios e trabalhar para trás pode parecer óbvio para alguns, mas representa uma grande mudança. Surpreendentemente, menos de 4% das empresas dizem que projetam programas de aprendizagem com base em métricas específicas e definidas antecipadamente (1). Os 96percentrestantes? Muitos criam programas com base nas necessidades ou solicitações percebidas, entregam o treinamento e só então pensam em avaliação (se é que existe). Ao não assar a medição na fase de design, as equipes de L&D “não têm como medir seus esforços além do básico”, daí a dependência excessiva dessas métricas fáceis de pós-hoc (1).

Começar com o objetivo de negócios significa esclarecer como é o sucesso em termos organizacionais. Por exemplo, se a empresa pretende reduzir os incidentes de segurança em 20%, essa é a sua estrela do norte. Com isso em foco, você pode trabalhar para trás:

Quem pode reduzir os incidentes de segurança? Direta e indiretamente? (Pode ser necessário escolher seu público -alvo com o impacto mais significativo, como você não pode servir a todos.)
Quais comportamentos precisam mudar para atingir essa redução de 20%?
Quais funcionários (público) precisam adotar esses comportamentos?
O que está impedindo -os atualmente (lacunas de habilidade, conhecimento, motivação, questões de processo)?
Somente então decida se o treinamento faz parte da solução e, nesse caso, projete a intervenção para atingir esses comportamentos.
Fundamentalmente, você também identifica os indicadores de desempenho -chave (KPIs) na frente – nesse caso, a taxa de incidentes de segurança – e planeja rastreá -lo. Sua abordagem de medição pode envolver a coleta de dados de segurança da linha de base e compará -los após o treinamento (e talvez contra um grupo de controle ou uma linha de tendência) para ver se a agulha se movia. Você também pode planejar observações ou avaliações no trabalho para verificar se os funcionários seguem novos procedimentos de segurança (uma medida de comportamento direto).

Essa abordagem às vezes é chamada de “design atrasado”. Garante que o treinamento não seja um tiro no escuro. De fato, pode revelar que o treinamento não é a solução certa. Talvez a causa raiz do problema seja um processo quebrado, a falta de ferramentas adequadas ou um sistema de incentivo que recompensa os comportamentos errados. Nesses casos, a solução pode ser algo fora do treinamento tradicional (por exemplo, corrigindo o processo ou fornecendo auxílios ao trabalho). Ao começar com a meta comercial e uma análise completa das necessidades, a P&D pode evitar desperdiçar esforços em programas de treinamento que iluminam a luz no lugar errado.

Alinhamento com o negócio

A nova pesquisa da Affiliation for Expertise Growth descobriu que apenas 43% dos profissionais de desenvolvimento de talentos dizem que seus objetivos de negócios e aprendizado estão alinhados (2).

Quando a L&D faz esse design alinhado aos negócios, a medição se torna muito mais direta. Você outline metas claras (os KPIs ou mudanças de comportamento) e coleta dados sobre esses alvos. Você não está pesquisando sem rumo; Você tem um mapa que aponta para o parque onde as chaves foram perdidas, mesmo que esteja escuro no começo.

Com o tempo, essa prática também gera credibilidade. Os líderes empresariais veem a L&D com foco nos resultados com os quais os líderes se preocupam (por exemplo, crescimento de vendas, melhoria da qualidade, redução de rotatividade) em vez de relatar quantos funcionários participaram de um curso ou viram um recurso. E quando um treinamento não atinge o resultado desejado, é uma oportunidade de aprender e ajustar, em vez de um motivo para se esconder atrás das métricas de vaidade.

A medição deve ser sobre aprender o que funciona e o que não funciona, não apenas provando sucesso. Quando a L&D se concentra principalmente no que acontece após qualquer evento de aprendizado para garantir o resultado desejado, ele muda de um centro de custos sob o posto de rua para um parceiro estratégico que iluminou informações orientadas a dados que as empresas podem usar para tomar decisões.

Estruturas e modelos para orientar a medição de L&D: Kirkpatrick, ROI e LTEM

Felizmente, os profissionais de L&D não estão inteiramente navegando no escuro. Existem modelos e estruturas estabelecidas para avaliação do treinamento que agem como sinalizações (ou talvez diferentes tipos de lanternas) para orientar nossos esforços de medição (3). Três dos principais são os quatro níveis de Kirkpatrick, o modelo Phillips ROI e o modelo de avaliação de transferência de aprendizado (LTEM). Cada um oferece uma lente sobre o que medir, e juntos eles nos empurram para ir além das métricas fáceis.

Os quatro níveis de avaliação de Kirkpatrick são os mais conhecidos e bem documentados, então não vou gastar tempo aqui. O desafio que vi com o modelo está na implementação prática no aprendizado do native de trabalho: a P&D começa com a avaliação de nível 1 e geralmente fica presa lá. Mesmo ao chegar ao nível 2 (aprendizado), a medição é frequentemente sobre recall de curto prazo (ou pior, memorização mecânica durante um curso).

Jack Phillips, através do Instituto ROI, adicionou um ROI de nível 5: no topo do modelo de Kirkpatrick. O ROI (retorno do investimento) pergunta essencialmente: o treinamento vale a pena financeiramente? O modelo Phillips envolve o cálculo dos benefícios monetários do treinamento e compará -los com os custos, produzindo uma porcentagem ou proporção de ROI (4). Por exemplo, se um programa de desenvolvimento de liderança custar US $ 100.000 e levar a cerca de US $ 300.000 em melhoria de produtividade ou vendas, o ROI seria de 200%. Isso agrada aos executivos porque fala a linguagem das finanças.

O cálculo do ROI para cada projeto pode ser complicado e às vezes controverso: isolar o efeito do treinamento em termos de dólares envolve algumas suposições. Phillips defende técnicas como converter métricas de melhoria em dinheiro e até pedir aos participantes que estimassem quanta melhoria foi devido ao treinamento (e depois descontente o otimismo). O argumento mais importante para mim é que isso enfatiza que nos preocupamos com os resultados, não apenas a atividade. O Instituto ROI agora também possui TDRP como um conjunto padrão de biblioteca de medições. Confira (5)!

Kirkpatrick e Phillips destacam um ponto -chave: a avaliação do treinamento não está concluída até que você analisasse o impacto no trabalho e na organização. Ou, em outra maneira, mudou o comportamento e isso importava para o negócio?

O modelo de avaliação de transferência de aprendizado

Nos últimos cinco anos, tenho implementado um modelo mais recente, o modelo de avaliação de transferência de aprendizado (6). O LTEM foi desenvolvido por Will Thalheimer como uma resposta às deficiências que viu nas práticas comuns de medição. É um modelo de oito camadas que se concentra explicitamente na transferência de aprendizado, significando: as pessoas estão realmente usando o que aprenderam?

Os níveis mais baixos do LTEM (camadas 1 e 2) abrangem coisas como participação e participação: basicamente, as pessoas apareceram ou completaram a atividade de aprendizado? Por exemplo, estamos medindo o engajamento (definido como foco estendido na tarefa) nos componentes do Nível 2 a 3: físico (o que eles fazem), emocional (como eles se sentem ou como se conectaram) e cognitivos (quanto são desafiados e refletem). O nível 3 é a percepção do aluno, assim como o nível 1 de Kirkpatrick, mas com o LTEM, implementamos um novo conjunto de perguntas que são focadas no desempenho e giram em torno dos fatores de comportamento (mojo: como na motivação, oportunidade, capacidades de trabalho e resultado).

Os níveis 4-6 examinam o que foi aprendido de uma maneira mais substantiva, desde a simples retenção de fatos até a demonstração de habilidades em cenários realistas (execução de tarefas). Ainda assim, eles são frequentemente medidos em um contexto de treinamento (testes, simulações) – importante, mas ainda não o mundo actual. O nível 7 é onde a mágica acontece: mede a transferência de aprendizado – estão os alunos que se apresentam corretamente no trabalho (7)?

A mudança de comportamento não acontece por acaso

O LTEM Tier 7 corresponde à mudança de comportamento no trabalho, semelhante ao nível 3 de Kirkpatrick, mas com ênfase na avaliação diretamente do desempenho no ambiente de trabalho. Finalmente, o Tier 8 analisa os efeitos desse desempenho melhorado em resultados mais amplos – basicamente o impacto organizacional, semelhante ao nível 4 de Kirkpatrick (e até além, a efeitos sobre os colegas ou clientes).

Uma das razões pelas quais escolhemos o LTEM é sua visão diferenciada e mensagens sobre o que importa: ele destaca o fato de que o valor do treinamento vem do que acontece após o treinamento. Juntamente com o design de trabalho mencionado anteriormente, este modelo fornece orientação prática para todas as funções de P&D para fazer a diferença. Mais sobre isso no próximo artigo.

Isolando o impacto do treinamento: medição de L&D

Uma das principais barreiras mencionadas pela Pesquisa ATD é que os profissionais da L&D acham que é muito difícil isolar o impacto do treinamento. Concordo. Eles não estão errados. E é por isso que eu recomendo fortemente não apenas medir, mas projetar qualquer soluções para trás: começando com a meta comercial e o retorno desejado (ou quaisquer outros efeitos indiretamente relacionados às principais métricas), as metas de desempenho de apoio, o público que pode fazer isso acontecer e depois aos comportamentos. Se não houver mudança de comportamento, não há impacto.

Independentemente do modelo de medição ou estrutura que você usa, a aplicação da cadeia atrasada da empresa facilitará a isolamento do impacto do aprendizado. Mas e a falta de tempo, recursos e experiência para fazer isso em escala? No próximo artigo, remaining, veremos como a IA pode ajudar e como diferentes funções de L&D podem se beneficiar.