MODELO LÓGICO PARA AVALIAÇÃO DE TREINAMENTO
Publicado em 13 de setembro de 2011 por sonia maria souza damasceno
SONIA DAMASCENO GARDÊNIA ABBAD PEDRO MENESES
Resumo
Nas últimas décadas, a área de treinamento, desenvolvimento e educação de pessoas avançou teórica e empiricamente, mas de forma desigual em relação aos principais componentes tradicionalmente enfocados por teóricos e profissionais. Sobretudo a baixa produção no avanço das pesquisas sobre a temática de avaliação de necessidades, essencialmente no concernente à etapa da análise organizacional, momento em que os objetivos educacionais de treinamentos são vinculados às metas individuais, grupais e organizacionais de desempenho, tem sido apontada como um dos principais motivos que tanto dificultam a avaliação de resultados em níveis de análises mais abrangentes. De fato, a maior parte das pesquisas da área de avaliação de treinamento, tema central deste estudo, concentra esforços no nível individual de análise, como se fosse garantida a emergência de resultados deste nível para outros mais elevados. Nesse sentido, esta pesquisa buscou testar a avaliabilidade da avaliação de um treinamento sobre o desempenho de uma determinada organização do setor público federal. Mais especificamente, propôs-se a discutir a utilização de uma ferramenta extraída da literatura de avaliação de programas sociais, denominada de modelo lógico, na preparação de avaliações de efeitos nos níveis de grupos e organizacional, bem como sua incorporação às práticas de análises organizacionais em processos de avaliação de necessidades de treinamento. De abordagem qualitativa, delineamento correlacional e corte transversal, a pesquisa foi operacionalizada em quatro etapas. Na primeira, por meio da realização de entrevistas coletivas com 11 funcionários, buscou-se construir e validar o modelo lógico de curso anteriormente selecionado. Em seguida, uma entrevista com funcionário competente foi executada a fim de que indicadores de desempenho organizacional mais proximalmente associados ao treinamento fossem selecionados. Na terceira etapa, com vistas à seleção de material para proposição do modelo lógico do curso selecionado, foram entrevistados outros sete funcionários, que também tinham a incumbência de identificar outras variáveis capazes de afetar os desempenhos associado ao curso. Por fim, 28 funcionários participaram de um grupo de foco cujo objetivo consistia na validação do modelo lógico então desenvolvido pelos pesquisadores para o curso identificado. Academicamente, ainda que a avaliabilidade do curso não tenha sido plenamente constatada, a ferramenta modelo lógico, como suposto, serviu aos propósitos de facilitar a clarificação das relações de causalidade e de associação entre os elementos que o compõem ? recursos, atividades, produtos e resultados -, relações essas objetos principais de testes quase-experimentais em processos de avaliação de efeitos de treinamentos. Profissionalmente, a ferramenta, na medida em que exige a integração de percepções sobre como determinado programa ou ação de treinamento se vincula a resultados de desempenho nos níveis individual, de grupos e organizacional, apresentou-se potencialmente capaz de preencher a ausência instrumental constada na literatura relativa à análise organizacional em avaliação de necessidades.
Introdução
A partir da década de 1970, sobretudo incentivada pela abertura econômica promovida pelo regime militar no Brasil, a adoção de inovações tecnológicas e novas formas de gestão da força de trabalho necessárias à sustentação do modelo de substituição de importações passam a provocar aumentos nos índices de produtividade das organizações, bem como profundas alterações no relacionamento entre as empresas e seus principais atores. Atualmente, o mercado de consumo brasileiro, especialmente no caso de serviços de natureza pública, passa a exigir cada vez mais a prestação de serviços de qualidade. Nesse contexto, organizações de natureza e porte diferenciados buscam fazer frente às constantes alterações de cenário político, social econômico etc., que refletem inclusive nas suas proprias condições internas de trabalho, no sentido de compreendê-las e gerenciá-las efetivamente.
No que diz respeito à atuação das áreas responsaveis pelo gerenciamento da forca de trabalho, esse esforco empreendido pelas organizações se traduz em tentativas de captura de conhecimentos estratégicos sobre o meio onde competem, a fim de que, via processos de treinamento, desenvolvimento e educacao (TD&E), possam transformá-los em competências individuais e de grupo necessárias à elevação das taxas de competitividade. O reconhecimento da importância de uma força de trabalho atualizada e facilmente adaptável às constantes alterações de cenário societal faz com que seja aportado para capacitação de pessoas grande volume de recursos financeiros, principalmente em organizações que optaram pela implantação de universidades corporativas com ênfase no ensino a distancia. No Brasil, segundo Eboli (2004), ainda que já se possa identificar um aumento significativo do volume de recursos investido por essas empresas em TD&E, na maioria dos casos, esse investimento agrega pouco valor ao negócio, haja vista estarem desvinculados das estratégias de negócio.
A importância destes processos de qualificação, aliada ao volume de recursos despendidos e às crencas, supostamente corretas, de que pouco retornam para as organizações esses investimentos, aumentam o grau de cobrança por resultados. A avaliação da efetividade de treinamento, assim, apresenta-se como desafio tanto para pesquisadores como para profissionais da área de TD&E, sobretudo se considerado o pouco avanço observado nesse sentido desde o reconhecimento definitivo da área como campo cientifico de estudo há quase meio século. A questão central, assim, é garantir que o desempenho da organização está sendo alterado em consequência da mobilização, por indivíduos e grupos e equipes de trabalho, de conhecimentos, habilidades e atitudes adquiridos em ações educacionais.
Para tanto, é necessária a identificação de elementos que, articulados de forma lógica, viabilizem a proposição de métodos, procedimentos e técnicas que viabilizem a avaliação do impacto de ações de treinamento sobre a efetividade das organizações, primeiro desafio a ser superado pela área. Cientes deste desafio, e ante a baixa taxa de produtividade científica sobre a temática, pesquisadores nacionais como Mourão (2004), Freitas (2005) e Meneses (2007) realizaram pesquisas que revelam achados empíricos importantes para a compreensão da avaliacao de TD&E, bem como a identificação de seus efeitos nos níveis Mudança Organizacional e Valor Final, caracterizados por Amolem (1978) como aqueles mais complexos e abrangentes tipos de resultados almejados por ações de treinamento.
Neste contexto, este estudo tem como objetivo final identificar, por meio do uso de ferramenta gráfica, denominada de Modelo Lógico, frequentemente utilizada na área de avaliação de programas sociais, a avaliabilidade de uma avaliação de uma ação de treinamento nos níveis de mudança organizacional e valor-final. Vale enfatizar que o uso desta ferramenta, um dos aspectos centrais deste trabalho, foi motivada pela estagnação tecnológica, como ressalta Pilati (2006), da produção sobre a etapa de avaliação de necessidades, responsável pelo alinhamento entre objetivos individuais, de equipes e organizacionais de treinamento.
Para o alcance deste objetivo maior, outros específicos foram propostos: i. identificar uma ação de treinamento potencialmente capaz de influenciar determinados indicadores de desempenho individuais e organizacionais; ii. identificar e selecionar indicadores para a avaliação da efetividade da ação identificada; iii. elaborar e validar um modelo para viabilizar a avaliação dos efeitos do treinamento sobre o desempenho da organização estudada; e iv. a, a partir da análise do comportamento dos elementos do modelo lógico do curso selecionado, a existência de evidências de efetividade nesse nível mais abrangente de avaliação.
O contexto da pesquisa foi uma organização estatal, do setor de energia elétrica, com sede no Distrito Federal e atuação na Amazônia Legal. A escolha justificou-se pelo estágio do processo de educação corporativa da Instituição, que possibilitou a consolidação e a disponibilização dos dados necessários à consecução dos objetivos ora informados - um dos pré-requisitos para a realização de estudos desta natureza (avaliabilidade da avaliacao). Nas seções seguintes, apos descrição sintética dos principais avanços e limitações da área de TD&E no tocante à avaliação de efeitos de ações educacionais em termos de resultados organizacionais, são apresentadas as características metodológicas desta pesquisa, bem como seus principais resultados. Por fim, considerações sobre as contribuições e limitações do presente estudo, bem como suas implicações para a prática de treinamento nas organizações são destacadas.
Referencial Teórico
Em um contexto assinalado pela alta competitividade individual e institucional, ações de TD&E, atualmente revigoradas pelos incrementos tecnológicos que tanto têm contribuído para a transformação dos centros tradicionais de treinamento nos denominados centros corporativos de educação, assumem importancia inestimável. Independentemente da estrutura por meio da qual são prospectadas e implantadas soluções educacionais, segundo Abbad e Borges-Andrade (2004), o papel central da aprendizagem obriga as organizações a oferecerem oportunidades capazes de garantir maiores taxas de aquisição, retenção e, principalmente, de transferência de capacidades para as organizações, na forma de melhorias de desempenho individual ou processual. Trata-se, portanto, de estratégias de indução de aprendizagem utilizadas como instrumento para acelerar mudanças nas capacidades e comportamento das pessoas.
Cientifica e profissionalmente, as atividades de TD&E integram um sistema, cujos componentes ? avaliacao de necessidades, planejamento e avaliação de efeitos ? articulam-se endógena, com os subsistemas de gestão de pessoas, e exogenamente, com os demais subsistemas organizacionais. Esta pesquisa concentra-se no ultimo subsistema de treinamento, interessado nos resultados que as ações promovidas geram para indivíduos, equipes, organizações e, até mesmo, para a sociedade. Sobre este subsistema, muitos avanços foram observados, a ponto de o reconhecimento nacional e internacional de que o contexto pós-treinamento é condição necessária, embora não suficiente, para o aprimoramento do desempenho individual no trabalho, ter promovido, definitivamente, a área de avaliação de treinamento à condição de campo científico de pesquisa (Salas & Cannon-Bowers, 2001).
Apesar de relevantes, como apontado por Mourão (2004), a maioria desses avanços se deu em uma perspectiva individual de análise, de forma que não oferecem elementos que assegurem efeitos em níveis mais abrangentes, relativos às unidades de trabalho e a organização. Ou pelo menos, se observados, que se possa atribuir aos programas de TD&E tais efeitos. Meneses (2007) reforça essa tese ao afirmar, a partir de revisão de literatura na área, que pouco se sabe sobre como os treinamentos, comumente delineados para atender apenas necessidades individuais, favorecem a geração de resultados em níveis de analise mais elevados. Entre os estudos que cientificamente buscaram superar tal limitação, têm-se apenas alguns poucos, como os desenvolvidos no Brasil por Borges-Andrade, Pereira, Puente-Palácios e Morandini (2002), Mourão (2004), Borges-Andrade, Pereira e Freitas (2005), Mourão, Borges-Andrade e Sales, (2006) e Meneses (2007). Na literatura internacional, apesar do maior volume de literatura disponível , conforme revisão publicada recentemente no Annual Review of Psychology (Aguinis & Kraiger, 2009), consagrado periódico que reúne, desde a década de 1970, a produção da área de TD&E, esta se concentra no uso de pesquisas de opinião pouco rigorosas do ponto de vista científico. De qualquer forma, merece destaque pesquisa realizada por Saks e Belcourt (1997).
Conforme ressalta Abbad (1999), ainda são poucas as pesquisas sobre transferência de resultados individuais de treinamento para o nível grupal e deste para o organizacional. E isso pode ser explicada por uma série de dificuldades relatadas por Freitas, Borges-Andrade, Abbad e Pilati (2006): i. os sistemas de controle e avaliação organizacional, quando existentes, raramente contemplam indicadores sensíveis à influencia das ações de TD&E no nível da organização; ii. as ações educacionais são, em geral, desenhadas apenas com o foco no nível individual, sem apresentar relação explícita com efeitos organizacionais; e iii. as organizações que possuem uma prática consolidada de avaliação costumam fazê-la apenas em termos de satisfação com o curso, aprendizagem e desempenho individual pós-treinamento. Mourão, Borges-Andrade e Sales (2006) acrescentam a esta lista mais dois complicadores, a saber, a necessidade de condução do estudo em período após a realização do evento, para que haja tempo de se verificar os impactos, e o fato de que nem todos os eventos de TD&E objetivam atingir resultados em níveis mais abrangentes de análise.
Avaliar programas e ações de treinamento nesses níveis mais abrangentes, portanto, consiste em preocupação que urge na área de TD&E. Segundo Pilati (2006), a partir da década de 1990, com o aprimoramento programação multinível de pesquisas, foram desenvolvidos e testados diversos modelos integrados de avaliação da efetividade de programas instrucionais, com resultados suficientes para descrição de um grande modelo geral de avaliação de treinamento que pode ser adaptado para cada realidade organizacional, desde que enfatizados os aspectos relevantes ao contexto sob análise. Resta saber, ante as inúmeras limitações apontadas anteriormente, como adaptá-los a um contexto de treinamento comumente desorganizado e desarticulado. É por tal fator, conforme orientações propostas por Meneses (2007), que se recorreu à literatura de avaliação de programas sociais, que há muito tem enfrentado as mesmas limitações com as quais se depara hoje o campo da avaliação de treinamentos
Mas a adaptação de um modelo geral de avaliação para contextos específicos de treinamento constitui apenas um efeito a ser superado pelo enfrentamento de sua causa original, qual seja a escassa produção nacional e internacional sobre análises organizacionais em processos de avaliação de necessidades de treinamento, cuja principal função implica na articulação de objetivos instrucionais com desempenhos individuais, de grupos e equipes e organizacionais (Ferreira, Abbad, Pagotto & Meneses, 2009). É provável que essa estagnação, também enfatizada por Pilati (2006), decorra justamente do objeto de estudo pretendido em avaliações de resultados mais abrangentes de TD&E ? a efetividade organizacional.
Conforme correntes de estudo mais contemporâneas da temática (e.g., Cameron, 1981; Connolly, Conlon & Deutsch, 1980; Selden & Sowa, 2005; Zammuto, 1984), para as quais a efetividade varia em função dos atores organizacionais e seus principais interesses sobre os rumos e atividades da organização, uma das grandes dificuldades de pesquisas que operem tal construto consiste justamente na caracterização do fenômeno. Identificar esses atores e seus principais interesses não parece ser tarefa fácil, a ponto de emergirem outros complicadores mesmo quando devidamente executada. Entre esses limitadores, destaca-se a necessidade de fazer com que convirjam os interesses dos atores organizacionais e, principalmente, suas crenças sobre como determinado programa ou ação de TD&E se alinha com certo aspecto do desempenho organizacional, amplo o suficiente para dissipar qualquer tentativa de acordo nesse sentido.
Por tais motivos, recorre-se à teoria do programa, mais especificamente à ferramenta de trabalho denominada de modelo lógico, cujo objetivo central é tornar claras as relações de causalidade entre os principais elementos que, no caso deste estudo, integram um programa de TD&E (recursos, atividades, produtos, resultados e variáveis intervenientes). Vale enfatizar que são essas relações de causalidade, negligenciadas em processos de avaliação de necessidades de treinamento, que compõem iniciativas de investigação avaliativa de efeitos em níveis mais abrangentes de análise. Mas para que tais relações de causalidade possam ser pesquisadas, etapas anteriores de trabalho, como recomendam McLaughlin e Jordan (2004), devem ser cumpridas: i. coleta de informações relacionadas ao programa; ii. descrição do problema que o programa atende e seu contexto; iii. definição e organização gráfica dos elementos do modelo e das relações de causalidade entre esses elementos; e iv. verificação da validade do modelo lógico junto aos atores envolvidos com o programa.
Ao passo que as 3 primeiras etapas dependem da habilidade da equipe de avaliação de coletar e analisar informações sobre o objeto de estudo, a última e mais importante está condicionada também à capacidade da equipe de alinhar as diversas impressões que têm sobre o programa os atores organizacionais pertinentes. Essa é a maior contribuição, portanto, do uso da ferramenta na elaboração de modelos de avaliação de resultados mais abrangentes de TD&E adaptados a ações educacionais e contextos organizacionais complexos e variantes. Dito de outra forma, os modelos lógicos, ainda que de complexa composição em situações de treinamento assinaladas pela pouca quantidade de informações, representam o teste final da pertinência da avaliação nos níveis de grupos e organizacional. Sem a adoção de tal estratégia, corre-se o risco de se proceder à avaliação quando sequer a ação educacional tem por objetivo afetar o desempenho de determinada organização.
Além disso, validado o modelo lógico, tem-se à disposição uma importante ferramenta de monitoramento dos elementos do programa ou de avaliação das relações causais estabelecidas entre estes elementos. Por mais que adequadamente monitorados, somente a avaliação das hipóteses de relacionamento causal entre recursos, atividades, produtos, resultados e variáveis intervenientes permite investigar se o programa, de fato, contribui para o alcance dos resultados monitorados. Para testagem das relações causais entre os elementos do modelo lógico, especialmente no tocante às relações entre programas de TD&E e desempenho organizacional, tema central do presente trabalho, torna-se imprescindível uma discussão mais aprofundada sobre delineamentos quase-experimentais de pesquisa (e.g., Shadish, Cook & Campbell, 2002), como sugere Meneses (2007).
Método
Nesta pesquisa optou-se por abordar qualitativamente o objeto de interesse ora comunicado. De natureza aplicada, foi operacionalizada junto a uma concessionária de serviço público de energia elétrica, que tem como finalidade a realização de estudos, projetos, construção e operação de usinas geradoras e de sistemas de transmissão e distribuição de energia elétrica, bem como a celebração de atos de comércio decorrentes dessas atividades. Ante a finalidade determinada, qual seja testar a avaliabilidade da avaliação de um treinamento no nível de resultados organizacionais, fez uso do survey como estratégia de coleta de dados, estes reunidos transversalmente por meio de entrevistas, pesquisa documental e grupo de foco, cujos conteúdos foram analisados com vistas à validação do modelo lógico da ação de treinamento então selecionada.
A pesquisa foi dividida em quatro etapas: i. identificação de uma ação educacional que apresentasse chances de alterar indicadores de desempenho originalmente julgados importantes para o resultado da instituição; ii. escolha de indicadores de desempenho organizacional sensíveis aos resultados operacionais supostamente impactados pelo curso selecionado; iii. elaboração do Modelo Lógico do curso selecionado; e iv. validação do Modelo Lógico do curso. Vale lembrar que o presente estudo constitui etapa de preparação para pesquisa de avaliação de treinamento em níveis mais abrangentes de estudo, de forma que as duas primeiras etapas são de fundamental importância, pois em situações como essa se corre o risco de selecionar programas cuja avaliabilidade nesse sentido é nula ou limitada.
Para realização da primeira etapa foi construído um roteiro estruturado (Tabela 1), a fim de que determinadas questões pudessem ser usadas como guias na condução de uma entrevista coletiva realizada com o intuito de identificar a ação educacional e os indicadores de desempenho organizacional a ela atribuídos. É importante mencionar que a lógica topo-descida empregada na proposição do roteiro de entrevista foi decidida em função da celeridade do processo de coleta de dados. Fosse inversa, esta lógica poderia culminar, por diversas vezes, na identificação de ações de TD&E com poucas chances de afetar o desempenho da organização estudada e, portanto, inoportuna ante os fins maiores desta pesquisa. Desta entrevista participaram 11 pessoas da área operacional da empresa - um diretor, um superintendente, três gerentes de divisão e seis lideres de processo ? justamente por ser esta a área responsável pelo monitoramento contínuo dos indicadores de desempenho da organização geralmente mais estreitamente relacionados aos programas e ações de TD&E em desenvolvimento na instituição. Os participantes são do sexo masculino e pertencem ao quadro de empregados regulares, têm idade variando entre 44 e 58 anos e, em sua maioria, são engenheiros com tempo de serviço entre 17 e 27 anos.
Itens Questões Itens Questões
Processos Organizacionais Considerando os processos realizados, indique, na sua percepção, aquele que reflete os resultados operacionais mais importantes para empresa
Indicadores Processuais Identifique os indicadores que medem os processos apontados na resposta à questão anterior
Ação Educacional Identifique, na lista de ações de educação ofertadas pela empresa, aquela que favorece a melhoria do desempenho dos indicadores processuais e dos empregados que realizam os processos destacados
Tabela 1. Roteiro de entrevista para realização da Etapa 1.
Para realização da segunda etapa também foi elaborado um roteiro estruturado de entrevista visando à identificação dos indicadores de desempenho organizacional que melhor se associavam aos resultados operacionais selecionados na primeira etapa. A entrevista foi baseada em uma única pergunta: Considerando a ação educacional e os indicadores operacionais identificados na etapa anterior, que indicadores de desempenho organizacional podem ser a ela associados? Inicialmente, pretendia-se estender a discussão sobre esses indicadores a diversos profissionais da organização. Entretanto, este é reduzido e, no momento da realização da pesquisa, apenas um empregado encontrava-se disponível para o fornecimento dessas informações. Assim, apenas uma única entrevista foi realizada com um profissional do sexo masculino, de 49 anos, dos quais 21 tinham sido dedicados ao exercício do cargo de contador, que exige domínio do processo de monitoramento e análise de indicadores financeiros da empresa.
No intuito de que fosse constituído o Modelo Lógico do curso identificado nas etapas anteriores, principal objetivo do presente estudo, foram realizadas entrevistas e, em seguida, pesquisas documentais. Na entrevista buscou-se: identificar coordenadores, instrutores, facilitadores e avaliadores da ação educacional; selecionar relatórios e demais documentos emitidos nas etapas de planejamento, realização e avaliação do curso selecionado; e identificar condições que poderiam afetar os resultados do treinamento. Desta fase participaram sete funcionários, individualmente entrevistados: um superintendente, um gerente, dois coordenadores de cursos, um coordenador de avaliação de treinamento e dois estagiários encarregados da alimentação do banco de dados de avaliação dos cursos. O perfil dos participantes pode ser definido como de predominância feminina, com idades entre 25 e 59 anos e com 8 a 27 anos de tempo de serviço. Com as indicações resultantes, decidiu-se concentrar a pesquisa documental nos seguintes conjuntos de informação: Relatório de Gestão, Planejamento Estratégico, Plano de Desenvolvimento e Educação, Relatório de Gestão de Pessoas, Relatório do Sistema de Avaliação de Treinamento e Relatório do Desempenho Operacional.
Integradas, as informações coletadas foram submetidas à analise dos pesquisadores, que propuseram uma versão inicial do Modelo Lógico do curso identificado. Considerando que essa primeira versão representava apenas a impressão dos pesquisadores, elaborada em função das entrevistas e demais procedimentos até então executados, uma última etapa foi realizada, dessa vez com o objetivo de validar o modelo ora constituído. Para realização desta etapa final foi construído um roteiro estruturado de entrevista, apresentado na Tabela 2.
Itens Questões
Indicadores 1 - Os indicadores de efetividade ajustam-se às metas e aos objetivos pretendidos pelo curso?
2 - Existe algum outro indicador impactado pelo treinamento?
Recursos 3 - Os recursos financeiros, materiais e humanos disponibilizados para o curso foram adequados às necessidades de realização?
Planejamento 4 - Os objetivos educacionais foram adequados e estão alinhados aos resultados propostos?
Avaliação 5 - As estratégias instrucionais ajudaram no alcance dos objetivos
instrucionais?
Processos
Impactados 6 - A avaliação de aprendizagem refletiu os conteúdos adquiridos no curso?
7 - A avaliação de satisfação com o curso captou a percepção dos treinandos em relação às condições em que o treinamento ocorreu (instrutores e programação)?
8 - A avaliação de desempenho individual pós-treinamento conseguiu traduzir os efeitos do curso no trabalho e as condições de suporte para aplicação de novos conhecimentos?
9 - Existem outros processos, além daquele de transmissão (pré-operação, tempo real e pós-operação), que estão sendo impactados com os efeitos do curso?
Proposição de Metas 10 - Existem expectativas de outros resultados como consequência dos efeitos do curso?
Tabela 2. Roteiro de entrevista para realização da Etapa 4.
As perguntas eram então apresentadas a funcionários da organização a fim de que fossem ajustados os componentes do Modelo Lógico do curso identificado, bem como as relações causais hipotetizadas entre esses componentes. Além disso, esta etapa de validação tinha como meta a coleta de informações sobre possíveis variáveis capazes de intervir nas relações de causalidade estipuladas pelos pesquisadores quando da associação entre os diversos componentes do modelo. Para facilitar a condução do grupo focal, as perguntas foram encaminhadas com antecedência para um grupo de participantes, do qual, além dos integrantes das etapas anteriores, fizeram parte nove gerentes imediatos dos empregados treinados no curso: oito são do sexo masculino; todos pertencentes ao quadro regular de empregados da organização; idades entre 41 e 51 anos; cinco ocupavam o cargo de Técnico Industrial de Engenharia e quatro eram Engenheiros. Ao todo, portanto, 28 pessoas, incluindo os gerentes cujo perfil acaba de ser descrito, participaram da etapa de validação do Modelo Lógico do curso selecionado para esta pesquisa.
Resultados e Discussões
A primeira etapa, realizada com objetivo de identificar ação educacional potencialmente capaz de produzir alterações no desempenho organizacional, foi executada a partir de informações coletadas em entrevista coletiva, como mencionado. Para tanto, os participantes foram incentivados a refletir sobre três itens: a vinculação entre processos e resultados operacionais; os indicadores associados a tais processos; e, finalmente, a ação educacional capaz de impactar nesses indicadores.
Sobre os processos cujos resultados são os mais importantes para a organização, os 11 participantes julgaram mais relevante o Processo de Operação de Sistemas, necessário à efetiva disponibilização de equipamentos para a continuidade da manutenção dos contratos firmados com fornecedores. Selecionado tal processo, os seguintes indicadores foram identificados pelos participantes: Índice de Disponibilidade de Linhas de Transmissão e de Equipamentos ? probabilidade de que, em dado momento, as linhas de transmissão de energia elétrica ou dos equipamentos estejam operando satisfatoriamente, ou prontos para serem colocados em operação, caso necessário; e Índice de Desempenho Individual ? composto a partir de percepções de empregados e gerentes sobre a gestão de pessoas e a saúde integral dos funcionários, a qualidade dos processos de trabalho e as condições para efetivação desses trabalhos.
O destacamento deste destes processos e indicadores, é importante ressaltar, converge com a atuação da própria organização, cujos esforços, ao se concentrarem em ações de responsabilidade social, são operacionalmente direcionados para a otimização de processos, a redução de custos e o aumento da satisfação dos clientes e colaboradores. Estes esforços, por sua vez, resultam diretamente dos interesses dos principais atores organizacionais da instituição, integrados em cinco grandes coalizões - sociedade, acionistas, clientes e mercado e processos e pessoas. No presente estudo, ao final da primeira etapa, ficou evidente o foco apenas nessas duas ultimas perspectivas, cujo objetivo maior consiste, conforme informações retiradas dos documentos analisados em etapas subsequentes, em assegurar a qualidade e a disponibilidade de energia elétrica ao cliente, garantir a viabilidade dos empreendimentos, parcerias, autorizações e concessões no mercado de energia elétrica e consolidar a participação da empresa no negocio de telecomunicações.
Identificados os processos mais relevantes para o desempenho da organização, bem como os indicadores associados a tais processos, restava, ainda na primeira etapa de pesquisa, selecionar uma ação de treinamento potencialmente capaz de afetá-los. De posse do Plano de Diretor de Educação da Instituição, os participantes da entrevista coletiva consideraram que o curso de Reciclagem de Operadores de Sistema (ROSI) era adequado aos fins do presente estudo. Este treinamento fornece o ferramental básico para compreensão e participação no processo de transformação, relacionando os aspectos operativos, normas técnicas, procedimentos de rede vigentes, regras dos órgãos de regulação, fiscalização e política de fornecimento definida pela empresa.
Ofertado com o intuito de atualizar conhecimentos de profissionais admitidos no cargo de Operadores de Sistemas Elétricos de Potência, de modo a enfrentar as exigências de novas regras do contexto nacional do setor elétrico, este curso tem como clientela os empregados classificados no Plano de Cargos e Carreira da empresa como Operadores de Sistema. Esse grupo de profissionais é responsável pelo monitoramento e operação dos conjuntos de equipamentos que compõem os sistemas elétricos da empresa. O grupo de instrutores, formado por empregados da própria organização, foi definido com base na condição da especificidade do processo de transmissão, pelo conhecimento da região atendida pela empresa e pela necessidade de transferência de conhecimentos de empregados que possuem visão mais profunda das atividades que compõem o processo de transmissão de energia elétrica. A metodologia empregada no ROSI incluiu aulas expositivas, estudos dirigidos, trabalhos individuais e em grupo e dinâmicas de grupo. Totalmente realizado na modalidade presencial, contabiliza carga de 341 horas de treinamento.
Cientes da ação de treinamento selecionada, na segunda etapa da pesquisa, por meio da realização de uma entrevista estruturada com um empregado responsável pelo monitoramento e análise de indicadores financeiros da empresa, buscou-se identificar os indicadores de desempenho organizacional mais bem articulados aos objetivos instrucionais do curso de reciclagem. Segundo opinião do entrevistado, esses indicadores estariam presentes no Índice de Desempenho do Sistema de Transmissão, no Índice de Satisfação dos Clientes e no Índice de Satisfação com o Clima Organizacional. A Tabela 4 elucida a vinculação entre alguns objetivos do ROSI com indicadores de resultado e dimensões do desempenho organizacional identificados nas Etapas 1 e 2 da pesquisa.
Desempenho Organizacional Indicadores de Resultados Objetivos Instrucionais
Desempenho Operacional e Satisfação dos
Clientes Disponibilidade das Linhas de
Transmissão Efetuar pesquisa de linhas, geradores e equipamentos, emitir relatórios, efetuar a inclusão de informação de linhas e geradores
Disponibilidade dos Equipamentos Identificar equipamentos utilizados no sistema elétrico de potencia, identificar defeitos em equipamentos, identificar principio de funcionamento de equipamento, identificar efeito de manobra em equipamento, controlar potência reativa do sistema por meio de manobra em equipamentos
Clima
Organizacional Adequação das
Condições de
Trabalho Conhecer a política de segurança do trabalho, identificar riscos ambientais, fazer análise
preliminar de riscos, identificar e eliminar condições inseguras, identificar atos e condições inseguras e combater principio de incêndios
Tabela 4. Resultados das Etapas 1 e 2 de pesquisa.
De posse dessas informações, a terceira etapa envolveu a elaboração de uma representação gráfica, denominada de Modelo Lógico, da Teoria do Programa do ROSI. Por teoria do programa, entende-se a suposição e descrição de uma série de relacionamentos associativos ou causais entre variáveis ou componentes integrantes de um programa, no caso, de natureza educacional. Esta etapa, realizada a partir de análises documentais e entrevistas com sete funcionários da empresa, buscou coletar informações sobre os principais componentes integrantes do Modelo Lógico, adaptados para situações de TD&E conforme orientações de Meneses (2007), quais sejam os recursos (financeiros, materiais, humanos etc.), as atividades (planejamento da ação de treinamento), os produtos (satisfação com o curso e aprendizagem imediata) e os resultados de curto, médio e longo-prazo (equivalentes aos níveis de avaliação de desempenho individual, grupal e organizacional pós-treinamento).
A Tabela 4, nesse sentido, apresenta a caracterização de cada um desses componentes resultantes das analises ora empregadas na consecução da Etapa 3 desta pesquisa, bem como as relações causais hipotetizadas. Visto que tais relações assumiram configurações lineares, optou-se por representar o Modelo Lógico na modalidade topo-descida, conforme recomendado por McLaughlin e Jordan (2004). Nessa modalidade, as variáveis primárias são dispostas no topo da representação (Tabela 4) e as finalísticas, em sua base. Assim, supõe-se, por exemplo, que as atividades somente serão desenvolvidas caso recursos de natureza e magnitude específicas sejam garantidos.
Componentes Elementos Informações Coletadas
Recursos Financeiros R$ 349.476,80/turma
R$ 2.097.860,80 (seis turmas)
Didáticos Manual de Formação de Instrutores Internos
Manual do Treinando
Apostilas
Humanos 16 instrutores
2 coordenadores de atividades de TD&E
Equipe de suporte a ações de TD&E
Objetivos Aprimorar processo de supervisão em tempo real, de planejamento da pré-operação e da análise da pós-operação
Estratégias Aulas expositivas, estudo dirigido, trabalhos individuais e em grupo e dinâmicas
Atividades Modalidade Presencial
Carga Horária 341 horas
Participantes 16/turma
96 participantes no total
Produtos Satisfação Desempenho didático (Média =4.55; Likert de 1 a 5)
Desempenho do aluno (M=4.66; Likert de 1 a 5 )
Programação (M=4.37; Likert de 1 a 5)
Aprendizagem Sem registros sistemáticos
Resultado de
Curto-Prazo Impacto no
Trabalho Auto-avaliação (M =2.93; Likert de 1 a 5)
Percebido por Gerentes (M =2.95; Likert de 1 a 5)
Resultado de
Médio-Prazo Expectativas de
Impacto nos
Processos Aumento de disponibilidade de linhas
Aumento de Disponibilidade de equipamentos
Melhoria das condições físicas de trabalho
Resultado de
Longo-Prazo Expectativas de
Impacto
Organizacional Redução de custos com indisponibilidade
Elevação dos índices de satisfação de clientes
Melhoria do clima organizacional
Tabela 4. Resultados da Etapa 3 de pesquisa.
Representado graficamente a Teoria do Programa do treinamento de ROSI, fez-se necessário, por fim, validá-la. Como mencionado, participaram da quarta e última etapa de pesquisa todos os 28 funcionários envolvidos na consecução das etapas anteriores. Durante a realização da entrevista coletiva, orientado a partir dos 10 questionamentos mencionados na seção de Métodos, algumas manifestações culminaram com a incorporação de novos elementos à representação gráfica anteriormente apresentada, mas apenas no que diz respeito aos resultados de médio-prazo, que passaram a incorporar as expectativas de diminuição do tempo de recomposição de sistema e do tempo de realização de manobras de manutenção de linhas e equipamentos. Inseridos esses novos indicadores na estrutura previamente elaborada pelos pesquisadores, deu-se por validada a Teoria do Programa do treinamento em questão.
Desta forma, o treinamento encontrava-se preparado, deste ponto em diante, para a realização de avaliação em níveis mais abrangentes que aqueles tradicionalmente, centrados no indivíduo, operados pela área de TD&E. Colocado de outra forma, estava confirmada a avaliabilidade da avaliação do ROSI em termos de desempenho processual e organizacional. Similarmente à acepção do termo avaliabilidade adotada na literatura de Avaliação de Programas Sociais, em situações de investigação de efeitos de TD&E a avaliabilidade pode ser compreendida como o grau de proximidade entre o modelo retórico e aquele real de determinado programa de treinamento. Por modelo retórico entende-se um conjunto de suposições sobre como o programa afetará as necessidades que o justificaram. Ja o modelo real indica o que de fato é feito para que tais necessidades sejam satisfeitas.
Em situações de TD&E, a avaliabilidade assume importância fundamental à medida que, geralmente, os programas e as ações não são precedidos por avaliações sistemáticas de necessidades de treinamento. De fato, a literatura especializada, desde que a área assume caráter científico, com a publicação de Campbell (1971), até a data da última revisão internacional (Aguinis & Kraiger, 2009) publicada no Annual Review of Psychology, pouco avançou no que diz respeito à avaliação de necessidades. Faltam orientações teóricas e empíricas para que necessidades idealizadas no nível organizacional de análise - que orientam, posteriormente, avaliações de efeitos de TD&E sobre os processos ou a organização como um todo - sejam articuladas àquelas observadas nos níveis de grupos e equipes e individual. O modelo de McGehee e Thayer (1964), apesar das novas orientações propostas (e.g., Goldstein, 1991; Ostroff & Ford, 1989), permanece ainda como um dos guias mais importantes para realização de avaliação de necessidades, sobretudo do ponto de vista profissional.
Este modelo de base, denominado de Organizações-Tarefas-Pessoa, orienta a avaliação de necessidades a partir do uso de três grandes questionamentos: onde o treinamento deve ser implantado, o que deve ser treinado e quem deve ser treinado? Apesar de melhor direcionar o processo em discussão, as três questões norteadoras não permitem que determinado programa de treinamento seja articulado com o desempenho de uma organização. Na melhor das hipóteses, caso a primeira pergunta seja respondida, torna-se possível vincular a ação educacional com o desempenho de um setor, área, departamento etc.
Mas é preciso fazer uma ressalva. O Modelo de McGehhe e Thayer foi formulado anteriormente ao período em que a Teoria Geral de Sistemas começa a ser aplicada (e.g., Mattessich, 1978) na modelagem de organizações, até então compreendidas como sistemas herméticos. Dessa forma, à época da proposição do referido modelo, não se discutia tão incisivamente, ainda, a necessidade de as organizações contarem com estratégias negociais que lhe permitissem racionalizar sobre aspectos externos e competir em cenários cada vez mais complexos e mutáveis como aqueles atualmente constatados. Bastava que as pessoas fossem treinadas em rotinas estáveis e previsíveis para que se mantivesse em um patamar aceitável o desempenho das organizações.
Nesse âmbito, não fazia sentido discutir a necessidade de alinhamento entre programas de TD&E e desempenho e efetividade organizacional, discurso atualmente muito empregado por teóricos e profissionais da área de treinamento, mas sem seguimento nas práticas científicas e profissionais, de forma que são raros os casos de iniciativas de realização de avaliação de necessidades em níveis mais abrangentes de analise. Segue o individuo como principal balizador, até hoje, de tomadas de decisão sobre necessidades de treinamento, como se, adiante, resultados individuais de treinamento, como satisfação, aprendizagem e desempenho culminassem, invariavelmente, com aperfeiçoamentos dos desempenhos de grupos e equipes e mesmo organizacionais. Trata-se da crença, há muito destacada por Alliger e Janak (1989) e ainda proeminente, de que resultados observados no nível do indivíduo agregam-se, independentemente do tipo de desempenho enfocado pela ação educacional e das configurações contextuais que a permeia, para gerar mudanças em níveis mais elevados.
É nesse cenário que urge a redução da discrepância entre os modelos retóricos e reais sobre como determinado programa de treinamento afeta os resultados previstos pelas organizações. No presente estudo, essa redução foi promovida a partir do uso dos Modelos Lógicos. Trata-se de uma medida remediadora, uma vez que foi aplicada na etapa de avaliação de efeitos do treinamento de ROSI. De qualquer forma, mostrou-se extremamente útil na coleta de informações sobre a pertinência da avaliação do treinamento em níveis mais abrangentes de análise, ponto central de discussão deste ponto em diante.
As quatro etapas de pesquisa anteriormente descritas tinham como propósito, conforme informado, gerar informações suficientes para que pudessem ser compreendidos os mecanismos pelos quais o treinamento de ROSI afetaria o desempenho da organização estudada. Antes disso, essas etapas, essencialmente as três primeiras, proveram dados suficientes para a identificação dos elementos abarcados pelo treinamento e necessários à elaboração do Modelo Lógico (recursos, atividades, produtos e resultados).
Como discutido por estudiosos da avaliação de programas (e.g., Fitzpatrick, Sanders & Worthen, 2004; Mclaughlin & Jordan, 2004; Posavac & Carey, 2003), a reunião e a efetivação de acordos sobre as informações de um programa, geralmente distribuídas em diversos atores, cada qual com sua impressão sobre a realidade enfrentada, configura-se como condição inicial para a realização de avaliações posteriores. Sem dados confiáveis que permitam ao avaliador entender como o programa satisfará as necessidades que o justificaram, não há como avançar. No caso do treinamento de ROSI, que não foi precedido por uma avaliação de necessidades que indicasse os resultados organizacionais a serem impactados, essas informações foram coletadas a partir de entrevistas, pesquisas documentais e grupo focal.
Essas técnicas de coleta de dados mostraram-se úteis, na ordem em que foram empregadas. Por mais que avaliações de necessidades de treinamento não sejam efetivamente realizadas, se o treinamento assume caráter estratégico para a organização, é provável que dados sobre a suposta articulação do programa com o desempenho organizacional existam. No caso do treinamento de ROSI, esses dados estavam disponíveis. Mas isso porque a organização estudada conta com um centro corporativo de educação, cujo propósito é justamente alinhar as ações de qualificação profissional com as necessidades de desempenho da organização. Apesar de disponíveis, mesmo assim os dados pouco refletiam as conexões entre necessidades individuais e organizacionais de treinamento ou, segundo a lógica avaliativa, entre os resultados individuais e de efetividade articulados ao programa de treinamento. Sabia-se, no máximo, que o treinamento se enquadrava, conforme dimensões enfatizadas pelo centro corporativo de educação da empresa, nas perspectivas de clientes e mercado e de processos e pessoas, e que, nessas perspectivas, vinculava-se mais estreitamente ao desempenho de processos mais operacionais. Entretanto, não havia informação alguma sobre a relação destes aspectos mais abrangentes como indicadores de aprendizagem e de desempenho individual pós-treinamento. Neste momento, as entrevistas e o grupo focal foram de grande valia.
Este é outro ponto que merece destaque. Conforme Freitas e Borges-Andrade (2004), a avaliação de efeitos de TD&E sobre resultados organizacionais torna-se muito abrangente à medida que exige mensurações de outras mudanças, sobre processos de trabalho, produtividade, clima e cultura organizacional, entre outras tantas possibilidades. Essa exigência reforça a ideia de que o profissional de treinamento, por meio do emprego de métodos e técnicas analíticas mais participativas, compartilhe a responsabilidade pelo planejamento e execução da avaliação com atores mais bem entrosados com as medidas e indicadores que futuramente serão utilizados. Na presente pesquisa, foram realizadas entrevistas e grupo focal com especialistas nas dimensões do desempenho da organização mais bem relacionadas com o treinamento de ROSI. Esse compartilhamento de responsabilidades faz-se necessária não apenas na etapa de avaliação de efeitos de treinamento, mas, principalmente, na avaliação de necessidades.
Reunidas tais informações, via aplicação de métodos e técnicas participativos, surgiu a necessidade de localizar os indicadores que serviriam aos fins da avaliação em preparação. Como colocado por Fitzpatrick, Sanders e Worthen (2004), a disponibilidade de dados sobre os indicadores de resultado delineados é outro ponto fundamental na determinação da avaliabilidade da avaliação de um programa. A ausência desse tipo de informação impede que avaliações posteriores sejam operacionalizadas. Já a disponibilização parcial limita as alternativas de desenho de pesquisa mais robustas a ameaças da validade das conclusões de pesquisa.
No caso do ROSI, esses dados eram sistematicamente monitorados pela organização desde antes da implantação da solução educacional. Mais uma vez, a explicação para tal ocorrência está no fato de o treinamento estudado integrar uma perspectiva do desempenho da organização de extrema relevância para a manutenção e expansão de seu posicionamento de mercado. Casos, como aquele enfrentado por Meneses (2007), em que os dados sobre os indicadores selecionados não estejam disponíveis podem representar entraves consideráveis à condução de avaliação de treinamentos em níveis mais abrangentes de efeitos.
Estudos de avaliação de treinamentos nesses níveis são relevantes não apenas por permitirem a observação desses tipos de resultados, mas, principalmente, por permitirem que ao programa de treinamento sejam atribuídos os resultados percebidos. A lógica do investimento em ações de TD&E exige, como clamam alguns profissionais e estudiosos, demonstrações concretas de que os programas de treinamento realmente afetam o desempenho das organizações. E isso, consequentemente, demanda o uso de delineamentos quase-experimentais capazes de isolar uma gama de variáveis que muito bem podem explicar, mesmo na ausência dos treinamentos, os resultados organizacionais almejados.
O uso de desenhos de pesquisa dessa natureza marcou a solidificação da área de avaliação de programas, em meados da década de 1950, como campo cientifico de estudos e, agora, assume centralidade em pesquisas também da área de TD&E. Segundo Shadish, Cook e Campbell (2002), diversos delineamentos quase-experimentais podem ser utilizados, alguns mais frágeis, outros mais robustos a interferências de variáveis estranhas, embora conhecidas, ao contexto da pesquisa. O que determinara a escolha de um ou outro delineamento, entre outros tantos aspectos, é a disponibilidade de dados. Como destacado pelos autores, estudos mais robustos à influencia de variáveis interferentes são compostos por diversos parâmetros avaliativos, como pré-testes e diversos grupos de comparação, por exemplo. Estudos mais frágeis fazem uso de um numero menor de parâmetros (e.g., um único grupo e uma única testagem), o que resulta em conclusões mais duvidosas acerca das relações entre as variáveis estudadas. Nessa pesquisa, os dados eram sistematicamente monitorados mesmo antes, como mencionado, da projeção da ação educacional, de forma que estudos posteriores de avaliação bem poderiam fazer uso de delineamentos de pesquisa mais robustos.
Mas como nem sempre este é o caso, colocam-se em risco os esforços de preparação da sistemática de avaliação do impacto de treinamentos sobre o desempenho das organizações. Esta talvez seja a principal limitação do uso da Teoria do Programa ou dos Modelos Lógicos apenas na etapa de avaliação de efeitos de TD&E. Elaborá-los, o que exige esforço considerável, nem sempre garante a pertinência da avaliação. Como asseveram James (1992) e Shelton e Aligger (1993), nem sempre avaliações de treinamentos nesses termos referidos são oportunas.
Mais uma vez, destaca-se o uso de desenhos quase-experimentais em pesquisas de avaliação pela necessidade de ao treinamento ser atribuído, seguramente, os resultados observados no desempenho da organização. E justamente porque tais desenhos permitem maior controle sobre outras tantas variáveis, como políticas, programas e ações organizacionais paralelas, que concorrem pelos mesmos resultados almejados pela ação de treinamento. No caso ora estudado, havia indícios de que outras variáveis precisariam ser consideradas nos estudos derradeiros de avaliação, pois, de acordo com os resultados da Etapa 3, constatou-se que, apesar de os participantes terem avaliado bem o treinamento no que dizia respeito ao desempenho didático, ao próprio desempenho e à programação do curso (4.37 < Média < 4.67), as taxas de desempenho individual pós-treinamento foram relativamente baixas (Média = 2.93 para auto-avaliação e de 2.95 para heteroavaliação percebida pelos gerentes).
De outra forma, pode-se afirmar, assim, que os participantes gostaram do curso, mas não o utilizavam com tanta intensidade na execução de suas tarefas e atividades. Se essas taxas de utilização eram pequenas, seria improvável que alterações no desempenho da organização pudessem ser atribuídas ao treinamento. Não que alterações não pudessem ser constatadas. Até poderiam, mas isso não significa que os resultados organizacionais, caso emergidos, fossem decorrentes unicamente da realização do ROSI.
E isso remete a um último aspecto, porém de grande importância na medida em que permite concluir sobre a avaliabilidade avaliação do ROSI nos níveis de resultados organizacionais - o comportamento dos demais componentes do Modelo Lógico, principalmente no que diz respeito aos produtos e resultados de curto-prazo, equivalentes aos níveis de aprendizagem e desempenho individual pós-treinamento. Como já informado, os resultados neste último nível - é preciso lembrar que dados sistemáticos sobre avaliações de aprendizagem não estavam disponíveis - estavam aquém do esperado, de forma que a avaliação do impacto do curso sobre os resultados de médio e de longo-prazos previstos no modelo tornava-se inoportuna.
Pelo menos do ponto de vista profissional, não se justificava o esforço de prosseguir com esta avaliação, tanto porque, se os resultados fossem constatados, estes não poderiam ser creditados integralmente ao curso de ROSI. De qualquer forma, bem poderiam ser usados pela organização na composição de alguma estratégia remediadora que elevasse os desempenhos individuais pós-treinamentos. Já do ponto de vista científico, independentemente dos resultados obtidos, torna-se evidente a relevância da continuidade da pesquisa de avaliação, a fim de confirmar definitivamente a capacidade, por menor que seja esta, de o treinamento contribuir para o aperfeiçoamento do desempenho da organização. Mesmo não confirmada, um estudo subsequente desta natureza seria de fundamental relevância para atestar, também no caso de variáveis pertencentes a níveis agregados, a influência do contexto organizacional, a exemplo do que já se consolidou acerca do nível individual de análise, sobre resultados mais abrangentes de TD&E.
Considerações Finais
Considera-se satisfeito o principal objetivo desta pesquisa ? identificar a avaliabilidade da avaliação de um programa de treinamento em termos de resultados organizacionais. Como discutido por Meneses (2007), a Teoria do Programa, operacionalizada por meio da elaboração de Modelos Lógicos, foi de grande valia para a compreensão do potencial do treinamento de ROSI de impactar positivamente no desempenho da organização estudada. Importantes informações puderam ser coletadas, de forma que se sabe, agora, serem baixas as probabilidades de que o treinamento possa ser responsabilizado caso sejam observadas mudanças no desempenho da organização.
Entendida como solução remediadora integrada à etapa de avaliação de treinamento, a ferramenta, em termos práticos, mostrou-se útil para que a organização proponha configurações contextuais mais favoráveis ao desempenho pós-treinamento, seja qual for o nível de análise pretendido. Para fins científicos, o uso da ferramenta possibilita a retomada das taxas de produtividade da área de avaliação de efeitos de TD&E, estagnadas quando níveis mais elevados de análise passam a ser considerados. Principalmente porque a ferramenta exige o compartilhamento de dados e impressões que, nesses níveis mais elevados, estão fora da alçada dos profissionais tradicionalmente responsáveis por pesquisas de avaliação.
A ciência do treinamento, e somente recentemente, passou a preocupar-se, de modo mais sistemático, com o planejamento e entrega de ações de TD&E para grupos e equipes de trabalho, de forma que ferramentas que permitam uma melhor compreensão desses níveis têm muito a contribuir para a área. Este é o caso dos Modelos Lógicos, que, operante sob uma lógica de compartilhamento de decisões, permite melhor manipulação de variáveis nesses níveis de analise sem que necessariamente teorias, conceitos etc. referentes tenham de ser dominados pelos profissionais de treinamento.
Deste apenas se espera capacidade de articulação entre os modelos retóricos e reais concebidos pelos diversos atores organizacionais interessados no programa de treinamento enfocado. Apesar de o objetivo ter sido alcançado, essa pesquisa sofreu de uma importante limitação. Como discutido anteriormente, dados relativos à aprendizagem não foram considerados na composição do Modelo Lógico do treinamento de ROSI. Assim, especulou-se que a quebra dos elos do Modelo se deu no componente denominado de Resultado a Curto-Prazo, quando, de fato, pode ter se dado em um nível anterior de análise ? Resultados. Também consiste fragilidade desta pesquisa a mera especulação, não antecedida, portanto, pela obtenção de dados confiáveis acerca da questão, sobre variáveis interferentes das relações de causalidade supostas no Modelo preparado para o curso de ROSI.
Pesquisas que façam uso da ferramenta aqui apresentada devem incorporar, na checagem da discrepância entre o modelo ideal e real do programa sob avaliação, questionamentos sobre variáveis, no nível individual, de grupos e equipes, organizacional e sócio-ambiental, capazes de afetar as relações de causalidade supostas. Nessa pesquisa apenas se questionou sobre outros resultados como conseqüência dos efeitos do curso, mas não sobre variáveis intervenientes. De qualquer forma, tem-se uma importante ferramenta remediadora de processos não sistemáticos de avaliação de necessidades de treinamento que até mesmo pode vir a se configurar, na ausência de produção sobre o assunto e, pelo menos, do ponto de vista profissional, uma nova metodologia qualitativa de análise organizacional.
Referências
Abbad, G. (1999). Um modelo integrado de avaliação do impacto do treinamento no trabalho - IMPACT. Tese de Doutorado, Universidade de Brasília, Brasília.
Abbad, G; Borges-Andrade, J. (2004). Aprendizagem Humana em Organizações. In: Zanelli, J; Borges-Anbrade, J; Bastos, A. (Org.), Psicologia, Organizações e Trabalho no Brasil. Porto Alegre: Artmed.
Alliger, G. M., Tannenbaum, S. I., Bennet, W., Traver, H. & Shotland, A. (1997). A meta-analysis of the relations among training criteria. Personnel Psychology, 50, p. 341-359.
Aguinis, H., & Kraiger, K (2009). Benefits of training and development for individuals, teams, organizations e society. Annual review of Psychology, v. 60, p. 451 ? 474.
Borges-Andrade, J. E.; Pereira, M. H. G.; Puente-Palácios, K. E.; Morandini, D.C. (2002). Impactos individual e organizacional de treinamento: Uma análise com base num modelo de avaliação e na teoria multinível. Revista Psicologia, Organizações e Trabalho, Florianópolis, v. 2, n. 1, p. 117-146, 2002.
Cameron, K. (1981). Domains of organizational effectiveness in colleges and universities. Academy of Management Journal, 24, p. 25-47.
Campbell, J.P. (1971). Personnel training and development. Annual Review of Psychology, 22, p. 565-602.
Connolly, T., Conlon, E. J. & Deutsch, S.J. (1980). Organizational effectiveness: A multiple-constituency approach. The Academy of Management Review, n. 5, p. 211?217.
Eboli, M. (2004). Educacao Corporativa no Brasil: mitos e verdades. Sao Paulo: Ed. Gente.
Ferreira, R., Abbad, G., Pagotto, C. & Meneses, P. P. M. (2009). Avaliação de necessidades organizacionais de treinamento: O caso de uma empresa latino-americana de administração aeroportuária. REAd. Revista Eletrônica de Administração, v. 15, p. 1 ? 26.
Fitzpatrick, J. L., Sanders, J. R. & Worthen, B. R. (2004). Program evaluation: Alternative approaches and practical guidelines. Boston: Pearson Education, 3rd. Ed.
Freitas, I. A. (2005). Impacto de Treinamento nos desempenhos do individuo e do grupo de trabalho: Suas relações com crencas sobre o sistema de treinamento e suporte a aprendizagem contínua. Tese de Doutorado, Universidade de Brasília, Brasília.
Freitas, I. A. & Borges-Andrade, J. E. (2004). Efeitos de treinamentos nos desempenhos individual e organizacional. Revista de Administração de Empresas, v. 44, n. 3, p. 44?56.
Freitas, I. A., Borges-Andrade, J. E., Abbad, G. S. & Pilati, R. (2006). Medidas de impacto de TD&E no trabalho e nas organizações. In: Borges-Andrade, J. E., Abbad, G. S. & Mourao, L. (Org.): Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: Fundamentos Para a Gestão DE Pessoas. Porto Alegre: Artmed, p. 489-504.
Goldstein, I. L. (1991). Training in work organizations. In: Dunnette & Hough (Eds.), Handbook of Industrial and Organizational Psychology. Palo Alto, California: Consulting Psych, p. 507-619.
James, H. (1992). Simplifying ROI. Training. Minneapolis: 29(9), pp. 53-58.
Kirkpatrick, D.L. (1976). Evaluation of Training: In Craig, R. L. (ed.), Training and Development Handbook. New York: McGraw-Hill, pp. 18.1?18.27.
Mattessich, R. (1978). Accounting AND Analytical Methods: Measurement and Projection of Income and Wealth in the Micro and Macro Economy. Homewwod, Illinois.
McGehee, W., Thayer, P. W. (1961). Training in Business and Industry. New York: Wiley.
McLaughlin, J. A. & Jordan, G. B. (2004). Using logic models. In: Wholey, J. S., Hatry, H. P. & Newcomer, K. E. (Eds.), Handbook of practical program evaluation. San Francisco, CA: Jossey-Bass, 2nd ed.
Meneses, P. P. M. (2007). Avaliacao de um curso de desenvolvimento regional sustentável no nível de resultados: A contribuição dos modelos lógicos e do método quase-experimental. Tese de Doutorado, Universidade de Brasília, Brasília.
Mourão, L. (2004). Avaliação de programas públicos de treinamento: Um estudo sobre o impacto no trabalho e na geração de emprego. Tese de Doutorado, Universidade de Brasília, Brasília.
Mourão, L., Borges-Andrade, J. E. & Salles, T. (2006). Medidas de valor final e retorno de investimento em avaliação de TD&E. In: Borges-Andrade, J. E., Abbad, G. S. & Mourao, L. (Org.): Treinamento, Desenvolvimento e Educacao em Organizações e Trabalho: Fundamentos para a Gestão de Pessoas. Porto Alegre: Artmed, p. 505-513.
Ostroff, C. & Ford, J. K. (1989). Introducing a levels perspective to training needs assessment. In I. L. Goldstein (Ed.): Training and Career Development. San Francisco: Jossey-Bass, p. 25?62.
Pilati, R. (2006). Historian e importância de TD&E. In: Borges-Andrade, J. E.,Abbad, G. S. & Mourao, L. (Org.): Treinamento, Desenvolvimento e Educacao em Organizações e Trabalho: Fundamentos para a Gestão de Pessoas. Porto Alegre: Artmed, p. 159-176.
Posavac, E. J & Carey, R. G. (2002) Program Evaluation: Methods and Case Studies, 6th Edition.
Saks, A. M., & Belcourt, M. (1997). Transfer of training in Canadian Organizations. Update, v. 1, n. 1, p. 9?10.
Salas, E. & Cannon-Bowers, A. (2001). The science of training: a decade of progress. Annual Review of Psychology, v. p. 471-499.
Selden, S. C. & Sowa, J. E. (2005). Testing a multi-dimensional model of organizational performance: Prospects and problems. Journal of Public Administration Research and Theory, v, 14, n. 3, p. 395?416.
Shadish. W. R., Cook, T. D. & Campbell, D. T. (2002). Experimental and Quasiexperimental Designs for Generalizes Causal Inference. Houghton Mifflin Company.
Shelton, S. & Aligger, G. (1993). Who?s afraid of level 4 evaluation? Training & Development. Alexandria, v. 47, n. 6, p. 43?48.
Tannenbaum, S. I. & Yukl, G. (1992). Training and development in work organizations. Annual Review of Psychology, v. 43, p. 399-441.
Zammuto, R. (1984). A comparison of multiple constituency models of organizational effectiveness. The Academy of Management Review, v. 9, p. 606?616.
Resumo
Nas últimas décadas, a área de treinamento, desenvolvimento e educação de pessoas avançou teórica e empiricamente, mas de forma desigual em relação aos principais componentes tradicionalmente enfocados por teóricos e profissionais. Sobretudo a baixa produção no avanço das pesquisas sobre a temática de avaliação de necessidades, essencialmente no concernente à etapa da análise organizacional, momento em que os objetivos educacionais de treinamentos são vinculados às metas individuais, grupais e organizacionais de desempenho, tem sido apontada como um dos principais motivos que tanto dificultam a avaliação de resultados em níveis de análises mais abrangentes. De fato, a maior parte das pesquisas da área de avaliação de treinamento, tema central deste estudo, concentra esforços no nível individual de análise, como se fosse garantida a emergência de resultados deste nível para outros mais elevados. Nesse sentido, esta pesquisa buscou testar a avaliabilidade da avaliação de um treinamento sobre o desempenho de uma determinada organização do setor público federal. Mais especificamente, propôs-se a discutir a utilização de uma ferramenta extraída da literatura de avaliação de programas sociais, denominada de modelo lógico, na preparação de avaliações de efeitos nos níveis de grupos e organizacional, bem como sua incorporação às práticas de análises organizacionais em processos de avaliação de necessidades de treinamento. De abordagem qualitativa, delineamento correlacional e corte transversal, a pesquisa foi operacionalizada em quatro etapas. Na primeira, por meio da realização de entrevistas coletivas com 11 funcionários, buscou-se construir e validar o modelo lógico de curso anteriormente selecionado. Em seguida, uma entrevista com funcionário competente foi executada a fim de que indicadores de desempenho organizacional mais proximalmente associados ao treinamento fossem selecionados. Na terceira etapa, com vistas à seleção de material para proposição do modelo lógico do curso selecionado, foram entrevistados outros sete funcionários, que também tinham a incumbência de identificar outras variáveis capazes de afetar os desempenhos associado ao curso. Por fim, 28 funcionários participaram de um grupo de foco cujo objetivo consistia na validação do modelo lógico então desenvolvido pelos pesquisadores para o curso identificado. Academicamente, ainda que a avaliabilidade do curso não tenha sido plenamente constatada, a ferramenta modelo lógico, como suposto, serviu aos propósitos de facilitar a clarificação das relações de causalidade e de associação entre os elementos que o compõem ? recursos, atividades, produtos e resultados -, relações essas objetos principais de testes quase-experimentais em processos de avaliação de efeitos de treinamentos. Profissionalmente, a ferramenta, na medida em que exige a integração de percepções sobre como determinado programa ou ação de treinamento se vincula a resultados de desempenho nos níveis individual, de grupos e organizacional, apresentou-se potencialmente capaz de preencher a ausência instrumental constada na literatura relativa à análise organizacional em avaliação de necessidades.
Introdução
A partir da década de 1970, sobretudo incentivada pela abertura econômica promovida pelo regime militar no Brasil, a adoção de inovações tecnológicas e novas formas de gestão da força de trabalho necessárias à sustentação do modelo de substituição de importações passam a provocar aumentos nos índices de produtividade das organizações, bem como profundas alterações no relacionamento entre as empresas e seus principais atores. Atualmente, o mercado de consumo brasileiro, especialmente no caso de serviços de natureza pública, passa a exigir cada vez mais a prestação de serviços de qualidade. Nesse contexto, organizações de natureza e porte diferenciados buscam fazer frente às constantes alterações de cenário político, social econômico etc., que refletem inclusive nas suas proprias condições internas de trabalho, no sentido de compreendê-las e gerenciá-las efetivamente.
No que diz respeito à atuação das áreas responsaveis pelo gerenciamento da forca de trabalho, esse esforco empreendido pelas organizações se traduz em tentativas de captura de conhecimentos estratégicos sobre o meio onde competem, a fim de que, via processos de treinamento, desenvolvimento e educacao (TD&E), possam transformá-los em competências individuais e de grupo necessárias à elevação das taxas de competitividade. O reconhecimento da importância de uma força de trabalho atualizada e facilmente adaptável às constantes alterações de cenário societal faz com que seja aportado para capacitação de pessoas grande volume de recursos financeiros, principalmente em organizações que optaram pela implantação de universidades corporativas com ênfase no ensino a distancia. No Brasil, segundo Eboli (2004), ainda que já se possa identificar um aumento significativo do volume de recursos investido por essas empresas em TD&E, na maioria dos casos, esse investimento agrega pouco valor ao negócio, haja vista estarem desvinculados das estratégias de negócio.
A importância destes processos de qualificação, aliada ao volume de recursos despendidos e às crencas, supostamente corretas, de que pouco retornam para as organizações esses investimentos, aumentam o grau de cobrança por resultados. A avaliação da efetividade de treinamento, assim, apresenta-se como desafio tanto para pesquisadores como para profissionais da área de TD&E, sobretudo se considerado o pouco avanço observado nesse sentido desde o reconhecimento definitivo da área como campo cientifico de estudo há quase meio século. A questão central, assim, é garantir que o desempenho da organização está sendo alterado em consequência da mobilização, por indivíduos e grupos e equipes de trabalho, de conhecimentos, habilidades e atitudes adquiridos em ações educacionais.
Para tanto, é necessária a identificação de elementos que, articulados de forma lógica, viabilizem a proposição de métodos, procedimentos e técnicas que viabilizem a avaliação do impacto de ações de treinamento sobre a efetividade das organizações, primeiro desafio a ser superado pela área. Cientes deste desafio, e ante a baixa taxa de produtividade científica sobre a temática, pesquisadores nacionais como Mourão (2004), Freitas (2005) e Meneses (2007) realizaram pesquisas que revelam achados empíricos importantes para a compreensão da avaliacao de TD&E, bem como a identificação de seus efeitos nos níveis Mudança Organizacional e Valor Final, caracterizados por Amolem (1978) como aqueles mais complexos e abrangentes tipos de resultados almejados por ações de treinamento.
Neste contexto, este estudo tem como objetivo final identificar, por meio do uso de ferramenta gráfica, denominada de Modelo Lógico, frequentemente utilizada na área de avaliação de programas sociais, a avaliabilidade de uma avaliação de uma ação de treinamento nos níveis de mudança organizacional e valor-final. Vale enfatizar que o uso desta ferramenta, um dos aspectos centrais deste trabalho, foi motivada pela estagnação tecnológica, como ressalta Pilati (2006), da produção sobre a etapa de avaliação de necessidades, responsável pelo alinhamento entre objetivos individuais, de equipes e organizacionais de treinamento.
Para o alcance deste objetivo maior, outros específicos foram propostos: i. identificar uma ação de treinamento potencialmente capaz de influenciar determinados indicadores de desempenho individuais e organizacionais; ii. identificar e selecionar indicadores para a avaliação da efetividade da ação identificada; iii. elaborar e validar um modelo para viabilizar a avaliação dos efeitos do treinamento sobre o desempenho da organização estudada; e iv. a, a partir da análise do comportamento dos elementos do modelo lógico do curso selecionado, a existência de evidências de efetividade nesse nível mais abrangente de avaliação.
O contexto da pesquisa foi uma organização estatal, do setor de energia elétrica, com sede no Distrito Federal e atuação na Amazônia Legal. A escolha justificou-se pelo estágio do processo de educação corporativa da Instituição, que possibilitou a consolidação e a disponibilização dos dados necessários à consecução dos objetivos ora informados - um dos pré-requisitos para a realização de estudos desta natureza (avaliabilidade da avaliacao). Nas seções seguintes, apos descrição sintética dos principais avanços e limitações da área de TD&E no tocante à avaliação de efeitos de ações educacionais em termos de resultados organizacionais, são apresentadas as características metodológicas desta pesquisa, bem como seus principais resultados. Por fim, considerações sobre as contribuições e limitações do presente estudo, bem como suas implicações para a prática de treinamento nas organizações são destacadas.
Referencial Teórico
Em um contexto assinalado pela alta competitividade individual e institucional, ações de TD&E, atualmente revigoradas pelos incrementos tecnológicos que tanto têm contribuído para a transformação dos centros tradicionais de treinamento nos denominados centros corporativos de educação, assumem importancia inestimável. Independentemente da estrutura por meio da qual são prospectadas e implantadas soluções educacionais, segundo Abbad e Borges-Andrade (2004), o papel central da aprendizagem obriga as organizações a oferecerem oportunidades capazes de garantir maiores taxas de aquisição, retenção e, principalmente, de transferência de capacidades para as organizações, na forma de melhorias de desempenho individual ou processual. Trata-se, portanto, de estratégias de indução de aprendizagem utilizadas como instrumento para acelerar mudanças nas capacidades e comportamento das pessoas.
Cientifica e profissionalmente, as atividades de TD&E integram um sistema, cujos componentes ? avaliacao de necessidades, planejamento e avaliação de efeitos ? articulam-se endógena, com os subsistemas de gestão de pessoas, e exogenamente, com os demais subsistemas organizacionais. Esta pesquisa concentra-se no ultimo subsistema de treinamento, interessado nos resultados que as ações promovidas geram para indivíduos, equipes, organizações e, até mesmo, para a sociedade. Sobre este subsistema, muitos avanços foram observados, a ponto de o reconhecimento nacional e internacional de que o contexto pós-treinamento é condição necessária, embora não suficiente, para o aprimoramento do desempenho individual no trabalho, ter promovido, definitivamente, a área de avaliação de treinamento à condição de campo científico de pesquisa (Salas & Cannon-Bowers, 2001).
Apesar de relevantes, como apontado por Mourão (2004), a maioria desses avanços se deu em uma perspectiva individual de análise, de forma que não oferecem elementos que assegurem efeitos em níveis mais abrangentes, relativos às unidades de trabalho e a organização. Ou pelo menos, se observados, que se possa atribuir aos programas de TD&E tais efeitos. Meneses (2007) reforça essa tese ao afirmar, a partir de revisão de literatura na área, que pouco se sabe sobre como os treinamentos, comumente delineados para atender apenas necessidades individuais, favorecem a geração de resultados em níveis de analise mais elevados. Entre os estudos que cientificamente buscaram superar tal limitação, têm-se apenas alguns poucos, como os desenvolvidos no Brasil por Borges-Andrade, Pereira, Puente-Palácios e Morandini (2002), Mourão (2004), Borges-Andrade, Pereira e Freitas (2005), Mourão, Borges-Andrade e Sales, (2006) e Meneses (2007). Na literatura internacional, apesar do maior volume de literatura disponível , conforme revisão publicada recentemente no Annual Review of Psychology (Aguinis & Kraiger, 2009), consagrado periódico que reúne, desde a década de 1970, a produção da área de TD&E, esta se concentra no uso de pesquisas de opinião pouco rigorosas do ponto de vista científico. De qualquer forma, merece destaque pesquisa realizada por Saks e Belcourt (1997).
Conforme ressalta Abbad (1999), ainda são poucas as pesquisas sobre transferência de resultados individuais de treinamento para o nível grupal e deste para o organizacional. E isso pode ser explicada por uma série de dificuldades relatadas por Freitas, Borges-Andrade, Abbad e Pilati (2006): i. os sistemas de controle e avaliação organizacional, quando existentes, raramente contemplam indicadores sensíveis à influencia das ações de TD&E no nível da organização; ii. as ações educacionais são, em geral, desenhadas apenas com o foco no nível individual, sem apresentar relação explícita com efeitos organizacionais; e iii. as organizações que possuem uma prática consolidada de avaliação costumam fazê-la apenas em termos de satisfação com o curso, aprendizagem e desempenho individual pós-treinamento. Mourão, Borges-Andrade e Sales (2006) acrescentam a esta lista mais dois complicadores, a saber, a necessidade de condução do estudo em período após a realização do evento, para que haja tempo de se verificar os impactos, e o fato de que nem todos os eventos de TD&E objetivam atingir resultados em níveis mais abrangentes de análise.
Avaliar programas e ações de treinamento nesses níveis mais abrangentes, portanto, consiste em preocupação que urge na área de TD&E. Segundo Pilati (2006), a partir da década de 1990, com o aprimoramento programação multinível de pesquisas, foram desenvolvidos e testados diversos modelos integrados de avaliação da efetividade de programas instrucionais, com resultados suficientes para descrição de um grande modelo geral de avaliação de treinamento que pode ser adaptado para cada realidade organizacional, desde que enfatizados os aspectos relevantes ao contexto sob análise. Resta saber, ante as inúmeras limitações apontadas anteriormente, como adaptá-los a um contexto de treinamento comumente desorganizado e desarticulado. É por tal fator, conforme orientações propostas por Meneses (2007), que se recorreu à literatura de avaliação de programas sociais, que há muito tem enfrentado as mesmas limitações com as quais se depara hoje o campo da avaliação de treinamentos
Mas a adaptação de um modelo geral de avaliação para contextos específicos de treinamento constitui apenas um efeito a ser superado pelo enfrentamento de sua causa original, qual seja a escassa produção nacional e internacional sobre análises organizacionais em processos de avaliação de necessidades de treinamento, cuja principal função implica na articulação de objetivos instrucionais com desempenhos individuais, de grupos e equipes e organizacionais (Ferreira, Abbad, Pagotto & Meneses, 2009). É provável que essa estagnação, também enfatizada por Pilati (2006), decorra justamente do objeto de estudo pretendido em avaliações de resultados mais abrangentes de TD&E ? a efetividade organizacional.
Conforme correntes de estudo mais contemporâneas da temática (e.g., Cameron, 1981; Connolly, Conlon & Deutsch, 1980; Selden & Sowa, 2005; Zammuto, 1984), para as quais a efetividade varia em função dos atores organizacionais e seus principais interesses sobre os rumos e atividades da organização, uma das grandes dificuldades de pesquisas que operem tal construto consiste justamente na caracterização do fenômeno. Identificar esses atores e seus principais interesses não parece ser tarefa fácil, a ponto de emergirem outros complicadores mesmo quando devidamente executada. Entre esses limitadores, destaca-se a necessidade de fazer com que convirjam os interesses dos atores organizacionais e, principalmente, suas crenças sobre como determinado programa ou ação de TD&E se alinha com certo aspecto do desempenho organizacional, amplo o suficiente para dissipar qualquer tentativa de acordo nesse sentido.
Por tais motivos, recorre-se à teoria do programa, mais especificamente à ferramenta de trabalho denominada de modelo lógico, cujo objetivo central é tornar claras as relações de causalidade entre os principais elementos que, no caso deste estudo, integram um programa de TD&E (recursos, atividades, produtos, resultados e variáveis intervenientes). Vale enfatizar que são essas relações de causalidade, negligenciadas em processos de avaliação de necessidades de treinamento, que compõem iniciativas de investigação avaliativa de efeitos em níveis mais abrangentes de análise. Mas para que tais relações de causalidade possam ser pesquisadas, etapas anteriores de trabalho, como recomendam McLaughlin e Jordan (2004), devem ser cumpridas: i. coleta de informações relacionadas ao programa; ii. descrição do problema que o programa atende e seu contexto; iii. definição e organização gráfica dos elementos do modelo e das relações de causalidade entre esses elementos; e iv. verificação da validade do modelo lógico junto aos atores envolvidos com o programa.
Ao passo que as 3 primeiras etapas dependem da habilidade da equipe de avaliação de coletar e analisar informações sobre o objeto de estudo, a última e mais importante está condicionada também à capacidade da equipe de alinhar as diversas impressões que têm sobre o programa os atores organizacionais pertinentes. Essa é a maior contribuição, portanto, do uso da ferramenta na elaboração de modelos de avaliação de resultados mais abrangentes de TD&E adaptados a ações educacionais e contextos organizacionais complexos e variantes. Dito de outra forma, os modelos lógicos, ainda que de complexa composição em situações de treinamento assinaladas pela pouca quantidade de informações, representam o teste final da pertinência da avaliação nos níveis de grupos e organizacional. Sem a adoção de tal estratégia, corre-se o risco de se proceder à avaliação quando sequer a ação educacional tem por objetivo afetar o desempenho de determinada organização.
Além disso, validado o modelo lógico, tem-se à disposição uma importante ferramenta de monitoramento dos elementos do programa ou de avaliação das relações causais estabelecidas entre estes elementos. Por mais que adequadamente monitorados, somente a avaliação das hipóteses de relacionamento causal entre recursos, atividades, produtos, resultados e variáveis intervenientes permite investigar se o programa, de fato, contribui para o alcance dos resultados monitorados. Para testagem das relações causais entre os elementos do modelo lógico, especialmente no tocante às relações entre programas de TD&E e desempenho organizacional, tema central do presente trabalho, torna-se imprescindível uma discussão mais aprofundada sobre delineamentos quase-experimentais de pesquisa (e.g., Shadish, Cook & Campbell, 2002), como sugere Meneses (2007).
Método
Nesta pesquisa optou-se por abordar qualitativamente o objeto de interesse ora comunicado. De natureza aplicada, foi operacionalizada junto a uma concessionária de serviço público de energia elétrica, que tem como finalidade a realização de estudos, projetos, construção e operação de usinas geradoras e de sistemas de transmissão e distribuição de energia elétrica, bem como a celebração de atos de comércio decorrentes dessas atividades. Ante a finalidade determinada, qual seja testar a avaliabilidade da avaliação de um treinamento no nível de resultados organizacionais, fez uso do survey como estratégia de coleta de dados, estes reunidos transversalmente por meio de entrevistas, pesquisa documental e grupo de foco, cujos conteúdos foram analisados com vistas à validação do modelo lógico da ação de treinamento então selecionada.
A pesquisa foi dividida em quatro etapas: i. identificação de uma ação educacional que apresentasse chances de alterar indicadores de desempenho originalmente julgados importantes para o resultado da instituição; ii. escolha de indicadores de desempenho organizacional sensíveis aos resultados operacionais supostamente impactados pelo curso selecionado; iii. elaboração do Modelo Lógico do curso selecionado; e iv. validação do Modelo Lógico do curso. Vale lembrar que o presente estudo constitui etapa de preparação para pesquisa de avaliação de treinamento em níveis mais abrangentes de estudo, de forma que as duas primeiras etapas são de fundamental importância, pois em situações como essa se corre o risco de selecionar programas cuja avaliabilidade nesse sentido é nula ou limitada.
Para realização da primeira etapa foi construído um roteiro estruturado (Tabela 1), a fim de que determinadas questões pudessem ser usadas como guias na condução de uma entrevista coletiva realizada com o intuito de identificar a ação educacional e os indicadores de desempenho organizacional a ela atribuídos. É importante mencionar que a lógica topo-descida empregada na proposição do roteiro de entrevista foi decidida em função da celeridade do processo de coleta de dados. Fosse inversa, esta lógica poderia culminar, por diversas vezes, na identificação de ações de TD&E com poucas chances de afetar o desempenho da organização estudada e, portanto, inoportuna ante os fins maiores desta pesquisa. Desta entrevista participaram 11 pessoas da área operacional da empresa - um diretor, um superintendente, três gerentes de divisão e seis lideres de processo ? justamente por ser esta a área responsável pelo monitoramento contínuo dos indicadores de desempenho da organização geralmente mais estreitamente relacionados aos programas e ações de TD&E em desenvolvimento na instituição. Os participantes são do sexo masculino e pertencem ao quadro de empregados regulares, têm idade variando entre 44 e 58 anos e, em sua maioria, são engenheiros com tempo de serviço entre 17 e 27 anos.
Itens Questões Itens Questões
Processos Organizacionais Considerando os processos realizados, indique, na sua percepção, aquele que reflete os resultados operacionais mais importantes para empresa
Indicadores Processuais Identifique os indicadores que medem os processos apontados na resposta à questão anterior
Ação Educacional Identifique, na lista de ações de educação ofertadas pela empresa, aquela que favorece a melhoria do desempenho dos indicadores processuais e dos empregados que realizam os processos destacados
Tabela 1. Roteiro de entrevista para realização da Etapa 1.
Para realização da segunda etapa também foi elaborado um roteiro estruturado de entrevista visando à identificação dos indicadores de desempenho organizacional que melhor se associavam aos resultados operacionais selecionados na primeira etapa. A entrevista foi baseada em uma única pergunta: Considerando a ação educacional e os indicadores operacionais identificados na etapa anterior, que indicadores de desempenho organizacional podem ser a ela associados? Inicialmente, pretendia-se estender a discussão sobre esses indicadores a diversos profissionais da organização. Entretanto, este é reduzido e, no momento da realização da pesquisa, apenas um empregado encontrava-se disponível para o fornecimento dessas informações. Assim, apenas uma única entrevista foi realizada com um profissional do sexo masculino, de 49 anos, dos quais 21 tinham sido dedicados ao exercício do cargo de contador, que exige domínio do processo de monitoramento e análise de indicadores financeiros da empresa.
No intuito de que fosse constituído o Modelo Lógico do curso identificado nas etapas anteriores, principal objetivo do presente estudo, foram realizadas entrevistas e, em seguida, pesquisas documentais. Na entrevista buscou-se: identificar coordenadores, instrutores, facilitadores e avaliadores da ação educacional; selecionar relatórios e demais documentos emitidos nas etapas de planejamento, realização e avaliação do curso selecionado; e identificar condições que poderiam afetar os resultados do treinamento. Desta fase participaram sete funcionários, individualmente entrevistados: um superintendente, um gerente, dois coordenadores de cursos, um coordenador de avaliação de treinamento e dois estagiários encarregados da alimentação do banco de dados de avaliação dos cursos. O perfil dos participantes pode ser definido como de predominância feminina, com idades entre 25 e 59 anos e com 8 a 27 anos de tempo de serviço. Com as indicações resultantes, decidiu-se concentrar a pesquisa documental nos seguintes conjuntos de informação: Relatório de Gestão, Planejamento Estratégico, Plano de Desenvolvimento e Educação, Relatório de Gestão de Pessoas, Relatório do Sistema de Avaliação de Treinamento e Relatório do Desempenho Operacional.
Integradas, as informações coletadas foram submetidas à analise dos pesquisadores, que propuseram uma versão inicial do Modelo Lógico do curso identificado. Considerando que essa primeira versão representava apenas a impressão dos pesquisadores, elaborada em função das entrevistas e demais procedimentos até então executados, uma última etapa foi realizada, dessa vez com o objetivo de validar o modelo ora constituído. Para realização desta etapa final foi construído um roteiro estruturado de entrevista, apresentado na Tabela 2.
Itens Questões
Indicadores 1 - Os indicadores de efetividade ajustam-se às metas e aos objetivos pretendidos pelo curso?
2 - Existe algum outro indicador impactado pelo treinamento?
Recursos 3 - Os recursos financeiros, materiais e humanos disponibilizados para o curso foram adequados às necessidades de realização?
Planejamento 4 - Os objetivos educacionais foram adequados e estão alinhados aos resultados propostos?
Avaliação 5 - As estratégias instrucionais ajudaram no alcance dos objetivos
instrucionais?
Processos
Impactados 6 - A avaliação de aprendizagem refletiu os conteúdos adquiridos no curso?
7 - A avaliação de satisfação com o curso captou a percepção dos treinandos em relação às condições em que o treinamento ocorreu (instrutores e programação)?
8 - A avaliação de desempenho individual pós-treinamento conseguiu traduzir os efeitos do curso no trabalho e as condições de suporte para aplicação de novos conhecimentos?
9 - Existem outros processos, além daquele de transmissão (pré-operação, tempo real e pós-operação), que estão sendo impactados com os efeitos do curso?
Proposição de Metas 10 - Existem expectativas de outros resultados como consequência dos efeitos do curso?
Tabela 2. Roteiro de entrevista para realização da Etapa 4.
As perguntas eram então apresentadas a funcionários da organização a fim de que fossem ajustados os componentes do Modelo Lógico do curso identificado, bem como as relações causais hipotetizadas entre esses componentes. Além disso, esta etapa de validação tinha como meta a coleta de informações sobre possíveis variáveis capazes de intervir nas relações de causalidade estipuladas pelos pesquisadores quando da associação entre os diversos componentes do modelo. Para facilitar a condução do grupo focal, as perguntas foram encaminhadas com antecedência para um grupo de participantes, do qual, além dos integrantes das etapas anteriores, fizeram parte nove gerentes imediatos dos empregados treinados no curso: oito são do sexo masculino; todos pertencentes ao quadro regular de empregados da organização; idades entre 41 e 51 anos; cinco ocupavam o cargo de Técnico Industrial de Engenharia e quatro eram Engenheiros. Ao todo, portanto, 28 pessoas, incluindo os gerentes cujo perfil acaba de ser descrito, participaram da etapa de validação do Modelo Lógico do curso selecionado para esta pesquisa.
Resultados e Discussões
A primeira etapa, realizada com objetivo de identificar ação educacional potencialmente capaz de produzir alterações no desempenho organizacional, foi executada a partir de informações coletadas em entrevista coletiva, como mencionado. Para tanto, os participantes foram incentivados a refletir sobre três itens: a vinculação entre processos e resultados operacionais; os indicadores associados a tais processos; e, finalmente, a ação educacional capaz de impactar nesses indicadores.
Sobre os processos cujos resultados são os mais importantes para a organização, os 11 participantes julgaram mais relevante o Processo de Operação de Sistemas, necessário à efetiva disponibilização de equipamentos para a continuidade da manutenção dos contratos firmados com fornecedores. Selecionado tal processo, os seguintes indicadores foram identificados pelos participantes: Índice de Disponibilidade de Linhas de Transmissão e de Equipamentos ? probabilidade de que, em dado momento, as linhas de transmissão de energia elétrica ou dos equipamentos estejam operando satisfatoriamente, ou prontos para serem colocados em operação, caso necessário; e Índice de Desempenho Individual ? composto a partir de percepções de empregados e gerentes sobre a gestão de pessoas e a saúde integral dos funcionários, a qualidade dos processos de trabalho e as condições para efetivação desses trabalhos.
O destacamento deste destes processos e indicadores, é importante ressaltar, converge com a atuação da própria organização, cujos esforços, ao se concentrarem em ações de responsabilidade social, são operacionalmente direcionados para a otimização de processos, a redução de custos e o aumento da satisfação dos clientes e colaboradores. Estes esforços, por sua vez, resultam diretamente dos interesses dos principais atores organizacionais da instituição, integrados em cinco grandes coalizões - sociedade, acionistas, clientes e mercado e processos e pessoas. No presente estudo, ao final da primeira etapa, ficou evidente o foco apenas nessas duas ultimas perspectivas, cujo objetivo maior consiste, conforme informações retiradas dos documentos analisados em etapas subsequentes, em assegurar a qualidade e a disponibilidade de energia elétrica ao cliente, garantir a viabilidade dos empreendimentos, parcerias, autorizações e concessões no mercado de energia elétrica e consolidar a participação da empresa no negocio de telecomunicações.
Identificados os processos mais relevantes para o desempenho da organização, bem como os indicadores associados a tais processos, restava, ainda na primeira etapa de pesquisa, selecionar uma ação de treinamento potencialmente capaz de afetá-los. De posse do Plano de Diretor de Educação da Instituição, os participantes da entrevista coletiva consideraram que o curso de Reciclagem de Operadores de Sistema (ROSI) era adequado aos fins do presente estudo. Este treinamento fornece o ferramental básico para compreensão e participação no processo de transformação, relacionando os aspectos operativos, normas técnicas, procedimentos de rede vigentes, regras dos órgãos de regulação, fiscalização e política de fornecimento definida pela empresa.
Ofertado com o intuito de atualizar conhecimentos de profissionais admitidos no cargo de Operadores de Sistemas Elétricos de Potência, de modo a enfrentar as exigências de novas regras do contexto nacional do setor elétrico, este curso tem como clientela os empregados classificados no Plano de Cargos e Carreira da empresa como Operadores de Sistema. Esse grupo de profissionais é responsável pelo monitoramento e operação dos conjuntos de equipamentos que compõem os sistemas elétricos da empresa. O grupo de instrutores, formado por empregados da própria organização, foi definido com base na condição da especificidade do processo de transmissão, pelo conhecimento da região atendida pela empresa e pela necessidade de transferência de conhecimentos de empregados que possuem visão mais profunda das atividades que compõem o processo de transmissão de energia elétrica. A metodologia empregada no ROSI incluiu aulas expositivas, estudos dirigidos, trabalhos individuais e em grupo e dinâmicas de grupo. Totalmente realizado na modalidade presencial, contabiliza carga de 341 horas de treinamento.
Cientes da ação de treinamento selecionada, na segunda etapa da pesquisa, por meio da realização de uma entrevista estruturada com um empregado responsável pelo monitoramento e análise de indicadores financeiros da empresa, buscou-se identificar os indicadores de desempenho organizacional mais bem articulados aos objetivos instrucionais do curso de reciclagem. Segundo opinião do entrevistado, esses indicadores estariam presentes no Índice de Desempenho do Sistema de Transmissão, no Índice de Satisfação dos Clientes e no Índice de Satisfação com o Clima Organizacional. A Tabela 4 elucida a vinculação entre alguns objetivos do ROSI com indicadores de resultado e dimensões do desempenho organizacional identificados nas Etapas 1 e 2 da pesquisa.
Desempenho Organizacional Indicadores de Resultados Objetivos Instrucionais
Desempenho Operacional e Satisfação dos
Clientes Disponibilidade das Linhas de
Transmissão Efetuar pesquisa de linhas, geradores e equipamentos, emitir relatórios, efetuar a inclusão de informação de linhas e geradores
Disponibilidade dos Equipamentos Identificar equipamentos utilizados no sistema elétrico de potencia, identificar defeitos em equipamentos, identificar principio de funcionamento de equipamento, identificar efeito de manobra em equipamento, controlar potência reativa do sistema por meio de manobra em equipamentos
Clima
Organizacional Adequação das
Condições de
Trabalho Conhecer a política de segurança do trabalho, identificar riscos ambientais, fazer análise
preliminar de riscos, identificar e eliminar condições inseguras, identificar atos e condições inseguras e combater principio de incêndios
Tabela 4. Resultados das Etapas 1 e 2 de pesquisa.
De posse dessas informações, a terceira etapa envolveu a elaboração de uma representação gráfica, denominada de Modelo Lógico, da Teoria do Programa do ROSI. Por teoria do programa, entende-se a suposição e descrição de uma série de relacionamentos associativos ou causais entre variáveis ou componentes integrantes de um programa, no caso, de natureza educacional. Esta etapa, realizada a partir de análises documentais e entrevistas com sete funcionários da empresa, buscou coletar informações sobre os principais componentes integrantes do Modelo Lógico, adaptados para situações de TD&E conforme orientações de Meneses (2007), quais sejam os recursos (financeiros, materiais, humanos etc.), as atividades (planejamento da ação de treinamento), os produtos (satisfação com o curso e aprendizagem imediata) e os resultados de curto, médio e longo-prazo (equivalentes aos níveis de avaliação de desempenho individual, grupal e organizacional pós-treinamento).
A Tabela 4, nesse sentido, apresenta a caracterização de cada um desses componentes resultantes das analises ora empregadas na consecução da Etapa 3 desta pesquisa, bem como as relações causais hipotetizadas. Visto que tais relações assumiram configurações lineares, optou-se por representar o Modelo Lógico na modalidade topo-descida, conforme recomendado por McLaughlin e Jordan (2004). Nessa modalidade, as variáveis primárias são dispostas no topo da representação (Tabela 4) e as finalísticas, em sua base. Assim, supõe-se, por exemplo, que as atividades somente serão desenvolvidas caso recursos de natureza e magnitude específicas sejam garantidos.
Componentes Elementos Informações Coletadas
Recursos Financeiros R$ 349.476,80/turma
R$ 2.097.860,80 (seis turmas)
Didáticos Manual de Formação de Instrutores Internos
Manual do Treinando
Apostilas
Humanos 16 instrutores
2 coordenadores de atividades de TD&E
Equipe de suporte a ações de TD&E
Objetivos Aprimorar processo de supervisão em tempo real, de planejamento da pré-operação e da análise da pós-operação
Estratégias Aulas expositivas, estudo dirigido, trabalhos individuais e em grupo e dinâmicas
Atividades Modalidade Presencial
Carga Horária 341 horas
Participantes 16/turma
96 participantes no total
Produtos Satisfação Desempenho didático (Média =4.55; Likert de 1 a 5)
Desempenho do aluno (M=4.66; Likert de 1 a 5 )
Programação (M=4.37; Likert de 1 a 5)
Aprendizagem Sem registros sistemáticos
Resultado de
Curto-Prazo Impacto no
Trabalho Auto-avaliação (M =2.93; Likert de 1 a 5)
Percebido por Gerentes (M =2.95; Likert de 1 a 5)
Resultado de
Médio-Prazo Expectativas de
Impacto nos
Processos Aumento de disponibilidade de linhas
Aumento de Disponibilidade de equipamentos
Melhoria das condições físicas de trabalho
Resultado de
Longo-Prazo Expectativas de
Impacto
Organizacional Redução de custos com indisponibilidade
Elevação dos índices de satisfação de clientes
Melhoria do clima organizacional
Tabela 4. Resultados da Etapa 3 de pesquisa.
Representado graficamente a Teoria do Programa do treinamento de ROSI, fez-se necessário, por fim, validá-la. Como mencionado, participaram da quarta e última etapa de pesquisa todos os 28 funcionários envolvidos na consecução das etapas anteriores. Durante a realização da entrevista coletiva, orientado a partir dos 10 questionamentos mencionados na seção de Métodos, algumas manifestações culminaram com a incorporação de novos elementos à representação gráfica anteriormente apresentada, mas apenas no que diz respeito aos resultados de médio-prazo, que passaram a incorporar as expectativas de diminuição do tempo de recomposição de sistema e do tempo de realização de manobras de manutenção de linhas e equipamentos. Inseridos esses novos indicadores na estrutura previamente elaborada pelos pesquisadores, deu-se por validada a Teoria do Programa do treinamento em questão.
Desta forma, o treinamento encontrava-se preparado, deste ponto em diante, para a realização de avaliação em níveis mais abrangentes que aqueles tradicionalmente, centrados no indivíduo, operados pela área de TD&E. Colocado de outra forma, estava confirmada a avaliabilidade da avaliação do ROSI em termos de desempenho processual e organizacional. Similarmente à acepção do termo avaliabilidade adotada na literatura de Avaliação de Programas Sociais, em situações de investigação de efeitos de TD&E a avaliabilidade pode ser compreendida como o grau de proximidade entre o modelo retórico e aquele real de determinado programa de treinamento. Por modelo retórico entende-se um conjunto de suposições sobre como o programa afetará as necessidades que o justificaram. Ja o modelo real indica o que de fato é feito para que tais necessidades sejam satisfeitas.
Em situações de TD&E, a avaliabilidade assume importância fundamental à medida que, geralmente, os programas e as ações não são precedidos por avaliações sistemáticas de necessidades de treinamento. De fato, a literatura especializada, desde que a área assume caráter científico, com a publicação de Campbell (1971), até a data da última revisão internacional (Aguinis & Kraiger, 2009) publicada no Annual Review of Psychology, pouco avançou no que diz respeito à avaliação de necessidades. Faltam orientações teóricas e empíricas para que necessidades idealizadas no nível organizacional de análise - que orientam, posteriormente, avaliações de efeitos de TD&E sobre os processos ou a organização como um todo - sejam articuladas àquelas observadas nos níveis de grupos e equipes e individual. O modelo de McGehee e Thayer (1964), apesar das novas orientações propostas (e.g., Goldstein, 1991; Ostroff & Ford, 1989), permanece ainda como um dos guias mais importantes para realização de avaliação de necessidades, sobretudo do ponto de vista profissional.
Este modelo de base, denominado de Organizações-Tarefas-Pessoa, orienta a avaliação de necessidades a partir do uso de três grandes questionamentos: onde o treinamento deve ser implantado, o que deve ser treinado e quem deve ser treinado? Apesar de melhor direcionar o processo em discussão, as três questões norteadoras não permitem que determinado programa de treinamento seja articulado com o desempenho de uma organização. Na melhor das hipóteses, caso a primeira pergunta seja respondida, torna-se possível vincular a ação educacional com o desempenho de um setor, área, departamento etc.
Mas é preciso fazer uma ressalva. O Modelo de McGehhe e Thayer foi formulado anteriormente ao período em que a Teoria Geral de Sistemas começa a ser aplicada (e.g., Mattessich, 1978) na modelagem de organizações, até então compreendidas como sistemas herméticos. Dessa forma, à época da proposição do referido modelo, não se discutia tão incisivamente, ainda, a necessidade de as organizações contarem com estratégias negociais que lhe permitissem racionalizar sobre aspectos externos e competir em cenários cada vez mais complexos e mutáveis como aqueles atualmente constatados. Bastava que as pessoas fossem treinadas em rotinas estáveis e previsíveis para que se mantivesse em um patamar aceitável o desempenho das organizações.
Nesse âmbito, não fazia sentido discutir a necessidade de alinhamento entre programas de TD&E e desempenho e efetividade organizacional, discurso atualmente muito empregado por teóricos e profissionais da área de treinamento, mas sem seguimento nas práticas científicas e profissionais, de forma que são raros os casos de iniciativas de realização de avaliação de necessidades em níveis mais abrangentes de analise. Segue o individuo como principal balizador, até hoje, de tomadas de decisão sobre necessidades de treinamento, como se, adiante, resultados individuais de treinamento, como satisfação, aprendizagem e desempenho culminassem, invariavelmente, com aperfeiçoamentos dos desempenhos de grupos e equipes e mesmo organizacionais. Trata-se da crença, há muito destacada por Alliger e Janak (1989) e ainda proeminente, de que resultados observados no nível do indivíduo agregam-se, independentemente do tipo de desempenho enfocado pela ação educacional e das configurações contextuais que a permeia, para gerar mudanças em níveis mais elevados.
É nesse cenário que urge a redução da discrepância entre os modelos retóricos e reais sobre como determinado programa de treinamento afeta os resultados previstos pelas organizações. No presente estudo, essa redução foi promovida a partir do uso dos Modelos Lógicos. Trata-se de uma medida remediadora, uma vez que foi aplicada na etapa de avaliação de efeitos do treinamento de ROSI. De qualquer forma, mostrou-se extremamente útil na coleta de informações sobre a pertinência da avaliação do treinamento em níveis mais abrangentes de análise, ponto central de discussão deste ponto em diante.
As quatro etapas de pesquisa anteriormente descritas tinham como propósito, conforme informado, gerar informações suficientes para que pudessem ser compreendidos os mecanismos pelos quais o treinamento de ROSI afetaria o desempenho da organização estudada. Antes disso, essas etapas, essencialmente as três primeiras, proveram dados suficientes para a identificação dos elementos abarcados pelo treinamento e necessários à elaboração do Modelo Lógico (recursos, atividades, produtos e resultados).
Como discutido por estudiosos da avaliação de programas (e.g., Fitzpatrick, Sanders & Worthen, 2004; Mclaughlin & Jordan, 2004; Posavac & Carey, 2003), a reunião e a efetivação de acordos sobre as informações de um programa, geralmente distribuídas em diversos atores, cada qual com sua impressão sobre a realidade enfrentada, configura-se como condição inicial para a realização de avaliações posteriores. Sem dados confiáveis que permitam ao avaliador entender como o programa satisfará as necessidades que o justificaram, não há como avançar. No caso do treinamento de ROSI, que não foi precedido por uma avaliação de necessidades que indicasse os resultados organizacionais a serem impactados, essas informações foram coletadas a partir de entrevistas, pesquisas documentais e grupo focal.
Essas técnicas de coleta de dados mostraram-se úteis, na ordem em que foram empregadas. Por mais que avaliações de necessidades de treinamento não sejam efetivamente realizadas, se o treinamento assume caráter estratégico para a organização, é provável que dados sobre a suposta articulação do programa com o desempenho organizacional existam. No caso do treinamento de ROSI, esses dados estavam disponíveis. Mas isso porque a organização estudada conta com um centro corporativo de educação, cujo propósito é justamente alinhar as ações de qualificação profissional com as necessidades de desempenho da organização. Apesar de disponíveis, mesmo assim os dados pouco refletiam as conexões entre necessidades individuais e organizacionais de treinamento ou, segundo a lógica avaliativa, entre os resultados individuais e de efetividade articulados ao programa de treinamento. Sabia-se, no máximo, que o treinamento se enquadrava, conforme dimensões enfatizadas pelo centro corporativo de educação da empresa, nas perspectivas de clientes e mercado e de processos e pessoas, e que, nessas perspectivas, vinculava-se mais estreitamente ao desempenho de processos mais operacionais. Entretanto, não havia informação alguma sobre a relação destes aspectos mais abrangentes como indicadores de aprendizagem e de desempenho individual pós-treinamento. Neste momento, as entrevistas e o grupo focal foram de grande valia.
Este é outro ponto que merece destaque. Conforme Freitas e Borges-Andrade (2004), a avaliação de efeitos de TD&E sobre resultados organizacionais torna-se muito abrangente à medida que exige mensurações de outras mudanças, sobre processos de trabalho, produtividade, clima e cultura organizacional, entre outras tantas possibilidades. Essa exigência reforça a ideia de que o profissional de treinamento, por meio do emprego de métodos e técnicas analíticas mais participativas, compartilhe a responsabilidade pelo planejamento e execução da avaliação com atores mais bem entrosados com as medidas e indicadores que futuramente serão utilizados. Na presente pesquisa, foram realizadas entrevistas e grupo focal com especialistas nas dimensões do desempenho da organização mais bem relacionadas com o treinamento de ROSI. Esse compartilhamento de responsabilidades faz-se necessária não apenas na etapa de avaliação de efeitos de treinamento, mas, principalmente, na avaliação de necessidades.
Reunidas tais informações, via aplicação de métodos e técnicas participativos, surgiu a necessidade de localizar os indicadores que serviriam aos fins da avaliação em preparação. Como colocado por Fitzpatrick, Sanders e Worthen (2004), a disponibilidade de dados sobre os indicadores de resultado delineados é outro ponto fundamental na determinação da avaliabilidade da avaliação de um programa. A ausência desse tipo de informação impede que avaliações posteriores sejam operacionalizadas. Já a disponibilização parcial limita as alternativas de desenho de pesquisa mais robustas a ameaças da validade das conclusões de pesquisa.
No caso do ROSI, esses dados eram sistematicamente monitorados pela organização desde antes da implantação da solução educacional. Mais uma vez, a explicação para tal ocorrência está no fato de o treinamento estudado integrar uma perspectiva do desempenho da organização de extrema relevância para a manutenção e expansão de seu posicionamento de mercado. Casos, como aquele enfrentado por Meneses (2007), em que os dados sobre os indicadores selecionados não estejam disponíveis podem representar entraves consideráveis à condução de avaliação de treinamentos em níveis mais abrangentes de efeitos.
Estudos de avaliação de treinamentos nesses níveis são relevantes não apenas por permitirem a observação desses tipos de resultados, mas, principalmente, por permitirem que ao programa de treinamento sejam atribuídos os resultados percebidos. A lógica do investimento em ações de TD&E exige, como clamam alguns profissionais e estudiosos, demonstrações concretas de que os programas de treinamento realmente afetam o desempenho das organizações. E isso, consequentemente, demanda o uso de delineamentos quase-experimentais capazes de isolar uma gama de variáveis que muito bem podem explicar, mesmo na ausência dos treinamentos, os resultados organizacionais almejados.
O uso de desenhos de pesquisa dessa natureza marcou a solidificação da área de avaliação de programas, em meados da década de 1950, como campo cientifico de estudos e, agora, assume centralidade em pesquisas também da área de TD&E. Segundo Shadish, Cook e Campbell (2002), diversos delineamentos quase-experimentais podem ser utilizados, alguns mais frágeis, outros mais robustos a interferências de variáveis estranhas, embora conhecidas, ao contexto da pesquisa. O que determinara a escolha de um ou outro delineamento, entre outros tantos aspectos, é a disponibilidade de dados. Como destacado pelos autores, estudos mais robustos à influencia de variáveis interferentes são compostos por diversos parâmetros avaliativos, como pré-testes e diversos grupos de comparação, por exemplo. Estudos mais frágeis fazem uso de um numero menor de parâmetros (e.g., um único grupo e uma única testagem), o que resulta em conclusões mais duvidosas acerca das relações entre as variáveis estudadas. Nessa pesquisa, os dados eram sistematicamente monitorados mesmo antes, como mencionado, da projeção da ação educacional, de forma que estudos posteriores de avaliação bem poderiam fazer uso de delineamentos de pesquisa mais robustos.
Mas como nem sempre este é o caso, colocam-se em risco os esforços de preparação da sistemática de avaliação do impacto de treinamentos sobre o desempenho das organizações. Esta talvez seja a principal limitação do uso da Teoria do Programa ou dos Modelos Lógicos apenas na etapa de avaliação de efeitos de TD&E. Elaborá-los, o que exige esforço considerável, nem sempre garante a pertinência da avaliação. Como asseveram James (1992) e Shelton e Aligger (1993), nem sempre avaliações de treinamentos nesses termos referidos são oportunas.
Mais uma vez, destaca-se o uso de desenhos quase-experimentais em pesquisas de avaliação pela necessidade de ao treinamento ser atribuído, seguramente, os resultados observados no desempenho da organização. E justamente porque tais desenhos permitem maior controle sobre outras tantas variáveis, como políticas, programas e ações organizacionais paralelas, que concorrem pelos mesmos resultados almejados pela ação de treinamento. No caso ora estudado, havia indícios de que outras variáveis precisariam ser consideradas nos estudos derradeiros de avaliação, pois, de acordo com os resultados da Etapa 3, constatou-se que, apesar de os participantes terem avaliado bem o treinamento no que dizia respeito ao desempenho didático, ao próprio desempenho e à programação do curso (4.37 < Média < 4.67), as taxas de desempenho individual pós-treinamento foram relativamente baixas (Média = 2.93 para auto-avaliação e de 2.95 para heteroavaliação percebida pelos gerentes).
De outra forma, pode-se afirmar, assim, que os participantes gostaram do curso, mas não o utilizavam com tanta intensidade na execução de suas tarefas e atividades. Se essas taxas de utilização eram pequenas, seria improvável que alterações no desempenho da organização pudessem ser atribuídas ao treinamento. Não que alterações não pudessem ser constatadas. Até poderiam, mas isso não significa que os resultados organizacionais, caso emergidos, fossem decorrentes unicamente da realização do ROSI.
E isso remete a um último aspecto, porém de grande importância na medida em que permite concluir sobre a avaliabilidade avaliação do ROSI nos níveis de resultados organizacionais - o comportamento dos demais componentes do Modelo Lógico, principalmente no que diz respeito aos produtos e resultados de curto-prazo, equivalentes aos níveis de aprendizagem e desempenho individual pós-treinamento. Como já informado, os resultados neste último nível - é preciso lembrar que dados sistemáticos sobre avaliações de aprendizagem não estavam disponíveis - estavam aquém do esperado, de forma que a avaliação do impacto do curso sobre os resultados de médio e de longo-prazos previstos no modelo tornava-se inoportuna.
Pelo menos do ponto de vista profissional, não se justificava o esforço de prosseguir com esta avaliação, tanto porque, se os resultados fossem constatados, estes não poderiam ser creditados integralmente ao curso de ROSI. De qualquer forma, bem poderiam ser usados pela organização na composição de alguma estratégia remediadora que elevasse os desempenhos individuais pós-treinamentos. Já do ponto de vista científico, independentemente dos resultados obtidos, torna-se evidente a relevância da continuidade da pesquisa de avaliação, a fim de confirmar definitivamente a capacidade, por menor que seja esta, de o treinamento contribuir para o aperfeiçoamento do desempenho da organização. Mesmo não confirmada, um estudo subsequente desta natureza seria de fundamental relevância para atestar, também no caso de variáveis pertencentes a níveis agregados, a influência do contexto organizacional, a exemplo do que já se consolidou acerca do nível individual de análise, sobre resultados mais abrangentes de TD&E.
Considerações Finais
Considera-se satisfeito o principal objetivo desta pesquisa ? identificar a avaliabilidade da avaliação de um programa de treinamento em termos de resultados organizacionais. Como discutido por Meneses (2007), a Teoria do Programa, operacionalizada por meio da elaboração de Modelos Lógicos, foi de grande valia para a compreensão do potencial do treinamento de ROSI de impactar positivamente no desempenho da organização estudada. Importantes informações puderam ser coletadas, de forma que se sabe, agora, serem baixas as probabilidades de que o treinamento possa ser responsabilizado caso sejam observadas mudanças no desempenho da organização.
Entendida como solução remediadora integrada à etapa de avaliação de treinamento, a ferramenta, em termos práticos, mostrou-se útil para que a organização proponha configurações contextuais mais favoráveis ao desempenho pós-treinamento, seja qual for o nível de análise pretendido. Para fins científicos, o uso da ferramenta possibilita a retomada das taxas de produtividade da área de avaliação de efeitos de TD&E, estagnadas quando níveis mais elevados de análise passam a ser considerados. Principalmente porque a ferramenta exige o compartilhamento de dados e impressões que, nesses níveis mais elevados, estão fora da alçada dos profissionais tradicionalmente responsáveis por pesquisas de avaliação.
A ciência do treinamento, e somente recentemente, passou a preocupar-se, de modo mais sistemático, com o planejamento e entrega de ações de TD&E para grupos e equipes de trabalho, de forma que ferramentas que permitam uma melhor compreensão desses níveis têm muito a contribuir para a área. Este é o caso dos Modelos Lógicos, que, operante sob uma lógica de compartilhamento de decisões, permite melhor manipulação de variáveis nesses níveis de analise sem que necessariamente teorias, conceitos etc. referentes tenham de ser dominados pelos profissionais de treinamento.
Deste apenas se espera capacidade de articulação entre os modelos retóricos e reais concebidos pelos diversos atores organizacionais interessados no programa de treinamento enfocado. Apesar de o objetivo ter sido alcançado, essa pesquisa sofreu de uma importante limitação. Como discutido anteriormente, dados relativos à aprendizagem não foram considerados na composição do Modelo Lógico do treinamento de ROSI. Assim, especulou-se que a quebra dos elos do Modelo se deu no componente denominado de Resultado a Curto-Prazo, quando, de fato, pode ter se dado em um nível anterior de análise ? Resultados. Também consiste fragilidade desta pesquisa a mera especulação, não antecedida, portanto, pela obtenção de dados confiáveis acerca da questão, sobre variáveis interferentes das relações de causalidade supostas no Modelo preparado para o curso de ROSI.
Pesquisas que façam uso da ferramenta aqui apresentada devem incorporar, na checagem da discrepância entre o modelo ideal e real do programa sob avaliação, questionamentos sobre variáveis, no nível individual, de grupos e equipes, organizacional e sócio-ambiental, capazes de afetar as relações de causalidade supostas. Nessa pesquisa apenas se questionou sobre outros resultados como conseqüência dos efeitos do curso, mas não sobre variáveis intervenientes. De qualquer forma, tem-se uma importante ferramenta remediadora de processos não sistemáticos de avaliação de necessidades de treinamento que até mesmo pode vir a se configurar, na ausência de produção sobre o assunto e, pelo menos, do ponto de vista profissional, uma nova metodologia qualitativa de análise organizacional.
Referências
Abbad, G. (1999). Um modelo integrado de avaliação do impacto do treinamento no trabalho - IMPACT. Tese de Doutorado, Universidade de Brasília, Brasília.
Abbad, G; Borges-Andrade, J. (2004). Aprendizagem Humana em Organizações. In: Zanelli, J; Borges-Anbrade, J; Bastos, A. (Org.), Psicologia, Organizações e Trabalho no Brasil. Porto Alegre: Artmed.
Alliger, G. M., Tannenbaum, S. I., Bennet, W., Traver, H. & Shotland, A. (1997). A meta-analysis of the relations among training criteria. Personnel Psychology, 50, p. 341-359.
Aguinis, H., & Kraiger, K (2009). Benefits of training and development for individuals, teams, organizations e society. Annual review of Psychology, v. 60, p. 451 ? 474.
Borges-Andrade, J. E.; Pereira, M. H. G.; Puente-Palácios, K. E.; Morandini, D.C. (2002). Impactos individual e organizacional de treinamento: Uma análise com base num modelo de avaliação e na teoria multinível. Revista Psicologia, Organizações e Trabalho, Florianópolis, v. 2, n. 1, p. 117-146, 2002.
Cameron, K. (1981). Domains of organizational effectiveness in colleges and universities. Academy of Management Journal, 24, p. 25-47.
Campbell, J.P. (1971). Personnel training and development. Annual Review of Psychology, 22, p. 565-602.
Connolly, T., Conlon, E. J. & Deutsch, S.J. (1980). Organizational effectiveness: A multiple-constituency approach. The Academy of Management Review, n. 5, p. 211?217.
Eboli, M. (2004). Educacao Corporativa no Brasil: mitos e verdades. Sao Paulo: Ed. Gente.
Ferreira, R., Abbad, G., Pagotto, C. & Meneses, P. P. M. (2009). Avaliação de necessidades organizacionais de treinamento: O caso de uma empresa latino-americana de administração aeroportuária. REAd. Revista Eletrônica de Administração, v. 15, p. 1 ? 26.
Fitzpatrick, J. L., Sanders, J. R. & Worthen, B. R. (2004). Program evaluation: Alternative approaches and practical guidelines. Boston: Pearson Education, 3rd. Ed.
Freitas, I. A. (2005). Impacto de Treinamento nos desempenhos do individuo e do grupo de trabalho: Suas relações com crencas sobre o sistema de treinamento e suporte a aprendizagem contínua. Tese de Doutorado, Universidade de Brasília, Brasília.
Freitas, I. A. & Borges-Andrade, J. E. (2004). Efeitos de treinamentos nos desempenhos individual e organizacional. Revista de Administração de Empresas, v. 44, n. 3, p. 44?56.
Freitas, I. A., Borges-Andrade, J. E., Abbad, G. S. & Pilati, R. (2006). Medidas de impacto de TD&E no trabalho e nas organizações. In: Borges-Andrade, J. E., Abbad, G. S. & Mourao, L. (Org.): Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: Fundamentos Para a Gestão DE Pessoas. Porto Alegre: Artmed, p. 489-504.
Goldstein, I. L. (1991). Training in work organizations. In: Dunnette & Hough (Eds.), Handbook of Industrial and Organizational Psychology. Palo Alto, California: Consulting Psych, p. 507-619.
James, H. (1992). Simplifying ROI. Training. Minneapolis: 29(9), pp. 53-58.
Kirkpatrick, D.L. (1976). Evaluation of Training: In Craig, R. L. (ed.), Training and Development Handbook. New York: McGraw-Hill, pp. 18.1?18.27.
Mattessich, R. (1978). Accounting AND Analytical Methods: Measurement and Projection of Income and Wealth in the Micro and Macro Economy. Homewwod, Illinois.
McGehee, W., Thayer, P. W. (1961). Training in Business and Industry. New York: Wiley.
McLaughlin, J. A. & Jordan, G. B. (2004). Using logic models. In: Wholey, J. S., Hatry, H. P. & Newcomer, K. E. (Eds.), Handbook of practical program evaluation. San Francisco, CA: Jossey-Bass, 2nd ed.
Meneses, P. P. M. (2007). Avaliacao de um curso de desenvolvimento regional sustentável no nível de resultados: A contribuição dos modelos lógicos e do método quase-experimental. Tese de Doutorado, Universidade de Brasília, Brasília.
Mourão, L. (2004). Avaliação de programas públicos de treinamento: Um estudo sobre o impacto no trabalho e na geração de emprego. Tese de Doutorado, Universidade de Brasília, Brasília.
Mourão, L., Borges-Andrade, J. E. & Salles, T. (2006). Medidas de valor final e retorno de investimento em avaliação de TD&E. In: Borges-Andrade, J. E., Abbad, G. S. & Mourao, L. (Org.): Treinamento, Desenvolvimento e Educacao em Organizações e Trabalho: Fundamentos para a Gestão de Pessoas. Porto Alegre: Artmed, p. 505-513.
Ostroff, C. & Ford, J. K. (1989). Introducing a levels perspective to training needs assessment. In I. L. Goldstein (Ed.): Training and Career Development. San Francisco: Jossey-Bass, p. 25?62.
Pilati, R. (2006). Historian e importância de TD&E. In: Borges-Andrade, J. E.,Abbad, G. S. & Mourao, L. (Org.): Treinamento, Desenvolvimento e Educacao em Organizações e Trabalho: Fundamentos para a Gestão de Pessoas. Porto Alegre: Artmed, p. 159-176.
Posavac, E. J & Carey, R. G. (2002) Program Evaluation: Methods and Case Studies, 6th Edition.
Saks, A. M., & Belcourt, M. (1997). Transfer of training in Canadian Organizations. Update, v. 1, n. 1, p. 9?10.
Salas, E. & Cannon-Bowers, A. (2001). The science of training: a decade of progress. Annual Review of Psychology, v. p. 471-499.
Selden, S. C. & Sowa, J. E. (2005). Testing a multi-dimensional model of organizational performance: Prospects and problems. Journal of Public Administration Research and Theory, v, 14, n. 3, p. 395?416.
Shadish. W. R., Cook, T. D. & Campbell, D. T. (2002). Experimental and Quasiexperimental Designs for Generalizes Causal Inference. Houghton Mifflin Company.
Shelton, S. & Aligger, G. (1993). Who?s afraid of level 4 evaluation? Training & Development. Alexandria, v. 47, n. 6, p. 43?48.
Tannenbaum, S. I. & Yukl, G. (1992). Training and development in work organizations. Annual Review of Psychology, v. 43, p. 399-441.
Zammuto, R. (1984). A comparison of multiple constituency models of organizational effectiveness. The Academy of Management Review, v. 9, p. 606?616.