Experimentação

Segundo Kerlinger (1973), um experimento ^{(português brasileiro)} ou experiência ^{(português europeu)} é "um tipo de pesquisa científica no qual o pesquisador manipula e controla uma ou mais variáveis independentes e observa a variação nas variáveis dependentes concomitantemente à manipulação das variáveis independentes.”

O propósito de manipular e medir as variáveis no experimento é captar causalidade (relação entre causa e efeito). As variáveis independentes são responsáveis pelas possíveis causas, e as variáveis dependentes sinalizam os efeitos. Duas variáveis podem ter altíssima correlação, mas não necessariamente uma é causa da outra. Há três condições para que seja admitida a causalidade (AAKER; KUMAR; DAY, 2001):

1) Variação concomitante – evidência de que existe uma forte associação entre uma ação e um efeito observado.

2) Ordem de ocorrência das variáveis no tempo – evidência de que a ação precede (e/ou ocorre simultaneamente) ao efeito.

3) Eliminação de outros fatores – evidência de que não há outra explicação para a relação.

Ambientes: laboratório e campo

Os experimentos podem ser realizados em laboratório ou em campo. Naqueles realizados em laboratório, o pesquisador tem controle total sobre as variáveis, pois o ambiente de experimentação é criado e conduzido pelo pesquisador. Já nos experimentos de campo, o pesquisador não consegue ter controle absoluto sobre as variáveis, pois são projetos conduzidos em uma situação real, como por exemplo, os Testes de Mercado. (MATTAR, 2005).

Nas situações reais há presença de muitos fatores que interferem na pesquisa e que podem fugir do controle do pesquisador, pois ambiente real não é criado por ele. Por essa razão o pesquisador precisa se adequar ao ambiente utilizando técnicas para atenuar os efeitos de fatores que atrapalham as observações. Os experimentos de campo geralmente têm precisão menor que os experimentos de laboratório.

Validade do experimento

O pesquisador tem dois objetivos: extrair conclusões válidas sobre os efeitos de variáveis independentes sobre o grupo em estudo e também fazer generalizações para uma população maior. Quando há constatação de que o tratamento foi a causa real do efeito, o experimento tem validade interna. Quando a relação de causa e efeito encontrada no experimento pode ser generalizada para toda a população, então o mesmo tem validade externa. (MALHOTRA, 2001).

Variáveis dependentes, independentes e tratamentos

As variáveis dependentes no experimento são aquelas cujos resultados dependem do comportamento das variáveis independentes, que são manipuladas e controladas pelo pesquisador.

Exemplos de variáveis independentes no marketing: preço, gastos com propaganda, tipos de ações promocionais, marca, sabor, embalagem, exposição do produto.

Exemplos de variáveis dependentes no marketing: volume de vendas, participação no mercado, imagem, cobertura de clientes.

Os tratamentos são as manipulações alternativas das variáveis independentes. Exemplos: aumentar o preço de um produto, diminuir a exposição do produto, alterar a embalagem.

Unidades de teste

Durante o experimento, os tratamentos são aplicados em unidades de teste, e nelas os efeitos também são medidos. Exemplos de unidades de teste em pesquisas de marketing: indivíduos, famílias, empresas, lojas, regiões geográficas.

As unidades de teste onde os tratamentos são aplicados formam um grupo experimental e as unidades de teste que não são expostas a tratamento formam o grupo de controle. O intuito é comparar os grupos experimentais com os grupos de controle para medir os efeitos do tratamento. (MATTAR, 2005).

Variáveis estranhas

No experimento existem também as variáveis estranhas, que podem alterar os resultados das variáveis dependentes. As variáveis estranhas não são desejadas no experimento, pois mascaram os resultados e podem invalidar a pesquisa, e por isso seus efeitos devem ser eliminados ou atenuados. Abaixo estão as principais variáveis estranhas presentes nos testes de mercado, também conhecidas como variáveis extrínsecas ou de confusão (MATTAR, 2005; MALHOTRA, 2001):

• História – eventos específicos que ocorrem durante o experimento, porém são externos a ele, como por exemplo, fatores macroeconômicos. Quanto maior a duração do experimento, mais sujeito estará à ocorrência de história.

• Maturação – eventos que ocorrem nas próprias unidades de teste com o passar do tempo. Quando o experimento envolve pessoas, a maturação acontece conforme elas vão ficando mais velhas, experientes, cansadas ou desinteressadas.

• Efeitos do Teste – causados por medições das variáveis dependentes antes e depois da exposição ao tratamento. Acontecem de duas maneiras: 1) Efeito-teste Principal – quando uma medição anterior afeta uma medição posterior. Exemplo: um consumidor é induzido a mudar de atitude depois de preencher um questionário. 2) Efeito-teste Interativo – quando uma medição prévia afeta a resposta da unidade de teste em relação à variável dependente. Exemplo: as unidades teste passam a ficar mais curiosas e interessadas no que esta sendo medido, podendo interferir na maneira normal de reagir ao tratamento.

• Variações nos instrumentos – qualquer mudança que possa ocorrer nos instrumentos utilizados na medição das variáveis. Podem ser mudanças efetivas do instrumento, como utilizar uma escala em Cruzeiros e o valor ser modificado pela inflação ao longo do tempo; ou mudanças nas formas de aplicação, como utilizar vários entrevistadores com comportamentos diferentes.

• Regressão estatística – ocorre quando as unidades de teste apresentam posições extremadas com relação à variável ependente, variando rapidamente (além do normal). Neste caso, o efeito não pode ser atribuído apenas ao tratamento. As atitudes das pessoas extremistas têm maior probabilidade de variar gerando confusão sobre os resultados experimentais.

• Viés de seleção – ocorre quando são selecionadas unidades de teste com grandes diferenças entre si em relação à variável dependente, antes mesmo de serem expostas a tratamento. Exemplo: comparar grupos heterogêneos, como os dez piores e os dez melhores vendedores da empresa.

• Mortalidade de unidades de teste – perdas de unidades de teste durante a realização do experimento. A mortalidade confunde os resultados, pois não se pode garantir que as unidades perdidas responderiam da mesma maneira que aquelas que permaneceram.

Métodos para atenuar variáveis estranhas

As variáveis estranhas podem ocorrer conjuntamente e interagem umas com as outras. Para diminuir os seus efeitos Malhotra (2001) propõe os seguintes métodos:

• Aleatorização: seleção aleatória de unidades de teste, grupos experimentais e de atribuição de condições de tratamento. Este método assegura que os fatores estranhos estarão representados igualmente em cada condição de tratamento. A aleatorização elimina problemas de viés de seleção e de regressão estatística, pois as unidades selecionadas aleatoriamente representam o perfil geral da população do teste.

• Utilização de grupo de controle: elimina os efeitos de história, maturação e mortalidade, pois tanto no grupo controle quanto no grupo experimental essas variáveis ocorrem de maneira semelhante, fazendo com que os efeitos das variáveis dependentes possam ser observados de maneira relativa através da comparação.

• Emparelhamento: comparação de características fundamentais das unidades teste para verificar semelhanças entre os grupos experimentais e grupos de controle antes de aplicar tratamento. O objetivo é garantir que os grupos sejam semelhantes. Assim, o efeito pós-tratamento poderá ser identificado com mais clareza no grupo experimental.

• Controle estatístico: medição de variáveis estranhas e ajuste de seus efeitos através de análise estatística, como por exemplo, a análise de covariância.

• Controle de planejamento: utilização de experimentos planejados. Exemplos de controles possíveis: garantir que o produto seja aceito e distribuído na loja, armazenado no local adequado com o número correto de posicionamentos na prateleira, precificado de acordo com o sugerido, sem falta de estoque, e com as promoções adequadas.

• Medição das variáveis dependentes apenas depois do tratamento: elimina os efeitos de teste principal e interativo.

• Cuidados na aplicação de instrumentos de medição: diminuem influência da variável instrumentação no efeito observado. Exemplo: fazer rotação de entrevistadores entre as unidades de teste ao longo do experimento, para que respostas de entrevistas não sejam viciadas.

Tipos de Projetos Experimentais

Os métodos apresentados acima para diminuir o efeito das variáveis estranhas, podem ser combinados de várias maneiras resultando em inúmeras configurações de projetos experimentais. Malhotra (2001) propôs a seguinte classificação para os projetos experimentais:

1) Projetos Pré-experimentais Para Akker, Kumar e Day (2001), os projetos pré-experimentais são estudos exploratórios e não têm quase nenhum controle sobre as variáveis estranhas. Além de a seleção das unidades teste não ser aleatória, são projetos mais simples e com pouca confiabilidade. Os planejamentos desse tipo utilizam geralmente amostras pequenas.

2) Projetos Experimentais Verdadeiros Os projetos experimentais verdadeiros são aqueles que utilizam o recurso de aleatorização para selecionar as unidades de teste, e por isso, são mais confiáveis que os pré-experimentais para fazer inferências causais. Entretanto, a aleatorização é difícil de ser aplicada quando a amostra é pequena. Outra característica importante dos projetos experimentais verdadeiros, que os tornam mais válidos, é a presença de um ou mais grupos de controle além dos grupos experimentais. (AAKER; KUMAR; DAY, 2001)

3) Projetos Quase Experimentais Os projetos quase experimentais não utilizam a atribuição aleatória como os experimentais verdadeiros, mas por outro lado, oferecem mais informações que os projetos pré-experimentais. Geralmente são projetos com várias medições ao longo do tempo.

4) Projetos estatísticos Para Malhotra (2001) os projetos estatísticos diferem dos demais, pois permitem controles estatísticos e análise de variáveis externas, mesmo sendo afetados pelas variáveis estranhas. Embora exijam uma elaboração mais complexa, os projetos estatísticos são mais ricos em informações e permitem medição de efeitos de mais de uma variável simultaneamente. Aaker, Kumar e Day (2001) ressaltam que os projetos estatísticos geralmente apresentam medição apenas depois do tratamento. As configurações mais comuns da categoria são: blocos aleatorizados, quadrado latino e modelo fatorial.

Planejamento de Experimento

A seguir estão contempladas as configurações de projetos experimentais que, segundo Mattar (2005), são as mais usuais em marketing.

Configuração 1: Um grupo experimental medido apenas uma vez depois do tratamento. Tipo do projeto: Pré-experimental (sem aleatorização, medição apenas depois). Vantagens: Menor custo e mais rapidez. Desvantagens: Conclusões limitadas e validade baixa. Variáveis estranhas agravantes: História, maturação, viés de seleção e mortalidade.

Configuração 2: Uma medição do grupo experimental antes e uma depois da aplicação do tratamento. Tipo do projeto: Experimental Verdadeiro (com aleatorização). Vantagens: Possibilidade de comparação antes e depois. Desvantagens: Efeito observado não resulta apenas do tratamento. Validade interna baixa. Variáveis estranhas agravantes: História, efeito teste interativo e principal, instrumento.

Configuração 3: Medição apenas depois do tratamento. Um grupo experimental e um grupo controle. Tipo do projeto: Experimental Verdadeiro (com aleatorização, medição apenas depois). Vantagens: Grande validade interna. Desvantagens: Dúvida sobre o emparelhamento dos grupos teste e controle antes do tratamento. Variáveis estranhas agravantes: Todas as variáveis podem ser controladas.

Configuração 4: Medição antes e depois do tratamento, tanto no grupo experimental quanto no grupo controle. Tipo do projeto: Experimental Verdadeiro (com aleatorização e emparelhamento). Vantagens: Grande validade interna e externa. Garantia de Emparelhamento antes do tratamento. Desvantagens: Possível presença de efeito de teste interativo, devido às medições antes. Variáveis estranhas agravantes: Efeito teste interativo.

Configuração 5: Medição do grupo controle apenas antes, e medição do grupo experimental apenas depois do tratamento. Tipo do projeto: Experimental Verdadeiro (com aleatorização, grupos intercambiáveis). Vantagens: Não há presença de efeitos de teste. Útil quando a medição-antes contamina demais os resultados. Desvantagens: Não há controle de variáveis estranhas; Baixa validade; Dúvidas quanto ao emparelhamento. Variáveis estranhas agravantes: História, maturação, instrumento, mortalidade.

Configuração 6: Medição do grupo experimental 1 e do grupo controle antes e depois do tratamento. Medição do grupo experimental 2 apenas depois. Tipo do projeto: Experimental Verdadeiro (com aleatorização, emparelhamento), conhecido também como "Projeto de Solomon de três grupos". Vantagens: Grande validade interna e externa; Quantifica o efeito teste interativo. Desvantagens: Custo elevado, complexo, trabalhoso. Variáveis estranhas agravantes: Todas as variáveis são controladas.

Configuração 7: Medição antes e depois no grupo experimental 1 e no grupo controle 1. Medição apenas depois no grupo experimental 2 e no grupo controle 2. Tipo do projeto: Experimental Verdadeiro (com aleatorização, emparelhamento), conhecido também como "Projeto de Solomon de quatro grupos". Vantagens: Grande validade interna e externa; Quantifica o efeito teste interativo e o efeito conjunto das demais variáveis estranhas. Desvantagens: Custo elevado, complexo, trabalhoso. Variáveis estranhas agravantes: Todas as variáveis são controladas.

Configuração 8: Medições periódicas do grupo experimental, antes e depois do tratamento. Tipo do projeto: Quase Experimental. Vantagens: Grande validade externa. Desvantagens: Passível de conclusões distorcidas; Baixa validade interna. Variáveis estranhas agravantes: História, efeito teste interativo.

Configuração 9: Medições periódicas do grupo experimental e do grupo controle, antes e depois do tratamento. Tipo do projeto: Quase Experimental (com emparelhamento). Vantagens: Mais clareza nas medições do efeito do tratamento; Grande validade externa. Desvantagens: Efeito de teste interativo no grupo experimental. Variáveis estranhas agravantes: Efeito teste interativo.

Fases de um experimento

Na literatura de pesquisa de mercado há vários livros texto. Cada um deles com descrições de passos muito similares para guiar o planejamento de um projeto experimental em marketing. Para este artigo foi criado um resumo a partir das bibliografias de Aaker, Kumar e Day (2001) e Mattar (2005):

1. Formulação

• Formulação, definição ou constatação de um problema de pesquisa, que requeira experimentação.

• Definição dos objetivos da pesquisa e formulação da hipótese causal.

• Definição do tratamento e das variáveis da pesquisa (dependentes e independentes).

• Determinação de dados necessários e suas fontes.

2. Metodologia

• Escolha do tipo de projeto experimental e descrição da metodologia do experimento.

• Identificar quais variáveis estranhas não serão controladas com a configuração do projeto experimental.

• Determinação da população, do tamanho de amostra e processo de amostragem.

• Ajuste de orçamento e duração do projeto (geralmente são os limitadores do teste).

3. Execução

• Monitoramento do processo com cuidado para garantir o funcionamento do planejamento e metodologia. Erros nesta fase podem destruir a validade experimental.

4. Conclusão

• Análise dos dados, através de métodos estatísticos para que as conclusões não sejam subjetivas.

• A partir da análise dos dados o pesquisador precisa chegar a conclusões práticas e recomendar uma ação.

• A comunicação dos resultados, geralmente através de recursos gráficos.

• (Opcional) Validação das conclusões do teste de mercado através de rotinas de acompanhamento e/ou testes de confirmação.

É muito importante que todas as etapas listadas acima sejam registradas em um documento logo no início da pesquisa, de aneira que o pesquisador tenha uma ideia clara de como será o andamento do experimento. O documento deve abordar informações sobre como, quem, quando e onde será feita cada atividade.

A elaboração de um cronograma englobando as quatro fases (Formulação, Metodologia, Execução e Conclusão) também colabora para o controle dos prazos.

Erros de interpretação de resultados

Segundo Aaker, Kumar e Day (2001) os erros mais comuns de interpretação de resultados nos testes de mercado são:

• Concluir, a partir do teste, que as vendas não reagem à mídia e decidir então que a propaganda deve ser suspensa.

• Concluir que as vendas não reagem aos preços quando observado um aumento de 10% nos mesmos, e a partir daí decidir aumentar os preços em 25%.

• Decidir que um produto não funciona para nenhuma marca, a partir de um teste com apenas uma marca que não deu certo.

Ver também

• Testes de mercado

Bibliografia

• AAKER, David A.; KUMAR V.; DAY George S. – Pesquisa de marketing. Tradução Reynaldo Cavalheiro Marcondes. São Paulo: Atlas, 2001.
• KERLINGER, Thomas C.; TAYLOR, James R. Marketing research: an applied approach. Tóquio: McGraw-Hill Kogakusha, 1979.
• MALHOTRA, Naresh – Pesquisa de marketing: uma orientação aplicada. Tradução Nivaldo Montingelli Jr. e Alfredo Alves de Farias. 3ª edição. Porto Alegre: Bookman, 2001.
• MATTAR, Fauze Najib – Pesquisa de Marketing: metodologia e planejamento. 6ª. Edição. São Paulo: Atlas, 2005