Recomendações para elaboração, tradução, adaptação transcultural e processo de validação de testes em Fonoaudiologia

Pernambuco, Leandro; Espelt, Albert; Magalhães Junior, Hipólito Virgílio; Lima, Kenio Costa de

doi:10.1590/2317-1782/20172016217

home Sumário navigate_before Anterior Atual Seguinte navigate_next

home Sumário

Comunicação Breve • CoDAS 29 (3) • 2017 • https://doi.org/10.1590/2317-1782/20172016217 linkcopiar

Recomendações para elaboração, tradução, adaptação transcultural e processo de validação de testes em Fonoaudiologia

Autoria SCIMAGO INSTITUTIONS RANKINGS

RESUMO

Objetivo apresentar um guia com recomendações para a tradução, adaptação, elaboração e processo de validação de testes em Fonoaudiologia.

Método as recomendações apresentadas foram baseadas em diretrizes internacionais tradicionais cujo enfoque está na elaboração, tradução, adaptação transcultural e processo de validação de testes.

Resultados as recomendações foram compiladas em dois quadros, sendo um deles referente aos procedimentos para tradução e adaptação transcultural e o outro à obtenção de evidências de validade, confiabilidade e medidas de acurácia dos testes.

Conclusão foi apresentado um guia com as principais recomendações para a organização e sistematização do processo de elaboração, tradução, adaptação transcultural e processo de validação de testes em Fonoaudiologia.

Descritores Estudos de Validação; Validade dos Testes; Fonoaudiologia; Psicometria; Avaliação

ABSTRACT

Objective to present a guide with recommendations for translation, adaptation, elaboration and process of validation of tests in Speech and Language Pathology.

Methods the recommendations were based on international guidelines with a focus on the elaboration, translation, cross-cultural adaptation and validation process of tests.

Results the recommendations were grouped into two Charts, one of them with procedures for translation and transcultural adaptation and the other for obtaining evidence of validity, reliability and measures of accuracy of the tests.

Conclusion a guide with norms for the organization and systematization of the process of elaboration, translation, cross-cultural adaptation and validation process of tests in Speech and Language Pathology was created.

Keywords Validation Studies; Validity of Tests; Speech, Language and Hearing Sciences; Psychometrics; Evaluation

INTRODUÇÃO

Na área da saúde, o adequado processo de avaliação depende da utilização de testes cujas interpretações dos resultados sejam válidas, confiáveis/precisas e equitativas. A validade refere-se à reunião de evidências que indicam se o teste realmente mensura o que propõe mensurar. Já a confiabilidade/precisão indica se o teste é reprodutível ao longo do tempo (estabilidade), se há controle dos erros de mensuração (precisão) e se o resultado do teste é dependente dos itens que o compõem (homogeneidade)⁽¹^-³⁾. A equidade permite analisar se o teste avalia as pessoas de forma imparcial, sem permitir que aspectos não relevantes exerçam influência acentuada no desfecho e gerem desigualdades⁽¹^,⁴⁾.

No Brasil, a aplicação desses princípios pela Fonoaudiologia é escassa ou executada de forma parcial, sendo ainda necessário sistematizar o percurso metodológico⁽⁵⁾. O processo de validação não é concluído apenas com a elaboração ou tradução e adaptação de um teste. Para que isso aconteça, é necessária a utilização de diretrizes internacionais que garantam a efetiva obtenção das propriedades psicométricas ou clinimétricas do teste.

Apesar das controvérsias existentes entre algumas diretrizes⁽⁶⁾, certos princípios metodológicos não podem ser desconsiderados. O objetivo deste manuscrito é apresentar um breve guia de recomendações para a tradução, adaptação, elaboração e processo de validação de testes em Fonoaudiologia.

MÉTODO

As recomendações aqui apresentadas foram baseadas na experiência dos autores com as mais tradicionais e utilizadas diretrizes internacionais relacionadas à elaboração, tradução, adaptação transcultural e processo de validação de testes. No caso da tradução e adaptação transcultural, foram seguidas as recomendações de Beaton et al.⁽⁷⁾ e as diretrizes da International Test Comission (ITC)⁽⁸⁾. No caso do processo de validação de testes, foram utilizados os princípios do Standards for Educational and Psychological Testing (SEPT)⁽¹⁾, diretriz proposta por três organizações norte-americanas que compila as mais sólidas e utilizadas recomendações e definições relacionadas aos aspectos psicométricos envolvidos desde a elaboração até a interpretação dos testes.

Como este manuscrito é uma nota metodológica que não envolveu coleta em seres humanos, não foi necessário submeter o estudo à apreciação de comitê de ética.

RESULTADOS

As recomendações para elaboração, tradução, adaptação transcultural e processo de validação de testes em Fonoaudiologia estão dispostas nos Quadros 100 e 200.

Thumbnail

Quadro 1
Procedimentos para tradução e adaptação transcultural de testes

Thumbnail

Quadro 2
Procedimentos para obtenção de evidências de validade, confiabilidade e medidas de acurácia dos testes

DISCUSSÃO

A elaboração, tradução, adaptação transcultural e processo de validação são procedimentos metodológicos necessários para garantir que as interpretações dos resultados de um teste são válidas e confiáveis. No Brasil, esses procedimentos têm sido reproduzidos com frequência pela Fonoaudiologia, porém nem sempre com o imprescindível rigor científico preconizado pelas diretrizes internacionais.

No caso da tradução e adaptação transcultural, existem cerca de 30 diretrizes, mas nenhum consenso que aponte um único padrão de referência⁽⁶⁾. Recomendações propostas nos anos 1990 e atualizadas no ano 2000 são as mais disseminadas na literatura internacional⁽⁷⁾. Aqui foram seguidas estas recomendações, além das diretrizes da International Test Comission Guidelines (ITC)⁽⁸⁾.

Já o SEPT⁽¹⁰⁾ existe desde a década de 1950 e especifica, além da confiabilidade/precisão e equidade, cinco fontes de evidência de validade, baseadas em: conteúdo, processos de resposta, estrutura interna, relação com outras variáveis e consequências do teste. Na área da saúde, as propostas do Scientific Advisory Commitee of the Medical Outcomes Trust (SAC)⁽¹⁰⁾ e do Consensus-based Standards for the Selection of Health Measurement Instruments (COSMIN)⁽¹¹⁾ são referenciadas com frequência e também podem ser consultadas. Contudo, vale ressaltar que essas duas diretrizes baseiam-se em conceitos psicométricos já não recomendados pelo SEPT desde a edição de 1999, ou seja, são propostas que merecem ser analisadas com parcimônia, especialmente em virtude do marco conceitual.

CONCLUSÃO

Foram apresentadas as principais recomendações para a organização e sistematização do processo de elaboração, tradução, adaptação transcultural e processo de validação de testes em Fonoaudiologia. Recomendamos a leitura mais aprofundada sobre cada um dos procedimentos aqui mencionados, mas esperamos que essas diretrizes auxiliem a condução de futuras pesquisas na área e possam ajudar o fonoaudiólogo a selecionar de forma mais criteriosa os testes que reúnem as melhores evidências para avaliar um determinado desfecho.

Trabalho realizado no Departamento de Fonoaudiologia, Universidade Federal da Paraíba – UFPB - João Pessoa (PB), Brasil.
Fonte de financiamento: nada a declarar.

REFERÊNCIAS

¹ AERA: American Educational Research Association, APA: American Psychological Association, NCME: National Council on Measurement in Education. Standards for educational and psychological testing. New York: AERA; 2014.
² Streiner DL, Norman GL. Health measurement scales: a practical guide to their development and use. 4th ed. New York: Oxford University Press; 2008.
³ Abad FJ, Olea J, Ponsonda V, Garcia C. Measurement in social sciences and health. Madrid: Sintesis; 2011.
⁴ Espelt A, Viladrich C, Doval E, Aliaga J, García-Rueda R, Tárrega S. Uso equitativo de tests en ciencias de la salud. Gac Sanit. 2014;28(5):408-10. PMid:24928357. http://dx.doi.org/10.1016/j.gaceta.2014.05.001
» http://dx.doi.org/10.1016/j.gaceta.2014.05.001
⁵ Gurgel LG, Kaiser V, Reppold TZ. A busca de evidências de validade no desenvolvimento de instrumentos em Fonoaudiologia: revisão sistemática. Audiol Commun Res. 2015;20(4):371-83. http://dx.doi.org/10.1590/2317-6431-2015-1600
» http://dx.doi.org/10.1590/2317-6431-2015-1600
⁶ Epstein J, Santo RM, Guillemin F. A review of guidelines for cross-cultural adaptation of questionnaires could not bring out a consensus. J Clin Epidemiol. 2015;68(4):435-41. PMid:25698408. http://dx.doi.org/10.1016/j.jclinepi.2014.11.021
» http://dx.doi.org/10.1016/j.jclinepi.2014.11.021
⁷ Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine. 2000;25(24):3186-91. PMid:11124735. http://dx.doi.org/10.1097/00007632-200012150-00014
» http://dx.doi.org/10.1097/00007632-200012150-00014
⁸ Muñiz J, Elosua P, Hambleton RK. Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema. 2013;25(2):151-7. PMid:23628527.
⁹ Polit DF, Beck CT. The content validity index: are you sure you know what’s being reprted? Critique and recommendations. Res Nurs Health. 2006;29(5):489-97. PMid:16977646. http://dx.doi.org/10.1002/nur.20147
» http://dx.doi.org/10.1002/nur.20147
¹⁰ Aaronson N, Alonso J, Burnam A, Lohr KN, Patrick DL, Perrin E, et al. Assessing health status and quality of life instruments: attributes and review criteria. Qual Life Res. 2002;11(3):193-205. PMid:12074258. http://dx.doi.org/10.1023/A:1015291021312
» http://dx.doi.org/10.1023/A:1015291021312
¹¹ Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. J Clin Epidemiol. 2010;63(7):737-45. PMid:20494804. http://dx.doi.org/10.1016/j.jclinepi.2010.02.006
» http://dx.doi.org/10.1016/j.jclinepi.2010.02.006

Datas de Publicação

Publicação nesta coleção
2017

Histórico

Recebido
25 Out 2016
Aceito
07 Nov 2016

Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.

Etapa

Procedimentos

a) Diretrizes prévias

a1) Obtenção de permissão dos autores do teste original.
a2) Formação de um comitê de especialistas (autores da nova versão e outros especialistas + pelo menos um autor da versão original, se possível) para debater os conceitos adjacentes ao teste a ser adaptado, considerando as características da população e cultura-alvo. Debatedores devem estar cientes dos objetivos do teste.

b) Desenvolvimento do teste

b1) Tradução: Dois tradutores habilitados, nativos no idioma alvo e fluentes no idioma e cultura fonte traduzem o teste de forma independente, considerando a equivalência conceitual e evitando a tradução literal. Recomenda-se que ambos os tradutores desconheçam o teste e que um deles não seja especialista no desfecho investigado pelo teste para que se preserve a representatividade da utilização popular do idioma alvo.
b2) Síntese das traduções: feita de forma consensual^* * Nas avaliações consensuais podem ser adotadas estratégias de qualificação em relação às equivalências utilizando, por exemplo, escala analógica visual ou escalas do tipo Likert. O cálculo do Índice de Validade de Conteúdo geral (IVC) e por Item (IVC-I)(9) auxilia nesta etapa como indicador quantitativo de concordância entre os avaliadores , de preferência pelo mesmo comitê mencionado no procedimento a2. O comitê irá construir uma versão única a partir da comparação das traduções e avaliação das discrepâncias semânticas, idiomáticas, conceituais, linguísticas e contextuais.
b3) Aplicabilidade da síntese das traduções/equivalência operacional: verifica-se a adequação, estrutura e aplicação dos itens em um contexto real. Não há recomendação explícita para o tamanho amostral nesta etapa. Sugere-se a formação de estratos representativos da população-alvo, compostos com pelo menos dez indivíduos em cada estrato. Realiza-se entrevista cognitiva para verificar se a população compreende os itens do teste. Se o teste for um questionário, recomenda-se a estratégia de paráfrase, na qual o entrevistador faz a pergunta e pede para o entrevistado repeti-la imediatamente. O entrevistador também deve registrar possíveis dificuldades operacionais (por exemplo: tempo de aplicação longo; excessivo número de questões), reações não verbais do entrevistado (por exemplo: desinteresse; expressões faciais) e sugestões do entrevistado para melhorar a compreensão do item.
O comitê mencionado no procedimento b2 será novamente convocado se ajustes no teste forem necessários. O teste será reaplicado em novos estratos e esse procedimento se repetirá até que o teste seja aplicado sem nenhuma dificuldade de compreensão.
b4) Retradução ou tradução reversa: a versão obtida no procedimento b3 será traduzida para o idioma fonte para avaliar se os itens refletem o conteúdo da versão original. A versão no idioma alvo será encaminhada para pelo menos dois tradutores habilitados que desconheçam o teste e que sejam nativos no idioma fonte e fluentes no idioma e cultura alvo.
b5) Síntese das versões retraduzidas: feita de forma consensual^* * Nas avaliações consensuais podem ser adotadas estratégias de qualificação em relação às equivalências utilizando, por exemplo, escala analógica visual ou escalas do tipo Likert. O cálculo do Índice de Validade de Conteúdo geral (IVC) e por Item (IVC-I)(9) auxilia nesta etapa como indicador quantitativo de concordância entre os avaliadores , de preferência pelo mesmo comitê mencionado no procedimento a2. O comitê irá comparar as retraduções ao teste original e avaliar as discrepâncias semânticas, idiomáticas, conceituais, linguísticas e contextuais.
Nesta etapa, recomenda-se que os autores da versão original emitam opinião em relação à versão retraduzida.
b6) Síntese final: feita de forma consensual^* * Nas avaliações consensuais podem ser adotadas estratégias de qualificação em relação às equivalências utilizando, por exemplo, escala analógica visual ou escalas do tipo Likert. O cálculo do Índice de Validade de Conteúdo geral (IVC) e por Item (IVC-I)(9) auxilia nesta etapa como indicador quantitativo de concordância entre os avaliadores , de preferência pelo mesmo comitê mencionado no procedimento a2. O comitê irá comparar a versão original à versão final no idioma alvo quanto às equivalências semântica, idiomática, conceitual, linguística, experiencial e contextual.

Etapa	Procedimentos
*Evidência de validade baseada no conteúdo do teste*	O conteúdo refere-se aos temas, redação, formato, tarefas ou questões de um teste, bem como as instruções para os procedimentos necessários para administrá-lo e pontuá-lo⁽¹^,³⁾. Algumas estratégias para elaboração de um teste são: extensa revisão de literatura; experiência empírica dos pesquisadores com o desfecho de interesse; entrevista com informantes-chave; realização de painel com especialistas e população-alvo; consulta à população-alvo por meio de grupos focais. Na elaboração dos itens, devem ser considerados os aspectos sintáticos e semânticos que contribuam para a clareza, pertinência, coerência e abrangência dos itens, além dos aspectos operacionais. A representatividade e relevância dos itens em relação ao desfecho devem ser avaliadas por um comitê de, no mínimo, dez juízes com expertise na temática do teste⁽²^,³⁾. Recomenda-se o uso de escala analógica visual ou escalas do tipo Likert para avaliação dos itens do teste pelos juízes. Calcula-se o Índice de Validade de Conteúdo geral (IVC) e por Item (IVC-I)⁽⁹⁾ para apresentação de um indicador quantitativo de concordância entre os juízes.
*Evidência de validade baseada nos processos de resposta*	Os processos de resposta resultam das observações ou julgamentos sobre o comportamento ou performance de diferentes estratos da população-alvo durante a aplicação do teste. Nesta etapa, busca-se compreender quais os processos psicológicos, cognitivos e sociais envolvidos na aplicação do teste. Os procedimentos são semelhantes aos descritos em b3 no Quadro 1.
*Evidência de validade baseada na consistência interna*	Verifica-se o grau de relação entre os itens do teste e o desfecho a partir da aplicação do teste em uma amostra da população-alvo. Caso as dimensões internas do teste estejam teoricamente definidas pelos autores, deve-se realizar a análise fatorial confirmatória (AFC). Se os autores necessitam explorar a possibilidade de reduzir itens e a existência de diferentes dimensões do teste, deve-se realizar análise de componentes principais (ACP) ou análise fatorial exploratória (AFE), com posterior AFC para validar o modelo encontrado. Caso o pesquisador siga a Teoria de Resposta ao Item (TRI) para investigação dos traços latentes, poderá executar essa análise após a AFC. Cada uma das análises mencionadas requer uma amostra diferente. Outros parâmetros adotados são, geralmente, a correlação item-total corrigida e a correlação interitens com valores acima de 0,3⁽²⁾. Outra característica investigada nessa fase é o Funcionamento Diferencial dos Itens (FDI), que verifica se variáveis individuais ou de um grupo colocam uma ou mais categorias em vantagem ou desvantagem em relação à(s) outra(s)⁽⁴⁾.
*Evidência de validade baseada na relação com outras variáveis*	Verifica-se o quanto as relações entre o instrumento e outras variáveis externas são consistentes com o desfecho. 1) Validade convergente: análise das relações entre o resultado do teste e outras medidas que avaliam o mesmo desfecho ou desfechos similares; 2) Validade discriminante: o teste é avaliado quanto à sua capacidade de diferenciar grupos distintos da população-alvo ou compará-lo a outras medidas com desfechos diferentes; 3) Validade de critério: o critério é um atributo ou resultado operacionalmente distinto do desfecho do teste e é estabelecido por meio de hipóteses formuladas pelos pesquisadores. Na validade de critério concorrente, o resultado do teste é comparado ao desfecho de outros testes administrados paralelamente e, na validade de critério preditiva, avalia-se o resultado do teste em relação à condição do avaliado no futuro ou o resultado de avaliações posteriores.
*Confiabilidade/ Precisão*	O teste deve ser administrado em dois momentos distintos, geralmente 7 a 14 dias. Esse período é variável de acordo com as características do desfecho, especialmente a sua estabilidade no tempo. O teste deve ser aplicado pelo mesmo pesquisador e por pesquisadores distintos em ambos os momentos. Será calculado o coeficiente de correlação intraclasse (CCI) ou índice de Kappa para verificar a concordância interavaliadores e intravaliador. A consistência interna é obtida por meio dos valores do alpha de Cronbach, erro de mensuração, correlação item-total e correlação interitens.
*Equidade do teste*	Especialistas devem julgar se o resultado encontrado previamente na análise de FDI se reproduz de forma justa e garantir que o resultado no teste não seja influenciado por possíveis desvantagens provocadas por variáveis individuais.
*Acurácia*	Para obtenção dos indicadores sensibilidade, especificidade, valor preditivo positivo e negativo e razão de verossimilhança positiva e negativa, o resultado do teste será comparado ao resultado de outro teste considerado padrão de referência. O ponto de corte do instrumento e o seu poder em discriminar pessoas com e sem o desfecho serão obtidos por meio da curva ROC (receiver operator characteristic curve).
*Evidência de validade baseada nas consequências do teste*	Caracterizada pelo acúmulo de evidências relacionadas ao uso e eficácia do teste. Inclui análises de responsividade do teste a alguma intervenção e considera os estudos subsequentes de aplicação e reprodução do teste no contexto prático relacionado ao desfecho.

vertical_align_top file_download show_chart

more_horizclose
- image
- translate
- link
- article
- vertical_align_top
- file_download
- show_chart
- image
- translate
- link
- article

location_on

Sociedade Brasileira de Fonoaudiologia Al. Jaú, 684, 7º andar, 01420-002 São Paulo - SP Brasil, Tel./Fax 55 11 - 3873-4211 - São Paulo - SP - Brazil
E-mail: [email protected]

rss_feed Acompanhe os números deste periódico no seu leitor de RSS

Acessibilidade / Reportar erro

[1] ¹ AERA: American Educational Research Association, APA: American Psychological Association, NCME: National Council on Measurement in Education. Standards for educational and psychological testing. New York: AERA; 2014.

[2] ² Streiner DL, Norman GL. Health measurement scales: a practical guide to their development and use. 4th ed. New York: Oxford University Press; 2008.

[3] ³ Abad FJ, Olea J, Ponsonda V, Garcia C. Measurement in social sciences and health. Madrid: Sintesis; 2011.

[4] ⁴ Espelt A, Viladrich C, Doval E, Aliaga J, García-Rueda R, Tárrega S. Uso equitativo de tests en ciencias de la salud. Gac Sanit. 2014;28(5):408-10. PMid:24928357. http://dx.doi.org/10.1016/j.gaceta.2014.05.001
» http://dx.doi.org/10.1016/j.gaceta.2014.05.001

[5] ⁵ Gurgel LG, Kaiser V, Reppold TZ. A busca de evidências de validade no desenvolvimento de instrumentos em Fonoaudiologia: revisão sistemática. Audiol Commun Res. 2015;20(4):371-83. http://dx.doi.org/10.1590/2317-6431-2015-1600
» http://dx.doi.org/10.1590/2317-6431-2015-1600

[6] ⁶ Epstein J, Santo RM, Guillemin F. A review of guidelines for cross-cultural adaptation of questionnaires could not bring out a consensus. J Clin Epidemiol. 2015;68(4):435-41. PMid:25698408. http://dx.doi.org/10.1016/j.jclinepi.2014.11.021
» http://dx.doi.org/10.1016/j.jclinepi.2014.11.021

[7] ⁷ Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine. 2000;25(24):3186-91. PMid:11124735. http://dx.doi.org/10.1097/00007632-200012150-00014
» http://dx.doi.org/10.1097/00007632-200012150-00014

[8] ⁸ Muñiz J, Elosua P, Hambleton RK. Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema. 2013;25(2):151-7. PMid:23628527.

[9] ⁹ Polit DF, Beck CT. The content validity index: are you sure you know what’s being reprted? Critique and recommendations. Res Nurs Health. 2006;29(5):489-97. PMid:16977646. http://dx.doi.org/10.1002/nur.20147
» http://dx.doi.org/10.1002/nur.20147

[10] ¹⁰ Aaronson N, Alonso J, Burnam A, Lohr KN, Patrick DL, Perrin E, et al. Assessing health status and quality of life instruments: attributes and review criteria. Qual Life Res. 2002;11(3):193-205. PMid:12074258. http://dx.doi.org/10.1023/A:1015291021312
» http://dx.doi.org/10.1023/A:1015291021312

[11] ¹¹ Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. J Clin Epidemiol. 2010;63(7):737-45. PMid:20494804. http://dx.doi.org/10.1016/j.jclinepi.2010.02.006
» http://dx.doi.org/10.1016/j.jclinepi.2010.02.006