Validade e fiabilidade dum Investigação

Na sequência dum desafio lançado pela Professora Luísa Aires, para que dissertássemos um pouco sobre a "validade e a fiabilidade" duma Investigação, diríamos o seguinte.

Recorrendo apenas à nossa percepção sobre o assunto, face àquilo que temos vindo a aprender nesta Unidade Curricular, ao longo do semestre, diríamos que são aspectos como estes ("validade" e "fiabilidade") que "obrigam" à adopção duma Metodologia de Investigação... a qual, por sua vez, "obriga" a que os instrumentos de recolha de dados sejam "validados" a priori, que os dados recolhidos sejam validados como "bons" para análise e que, após a análise, os resultados daí decorrentes sejam validados como sendo os correctos, face àquilo que se analisou.

Só com uma Metodologia de Investigação (que como vimos pode ser qualitativa, quantitativa ou mista) e com sucessivas "validações" ao longo do Processo de Investigação, estarão criadas as condições para, no final desse processo, se poder afirmar, com segurança, que os instrumentos utilizados na recolha de dados, a análise desses dados e os resultados obtidos, são válidos, tornando a investigação fiável, no sentido da credibilidade que este processo deve ter para "garantir" que a investigação tem condições para atingir as suas finalidades e cumprir os seus objectivos.

A Metodologia da Investigação inclui, entre outros, estes três aspectos que referi, os quais, não sendo exclusivamente importantes, são marcos determinantes em qualquer Processo de Investigação. Como já vimos ao longo dos vários debates nesta Unidade Curricular, a não observação da Metodologia poderá "corromper" a Investigação, levando a que esta siga um percurso que não é adequado, correcto e que até pode ser enganoso.

A Metodologia da Investigação serve para que a Investigação possa atingir os seus objectivos, auxiliando o investigador nessa "cruzada", mas também serve para defender o investigador de "vícios de forma", de "tentações", de "subjectividades", enfim, dum conjunto de aspectos que, sem método, poderiam deturpar, "inquinar" ou tornar o investigador refém de si próprio e tornar a Investigação inconsequente por meras questões de erro(s) de processo.

Assim, definidas as áreas geral e específica(s) a investigar, o tipo de investigação a efectuar, os seus objectivos, as hipóteses gerais e operacionais ou as questões investigativas, o investigador deverá proceder à definição e caracterização da metodologia da investigação, já que é através do método que venha a ser seleccionado, implementado e operacionalizado que o plano de investigação se transforma em projecto de investigação e que se criam as condições para que o investigador possa controlar a investigação e tudo o que lhe diz respeito, contribuindo para que, momento a momento, tudo o que é feito e tudo o que é obtido, possa ser considerado como válido e, logo, credível.

A fiabilidade resulta dessa credibilidade... só podemos "fiar-nos" na investigação se soubermos que ela é credível... e ela só será credível se tiver "passado nos testes de validade"... a validade que lhe é garantida pelas sucessivas validações, ao longo das várias etapas da investigação (em particular das etapas mais "marcantes"), mas também pela observância do método de investigação escolhido, que funciona como um referencial, umaa matriz e um "checklist", assegurando que tudo o que tem de ser feito é "bem" feito, quer na oportunidade (momento certo), quer no modo, quer na finalidade.

Editado para acrescentar:

A validade e a fiabilidade duma Investigação contribuem para a integridade dessa mesma Investigação.

"To maintain the integrity of research, educational researchers should warrant their research conclusions adequately in a way consistent with the standards of their own theoretical and methodological perspectives. They should keep themselves well informed in both their own and competing paradigms where those are relevant to their research, and they should continually evaluate the criteria of adequacy by which research is judged." (American Educational Research Association)

http://www.aera.net/AboutAERA/Default.aspx?menu_id=90&id=173

Coerência e consistência duma Investigação

Estes são dois aspectos muito importantes para assegurar que a Investigação tem "condições" para poder cumprir os seus objectivos.

A "coerência" do Processo de Investigação tem a ver com a ligação e articulação entre as suas fases. Já a "consistência" tem, sobretudo, a ver com a validade e a "força", quer dos métodos e técnicas utilizados, quer dos resultados e conclusões obtidos nesse Processo de Investigação.

A primeira ("coerência") é ditada, sobretudo, pela "sintonia" entre a natureza da Investigação e a Metodologia de Investigação adoptada (na qual se incluem, obviamente, fases como a recolha e a análise dos dados).

Já a segunda ("consistência") é conseguida, sobretudo, pela selecção e adequação dos "melhores" métodos e técnicas (quer de recolha de dados, quer de análise desses mesmos dados), em termos da sua validade e da "força" que conferem aos resultados obtidos e às conclusões daí decorrentes, contribuindo, em última instância, para a validade, credibilidade e fiabilidade de todo o Processo de Investigação, como um todo.

Relevância da Análise de Dados para a coerência e consistência da Investigação em Educação

De modo muito sintético, aqui fica a nossa opinião sobre a relevância da análise de dados (em particular, das respectivas metodologias) para a coerência e consistência da Investigação em Educação:

- Os métodos de análise quantitativa de dados visam, normalmente, a identificação de relações estatísticas entre variáveis, com vista à generalização dos resultados, enquanto os métodos de análise qualitativa de dados visam, normalmente, a pesquisa de padrões, ideias e/ou características holísticas entre palavras, imagens, categorias, com vista à explicação de uma determinada situação particular;

- Estes métodos estão em linha, respectivamente, com os objectivos habituais em investigação quantitativa (Descrição, Explicação e Previsão) e em investigação qualitativa (Descrição, Exploração e Descoberta);

- Tendo em conta estes aspectos e o facto de os objectivos em Investigação Educacional se situarem ao nível da Exploração, Descrição, Explicação, Previsão e Influência, é fácil verificar como se deverão utilizar uns, outros ou ambos os métodos, consoante os objectivos da Investigação Educacional em causa, de forma a que se possa manter a coerência e consistência dessa Investigação.

- A coerência e consistência da Investigação Educacional estaria colocada em causa se as metodologias utilizadas na análise de dados não tivessem a mesma natureza da Investigação e se não fossem adequadas aos objectivos desta.

Análise Qualitativa de Dados

Inicia-se hoje, com a Análise Qualitativa de Dados, a segunda parte do Tema "Análise de Dados", desta Unidade Curricular.

A Análise Qualitativa de Dados gerou técnicas próprias que, actualmente, caracterizam uma metodologia específica. Neste domínio, importa salientar duas ideias básicas:

1. A análise de dados deve ser estudada em estreita relação com as abordagens metodológicas qualitativas e não deve ser reduzida a técnicas que o investigador selecciona e aplica arbitrariamente;
2. A análise é mediada pelos objectivos da investigação, devendo, portanto, obedecer a uma meta e a orientações claras (Colás, 1997).

Retomando a Dissertação “Processos de Liderança e Desenvolvimento Curricular no 1º. Ciclo do Ensino Básico: Estudo de Caso” e privilegiando o estudo empírico realizado nesta investigação, nomeadamente, o que diz respeito à análise de dados (pp. 110-183), é-nos solicitada uma reflexão sobre algumas questões.

Nessa reflexão, deverão ser tidos em conta o corpus recolhido pela investigadora e a metodologia de análise adoptada na Dissertação em análise.

As questões para reflexão são as seguintes:

1) Se desenvolvesse uma investigação centrada no objecto de estudo desta Dissertação, escolheria a entrevista como método de recolha de informação?

2) Os procedimentos adoptados para a análise das entrevistas adequam-se aos objectivos da investigação?

3) Quais são as principais etapas de análise de conteúdo seguidas pela autora?

4) A análise de conteúdo revela-se um método adequado para o tratamento da informação recolhida?

5) De acordo com as leituras que realizou, poderiam ter sido seguidas outras metodologias de análise das entrevistas?

6) Compare a sistematização da análise de conteúdo realizada pela autora com os outputs parciais publicados no espaço de documentos sobre análise qualitativa (“Análise Qualitativa.Tratamento” e Análise Qualitativa.Quadros). Que comentários lhe sugerem as diferenças que identifica?

As respostas a estas questões serão publicadas, até 9 de Junho de 2008, inclusive, no Fórum Livre da Actividade, criado no espaço da Unidade Curricular.

Análise Quantitativa de Dados - Caso Prático

Esta semana tem sido ocupada com a análise e resolução individual de um Caso Prático, utilizando como recurso uma das Dissertações de Mestrado já analisadas anteriormente nesta Unidade Curricular, tendo por objectivo a compreensão da aplicação das técnicas quantitativas de análise de dados.

A Dissertação em questão intitula-se "Setúbal, as TIC e o ensino de Inglês: atitudes dos professores" e é da autoria de Conceição Brito (Universidade de Aveiro, 18 Dez 2006).

Temos vindo a seguir, a par e passo, o "caminho" trilhado pelo investigador ao longo do seu estudo ou processo de investigação. Após a recolha de dados, há que organizá-los, preparando-os para ser analisados, interpretados e sobre eles elaborar conclusões que contribuirão para avançar no estudo/investigação, independentemente de o método ou abordagem científica utilizada ser do tipo dedutivo (investigação com vista à confirmação de hipóteses) ou do tipo indutivo (investigação exploratória com vista à obtenção de resposta para as questões investigativas colocadas).

Assim, após a criação de um ficheiro de dados estatísticos, que tem por função a organização dos dados obtidos, o investigador passa à análise exploratória desses mesmos dados, recorrendo, para isso, a técnicas de estatística descritiva. Normalmente, dessa análise resulta, para o investigador, a necessidade de recorrer a algumas técnicas de estatística inferencial, com o objectivo de explorar possíveis hipóteses de relações entre as respostas, mesmo que essas relações não tenham sido consideradas, a priori, como hipóteses de investigação, tal como acontece em investigações exploratórias.

A resolução deste Caso Prático, para além de permitir aprofundar o estudo relativo à análise de dados (uma das fase de qualquer estudo/processo de investigação), tem constituído um grande desafio pois sendo as perguntas colocadas de resposta aparentemente fácil e óbvia, acaba por verificar-se, quando se aprofunda a resolução, que afinal a perspectiva a utilizar requer alguma "mestria".

A grande dificuldade com que nos temos confrontado diz respeito ao facto de o próprio questionário utilizado na Dissertação em análise, utilizar questões que permitem alguma interpretação dúbia por parte dos respondentes, algo que, de acordo com a metodologia quantitativa, deveria e poderia ter sido evitado.

Este aspecto é particularmente relevante quando o caso prático nos solicita que, utilizando técnicas quantitativas de análise de dados, relacionemos duas variáveis perfeitamente identificadas (correspondentes a dois grupos de perguntas do questionário), variáveis essas que, pelos atributos de que se revestem e pela escala métrica utilizada nas respectivas respostas, são variáveis qualitativas nominais. Os dados (quantitativos) correspondem ao número de respondentes que escolheu cada uma das opções nas várias respostas.

Veja-se então a 1ª. Pergunta do Caso Prático:

Pergunta 1)

Pretendia saber se havia alguma relação entre as finalidades da utilização do computador (concretamente perguntas 16 a 21) e a frequência diária ou quase diária de utilização do computador (pergunta 28). Qual o teste estatístico que faria?

Este é o primeiro grande desafio: a utilização de técnicas quantitativas de análise de dados no relacionamento entre duas variáveis que, não só, são qualitativas, mas que, além disso, utilizam uma escala métrica nominal. Quando somos questionados sobre o tipo de teste estatístico a utilizar para verificar se existe alguma relação entre as duas variáveis em apreço, não restam grandes dúvidas que o teste estatístico a utilizar será do tipo "não-paramétrico", em virtude de não estarem observadas todas as condições necessárias à aplicação de técnicas paramétricas (a começar logo pelo tipo de escala métrica que, neste caso, é uma escala nominal).

Após ter chegado a esta conclusão, deparámo-nos com o segundo desafio: o facto de estarmos a comparar uma variável "finalidades da utilização do computador" com outra variável "frequência de utilização do computador", cujos atributos (respostas possíveis) seguem critérios diferentes numa e noutra variáveis.

Assim, enquanto a primeira variável ("finalidades da utilização do computador") permite respostas cumulativas (às seis respostas possíveis - correspondentes às perguntas 16 a 21 do questionário), a segunda variável admite apenas uma resposta exclusiva, entre as 6 possíveis (se bem que, para efeitos de análise, nos interessem apenas as respostas "Todos os dias" e "Quase todos os dias").

O terceiro grande desafio prende-se com o facto de algumas das questões (16 a 21) dizerem respeito a atributos que poderão ser inclusivos em termos relativos, o que poderá ter gerado algum grau de aleatoriedade nas respostas. Por exemplo, ler e enviar e-mail, conversar em chat, debater temas em fórum e aceder a plataformas de e-Learning, na prática está tudo incluído em Internet. Ficaríamos assim reduzidos a dois grandes atributos desta variável "Finalidades da utilização do computador" (utilização/acesso da Internet e utilização de processador de texto) e, também, a dois atributos da variável "Frequência de utilização do computador" (Todos os dias e Quase todos os dias, e as restantes frequências).

Face a tudo o que foi dito, parecem não restar dúvidas que o teste estatístico a aplicar para apurar do relacionamento entre estas duas variáveis qualitativas nominais, seria o Coeficiente de Contingência (CC), normalmente utilizado para verificar a hipótese de associação entre variáveis nominais.

O Coeficiente de Contingência tem uma particularidade: para o seu cálculo, há que aplicar também o teste estatístico Chi Quadrado, o qual, apesar de ser também utilizado para verificar a hipótese de diferenças entre grupos (amostras), está implícito no cálculo do Coeficiente de Contingência, já que, neste caso, o que está em causa é a análise da relação entre duas variáveis qualitativas.

O Coeficiente de Contingência (CC) quantifica o relacionamento entre duas (ou mais) variáveis nominais (tal como acontece no nosso Caso Prático) e o seu cálculo é dado através da seguinte fórmula - CC = SQRT [( (χ²) : (χ² + n)] - onde n é o total de medições (240 neste Caso Prático) e χ² é o Chi quadrado (correspondente à diferença entre os valores observados e os valores esperados).

O Chi quadrado permite a avaliação da hipótese de associação, mas não "mede" a sua força, algo que é um problema inerente a todos os testes não-paramétricos, problema de difícil superação com variáveis qualitativas nominais.

Apesar de não ser solicitado o cálculo, neste caso particular, face às particularidades da resposta às questões 16 a 21 (com a possibilidade de indicar mais que uma resposta), haveria que proceder a um ajustamento desses valores, de forma a que a soma do número de respostas, tal como já acontece na resposta à questão 28 ("frequência de utilização do computador"), seja de 240.

Para o fazer haveria que criar um pressuposto de manutenção de proporcionalidade, algo que parece perfeitamente plausível face à densidade na distribuição das respostas às questões 16 a 21. Essa constante de proporcionalidade pode ser obtida somando o total de respostas às questões 16 a 21 (750 respostas), dividindo pelo total de respondentes (240). De acordo com este critério obter-se-ia o valor de 750/240=3,125.

Veja-se então quais seriam os valores ajustados (nº. respostas => nº. ajustado):

"Finalidades da utilização do computador"

Questão 16 - Utilizo o computador para escrever texto: 231 => 73,92
Questão 17 - Utilizo o computador para pesquisar na Internet: 216 => 69,12
Questão 18 - Utilizo o computador para ler e enviar correio (e-mail): 181 => 57,92
Questão 19 - Utilizo o computador para conversar (chat): 54 => 17,28
Questão 20 - Utilizo o computador para debater temas (fórum): 27 => 8,64
Questão 21 - Utilizo o computador em ambientes virtuais de aprendizagem /
plataformas de e-Learning: 41 => 13,12

"Frequência de utilização do computador"

Questão 28 - Todos os dias: 74
Questão 28 - Quase todos os dias: 95
Questão 28 - Algumas vezes por semana: 50
Questão 28 - Algumas vezes por mês: 14
Questão 28 - Algumas vezes por ano: 2
Questão 28 - Não responde: 5

No nosso Caso Prático, estariam em análise os dados (respostas) antes assinalados a itálico (respostas às Questões 16 a 21 com as respostas "Todos os dias" e "Quase todos os dias" à Questão 28, num total de 169 respostas).

Para a execução dos testes estatísticos mencionados, teríamos de, tal como o investigador, estar na posse das respostas dos inquiridos, de forma a poder construir a matriz de organização dos dados que possibilitaria, não só, saber como cada um respondeu a cada uma das questões, mas também como se relacionam as respectivas respostas.

Reflexões sobre Investigação-Acção (I)

A Investigação-Acção não é exclusivamente qualitativa como à primeira vista se poderia pensar... há várias perspectivas a esse respeito e apesar de, provavelmente, utilizar mais a metodologia qualitativa que a quantitativa, isso não significa que exclua esta última (até porque a Investigação-Acção também pode utilizar o questionário como técnica de recolha de dados e esta é uma técnica mais vocacionada para a metodogia de investigação quantitativa que qualitativa).

Tal como os autores que defendem que não existe um paradigma investigação-acção (com os quais concordo), também entendo que a Investigação-Acção não é uma metodologia de investigação, tal como acontece com a metodologia qualitativa, quantitativa ou mista... a própria Investigação-Acção pode utilizar estas metodologias... mas ela própria, é um tipo de investigação com algumas diferenças relativamente àquela que alguns designam de Investigação tout court.

Dois dos aspectos mais diferenciadores entre a Investigação-Acção e a Investigação tout court são os seguintes:

1. Em Investigação-Acção, o problema que dá origem ao processo de investigação não tem como suporte hipóteses ou teorias, mas sim situações específicas;
2. Os resultados a que a Investigação-Acção chega, não se podem generalizar para além do seu restrito universo de aplicação (por ex., resultados válidos para uma Escola, não poderão ser generalizados a outras Escolas ou ao sistema educativo como um todo, por serem válidos apenas para aquele contexto e realidade), limitando-se, quando muito, à resolução local do problema que a despoletou (em termos educacionais isto pode significar a melhoria das estratégias de trabalho utilizadas e/ou a criação de condições para a introdução de melhorias significativas ao nível da qualidade e da prática docente desenvolvida).

As Escolas são, em termos Educacionais, um espaço privilegiado para a Investigação-Acção... mas o docente, deve ter competências que vão além da docência... O erro está em assumir-se que a docência, por si só, é competência suficiente para se fazer Investigação-Acção... pode ser necessária, mas não é suficiente...

Talvez por isso a Investigação-Acção esteja onde está e revela dificuldades em se afirmar... pela "pressa" de se terem tantos investigadores-actores, quantos os docentes... não pode, nem deve ser assim. Para além disto, a Investigação-Acção não investiga por investigar ou por razões teóricas, mas sim com vista à resolução de problemas e situações concretas, nessas mesmas Escolas... e sabemos que nem todas as Escolas têm problemas ou têm os mesmos problemas.

Cuidados a ter na elaboração dum Questionário em Investigação

Os cuidados a ter em conta na construção de um bom questionário, em Investigação, passam por 3 aspectos essenciais e que estão ligados entre si:

• Definição do tipo de resposta mais adequado a cada pergunta;
• Definição do tipo de escala de medida a associar às respostas;
• Definição da metodologia para análise dos dados.

Nesse sentido, haverá que:

• Listar todas as variáveis de investigação, incluindo as características dos casos;
• Especificar o número de perguntas para medir cada uma das variáveis;
• Escrever uma versão inicial para cada pergunta;
• Pensar na natureza da primeira Hipótese Geral, bem como nas variáveis e perguntas a ela associadas;
• Consoante o tipo de Hipótese Geral, decidir as técnicas e estatísticas adequadas para testar a hipótese, tendo em atenção os pressupostos destas técnicas;
• Decidir o tipo de resposta desejável para cada pergunta associada à Hipótese Geral;
• Definição da Hipótese Operacional;
• Considerar as perguntas iniciais (e tipos de resposta) associadas com a primeira Hipótese Operacional e trabalhá-lhas para obter uma versão final a incorporar no questionário;
• Face às mudanças que possam ter sido introduzidas, verificar se as versões finais das perguntas e das respostas ainda estão adequadas para testar a Hipótese Operacional;
• Definir as instruções para cada pergunta de modo a informar o respondente sobre como deverá responder;
• Planear as secções do questionário.

Outros aspectos a acautelar:

• Recolher apenas as características dos casos estritamente relavantes para a investigação;
• Modo como as perguntas devem ser escritas (construção, extensão e clareza), em função do tipo de pergunta.

Fonte: Hill, M. & Hill, A. (2005). Investigação por Questionário. Lisboa: Edições Sílabo.

Metodologia básica em Investigação

Em termos elementares, a Metodologia em Investigação deve observar os seguintes passos e a seguinte sequência:

1º. Identificação do assunto a investigar

• Questões colocadas pelo investigador;
• Investigabilidade do problema;
• Pertinência em termos de consumo de recursos na Investigação;
• Revisão bibliográfica;
• Definição das hipóteses a comprovar ou às quais há que dar resposta.

2º. Identificação das variáveis a estudar

• Identificação das variáveis;
• Classificação das variáveis segundo a sua escala de medição;
• Identificação do(s) procedimento(s) para medição da variável;
• Posicionamento da variável no design do estudo ou da Investigação.

3º. Identificação da população e da amostra a estudar/investigar

• Definir a unidade de observação;
• Definir a dimensão da amostra.

4º. Definição do design do estudo/investigação

5º. Planeamento da recolha e análise dos dados

6º. Interpretação dos resultados

7º. Elaboração do relatório de estudo/investigação (contendo as conclusões)

A sequência apresentada apoia-se no Manual de Investigação e Estatística existente para download no Portal de Saúde Pública.

Ainda sobre as fases do Processo de Investigação...

No seguimento da pesquisa que tenho vindo a efectuar, com vista à elaboração dum guião relativo às fases dum Projecto de Investigação, encontrei disponível online um estudo-investigação, no domínio educacional, cujo objectivo é o de "compreender o impacto da formação no desenvolvimento profissional das educadoras e na qualidade das práticas na educação de infância".

Por constituir uma excelente referência, este estudo-investigação, conduzido sob a orientação e o apoio científico da Professora Doutora Júlia Oliveira-Formosinho, foi já adicionado à secção de recursos "Documentos vários no contexto da Investigação Educacional" deste blog.

É um estudo-investigação particularmente interessante porque, o modo como se encontra estruturado, é bem ilustrativo das fases a que deve obedecer um Projecto de Investigação Educacional.

A metodologia definida para a investigação em causa, articula-se do seguinte modo:

• Estabelecimento do tipo de paradigma de investigação que serve de referência à investigação (qualitativo, no caso em apreço)
• Definição dos objectivos da investigação
• Definição do modo como a investigação será operacionalizada
  ..........Observação directa
  ..........A entrevista
• A definição do modo como a investigação será conduzida
  ..........O grupo de investigação
  ..........O tempo de investigação
• A definição do modo como os dados serão apresentados
• A definição do modo como os dados serão analisados
• A definição do modo como os dados serão interpretados
• Conclusões da investigação

Convirá acrescentar que, no caso de Projectos Educacionais, deverão estar igualmente previstas as componentes de "project review" e "avaliação".

Ainda sobre os Paradigmas da Investigação Educacional...

Num post anterior abordámos esta temática, tendo concluído pela existência de paradigmas de investigação quantitativos e paradigmas de investigação qualitativos.

No nosso estudo sobre o assunto, encontrámos um paper interessante, o qual se encontra na secção de "Artigos, Papers e Apresentações sobre Investigação Educacional" deste blog, sob a designação "Paradigmas da Investigação Educacional".

Neste paper, da autoria da Professora Doutora Maria do Rosário Pinheiro (Faculdade de Psicologia e de Ciências da Educação da Universidade de Coimbra), para além dos paradigmas quantitativo (também designado de positivista ou racionalista) e qualitativo (também designado de interpretativo ou analista), é apresentado um terceiro paradigma, o paradigma sociocrítico, que dá justificação a "uma família de visões de investigação que surgem como resposta às tradições positivista e interpretativa e que pretendem superar o reducionismo da primeira e o conservadorismo da segunda".

De acordo com a autora, "os princípios ideológicos em que assenta o paradigma sociocrítico têm como finalidade a transformação da estrutura das relações sociais" e o seu surgimento veio colocar "em questão a neutralidade da ciência e da investigação em geral e em especial da investigação educacional, para a qual se assume que possui um caracter emancipatório e transformador das organizações e processo educativos".