Avaliação crítica de Relatórios de Investigação

Retirado de Revisão de Literatura

A primeira decisão que deve ser tomada ao estudar um relatório de investigação é sobre a sua relevância para o problema de investigação. Se ele é relevante, a decisão seguinte deve relacionar-se com a qualidade da investigação descrita no relatório. Ao fazer este julgamento, deve ter-se em mente que a qualidade dos estudos publicados em educação e disciplinas relacionadas não é, infelizmente, muito elevada.

Deve-se valorizar a melhor investigação e estimar como os resultados de um dado estudo podem ter sido afectados por falhas no processo de investigação.
Este processo de avaliação requer muitos skills, o que não comum entre investigadores principiantes.

Em seguida, apresenta-se uma de lista questões que devem ser colocadas quando se avalia um relatório de investigação.

INTRODUÇÃO

1. O problema de investigação, procedimentos ou resultados são indevidamente influenciados pela afiliação institucional, crenças, valores ou orientação teórica do investigador?
2. Os investigadores exprimiram enviesamentos positivos ou negativos ao descreverem o conteúdo do estudo (um método de ensino, programa, currículo, pessoa, etc.)?
3. A secção de revisão de literatura do relatório é suficientemente vasta? E inclui estudos conhecidos relevantes para o problema?
4. As hipóteses, questões ou objectivos estão explicitamente estabelecidos e, se sim, eles são claros?
5. Os investigadores mostraram de forma convincente que uma hipótese de investigação, questão ou objectivo era importante para o estudo?
6. (Quantitativo) Cada variável do estudo está claramente definida?
7. (Qualitativo) A medida de cada variável é consistente com a forma como foi definida?

PROCEDIMENTOS DE INVESTIGAÇÃO

8. (Quantitativo) Os procedimentos amostrais produziram uma amostra que é representativa de uma população identificável ou de uma população local?
9. (Quantitativo) Os investigadores formaram subgrupos que aumentariam a compreensão do fenómeno em estudo?
10. (Qualitativo) O procedimento amostral resultou num caso ou casos que eram particularmente interessantes e dos quais muito podia ser aprendido acerca do fenómeno de interesse?
11. Cada medida no estudo é suficientemente válida para o fim que foi pensada?
12. Cada medida no estudo é suficientemente fiável para o fim que foi pensada?
13. Cada medida é apropriada para a amostra?
14. Os procedimentos de investigação eram apropriados e claramente descritos de modo que outros os pudessem replicar se assim o desejassem?

RESULTADOS DA INVESTIGAÇÃO

15. As técnicas estatísticas usadas eram apropriadas e foram usadas correctamente?
16. (Qualitativa) O relatório incluiu uma abundante descrição de como os indivíduos responderam às questões da entrevista ou como se comportaram?
17. (Qualitativa) Cada variável do estudo emergiu dos dados de uma forma significativa?
18. (Qualitativa) As hipóteses ou questões claramente formuladas emergiram dos dados que foram recolhidos?

DISCUSSÃO DOS RESULTADOS

19. Os resultados da análise de dados que apoiam as conclusões dos investigadores são os resultados do estudo?
20. Os investigadores fornecem explicações razoáveis dos resultados?21. Os investigadores extraem implicações razoáveis para a prática dos seus resultados?

Ainda sobre os Paradigmas da Investigação Educacional...

Num post anterior abordámos esta temática, tendo concluído pela existência de paradigmas de investigação quantitativos e paradigmas de investigação qualitativos.

No nosso estudo sobre o assunto, encontrámos um paper interessante, o qual se encontra na secção de "Artigos, Papers e Apresentações sobre Investigação Educacional" deste blog, sob a designação "Paradigmas da Investigação Educacional".

Neste paper, da autoria da Professora Doutora Maria do Rosário Pinheiro (Faculdade de Psicologia e de Ciências da Educação da Universidade de Coimbra), para além dos paradigmas quantitativo (também designado de positivista ou racionalista) e qualitativo (também designado de interpretativo ou analista), é apresentado um terceiro paradigma, o paradigma sociocrítico, que dá justificação a "uma família de visões de investigação que surgem como resposta às tradições positivista e interpretativa e que pretendem superar o reducionismo da primeira e o conservadorismo da segunda".

De acordo com a autora, "os princípios ideológicos em que assenta o paradigma sociocrítico têm como finalidade a transformação da estrutura das relações sociais" e o seu surgimento veio colocar "em questão a neutralidade da ciência e da investigação em geral e em especial da investigação educacional, para a qual se assume que possui um caracter emancipatório e transformador das organizações e processo educativos".

Fases e Etapas do Processo de Investigação

O Processo de Investigação estrutura-se em várias etapas, as quais, consoante a bibliografia, poderão apresentar ligeiras variações, mas, em essência, existe uma sequência e tronco comum a essas nuances na estruturação do Processo de Investigação.

As especificidades variam, sobretudo, de acordo com o campo do conhecimento em causa. Num documento consultado através do website do Departamento de Educação da Faculdade de Ciências da Universidade de Lisboa, pela página da Professora Doutora Maria Isabel Seixas da Cunha Chagas, o qual se encontra referenciado neste blog, na secção "Outros Recursos" (Etapas do Processo de Investigação), o Processo de Investigação em Educação, apoiando-se numa classificação de Quivy e Campenhoudt (1992), estrutura-se da seguinte forma:

Fase de Ruptura

• Etapa 1: Pergunta de Partida;
• Etapa 2: Exploração (Leituras e Entrevistas Exploratórias);
• Etapa 3: Problemática;

Fase de Construção

• Etapa 4: Construção do modelo de análise;

Fase de Verificação

• Etapa 5: Recolha de dados;
• Etapa 6: Análise dos dados;
• Etapa 7: Conclusões.

Métodos de Investigação em Educação

Na sequência da identificação dos paradigmas de investigação em Educação, há que identificar quais as metodologias de investigação utilizadas em Educação.

Tal como referimos anteriormente, estas metodologias têm a montante os paradigmas de investigação, que as qualificam.

Em essência e considerando os métodos tradicionais de investigação, teremos métodos quantitativos de investigação, métodos qualitativos de investigação e métodos mistos (aqueles que utilizam elementos quantitativos e qualitativos, em simultâneo).

Independentemente de poder estar a ocorrer uma mudança ao nível dos paradigmas de investigação em Educação, as metodologias de investigação que, porventura, estarão a ser mais utilizadas são exactamente aquelas que recorrem a elementos quantitativos e qualitativos.

Esta metodologia mista, correspondente à possibilidade da coexistência de métodos de diferentes enquadramentos teóricos, tem muitas ligações com a Teoria Sociológica de Bernstein, pela rejeição quer da análise empírica, sem uma base teórica que lhe esteja subjacente, quer da utilização de teoria que não permita a sua transformação com base nos resultados empíricos.

Esta utilização de paradigmas diferentes, vem ao encontro do que referimos num post anterior, a propósito das diferenças entre investigação e pesquisa. A investigação realizada tem por finalidade a produção de conhecimento educacional, o qual, embora enquadrado pelas ciências sociais, tem relacionamentos com as ciências experimentais.

Este contacto com ciências de diferente natureza, justifica cada vez mais a utilização em Educação de metodologias de investigação mistas.

Apresentam-se, em seguida, alguns aspectos caracterizadores dos Métodos de Investigação Qualitativos e Quantitativos (Fonte listada neste blog em "Outros Recursos": Simões, C. & Paiva, J. (2004). Metodologias de Investigação em Educação. Lisboa: Fundação Calouste Gulbenkian. pp. 2-3)

Métodos Qualitativos de Investigação

• Os métodos qualitativos são “humanísticos” - quando os investigadores estudam os sujeitos de uma forma qualitativa tentam conhecê-los como pessoas e experimentar o que eles experimentam na sua vida diária (não reduzem a palavra e os actos a equações estatísticas);
• Os investigadores interessam-se mais pelo processo de investigação do que unicamente pelos resultados ou produtos que dela decorrem;
• Em investigação qualitativa o “plano de investigação é flexível”;
• A investigação qualitativa é “descritiva”. A descrição deve ser rigorosa e resultar directamente dos dados recolhidos. Os dados incluem transcrições de entrevistas, registos de observações, documentos escritos (pessoais e oficiais), fotografias, gravações vídeo, etc.. Os investigadores analisam as notas tomadas em trabalhos de campo, os dados recolhidos, respeitando, tanto quanto possível, a forma segundo a qual foram registados ou transcritos;
• O investigador é o “instrumento” de recolha de dados; a validade e a fiabilidade dos dados depende muito da sua sensibilidade, conhecimento e experiência. A questão da objectividade do investigador constitui o principal problema da investigação qualitativa;
• Em investigação qualitativa “a preocupação central não é a de saber se os resultados são susceptíveis de generalização, mas sim a de que outros contextos e sujeitos a eles podem ser generalizados”.

Métodos Quantitativos de Investigação

• A utilização de Métodos Quantitativos está associada à investigação experimental ou quase experimental o que pressupõe a observação de fenómenos, a formulação de hipóteses explicativas desses mesmos fenómenos, o controlo de variáveis, a selecção aleatória dos sujeitos de investigação (amostragem), a verificação ou rejeição das hipóteses mediante uma recolha rigorosa de dados, posteriormente sujeitos a uma análise estatística e uma utilização de modelos matemáticos para testar essas mesmas hipóteses. O objectivo é a generalização dos resultados de uma determinada população em estudo a partir da amostra, o estabelecimento de relações causa - efeito e a previsão dos fenómenos,
• A investigação quantitativa implica que o investigador antes de iniciar o trabalho elabore um plano de investigação estruturado, no qual os objectivos e os procedimentos de investigação estejam indicados pormenorizadamente;
• A elaboração do plano deverá ser precedida de uma revisão de literatura pertinente (também nos métodos qualitativos, diga-se), a qual é essencial não só para a definição dos reais objectivos do trabalho, como também para a formulação de hipóteses e para a definição de variáveis;
• Os objectivos da investigação quantitativa consistem essencialmente em encontrar relações entre variáveis, fazer descrições recorrendo ao tratamento estatístico dos dados recolhidos, testar teorias;
• Quer se trate de uma investigação experimental, quer se trate da caracterização estatística de uma determinada população (por exemplo mediante a administração de um inquérito por questionário ou por entrevista estruturada), procede-se à selecção de uma amostra que deverá ser representativa da população em estudo, para que os resultados possam ser generalizados a essa mesma população, o que implica a selecção aleatória dos sujeitos de investigação;
• Em métodos quase experimentais assumem-se as limitações da não aleatorização;
• Para testar as hipóteses (verificação ou rejeição) existe uma grande variedade de testes, cuja eficácia é reconhecida;
• Uma das principais limitações dos métodos quantitativos em Ciências Sociais está ligada à própria natureza dos fenómenos estudados: complexidade dos seres humanos; estímulo que dá origem a diferentes respostas de acordo com os sujeitos; grande número de variáveis cujo controlo é difícil ou mesmo impossível; subjectividade por parte do investigador; medição que é muitas vezes indirecta, como é por exemplo o caso das atitudes; problema da validade e fiabilidade dos instrumentos de medição.

Mais informação aqui.

Paradigmas de Investigação em Educação

No contexto da Temática 1 (O processo de investigação) da Unidade Curricular e, em particular, da sua Actividade 1 (Planear uma investigação), uma das competências a desenvolver é, entre outras, a de identificar "Paradigmas de Investigação em Educação".

Tradicionalmente, em Educação, consideram-se paradigmas de investigação quantitativos e os qualitativos, os quais sendo, aparentemente, distintos, não deixam de estar relacionados entre si.

Estes paradigmas servem de base à metodologia de investigação utilizada em Educação, pelo que a forma como servem de referência ou são utilizados irá caracterizar a própria metodologia de investigação educacional, a qual poderá, inclusivamente, conter elementos dos dois paradigmas.

A implementação de metodologias de investigação com um posicionamento epistemológico que diverge daquele que tem norteado a investigação educacional (assente nos paradigmas de investigação tradicionais), poderá indiciar estarmos numa fase de transição ou de início de mudança relativamente a esses paradigmas de investigação tradicionais.

Investigação versus Pesquisa

Antes de abordar a Temática 1 da Unidade Curricular, gostaria de me deter um pouco sobre estes dois conceitos: Investigação e Pesquisa.

Se há coisa com que temos sido confrontados ao longo deste Mestrado, é o apelo constante à nossa capacidade reflexiva e de questionamento sobre o porquê das coisas, o porquê de algumas expressões e o porquê de alguns conceitos, já que, neste momento, é firme a percepção de que este é o caminho que permite evoluir da Informação para o Conhecimento e, deste último, para o Saber.

Apesar de abordados com frequência de modo quase indistinto, será que Investigação e Pesquisa, independentemente do campo de aplicação, têm o mesmo significado?

Nos dicionários, Investigação é um conceito apresentado como o "acto ou efeito de investigar, de pesquisar, de inquirir", enquanto Pesquisa é um conceito apresentado como o "acto ou efeito de pesquisar, indagação, investigação". Quanto mais não seja de modo aparente e pela raiz etimológica das palavras, Investigação parece ser definida com recurso a Pesquisa e Pesquisa parece ser definida com recurso a Investigação.

Mas na nossa modesta opinião, estes conceitos, ainda que relacionados, encerram dinâmicas diferentes, tal como adiante se explica.

Por um lado, a Pesquisa normalmente incide sobre o que existe (presente e passado), numa acção de busca ou procura de determinado elemento ou dado. O seu campo de acção é, em geral, informação ou conhecimento já existente. Ou seja, se pudéssemos imaginar a Pesquisa como um vector, teríamos um vector orientado para o presente ou para o passado.

Por outro lado, a Investigação é orientada para o futuro, para aquilo que ainda não se conhece, tentando obter ligações com esse "ainda desconhecido" a partir da informação e do conhecimento existentes. O campo de acção da Investigação é assim um campo de "descoberta" e o seu modo de acção pode recorrer a vários métodos de investigação, consoante o campo de aplicação dessa investigação e as finalidades da mesma. Ou seja, se pudéssemos imaginar a Investigação como um vector, teríamos um vector orientado para o futuro.

Em última análise a Pesquisa permite filtrar e obter dados, informação ou conhecimento existentes, de modo organizado e estruturado, enquanto a Investigação visa a "descoberta", explicação e determinação daquilo que ainda não se conhece e que, por vezes, nem se sabe se existe.

Ligando agora o conceito de Investigação ao de Educação, vejamos como eles se inter-relacionam no contexto da Sociedade do Conhecimento. Este é um conceito relativamente recente, decorrente da evolução do conceito que o antecedeu, a Sociedade da Informação. Esta evolução resultou da constatação que a informação, por si só, não promove o desenvolvimento humano, económico e social, mas sim a utilização que se faz dessa informação.

Surgiu assim o conceito de Sociedade do Conhecimento, como o da sociedade que utiliza a informação ao serviço do desenvolvimento integrado de si própria. Percebe-se assim o que é que está na origem da Europa do Conhecimento e qual a sua finalidade, a promoção do Conhecimento. Para a obtenção, promoção e desenvolvimento desse Conhecimento, há que considerar, em permanência, três "pilares" fundamentais: a Educação, a Investigação e a Inovação.

Esta relação permite antever a importância, em particular, da Investigação Educacional, na medida em que a sua esfera de acção liga dois dos três "pilares" referidos e, na medida em que a Investigação assenta sobre um vector orientado para o futuro, cujas características permitirão a obtenção e concretização da Inovação, considerado na actualidade como um dos aspectos fulcrais para o desenvolvimento da sociedade, em qualquer dos seus aspectos e também, em particular, daqueles directamente relacionados com a Educação e com os Sistemas Educativos, não só ao nível das práticas pedagógicas, mas também dos recursos utilizados.

Feita esta análise reflexiva sobre Investigação e Pesquisa, pensamos estar agora em melhores condições para abordar a Temática 1 da Unidade Curricular "Investigação Educacional", dedicada ao Processo de Investigação.

Apresentação do blog

Este blog foi criado no âmbito do Mestrado em Supervisão Pedagógica da Universidade Aberta (Edição 2007/2009), do qual sou Mestrando, e, em particular, da Unidade Curricular Investigação Educacional.

Esta Unidade Curricular, orientada pela Profª. Doutora Alda Pereira e Profª. Doutora Luísa Aires, pretende, por um lado, abordar a problemática da Investigação no contexto educacional e, por outro, preparar o estudante com vista ao desenho de um Plano de Investigação pessoal, algo particularmente útil com vista ao desenvolvimento das competências necessárias para a elaboração da Dissertação do Mestrado, que ocupará todo o 2º. ano do Curso.

Neste contexto, um dos grandes objectivos que nos é colocado é a familiarização com os procedimentos metodológicos que norteiam e permitem a realização de uma Investigação no campo da Educação. Isto implica o conhecimento dos vários métodos de Investigação e dos instrumentos de recolha e de análise de dados, bem como a reflexão sobre as respectivas vantagens e desvantagens.

Sendo uma Unidade Curricular com uma metodologia marcada por uma permanente postura construtivista, onde são determinantes o estudo e a reflexão individuais a par do trabalho colaborativo, cada Mestrando deverá orientar a sua forma de estudo para a partilha das suas leituras e reflexões com os colegas de curso, procurando aprofundar conceitos, alargar pontos de vista, discutir casos concretos e analisar, sempre que possível, as aplicações dos conceitos e teorias abordadas. Para isso recorrer-se-à à argumentação e contra-argumentação sistemática nos fóruns de discussão da Unidade Curricular.

Esperado que é que cada estudante, ao longo do seu percurso pessoal no contexto da Unidade Curricular, elabore notas das leituras, realize pesquisas pessoais, analise as contribuições dos colegas, alargue os seus conhecimentos e reflicta sobre o seu progresso, irei recorrer a este web blog para desenvolver o meu portfolio sobre Investigação Educacional, o qual será objecto de uma apresentação oral no final do semestre.

Como projecto de construção e melhoria permanente, pretendo que este webfolio (portfolio na web) individual evidencie o meu trabalho em cada momento da Unidade Curricular, ao longo do percurso de desenvolvimento do seu programa. Nesse sentido, a título de referência, são sugeridos os seguintes tópicos:

1. O processo de investigação, o problema e as questões de investigação;
2. Sínteses de leituras efectuadas no âmbito de uma possível temática para investigação a desenvolver no 2º. ano do mestrado;
3. Reflexão sobre a revisão da literatura efectuada (abrangência, extensão, profundidade);
4. O papel do investigador (observação participante e não participante);
5. Métodos de recolha de dados: vantagens, inconvenientes e relação com as questões de investigação;
6. A investigação-acção;
7. Modos de análise e interpretação dos dados, sua relação com o quadro conceptual da investigação;
8. A ética do investigador em Educação;
9. Reflexões sobre as actividades e discussões em que participou;
10. Reflexão, análise do percurso realizado e respectiva avaliação.