2.2.6 EVALUACION DE LA INVESTIGACION ETNOGRAFICA

EVALUACION DE LA INVESTIGACION ETNOGRAFICA.

EVALUACION DEL DISEÑO ETNOGRAFICO.

La determinación de la calidad de una investigación plantea el problema comparable. El esfuerzo empleado no es suficiente y tampoco el mero seguimiento de las directrices o normas de procedimiento.
Estos son aspectos imprescindibles, pero la calidad es algo mas equivoco, como ya hemos señalando, la calidad se puede reconocer cuando se ve, pero articular y definir sus dimensiones resulta bastante mas complicada. Para facilitar el proceso, hemos identificado 5 atributos cuya concurrencia contribuye al merito de cualquier investigación y, por tanto de un estudio etnográfico. Son propiedad, claridad, comprensividad, credibilidad, y significación.

El informe de una etnografía debe contener, identificados y comentados:
1.- los fines y cuestiones planeados.
2.- los marcos conceptuales y teóricos que informaron la actividad investigadora
3.- el diseño general o la variante que modelaron el estudio
4.- el grupo de que se obtuvieron los datos
5.- las experiencias y roles del investigador
6.- los métodos de recogida de datos utilizados.
7.- la estrategias de análisis desarrolladas
8.- las conclusiones, interpretación y aplicaciones elaboradas.

La ejecución de estas tareas es un elemento necesario. Una vez establecido que el informe es completo se evalúan sus componentes para determinar sus noveles de propiedad, comprensividad, credibilidad y significación, lo que permite estimar su valor intrínseco, así como juzgar el merito comparativo de distintos estudios. Estos 5 criterios se pueden conceptualizar como escalas.

1. Apropiado – inapropiado
2. Claro – opaco
3. Comprensivo – limitado
4. Creíble – no creíble
5. Significativo – trivial.

Para facilitar la evaluación de una etnografía según estas 5 escalas, abordaremos las cuestiones fundamentales de cada uno de sus 8 componentes y plantearemos las preguntas que han de ser contestadas afirmativamente para que el estudio satisfaga os criterios de calidad.

FOCO Y FIN DEL ESTUDIO

La claridad y la significación son los criterios fundamentales para evaluar la calidad de los fines de las investigaciones. Si las cuestiones y el fin de un estudio no aparecen en el informe, o no pueden ser resumidos en un párrafo breve, aquel carece probablemente de un foco claro y este problema se reflejara en sus resultados.
Cuando el fin y las cuestiones de la investigación están articulados claramente, la cuestión central pasa a ser la significación. Esta se determina por la medida en que un estudio aporta algo al conocimiento existente y es aplicable en la disciplina a que pertenece.
En la investigación educativa, la cuestión que tradicionalmente se plantea es si el estudio es una repetición de otro anterior. Sin embargo, aunque la originalidad es un factor que contribuye a la significación de un estudio en ciertas situaciones, por si sola no garantiza que este no sea trivial.
Por otra parte una investigación es también significativa si aporta nueva perspectivas a viejas cuestiones y cuando perfecciona, verifica o corrobora los conocimientos existentes a través de diseños comparativos o replicativos.
En este último caso, para la evaluación de su significatividad habrá de tenerse en cuenta el número de replicaciones efectuadas hasta el momento, los fines de estas y los resultados conseguidos. Los argumentos ofrecidos por los investigadores para defender la significación de su trabajo tienen que ser creíbles.
Apoyar la justificación del estudio con referencias suficientes a la literatura relacionada con el tema evita esos problemas y contribuye a dar credibilidad a los argumentos del investigador.
Un segundo aspecto de la significación del foco y el fin de un estudio es su aplicabilidad que esta determinada, en parte por los destinatarios previstos del estudio, y en parte por el fin de este.
Asimismo, una investigación puede servir en principio para documentar y preservar fenómenos sociales, como tradicionalmente ha hecho la etnografía con las sociedades indígenas en trance de desaparición, o los estudios de casos gráficos con los efectos sociales de desastres naturales.
La aplicabilidad, por lo tanto, no es mera función de las percepciones de los demás. Debe buscarse en la credibilidad y el poder persuasivo de los argumentos de los investigadores que han especificado cuidadosamente las implicaciones de sus estudios y valorarse en el contexto de las intenciones de estos científicos.

MARCO TEÓRICO Y CONCEPTUAL
Los conceptos y constructos son las abstracciones de los escenarios y experiencias reales que constituyen el fundamento de una investigación. El marco teórico indica la interacción e interrelación esperadas de dichos conceptos y constructos.

Para la evaluación del marco teórico o conceptual de una etnografía hay que abordar tres cuestiones básicas. En primer lugar, el marco teórico no debe ser algo que se prepara una vez concluida la investigación empírica. Las cuestiones planteadas en la investigación deben estar firmemente integradas en el marco conceptual; no sirve poner las más o menos en relación con una estructura teórica añadida al final para dar satisfacción a los recensores o a un tribunal de tesis. Los conceptos y constructos que modelan el estudio deben ser claros y estar bien definidos, como se ha señalado anteriormente; sus relaciones mutuas debe reflejar tanto las cuestiones de la investigación en el plano empírico como su marco teórico más abstracto. Por ejemplo, en la investigación de NELSON (1982) sobre los escritores profesionales que trabajaban como profesores de lengua, se utilizaron constructos originales para Interpretar los resultados, así como para idear la estrategia de selección secuencial que enmarcó la última parte de la recogida de datos. Dichos constructos están tan integrados con el fin, diseño y conclusiones del estudio que este carecería de sentido sin ellos.

Segundo, el marco teórico debe ser apropiado, tanto en su alcance como en su contenido, para las cuestiones de la investigación. Es frecuente que los Investigadores neófitos restrinjan el ámbito de sus estructuras conceptuales a lo que esté en vigor en cada momento en una subárea de su disciplina, con lo que dejan de utilizar otras teorías y constructos sociales que potenciarían su trabajo. Otros presentan como fundamento teórico de sus estudios proposiciones que apoyan un punto de vista único, descuidando así la cuestión de las explicaciones rivales. En ambos casos, la consecuencia es una autolimitación innecesaria; por otra parte, este tipo de prácticas puede dar como resultado la elección de una base conceptual inapropiada para el estudio.

Por último, el marco teórico debe derivarse de enunciados de relaciones empíricas, o ser convertible en proposiciones susceptibles de investigación empírica, y no que inciten a un desarrollo directo a partir de aserciones normativas o juicios de valor sólo supuestamente factuales. Por ejemplo, hay multitud de Investigaciones educativas que comienzan con frases como "unos administradores eficaces crean una atmósfera que estimula el rendimiento de los alumnos". A eso le sigue el establecimiento de correlaciones entre las puntuaciones de los alumnos en las pruebas y dimensiones cuantificables del comportamiento de los administradores, prestándose escasa o nula atención a lo que constituye un liderazgo eficaz o a los valores implícitos en este tipo de constructos.

MODO GENERAL DE LA INVESTIGACION.

Un diseño concreto puede ser el optimo en todo caso; por tanto, es fundamental determinar si el modelo utilizado constituye un enfoque eficaz y adaptado a los fines y cuestiones específicamente planteados por el investigador, entre los estudios para los que se considera que el diseño etnográfico s apropiado están los análisis de sistemas socioculturales.

La etnografía que se aprecia actualmente en la investigación educativa, una segunda cuestión importantes será establecer si el diseño que su autor califica etnográfico es realmente, algunos investigadores utiliza el calificativo como sinónimo de investigación cualitativa.
El problema se refiere a la, medida en que un estudio se ajusta al modelo etnográfico clásico que al hecho de si el diseño utilizado es apropiado y suficientemente comprensivo para responder en forma creíble y convincente a las cuestiones planteadas por el investigador.

Debe pues evitarse rechazar una investigación por el mero hecho de que resulte atípica; no obstante, también es legitimo esperar que los investigadores utilicen sus métodos y terminologías de forma precisa y consistente.

Las decisiones del investigador respecto a la elección del diseño que va a utilizar deben basarse en factores como: el problema de la investigación, los fines de los participantes; la credibilidad del investigador, los métodos y el diseño; el tiempo y recursos disponibles; y el fin de la investigación.

SELECCIÓN DE PARTICIPANTES, ESCENARIOS Y CIRCUNSTANCIAS.

El ideal de una etnografía es describir a los participantes, el escenario y las circunstancias con tanta claridad que la imagen reproducida componga una fotografía verbal.
Beals y Cols, indican que esta claridad descriptiva es la prueba de validez definitiva de una investigación etnográfica: el informe etnográfico debe resultar debe resultar una guía eficaz para hacerse miembro de la cultura descrita.
Un informe etnográfico debe ofrecer los detalles suficientes para comunicar de que manera las dimensiones del escenario, las circunstancias y los participantes afectan y sesgan los resultados del estudio.
Todavía más importante es determinar la medida en que los participantes y escenarios elegidos son apropiados para los fines del estudio y las muestras o selecciones.
EXPERIENCIA Y ROL DEL INVESTIGADOR
Las especiales relaciones desarrolladas por los etnógrafos en los escenarios de sus investigaciones son decisivas para la profundidad y amplitud de la información que pueden reunir (POWDERMAKER, 1966). En ellos influye la fluidez en el idioma, dialecto o jerga de los participantes, así como el modo en que se consiguió acceder al escenario de la investigación (B ERRE MAN, 1962). La medida en que el rol adquirido por un investigador limita o facilita la recogida de los datos relevantes para los fines y cuestiones que ha planteado, constituye un elemento decisivo en la evaluación de un estudio etnográfico.

Las limitaciones derivadas de las características y preferencias personales del
investigador son a veces inevitables: edad, sexo y etnicidad son los factores que más frecuentemente restringen el acceso a los datos. Estos sesgos deben ser abordados y comentados clara y abiertamente para hacer creíble un estudio. De forma similar, las características físicas, sociales, morales y emocionales del investigador afectan a las decisiones que éste toma respecto de su participación en los distintos aspectos de la vida de los grupos, llegando incluso a impedir que pueda implicarse en actividades que son esenciales para comprender la cultura que está estudiando. Los investigadores deben señalar estos factores y explicar sus efectos sobre la credibilidad, comprensividad y
comparabilidad de los resultados de su trabajo.

Los etnógrafos pueden encontrar algunos escenarios tan seductores o tan repugnantes que llegan a perder su perspectiva sobre ellos. En este último caso, pueden negarse a asignar valor positivo alguno a la cultura estudiada (p. ej., TURNBuLL, 1972); en el primero, los investigadores a veces hacen causa común con los participantes y se asimilan a los nativos (p. ej., CASTAÑEDA, 1968). Ninguna de estas situaciones contribuye a la ciencia: los investigadores pierden su exterioridad, o la perspectiva especial que el examen a través de un marco científico aporta al estudio del comportamiento humano. WAX (1971) indica que la solución a este dilema depende de la capacidad del investigador de resocializarse en el plano personal, al tiempo que mantiene, sobre este mismo proceso, la perspectiva reflexiva de un extraño. Un buen ejemplo es la obra de Jan YOORS (1967), quien se unió a un grupo de gitanos cuando era niño y posteriormente se convirtió en etnógrafo, sistematizando y profundizando su conocimiento de la vida de esta etnia. Por tanto, la cuestión fundamental que a este respecto se debe plantear el evaluador es: dado el nivel de participación del investigador en el grupo y la naturaleza de los sesgos y supuestos identificados, ¿pueden considerarse legítimos y creíbles los resultados que ha obtenido?

ESTRATEGIAS DE RECOGIDA DE DATOS.

Los investigadores deben presentar razones plausibles de su elección de los métodos de recogida de datos y justificar que los datos que estos nos proporcionan son relevantes para las cuestiones de la investigación. Este es un aspecto esencial de la evaluación de un estudio etnográfico para la elección de sus métodos el investigador debe tener en cuenta los efectos del agotamiento provocado por la investigación en los participantes y en el mismo.

Eliminar la recogida de datos innecesarios o irrelevantes y resistir la tentación de sobresaturar el lugar que esta estudiando.
El investigador debe de describir el modo en que efectuó varias tareas. La descripción de la planificación la toma de decisiones anteriores y simultaneas el trabajo de campo, permite a los recensores y críticos determinar si la recogida de datos elegidos fueron los apropiados.

Los niveles del discurso y el lenguaje de los instrumentos deben ajustarse a la edad, experiencia y cultura de los respondientes.
Debe de concederse a los investigadores tiempo suficiente para dedicarse a las cuestiones planteadas en sus estudios. La mayor parte de los estudios exigen dedicar largos periodos a la realización de entrevistas y observación; en otros, puede bastar una en cuenta y una estancia en el campo mínima que corrobore los resultados.
La evaluación de las significación, credibilidad y comprensividad de los métodos depende de la calidad de los datos contenidos en el informe de la investigación la recogida de datos debe ser suficientemente comprensiva para responder a todas las cuestiones de la investigación y proporcionar fuentes de información alternativa para la confirmación, matización o eliminación de los hallazgos preliminares obtenidos de una sola fuente de datos.
Ejecutadas en forma adecuada, proporcionan datos con un alto grado de validez. La fiabilidad de las historia profesionales, entrevistas a informantes clave, y observación participante depende de:
1 una exposición clara del rol adaptado por el investigador en el campo y de las técnicas exactas utilizadas en la recogida y el análisis de los datos;
2.- la claridad de la presentación de los constructos desarrollados en el estudio.



TECNICAS DEL ANALISIS DE DATOS

El análisis de los datos es la actividad investigadora que más arrogante e inadecuadamente se presenta en los informes etnográficos. Este fenómeno se debe a la complejidad de la mayor parte de los datos obtenidos con procedimientos etnográficos como al carácter abierto de los análisis que se realizan en esta tradición.
La credibilidad exige, determinar los orígenes de estos procesos dinámicos y justificarlos, de forma que los lectores puedan examinar por si mismos las inferencias, generalizaciones, predicciones o metáforas que contribuyeron a los resultados del estudio.
Las categorías ideadas por el investigador para el análisis deben distinguirse de los constructos de los participantes. Si las estrategias analíticas utilizadas han sido descritas con claridad, se puede evaluar su propiedad.
Esto requiere que se designen las unidades del análisis y los constructos fundamentales y se comente su desarrollo, a fin de que pueda evaluarse su relevancia para las cuestiones de la investigación, los marcos teóricos y conceptuales y la naturaleza de los datos recogidos durante la estancia en el campo.
La utilización de formas de análisis excesivamente simplistas y limitadas afecta de formas negativa al desarrollo de resultados iniciales más complejos y significativos e impide la posterior generación y perfeccionamiento de la teoría.
PRESENTACIÓN, INTERPRETACIÓN Y APLICACIÓN DE LOS RESULTADOS

Los formatos de presentación de los resultados varían considerablemente según los estudios. Pueden ser narraciones cronológicas, síntesis temáticas conceptuales o estructuras de solución de problemas articuladas en torno a las cuestiones fundamentales. Independientemente de cómo se presenten los resultados, éstos deben ser claros y creíbles. Deben convencer al lector de que representan adecuadamente la realidad investigada. Deben ofrecer datos suficientemente densos, complejos y representativos de varias perspectivas. Y lo que quizá sea lo más importante, deben persuadir al lector de que los datos son aplicables rigurosamente a las cuestiones que se han planteado.

En los estudios en que los componentes centrales del diseño están bien integrados, separar la presentación de los datos de su interpretación puede ofrecer dificultades. A este respecto es conveniente identificar y distinguir los niveles de confianza atribuidos a las interpretaciones. Un indicativo de que el estudio se ha llevado a cabo de forma competente es la presentación y comentario de los datos que constituyen casos negativos, discrepantes o desviados. Este material resalta los límites entre descripción e interpretación y contribuye a la credibilidad y comprensividad del informe. En su tratamiento de la interpretación de los datos observacionales, Mc CUTCHEON (1981) propone cuatro criterios para evaluar la calidad de este proceso. Las interpretaciones legítimas son posibles, ordenadas y lógicas; las alternativas son reconocidas y rechazadas de forma razonable y adecuada. Las interpretaciones legítimas se basan en datos suficientes; como se ha señalado antes WOLCOTT (1975) subraya la necesidad de proporcionar una cantidad suficiente de datos brutos para que el lector pueda estimar independientemente la credibilidad de las conclusiones. Las interpretaciones legítimas son consistentes con los conocimientos disponibles sobre grupos y fenómenos similares; las discrepancias se abordan de manera plausible. Las interpretaciones legítimas son significativas; contribuyen a la comprensión de fenómenos complejos, a la creación y perfeccionamiento de teorías o al tratamiento de cuestiones y controversias sociales.

Este último criterio engloba a tres de las dimensiones de la evaluación ya indicadas: propiedad, comprensividad y significación. Unos resultados lo bastante comprensivos son aplicables a diversos marcos teóricos y conceptuales de las ciencias sociales. Se pueden proponer apropiadamente como casos con diversas implicaciones. Pese a que los investigadores se responsabilizan tan sólo de la integración de sus propias conclusiones en los marcos conceptuales específicos que informaron su actividad, para los lectores debe ser evidente que los resultados profundos y complejos ofrecidos poseen otras aplicaciones. Esto, a su vez, contribuye a la significación del estudio.

Cuanto más explícitamente identifiquen los investigadores los fundamentos de sus interpretaciones, se podrán valorar éstas de forma más adecuada. Cuando se afirme una relación entre los datos, debe demostrarse su ocurrencia y su covariacion y cuando se les atribuya algún significado, ello se ha de explicitar y justificar: Cuando se proponga la generalización de relaciones causales o de consecuencia a otros escenarios y poblaciones, se ha de mostrar el orden temporal y la covariación de los fenómenos, así como justificar la eliminación de explicaciones alternativas (DENZIN, 1978).

Por último, la integración de los hallazgos de un estudio en un marco más amplio y la significación atribuida a las conclusiones revelan la medida en que el investigador ha conseguido los fines que se proponía. En el caso frecuente de que los investigadores descubran datos e interpretaciones no previstos, exponer cómo éstos se integran en el marco de la investigación y cuál es su significación permite a recensores y críticos evaluar el estudio con arreglo a las nuevas orientaciones.