Contibución didáctica docente. Revista OACTIVA UC Cuenca . Vol. 1, No. 3, pp.
VALIDACIÓN DE CUESTIONARIOS
VALIDATION OF QUESTIONNAIRES
1Dr. Mg. Esp Catedrático de la Carrera de Odontología de la Universidad Católica de Cuenca. Ecuador
2Mg. Esp. Docente de Imagenología de la Facultad de Estomatología de la Universidad Peruana Cayetano Heredia. Perú 3 Mg. Docente de la Carrera de Odontología de la Universidad Católica de Cuenca. Ecuador
*evillavicencioc@ucacue.edu.ec>
Resumen
En el proceso de realizar una investigación científica, la medición de las variables requiere de instrumentos válidos y confiables, uno de los dos pilares de la investigación científica es la capacidad de un instrumento para medir la variable por medio de la estabilidad y constancia interna. Para construir un instrumento son necesarias una serie de investigaciones previas o estudios preliminares que incluyan entrevistas a profundidad, grupos focales, etc.
Palabras clave: encuestas y cuestionarios, psicometría, estudios de validación.
Abstract
In the process of carrying out scientific research, the measurement of variables requires valid and reliable instruments, one of the two pillars of scientific research is the ability of an instrument to measure the variable by means of stability and internal constancy. In order to construct an instrument, a series of preliminary investigations or preliminary studies that include
Key words: Surveys and questionnaires, psychometrics, validation studies.
1 INTRODUCCIÓN
En el proceso de realizar una investigación científica, la medición de las variables requiere de instrumentos válidos y confiables. Válidos porque miden lo que deben medir y confiables por que pueden repetir la misma medida en condiciones similares. En tal sentido el investigador, antes de iniciar el proceso debe hacer una exhaustiva búsqueda de instrumentos que ya han demostrado estas características. En el caso de no contar con un instrumento pertinente nos enfrentamos a la necesidad de crear uno nuevo y de probar su utilidad, fiabilidad y validez. El presente artículo revisa las opiniones de los autores respecto a la secuencia y pasos a desarrollar para la validación de un instrumento.
2 ASPECTOS CENTRALES DE LA VALIDACIÓN
Situándonos en el contexto, solo se pueden validar ins- trumentos que evalúan variables psicométricas. No podemos validar instrumentos que miden magnitudes vectoriales. El punto de partida de una validación es la elaboración de un constructo (fenómeno no tangible que se categoriza con la finalidad de estudiarlo como una variable).1 Por ejemplo el constructo de Calidad de Vida Relacionado a Salud Bucal. Los constructos deben de ser evaluados desde estos tres
aspectos, validez, fiabilidad y utilidad, en medida que un instrumento supere de mejor manera estas evaluaciones, se considera que es un instrumento más “robusto”.
2.1VALIDEZ
Uno de los dos pilares de la investigación científica es la capacidad de un instrumento para medir la variable para la cual fue diseñado, a esta característica se le llama validez. Dicho de otra forma, es la capacidad de un instrumento para poder medir la variable para la cual ha sido diseñado. La validez tiene 4 dimensiones, v. lógica, v. de contenido, v. de criterio y v. de constructo.
Validez. Lógica.- Evalúa de manera subjetiva si el cuestio- nario mide la variable que se quiere medir, desde la perspectiva de los sujetos a ser evaluados. Se le conoce también como validez aparente, la falta de validez apa- rente no invalida al instrumento.2
Validez de Contenido.- Se refiere a la medida en que el ins- trumento representa todas las dimensiones de la variable (ITEMS), se evalúa a través de la opinión de expertos. Normalmente se toma un número impar de expertos, tres o cinco. Se utilizan el estadístico V de Aiken3 o el Índice de Validez de contenido (CVR).4
Revista OACTIVA UC Cuenca . Vol. 1, No. 3,
72 |
Villavicencio, Ebingen y cols |
Fig. 1. Cualidades del constructo
Validez de criterio.- Se aplica cuando queremos validar un instrumento nuevo, para una variable que ya tiene un instrumento validado. En este caso el instrumento ya validado se denomina Gold Estándar. Si ambos instru- mentos se pueden aplicar en el mismo momento se llama validez concurrente, si el nuevo instrumento diagnostica de manera precoz y el gold estándar solo se puede aplicar algún tiempo después, se denomina validez predictiva. En el caso de que la variable sea cualitativa dicotómica, se utiliza un test estadístico de concordancia ejs. Kappa, Sensibilidad Especificidad, curvas ROC. Si la variable es ordinal o cuantitativa se utiliza una correlación estadísti- ca tipo R2 Pearson.
Validez de constructo.- Cuando no hay un gold estándar, debemos aplicar una estrategia para validar un nuevo instrumento, el primer paso es generar el constructo (modelo teórico que pretende abarcar todos los aspectos de un fenómeno, lo analiza, lo explica y lo presenta de manera ordenada, para poder construir una escala de medición). Si no existe una teoría precedente, la inves- tigación cualitativa es la herramienta fundamental para generar nuevos constructos. Cada uno de los aspectos que abarca el constructo se denomina ITEM o dimensión de la variable.
2.2FIABILIDAD
Es la capacidad de un instrumento para repetir el va- lor de una medición, en el mismo sujeto bajo las mismas condiciones. Tiene 2 dimensiones: Estabilidad.- Se refiere a la capacidad de un instrumento para dar el mismo valor en dos momentos de tiempo distintos. Se debe tomar en cuenta que el espacio entre ambas mediciones está condicionado a la capacidad de los sujetos para recordar las preguntas (tiempo
muy corto) y también a la naturaleza de la variable, que puede sufrir cambios (tiempo muy largo). La herramienta que se utiliza es la correlación de TEST- RETEST. Se puede ejecutar dos versiones equivalentes de instrumentos o el mismo en dos momentos distintos. Consistencia Interna.- Mide la adecuada disposición y peso de lo ITEMS respecto al valor total del instrumento.
2.3 INSTRUMENTOS DE MEDICIÓN.
El valor de un estudio depende de que esta información refleje lo más fidedignamente el evento investigado.1 El acto de medir es un componente esencial en la investigación científica.2 El diagnóstico que realicemos acerca de una situación particular dependerá de los instrumentos o técnicas que utilicemos para su evaluación.3 Precisamente en áreas de la salud cada vez es más necesario disponer de instrumentos de medida que permitan evaluar atributos subjetivos que inte- gran constructos y dimensiones más complejas, como medio para orientar acciones de atención, promoción o protección de la salud.4 En la evaluación pueden usarse diversas técni- cas: entrevistas, cuestionarios o instrumentos psicométricos, observación, psicofisiología, índices clínicos, registros mé- dicos.3 Etimológicamente, Psicometría significa medida de los fenómenos psíquicos (habilidades cognitivas o rasgos de personalidad). Es una disciplina del campo de la Psicología Científica, la cual se ocupa de la construcción y elaboración de los instrumentos de medida.5Los instrumentos permiten la objetivación de los fenómenos, y el perfeccionamiento de la interpretación teórica de dichos fenómenos, a través del contraste entre teoría y observación.6 Para la elaboración de un instrumento de medición se deben plantear ciertas cuestiones clave tales como: ¿qué se evalúa? ¿Cuáles son las partes legítimamente implicadas en la evaluación? ¿Quién evalúa? ¿Cómo se evalúa: que metodología utilizar? ¿Qué retroalimentación se ofrece a las partes implicadas? ¿Cuáles son los planes de mejora generados por la evaluación? ¿Cuál es la opinión de las partes implicadas sobre la evaluación?7. Las respuestas a estas interrogantes serán de ayuda para puntualizar los aspectos relevantes en la construcción del ins- trumento a trabajar. Junto con la entrevista, la encuesta es la técnica de recogida de datos más empleada en investigación porque es menos costosa, permite llegar a un mayor número de participantes y facilita el análisis. El cuestionario de la encuesta es un instrumento para la recogida de información, diseñado para cuantificarla y universalizarla.8 Consiste en aplicar a un universo definido de individuos una serie de preguntas o ítems sobre en determinado problema de investi- gación del que deseamos conocer algo.9 Las evaluaciones se realizan en distintos contextos: clínico, educativo, jurídico, organizacional, otros (por ejemplo los consumidores).6
2.4 ELABORACIÓN DE UN INSTRUMENTO.
Para construir un instrumento son necesarias una serie de investigaciones previas o estudios preliminares que inclu-
Revista OACTIVA UC Cuenca . Vol. 1, No. 3,
Validación de cuestionarios |
73 |
yan entrevistas a profundidad, grupos focales, etc., con el objetivo de que los reactivos que componen el instrumento correspondan a la definición del constructo, no sólo de for- ma teórica sino empírica. Se debe hallar el significado del constructo (es decir rasgos, características y conductas). De acuerdo a ello se elaborará las dimensiones del instrumento3. Las dimensiones o factores son cada una de las características que conforman al constructo8. Una definición operativa y precisa del constructo influye de forma determinante en la posterior obtención de los diferentes tipos de evidencias, ayuda a especificar las conductas más representativas de la variable objeto de medición y facilita el proceso de construc- ción de ítems.7 Los instrumentos de medición deben cumplir con ciertas características. Moriyama propone las siguientes:
a)Razonable y comprensible. b) Sensible a variaciones en el fenómeno que se mide. c) Con suposiciones básicas justifica- bles e intuitivamente razonables. d) Con componentes clara- mente definidos. e) Derivable de datos factibles de obtener.1 La construcción de un instrumento de medida es un proceso complejo que se puede articular en varios pasos, si bien estos no son automáticos y universales, pudiendo variar en función del propósito del instrumento de medida, del tipo de respuesta, del formato de administración o del contexto de evaluación.7 La elaboración de un instrumento debe obe- decer a los siguientes objetivos: 1. Traducir la información necesaria a un conjunto de preguntas específicas que los participantes puedan contestar. 2. Motivar al informante para que colabore y conteste el cuestionario completo, por ello, debe buscar minimizar el tedio y la fatiga. 3. Minimizar el error de respuesta, adaptando las preguntas a una escala que
no se preste a confusión al responder.
2.5FASES PARA LA CONSTRUCCIÓN DEL INSTRU- MENTO.
Existen distintos instrumentos de medición a ser aplica- dos en la obtención de la información, sin embargo el pro- cedimiento general de su construcción y aplicación se divide en 9 fases:13 1. Fase 1 - Redefiniciones fundamentales.- En esta fase se deberán reevaluar las variables de la investi- gación, vale la pena la última reflexión de las variables y algunas precisiones, así como el lugar específico de donde se recolectarán los datos, cual es el propósito, cuando se va a realizar la medición y que tipo de datos se quieren obtener.
2.Fase 2 - Revisión enfocada a la literatura.- Esta revisión se enfoca en encontrar mediante una revisión los instrumentos utilizados en estudios anteriores para medir las variables de interés, ello servirá para identificar las herramientas que pueden ser de utilidad. 3. Fase 3 - Identificar el dominio de las variables a medir y sus indicadores.- Se debe identificar los componentes, dimensiones o factores que integran a las variables, estableciendo los indicadores de cada dimensión.
4.Fase 4 - Toma de Decisiones clave.- Se debe definir las características claves del instrumento o sistema de medición las cuales se basan en definir si se va a utilizar un instrumento
ya elaborado o se va a desarrollar uno nuevo, si es uno nuevo se debe definir de que tipo es: cuestionario, escala, hoja de observación, etc. y por último se determina el contexto de administración o aplicación. 5. Fase 5 - Construcción del instrumento.- Se generan todos los ítems o categorías del instrumento así como la codificación y los niveles de medición que se encuentran divididos en 4 tipos.
6.M. Nominal.- Dos o más categorías de la variable no tienen orden ni jerarquía. Si son dos son dicotómicas, o tres o más son categóricas. 7. M. Ordinal.- Mantienen un orden de mayor menor, lo que indica jerarquía. 8. M. de Intervalos.- A demás de un orden y jerarquía se establecen intervalos iguales en la medición. M. de Razón.- Más allá de tener características similares a la de intervalos. El cero es real y es absoluto. 9. Fase 6 - Prueba Piloto.- Consiste en aplicar el instrumento a un grupo pequeño de la muestra, sometiéndolo no solo a la medición sino a las condiciones de la aplicación y los procedimientos involucrados. Si la muestra es de 300 la prueba piloto será de 30 a 60 objetos u personas. 10. Fase 7 - Elaboración de la versión final del Instrumento.- Es la revisión del instrumento o sistema de medición y su forma de administración, en base a los resultados de la prueba piloto, ajustando la versión definitiva.
11.Fase 8 - Entrenamiento del personal.- El personal que vaya a administrar, calificar o aplicar el instrumento debe de ser entrenado y motivado sobre el propósito, tiempo, importancia y demás elementos relacionados al instrumento o sistema de medición. 12. Fase 9 - Autorizaciones para aplicación del instrumento.- En esta etapa se obtienen los permisos necesarios para aplicar el instrumento o sistema de medición para lo cual se realiza una breve presentación del estudio para las personas o representantes de organizaciones implicadas. 13. Fase 10 - Administración del instrumento.- Consiste en aplicar el instrumento o sistema de medición a los participantes de la investigación, es el momento de confrontar el trabajo conceptual con los hechos. 14. Fase 11 - Preparación de los datos para el análisis.- Los datos son: Codificados, Limpiados, insertados en una base de datos.
15.Fase 12 – Análisis.- Se realiza el análisis de los datos obteniendo los resultados. Es conveniente incorporar una página de presentación en donde se describa el propósito del mismo, las instrucciones de llenado y el agradecimiento a los participantes. Así mismo se recomienda usar papel de buena calidad, con apariencia limpia y profesional. Cuando el cuestionario consta de varias páginas se recomienda que adopte la forma de folleto o tríptico. El uso conjunto de me- todologías cualitativas y cuantitativas se complementa para aportar matices que hacen que las evidencias de validez de contenido así obtenidas sean cualitativa y cuantitativamente de mejor calidad, permitiendo de esta forma una mayor correspondencia
Revista OACTIVA UC Cuenca . Vol. 1, No. 3,
74 |
Villavicencio, Ebingen y cols |
2.6ÍTEMS Y PREGUNTAS.
Los ítems son la materia prima, los ladrillos, a partir de la cual se forma un instrumento de evaluación, por lo que una construcción deficiente de los mismos, incidirá en las propiedades métricas finales del instrumento de medida y en las inferencias que se extraigan a partir de las puntuaciones. Deben poseer las siguientes características de los ítems: representatividad, relevancia, diversidad, claridad, sencillez y comprensibilidad. Si los ítems vienen de otro instrumento ya existente en otro idioma y cultura, deberán seguirse las directrices internacionales para la traducción y adaptación del test.7
Al planificar una prueba es útil construir una tabla de especificaciones de dos vías. Los objetivos conductuales que van a evaluarse son encabezados de fila, y los objetivos de contenido son encabezados de columna. En las celdas van las descripciones de los reactivos específicos que caen bajo los encabezados apropiados de fila y columna.11 Cada pregunta del cuestionario debe contribuir a la obtención de los datos necesarios para la investigación. Las preguntas pueden ser no estructuradas (o abiertas) o estructuradas (cerradas).
Las estructuradas pueden ser: 1. De opción múltiple: se ofrece una serie de alternativas para selección. 2. Dicotómi- cas: verdadero o falso, si o no, de acuerdo o en desacuerdo, presente o ausente. 3. De escala: Por ejemplo Likert.
Criterios para la redacción de las preguntas: 1. Definir con claridad el tema que se aborda. 2. Usar palabras comunes.
3.Evitar preguntas tendenciosas. 4. No se debe realizar generalizaciones. 5. Las preguntas que miden actitudes y estilos de vida se redactan como afirmaciones sobre las que los participantes indican su grado de acuerdo o de acuerdo.
6.Usar proposiciones positivas y negativas. 7. Cuidar la redacción y ortografía.
El orden de las preguntas: 1. Información de clasi- ficación: características demográficas y socio económicas.
2.Información de identificación: Datos que identifican al participante. No son necesarios en todos los tipos de investi- gación. 3. Preguntas de inicio: Sirvan para ganar la confianza y cooperación del participante. No son obligatorias. 4. Infor- mación básica: Relacionada directamente con el problema de investigación. 5. Baterías de preguntas: conjunto de preguntas complementarias sobre un mismo indicador. 6. Preguntas directas e indirectas.9
Los ítems o preguntas provienen de diversas fuentes (escalas ya existentes, observaciones clínicas, opinión de ex- pertos, hallazgos de investigaciones previas, incluso observa- ciones hechas por los propios pacientes acerca de sus propias experiencias (a través de aportes de elementos subjetivos que a veces no son tomados en cuenta por los clínicos). Otras fuentes con informantes clave, entrevistas de grupos focales, entrevistas cualitativas.2 El número mínimo de ítems es 6, pero pueden ir de 10 a 90. Se recomienda realizar el doble de lo que se necesita.8
2.7TIPOS DE CUESTIONARIOS
1.Según el tipo de respuesta: cerrados, semi cerrados, abiertos y mixtos. 2. Según el momento de la codificación: precodificados o no codificados. 3. Según la forma de admi- nistración: autoadministrados directos, autoadministrados in- directos (correo postal o electrónico, servicio de mensajería), orales (cara a cara, teléfono o video conferencia).9 4. Según el contenido: Unidireccionales o Multidireccionales.8
2.8ADAPTACIÓN DE INSTRUMENTOS.
Las pruebas son construidas en base a lo que el cons- tructo psicológico en particular significa para cada población social y cultural. Es por ello que muchas veces la simple traducción de una prueba no resulta una medida adecuada.3 Suele creerse que la traducción y adaptación de un instru- mento ampliamente reconocido y utilizado en un determi- nado campo, país e idioma garantiza la conservación de sus propiedades psicométricas; sin embargo, esto generalmente no se cumple, por lo que es imperativa su adaptación socio cultural y más importante aún su validación. Se considera que la ausencia de equivalencia entre las diferentes escalas, derivada de un proceso de validación deficiente, reduce la posibilidad de hacer comparaciones entre poblaciones de diferentes países, cultura e idiomas, impide el intercambio de información en la comunidad científica e induce al diseño de políticas públicas y de salud inadecuadas.4 Cuando se traduce un instrumento, éste debe pasar por los filtros que pasó el instrumento original. Existen dos tipos de traducción: directa (se traduce a un nuevo idioma y se juzga la equivalencia) e inversa (se traduce a un nuevo idioma y luego se vuelve a traducir a la lengua original).12
2.9 Sesgo
Los errores de medición se denominan sesgos.2 Son sesgos frecuentes: el “error de tendencia central” es decir, la tendencia a elegir entre las diferentes opciones de respuesta, las centrales. Otro sesgo también frecuente es el de “deseabi- lidad social”, que se produce cuando se responde un función de lo que se considera socialmente aceptable. El “sesgo de aprendizaje” que índice a contestar de forma similar a las respuestas anteriores. El “error lógico” se produce cuando el encuestado considera que todos los ítems tienen la misma puntuación.8
Sesgos al adaptar un instrumento:
1.De Constructo: el constructo medido no es idéntico a través de los grupos culturales. 2. Metodológico: De muestra (incomparables entre sí), en el instrumento (figuras, disposi- ción del texto), de administración (no se entiende las instruc- ciones del instrumento), de ítem (diferentes significados).6
3CONCLUSIONES
1.Un instrumento de medida es un procedimiento es- tandarizado que permite obtener un conocimiento objetivo
Revista OACTIVA UC Cuenca . Vol. 1, No. 3,
Validación de cuestionarios |
75 |
de una persona, producto, sistema o institución. 2. Las in- ferencias que se extraigan de las puntuaciones de un ins- trumento de medida son siempre para un uso, contexto y población determinada. 3. Tener instrumentos de evaluación adecuados no garantiza un proceso evaluativo exitoso. 4. Se puede elaborar un manual del instrumento que permita su utilización a otras personas o instituciones interesadas. Este debe recoger con todo detalle las características relevantes. 5. Si un instrumento es válido tiene significancia social, y asume una función tanto científica como política (estrategias).
Conflicto de intereses y financiamiento Los autores decla- ran no tener conflicto de intereses, haber cumplido con los requisitos de autoría y haber autofinanciado este artículo.
Referencias
1 Corral Y. Validez y confiabilidad de los instrumentos de investigación para la recolección de datos. Revista Ciencia de la Educación. 2009; 9 (33): 228- 47.
2Manterola C. El proceso de medición con variables cuali- tativas y su aplicación en cirugía. Rev. Chilena de Cirugía.
2002; 54 (3):
3 García M, Del Castillo A, Guzmán R, Martínez P. Medición en psicología: del individuo a la interacción. 2010. Ed Universidad Autónoma del Estado de Hidalgo. Pp
4Luján J, Cardona J. Construcción y validación de escalas de medición en salud: revisión de propiedades psicométricas.
Archivos de Medicina. 2015; 11 (31):
5 González F. Instrumentos de evaluación psicológica. La habana Editorial Ciencias Médicas. 2007.
6Mikulic I. Construcción y adaptación de pruebas psicológi- cas. Universidad de Buenos Aires. Facultad de Psicología. 2012;
7Muñiz J, Fonseca E. Construcción de instrumentos de medi- da para la evaluación universitaria. Revista de Investigación
en Educación. 2008; 5:
8 Martín M. Diseño y validación de cuestionarios. Matronas Profesión. 2004; 5 (17):
9 Corral Y: Diseño de cuestionarios para recolección de datos. Revista ciencias de la educación. 2010; 20 (36): 152- 68.
10Holgado F, Barbero M. Presentación del monográfico: va- lidación de contenido desde metodologías cualitativas y cuantitativas. Acción Psicológica. 2014; 10 (2):
11Aiken L. Test psicológicos y evaluación. Ed Pearson. Méxi- co.
12Carretero H, Pérez C. Normas para el desarrollo de revisión de estudios instrumentales. Int J Clin Health Psycol. 2005; 5 (3):
13Hernández R. Fernandez C. Baptista P. Metodología de la Investigación. Mc Graw Hill. 2010;
Recibido: 07 de Agosto de 2016
Aceptado: 14 de Agosto de 2016
Revista OACTIVA UC Cuenca . Vol. 1, No. 3,