Scribd Logo
Cargar

¡Te damos la bienvenida a Scribd!

  • 12 vistas

    Semana 10

    Cargado por

    Vamos Tu Puedes

    Copyright:

    © All Rights Reserved
    Descargue como PPTX, PDF, TXT o lea en línea desde Scribd

    Semana 10

    Cargado por

    Vamos Tu Puedes
    12 vistas33 páginas

    Título original

    Semana 10 (1)

    Derechos de autor

    © © All Rights Reserved

    Formatos disponibles

    PPTX, PDF, TXT o lea en línea desde Scribd

    ¿Le pareció útil este documento?

    ¿Este contenido es inapropiado?

    Copyright:

    © All Rights Reserved
    Descargue como PPTX, PDF, TXT o lea en línea desde Scribd
    Descargar como pptx, pdf o txt
    12 vistas33 páginas

    Semana 10

    Cargado por

    Vamos Tu Puedes

    Copyright:

    © All Rights Reserved
    Descargue como PPTX, PDF, TXT o lea en línea desde Scribd
    Descargar como pptx, pdf o txt
    Está en la página 1de 33

    Estadística Aplicada

    Sesión 10

    Evidencias de validez. Definición de validez. Fuentes de evidencia.

    Profesores:
    Profesores: Castillo Blanco, Ronald Wilfredo/ Casaño Meza, Mayte Luzmila/ Kaneko Aguilar,
    Juan José/ Kohler Herrera, Johanna Liliana/ Navarro Loli, Jhonatan Steeven Baruch/ Paliza
    Olivares, Victor Fabrizzio/ Portocarrero Ramos, Carlos Alberto/ Rosario Quiróz, Fernando
    Joel/ Salazar Intusca, Sixto yTomás Rojas, Ambrosio

    2024-1
    Estadística Aplicada

    Sesión 1 - Semana 10

    2024-1
    El estudiante identifica el concepto de
    LOGRO validez y las fuentes para determinar su
    evidencia.
    Recordemos

    Grado en que la evidencia empírica y


    teoría apoyan la interpretación de
    puntuaciones de tests (AERA, APA &
    NCME, 2014).
    VALIDEZ
    Aportan significado a las puntuaciones.
    Permite conocer si el uso que pretendemos
    hacer de ellas es o no adecuado.
    Hoy veremos…

    Evidencia Procedimiento Estadístico

    Validez basada en el contenido Juicio de expertos V de Aiken

    Validez basada en la estructura Análisis de Dimensionalidad Análisis Factorial Exploratorio (AFE)


    Interna o validez de Constructo Análisis Factorial Confirmatorio (AFC)

    Validez basada en relaciones con Análisis de validez convergente y Correlaciones (Pearson o


    otras variables o validez de criterio discriminante Spearman)
    VALIDEZ DE CONTENIDO
    1. Evidencia de validez basada en el contenido

    • Busca garantizar que el conjunto de ítems que componen la prueba es


    relevante, y representativo del constructo, además de clara en cuanto
    a su redacción.

    • Son objeto de la validez de contenido:


    las instrucciones
    los ejemplos de práctica
    el material de la prueba
    el tiempo de ejecución
    Juicio de expertos

    • La consulta a expertos (juicio de expertos)


    es la vía más usual para apreciar la calidad
    del contenido de los ítems.
    • Se define como una opinión informada de
    personas con trayectoria en el tema, que
    son reconocidas por otros como expertos
    cualificados en éste, y que pueden dar
    información, evidencia, juicios y
    valoraciones (Escobar & Cuervo, 2008).
    • Una de las técnicas estadísticas más
    empleadas para analizar el grado de
    acuerdo entre jueces, sobre la relevancia
    del contenido de un ítem, es la V de Aiken.
    CATEGORIAS DE VALIDEZ DE CONTENIDO DE LOS ÍTEMS

    Escobar-Pérez y Cuervo-Martínez (2008)


    Ejemplo de los criterios: Suficiencia

    Inteligencia Emocional : Goleman

    1. Soy capaz de reconocer lo que estoy sintiendo


    Capacidad de reconocer
    sentimientos propios y ajenos, de 2. Puedo reconocer con facilidad, las emociones de los demás
    motivarnos y de manejar
    adecuadamente las relaciones.
    3. Puedo motivarme en situaciones complicadas

    ¿Los ítems abarcan todo el constructo?


    Ejemplo de los criterios: Claridad

    Inteligencia Emocional : Goleman


    1. Soy capaz de reconocer lo que estoy sintiendo

    Capacidad de reconocer 2. Puedo reconocer con facilidad, las emociones de los demás
    sentimientos propios y ajenos, de
    motivarnos y de manejar
    3. Puedo motivarme en situaciones complicadas
    adecuadamente las relaciones.

    4. Puedo gestionar de manera diligente las relaciones interpersonales de


    corte organizacional

    ¿Todos los ítems son claros en su redacción?


    Ejemplo de los criterios: Coherencia

    Inteligencia Emocional : Goleman 1. Soy capaz de reconocer lo que estoy sintiendo

    2. Puedo reconocer con facilidad, las emociones de los demás


    Capacidad de reconocer
    sentimientos propios y ajenos, de 3. Puedo motivarme en situaciones complicadas
    motivarnos y de manejar
    adecuadamente las relaciones.
    4. Puedo gestionar de manera diligente las relaciones interpersonales de
    corte organizacional

    5. Puedo proponer estrategias de solución para posibles problemas que


    se puedan presentar

    ¿Todos los ítems guardan relación con el constructo?


    Formato de validez de contenido

    Escobar-Pérez y Cuervo-Martínez (2008):


    ¿Cómo procesamos estos datos?
    V de Aiken (Versión dicotómica)
    El coeficiente V de Aiken (Escurra, 1988) permite obtener valores factibles de ser
    contrastados estadísticamente según el tamaño de la muestra de jueces seleccionada. El
    coeficiente V de Aiken coeficiente genera valores entre 0 y 1. De esta manera, a medida
    que sea más elevado el valor, el ítem tendrá una mayor validez de contenido.

    La fórmula utilizada para determinar la validez de contenido es la siguiente:

    S
    V= ------------------
    (N (C – 1))

    En donde S, es igual a la sumatoria de Si (valor asignado por el Juez 1); N es el número


    de jueces y C, constituye el número de valores de la escala de valoración.
    Ejemplo:
    Ítems Juez 1 Juez 2 Juez 3 Juez 4 Juez 5 Juez 6 Juez 7 V de Aiken
    1 1 1 1 1 1 1 1 Escala de calificación
    2 1 1 1 1 1 1 1 dicotómica usada por los
    3 1 1 1 1 1 1 1 jueces
    4 1 1 1 1 1 1 1
    5 1 1 1 1 1 1 1
    6 1 1 0 1 1 0 0
    7 1 1 0 1 1 1 1
    8 1 1 1 1 1 1 1
    9 1 1 0 1 1 1 1
    10 1 1 1 1 1 1 1
    11 1 1 1 1 1 1 1
    V de Aiken total V de Aiken para ítem 1:

    S = es igual a la sumatoria de Si (valor asignado por los jueces) S = 7 (suma de calificaciones)


    N = número de jueces N= 7 (cantidad de jueces)
    C = número de valores de la escala de valoración C = 2 (valores de la escala)

    V= 1.00
    ACTIVIDAD: Hallar la V de Aiken de los otros ítems y la V de Aiken de la prueba total

    Ítems Juez 1 Juez 2 Juez 3 Juez 4 Juez 5 Juez 6 Juez 7 V de Aiken


    1 1 1 1 1 1 1 1
    2 1 1 1 1 1 1 1
    3 1 1 1 1 1 1 1
    4 1 1 1 1 1 1 1
    5 1 1 1 1 1 1 1
    6 1 1 0 1 1 0 0
    7 1 1 0 1 1 1 1
    8 1 1 1 1 1 1 1
    9 1 1 0 1 1 1 1
    10 1 1 1 1 1 1 1
    11 1 1 1 1 1 1 1
    V de Aiken total
    Solución
    V de Aiken (versión politómica)
    La fórmula utilizada para determinar la validez de contenido, en el caso de una
    ficha politómica es la siguiente (Penfield y Giacobbi, 2004):

    x̅ -ʅ
    V= ------------------
    k

    V = Coeficiente V de Aiken
    x̅ = promedio de las calificaciones de todos los jueces para el ítem
    ʅ = Es el valor mínimo en la escala de calificación de la ficha de evaluación del
    instrumento
    k = Rango (diferencia entre el valor máximo y mínimo de la escala utilizada en la
    ficha de evaluación)
    Ejemplo:
    Ítems Juez 1 Juez 2 Juez 3 Juez 4 Juez 5 Promedio V de Aiken
    1 3 4 4 3 4
    Escala de calificación
    2 4 3 4 4 4 politómica usada por los
    3 4 3 3 4 4 jueces
    4 4 4 4 4 4
    5 4 3 4 3 4
    6 4 3 4 4 4
    7 4 4 4 4 4
    8 4 4 3 4 3
    V de Aiken total

    V de Aiken para ítem 1:

    x̅ = promedio de las calificaciones de todos los jueces para el x̅ = 3.6 (promedio)


    ítem ʅ = 1 (valor mínimo)
    ʅ = Es el valor mínimo en la escala de calificación de la ficha de k = 3 (4-1)
    evaluación del instrumento
    k = Rango (diferencia entre el valor máximo y mínimo de la V= 0.87
    escala utilizada en la ficha de evaluación)
    Hallar la V de Aiken de los otros ítems y la V de Aiken de la prueba total

    Ítems Juez 1 Juez 2 Juez 3 Juez 4 Juez 5 Promedio V de Aiken


    1 3 4 4 3 4
    2 4 3 4 4 4
    3 4 3 3 4 4
    4 4 4 4 4 4
    5 4 3 4 3 4
    6 4 3 4 4 4
    7 4 4 4 4 4
    8 4 4 3 4 3
    V de Aiken total
    Solución
    Consideraciones para la interpretación de la
    V de Aiken:
    • El intervalo de confianza para la V de Aiken permite probar si la magnitud obtenida del
    coeficiente es superior a los criterios establecidos como mínimamente aceptables para
    concluir sobre la validez de contenido de los ítems.

    • Los criterios o estándares de comparación pueden ser de tres tipos:


     Nivel liberal de Vo = 0.50 a más (Cicchetti, 1994)
     Nivel conservador de Vo = 0.70 a más (Charter, 2003).
     Determinar el intervalo inferior de cada ítem, considerando los resultados.

    ENTONCES:
    Se considera que hay un insuficiente grado de acuerdo entre los jueces si el intervalo de
    confianza inferior de la V de Aiken resulta menor a 0.70 ó 0.50 según el criterio empleado
    (conservador o liberal respectivamente). Ello quiere decir que el ítem no es válido.
    Consideraciones para la interpretación de la
    V de Aiken:
    Nivel liberal de Vo = 0.50 a más (Cicchetti, 1994)
    Nivel conservador de Vo = 0.70 a más (Charter, 2003).
    Determinar el intervalo inferior de cada ítem, considerando los
    resultados.
    Criterio
    conservador: desde
    0.7 0.7 es adecuado

    0 0.5 Criterio liberal:


    1
    Presencia total de
    Ausencia de desde 0.5 es
    validez
    validez adecuado
    Uso de la plantilla para el cálculo de la V de Aiken

    El valor mínimo y máximo con el que cada experto evalúa el ítem según la escala de evaluación (Likert).

    Se especifica el número de jueces que han evaluado los ítems del test.

    Para interpretar y tomar las decisiones con relación a cada ítem nos basamos
    en el valor del límite inferior de la V de Aiken.

    Aquí se transcriben las respuestas de los jueces por cada ítem según
    los tres criterios evaluados: relevancia, claridad y coherencia.
    Ejemplo:
    • Luego de recolectar el juicio de 5 jueces, en una escala de 1 al 5, el
    coeficiente promedio es 0.80, y al 95% de confianza el intervalo del
    coeficiente obtenido será [Límite inferior = 0.63, Límite superior = 0.90].

    • Con este dato, no podemos aceptar el ítem a la luz del estándar mínimo
    más conservador (0.70), ya que el límite inferior del intervalo está por
    debajo de tal punto (0.63).

    • En las fases iniciales de la construcción de ítems, se puede elegir un


    criterio más liberal (Vo < 0.50).
    ¿Qué decisiones tomarían con los siguientes ítems,
    tomando en consideración el criterio conservador?
    Interpretaciones y decisiones (criterio conservador):

    Si un ítem presenta una V de Aiken cuyo límite


    inferior del intervalo es menor a 0.70 en claridad, se
    toma la decisión de modificar la redacción del ítem
    según la recomendación de los jueces expertos.

    Si un ítem presenta una V de Aiken cuyo límite


    inferior del intervalo es menor a 0.70 en coherencia,
    se analiza la posibilidad de incluirlo en otra
    dimensión del test según las recomendaciones de
    los jueces expertos.

    Si un ítem presenta una V de Aiken cuyo límite


    inferior del intervalo es menor a 0.70 en relevancia,
    se toma la decisión de eliminar el ítem de la versión
    final del test.
    Interpretaciones y decisiones (criterio liberal):

    Si un ítem presenta una V de Aiken cuyo límite


    inferior del intervalo es menor a 0.50 en claridad, se
    toma la decisión de modificar la redacción del ítem
    según la recomendación de los jueces expertos.

    Si un ítem presenta una V de Aiken cuyo límite


    inferior del intervalo es menor a 0.50 en coherencia,
    se analiza la posibilidad de incluirlo en otra
    dimensión del test según las recomendaciones de
    los jueces expertos.

    Si un ítem presenta una V de Aiken cuyo límite


    inferior del intervalo es menor a 0.50 en relevancia,
    se toma la decisión de eliminar el ítem de la versión
    final del test.
    Actividad
    Evidencia de validez basada en el contenido
    • Descargamos el documento MS Excel “V de Aiken” y utilizamos la base de datos
    “Caso Juicio de expertos”
    • Contestamos las preguntas de la ficha “ACTIVIDAD 10”
    Para finalizar

    ¿alguna
    pregunta?
    Referencias
    AERA, APA & NCME (2014). Standars for educational and psychological testing. American Educational Research Association.
    Aiken, L. R. (1980). Content validity and reliability of single items or questionnaires. Educational and Psychological
    Measurement, 40, 955–959.
    Elosua, P. (2003). Sobre la validez de los tests. Psicothema, 15(2), 315-321.
    Escobar-Pérez, J. & Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización.
    Avances en Medición, 6, 27-36.
    Lloret-Segura, S., Ferreres-Traver, A., Hernandéz-Baeza, A., & Tomás-Marco, I (2014). El análisis factorial exploratorio de los
    ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169.
    Pérez, E. R., & Medrano, L. (2010). Análisis factorial exploratorio: bases conceptuales y metodológicas. Revista Argentina de
    Ciencias del Comportamiento, 2(1), 58-66. http://www.redalyc.org/html/3334/333427068006/
    Ramos, Z. (2018). Psicometría básica. Fundación Universitaria del Área Andina.
    https://core.ac.uk/download/pdf/326425381.pdf
    Williams, B., Brown, T., & Onsman, A. (2010). Exploratory factor analysis: A five-step guide for novices. Australasian Journal
    of Paramedicine, 8(3), 1-13.

    También podría gustarte