Concordancia consensuada en metodología observacionalefectos del tamaño del grupo en el tiempo y la calidad del registro

  1. Lapresa Ajamil, Daniel 1
  2. Otero , Alba 1
  3. Arana, Javier 1
  4. Álvarez, Ildefonso 2
  5. Anguera, María Teresa 3
  1. 1 Universidad de La Rioja
    info

    Universidad de La Rioja

    Logroño, España

    ROR https://ror.org/0553yr311

  2. 2 Universidad Internacional Isabel I de Castilla
    info

    Universidad Internacional Isabel I de Castilla

    Burgos, España

    ROR https://ror.org/055sgt471

  3. 3 Universitat de Barcelona
    info

    Universitat de Barcelona

    Barcelona, España

    ROR https://ror.org/021018s57

Erakutsi afiliazioak +
Aldizkaria:
Cuadernos de psicología del deporte

ISSN: 1578-8423,  1989-5879

Argitalpen urtea: 2021

Alea: 21

Zenbakia: 2

Orrialdeak: 47-58

Mota: Artikulua

DOI: 10.6018/CPD.467701 DIALNET GOOGLE SCHOLAR lock_openDIGITUM editor

Beste argitalpen batzuk: Cuadernos de psicología del deporte

Laburpena

The reliability of datasets in observational methodology is typically tested using coefficients of agreement, correlation coefficients, or generalizability theory. Another increasingly popular method used to demonstrate the quality of data is the consensus agreement method, in which two or more observers agree on their coding decisions while creating the dataset. Although the consensus agreement method is being increasingly used in observational studies, few studies have conducted an in-depth analysis of how this qualitative procedure is approached or of how it can be optimized. In this study, in addition to presenting a practical example of the application of the consensus agreement method, we compare the results from three groups (of two, three, and four observers) to analyze performance in terms of time required to code the data and goodness of fit with respect to an optimal dataset. No significant differences were found between the three groups for either of the variables analyzed. Prior calculation of the sample size required to detect significant differences between the groups adds strength to our conclusions regarding the efficiency of the consensus agreement method.

€ Ikusi finantzaketa

Finantzaketari buruzko informazioa

Los autores agradecen el apoyo del subproyecto Vías de integración entre datos cualitativos y cuantitativos, desarrollo del caso múltiple, y synthesis review como ejes principales para un futuro innovador en investigación de actividad física y deporte [PGC2018-098742-B-C31] (2019-2021) (Ministerio de Ciencia, Innovación y Universidades / Agencia Estatal de Investigación/Fondo Europeo de Desarrollo Regional), que forma parte del proyecto coordinado New approach of research in physical activity and sport from mixed methods perspective (NARPAS_MM) SPGC201800X098742CV0]; así como del proyecto Tecnología i aplicació multimedia i digital als dissenys observacionals [2014 SGR 971], Generalitat de Catalunya Research Group, Grup de recerca i innovació en dissenys (GRID). Además, este estudio ha contado con financiación de la Universidad de La Rioja.

Finantzatzaile

Erreferentzia bibliografikoak

  • Alcover, C, Mairena, M.A., Mezzatesta, M., Elías, N., Díez, M., Balañá, G., ... y Arias-Pujol, E. (2019). Mixed methods approach to describe social interaction during a group intervention for adolescents with Autism Spectrum Disorders. Frontiers in Psychology, 10:1158. http://dx.doi.org/10.3389/fpsyg.2019.01158
  • Alsasua, R., Lapresa, D., Arana, J., y Anguera, M.T. (2019). A log-linear analysis of efficiency in elite basketball applied to observational methodology. International Journal of Sports Science & Coaching, 14(3), 363-371. https://doi.org/10.1177/1747954119837819
  • Amatria, M., Lapresa, D., Arana, J., Anguera, M.T., y Garzón, B. (2016). Optimization of Game Formats in U-10 Soccer Using Logistic Regression Analysis. Journal of Human Kinetics, 54, 163-171.
  • Anguera, M.T. (1990). Metodología observacional. En J. Arnau, Anguera, M.T. y J. Gómez (Eds.), Metodología de la investigación en Ciencias del Comportamiento, 125-238. Murcia: Universidad de Murcia.
  • Anguera, M.T. (2003). La observación. En C. Moreno Rosset (Ed.), Evaluación psicológica. concepto, proceso y aplicación en las áreas del desarrollo y de la inteligencia (pp. 271-308). Madrid: Sanz y Torres.
  • Anguera, M.T., Blanco-Villaseñor, A., Losada, J.L., y Sánchez-Algarra, P. (1999). Análisis de la competencia en la selección de observadores. Metodología de las Ciencias del Comportamiento, 1(1), 95-114.
  • Arana, J., Lapresa, D., Anguera, M.T., y Garzón, B. (2016). Ad hoc procedure for optimising agreement between observational records. Anales de Psicología, 32(2), 589-595. http://dx.doi.org/10.6018/analesps.32.2.213551
  • Ardá, T., Maneiro, R., Rial, A., Losada, J.L., y Casal, A. (2014). Análisis de la eficacia de los saques de esquina en la copa del mundo de fútbol 2010. Un intento de identificación de variables explicativas. Revista de Psicología del Deporte, 23(1), 165-172.
  • Arias, J.L., Argudo, F., y Alonso, J.I. (2009). El proceso de formación de observadores y la obtención de la fiabilidad en metodología observacional para analizar la dinámica de juego en minibásquet. Revista Apunts Educación Física y Deportes, 4, 40-45.
  • Belasko, M., Herrán, E., y Anguera, M.T. (2019). Dressing toddlers at the Emmi Pikler nursery school in Budapest: caregiver instrumental behavioral pattern. European Early Childhood Education Research Journal, 27(6), 972-887. https://doi.org/10.1080/1350293X.2019.1678928
  • Bakeman, R. (1978). Untangling streams of behavior: Sequential analysis of observation data. In G.P. Sackett (Ed.) Observing Behavior, Vol. 2: Data collection and analysis methods, 63-78. Baltimore: University of Park Press.
  • Bakeman, R. y Quera, V. (1995). Analyzing interaction: Sequential analysis with SDIS and GSEQ. Cambridge: Ed. Cambridge University Press.
  • Bakeman, R. y Quera, V. (2011). Sequential Analysis and Observational Methods for the Behavioral Sciences. Cambridge: Cambridge University Press.
  • Belza, H., Herran, E., y Anguera, M.T. (2020). Early childhood, breakfast and related tools: Analysis of adults' function as mediators. European Journal of Psychology of Education, 25, 495-527. https://doi.org/10.1007/s10212-019-00438-4
  • Blanco-Villaseñor, A. y Anguera, M.T. (2003). Calidad de los datos registrados en el ámbito deportivo. En A. Hernández-Mendo (Coord.), Psicología del Deporte (Vol. 2). Metodología (p. 35-73). Buenos Aires: Efdeportes (www.efdeportes.com).
  • Breslow, N. (1970). A generalized Kruskal-Wallis test for comparing K samples subject to unequal patterns of censorship. Biometrika, 57(3), 579-594. https://doi.org/10.2307/2334776
  • Cárdenas, M. y Arancibia, H. (2016). Potencia estadística y cálculo del tamaño del efecto en G*Power: complementos a las pruebas de significación estadística y su aplicación en psicología. Salud & Sociedad, 5(2), 210-244. https://doi.org/10.22199/S07187475.2014.0002.00006
  • Castellano, J., Hernández-Mendo, A., Gómez de Segura, P., Fontetxa, E., y Bueno, I. (2000). Sistema de codificación y análisis de la calidad del dato en el fútbol de rendimiento. Psicothema, 12(4), 635-641.
  • Castellano, J., Perea, A., y Hernández-Mendo, A. (2008). Análisis de la evolución del fútbol a lo largo de los mundiales. Psicothema, 20(4), 928-932.
  • Castellano, J. y Hernández-Mendo, A. (2003). El análisis de coordenadas polares para la estimación de relaciones en la interacción motriz en fútbol. Psicothema, 15(4), 569-574.
  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37-46. https://doi.org/10.1177/001316446002000104
  • Cronbach, L.J., Gleser, G.C., Nanda, H., y Rajaratnam, N. (1972). The dependability of behavioral measurements: theory of generalizability for scores and profiles. New York: Wiley.
  • Diana, B., Zurloni, V., Elia, M., Cavalera, C.M., Jonsson, G.K., y Anguera, M.T. (2017). How game location affects soccer performance: T-pattern analysis of attack actions. Frontiers in Psychology, 8:1415. https://doi.org/10.3389/fpsyg.2017.01415
  • Faul, F., Erdfelder, E., Buchner, A., y Lang, A.G. (2009). Statistical power analyses using G*Power 3.1: Tests for correlation and regression analyses. Behavior Research Methods, 41, 1149-1160. https://doi.org/10.3758/BRM.41.4.1149
  • Faul, F., Erdfelder, E., Lang, A.G., y Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods, 39, 175-191. https://doi.org/10.3758/BF03193146
  • Gabín, B., Camerino, O., Anguera, M.T., y Castañer, M. (2012). Lince: multiplatform sport analysis software. Procedia-Social and Behavioral Sciences, 46, 4692-4694. https://doi.org/10.1016/j.sbspro.2012.06.320
  • Gamonales, J.M., Muñoz, J., León, K., e Ibáñez, S.J. (2018). Entrenamiento y confiabilidad entre observadores en el análisis del fútbol para ciegos. Retos: nuevas tendencias en educación física, deporte y recreación, (34), 155-161. https://doi.org/10.47197/retos.v0i34.55651
  • Garay, J.O., Hernández-Mendo, A., y Morales, V. (2006). Sistema de codificación y análisis de la calidad del dato en el tenis de dobles. Revista de Psicología del Deporte, 15(2), 279-294.
  • Garzón, B. (2010). Adaptando el baloncesto al niño de 12-13 años: Análisis observacional del lanzamiento del tiro libre (Tesis doctoral). Universidad de La Rioja, Logroño.
  • Gorospe, G., Hernández-Mendo, A., Anguera, M. T., y Martínez de Santos, R. (2005). Desarrollo y optimización de una herramienta observacional en el tenis de individuales. Psicothema, 17(1), 123-127.
  • Hernández-Mendo, A., Díaz, F., y Morales, V. (2010). Construcción de una herramienta observacional para evaluar las conductas prosociales en las clases de educación física. Revista de Psicología del Deporte, 19(2) 305-318.
  • Hernández-Mendo, A., y Planchuelo, L. (2012). Una herramienta observacional para la evaluación del desarrollo moral en las clases de educación física en primaria. Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 7(2) 287-306.
  • Jurado, M.C., Anguera, M.T., Reigal, R., y Hernández-Mendo, A. (2021). Análisis de la calidad del dato de un instrumento de observación del clima motivacional: conductas verbales y proxémicas de monitores de mantenimiento físico. Cuadernos de Psicología del Deporte, 21(1), 18-42.
  • Landis, J.R., y Koch, G.G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-174. https://doi.org/10.2307/2529310
  • Lapresa, D., Álvarez, I., Anguera, M.T., Arana, J., y Garzón, B. (2015). Comparative analysis of the use of space in 7-a-side and 8-a-side soccer: how to determine the minimum sample size in observational methodology. Journal Motricidade, 11(4), 92-103.
  • Lapresa, D., Arana, J., Anguera, M.T., Pérez, J.I., y Amatria, M. (2016). Application of logistic regression models in observational methodology: game formats in grassroots football in initiation into football. Anales de Psicología, 32(1), 288-294. https://doi.org/10.6018/analesps.32.1.186951
  • Lapresa, D., Arana, J., Amatria, M., Fernández F.J., y Anguera, M.T. (2017). Fútbol: efectos de una unidad didáctica en la iniciación temprana. Revista Apunts Educación Física y Deportes, 127, 59-67.
  • Lapresa, D., Arana, J., y Garzón, B. (2020). Iniciación temprana al fútbol: pautas para orientar la formación. Barcelona: Fútbol de Libro.
  • Losada, J.L. y Manolov, R. (2015). The process of basic training, applied training, maintaining the performance of an observer. Quality & Quantity, 49(1), 339-347. https://doi.org/10.1007/s11135-014-9989-7
  • Mitchell, S.K. (1979). Interobserver agreement, reliability, and generalizability of data collected in observational studies. Psychological Bulletin, 86(2), 376-390. https://doi.org/10.1037/0033-2909.86.2.376
  • Montesano, A., Feixas, G., y Varlotta, N. (2009). Análisis de contenido de constructos personales en la depresión. Salud mental, 32(5), 371-379.
  • Morillo, J.P., Reigal, R.E., y Hernández-Mendo, A. (2015) Análisis del ataque posicional de balonmano playa masculino y femenino mediante coordenadas polares. RICYDE. Revista Internacional de Ciencias del Deporte, 11(41), 226-244. http://dx.doi.org/10.5232/ricyde2015.04103
  • O´Donoghue, P. (2007). Reliability issues in performance analysis. International Journal of Performance Analysis in Sport, 7(1), 35-48. https://doi.org/10.1080/24748668.2007.11868386
  • Planes, X. y Anguera, M.T. (2015). Relevancia de los diferentes momentos del juego y de las acciones a balón parado (ABP) en los rendimientos del TC Barcelona y Real Madrid durante la liga nacional de fútbol profesional 2011/12. Revista Apunts Educación Física y Deportes, 121(3), 56-63.
  • Sagastui, J., Herrán, E., y Anguera, M.T. (2020). A Systematic Observation of Early Childhood Educators Accompanying Young Children’s Free Play at Emmi Pikler Nursery School: Instrumental Behaviors and Their Relational Value. Frontiers in Psychology, 11:1731. https://doi.org/10.3389/fpsyg.2020.01731
  • Sastre, V., Lapresa, D., Arana, J., Ibáñez, R., y Anguera, M.T. (2020). Observational analysis of technical-tactical performance in initiation to combat in karate, International Journal of Performance Analysis in Sport, 21(1), 126-138. https://doi.org/10.1080/24748668.2020.1853450
  • Usabiaga, O., Castellano, J., Blanco-Villaseñor, A., y Casamichana, D. (2013). La Teoría de la Generalizabilidad en las primeras fases del método observacional aplicado en el ámbito de la iniciación deportiva: calidad del dato y estimación de la muestra. Revista de Psicología del Deporte, 22(1), 103-109.
  • Usabiaga, O., y Castellano, J. (2014). Uso estratégico del espacio en categorías de formación de pelota vasca. RICYDE. Revista Internacional de Ciencias del Deporte, 10(36). http://dx.doi.org/10.5232/ricyde2014.03602
  • Vázquez-Diz, J.A., Morillo-Baro, J.P., Reigal, R.E., Morales-Sánchez, V., y Hernández-Mendo, A. (2019a). Contextual factors and decision-making in the behavior of finalization in the positional attack in beach handball: differences by gender through polar coordinates analysis. Frontiers in Psychology, 10, 1386. https://doi.org/10.3389/fpsyg.2019.01386
  • Vázquez-Diz, J.A., Morillo-Baro, J.P., Reigal, R.E., Morales-Sánchez, V., y Hernández-Mendo, A. (2019b) Mixed methods in decision-making through polar coordinate technique: Differences by gender on beach handball specialist. Frontiers in Psychology 10, 1627. doi: 10.3389/fpsyg.2019.01627
  • Vigil-Colet, A., Morales-Vives, F., y Lorenzo-Seva, U. (2013). How social desirability and acquiescence affect the age-personality relationship. Psicothema, 25(3), 342-349. https://doi.org/10.1016/j.paid.2013.07.370
Datuen iturria: Dialnet