شایسته‌گزینی در آزمون‌های استخدامی یک سازمان نظامی: کاربرد مدل‌های چندبعدی جبرانی و غیرجبرانی نظریه سؤال‌ پاسخ در بهینه‌سازی آزمون‌ها

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری سنجش و اندازه‌گیری دانشگاه علامه طباطبایی و عضو هیات علمی دانشگاه امام حسین (ع)

2 استاد دانشکده روانشناسی و علوم تربیتی دانشگاه علامه طباطبایی

3 استادیار دانشکده روانشناسی و علوم تربیتی دانشگاه علامه طباطبایی

4 دانشیار دانشکده روانشناسی و علوم تربیتی دانشگاه علامه طباطبایی

چکیده

چکیده
نظریه‌های جدید اندازه‌گیری با تمرکز بر ویژگی‌های افراد و سوال‌ها، افق جدیدی را برای بهینه‌سازی هرچه بیشتر آزمون‌ها در جهت شایسته‌گزینی بین داوطلبان، بخصوص متقاضیان ورود به سازمان‌های نظامی گشوده است. در این میان، استفاده از مدل‌های جبرانی و غیرجبرانی، نیل به اهداف مذکور را بیش از پیش میسر ساخته است. از این‌رو، پژوهش حاضر با هدف بهینه‌سازی سؤال‌های آزمون‌های استخدامی یک سازمان نظامی انجام شد. روش پژوهش، توصیفی از نوع علی-مقایسه‌ای و جامعه آماری، کلیه شرکت کنندگان در آزمون استخدامی سال 1402 آن سازمان(12000 نفر) بود که یک نمونه تصادفی 2500 نفری انتخاب گردید. ابزار پژوهش، آزمون‌های چهارگزینه‌ای ریاضی، زیست‌شناسی و ادبیات بود. یافته‌ها نشان داد که فرض تک‌بعدی بودن در هر سه آزمون رد شد. آزمون‌های ریاضی و ادبیات سه بعدی و آزمون زیست‌شناسی دو بعدی بود. هر سه آزمون دارای برازش بهتر با مدل جبرانی بود. در خصوص برازش سؤال‌های هر آزمون، مشخص شد که برخی از سؤال‌ها با مدل جبرانی، برخی با مدل غیرجبرانی و تعدادی هم با هر دو مدل برازش داشتند. تعدادی از سؤال‌ها هم با هیچ‌کدام از دو مدل‌ برازش نداشتند. لزوم رعایت عدالت استخدامی در گزینش داوطلبان ورود به سازمان‌های نظامی ایجاب می‌کند که در طراحی سؤال‌های آزمون‌ها، از فنون قدرتمند نظریه سوال-پاسخ بهره گرفته شده و متناسب با حساسیت جایگاه‌های شغلی، از مدل‌های چندبعدی جبرانی یا غیرجبرانی در طراحی سؤال‌های آزمون‌ها استفاده گردد.

کلیدواژه‌ها

عنوان مقاله [English]

Merit selection in recruitment tests of a military organization: the application of compensatory and non-compensatory multidimensional models of question-answer theory in test optimization.

نویسندگان [English]

  • Hassan Jabbari 1
  • Dr. Nur Ali Farrokhi 2
  • Dr. Inayatullah Zamanpour 3
  • Dr. Jalil Younesi Borojeni 4
1 Doctoral student of Measurement and Measurement of Allameh Tabataba'i University and member of the academic faculty of Imam Hossein University (AS).
2 Professor of the Faculty of Psychology and Educational Sciences of Allameh Tabataba'i University
3 Assistant Professor, Faculty of Psychology and Educational Sciences, Allameh Tabataba'i University
4 Associate Professor, Faculty of Psychology and Educational Sciences, Allameh Tabataba'i University
چکیده [English]

New theories of measurement, focusing on the characteristics of people and questions, have opened a new horizon for optimizing tests as much as possible in the direction of merit selection among candidates, especially applicants to enter military organizations. Therefore, the present research was conducted with the aim of optimizing the questions of recruitment tests of a military organization. The research method was a causal-comparative description and the statistical population was all the participants in the 1402 recruitment exam of that organization (12,000 people), and a random sample of 2,500 people was selected. The research tool was four-choice tests of mathematics, biology and literature. The findings showed that the assumption of unidimensionality was rejected in all three tests. The math and literature tests were three-dimensional and the biology test was two-dimensional. All three tests had a better fit with the compensatory model. Regarding the fit of the questions of each test, it was found that some questions were fit with the compensatory model, some with the non-compensatory model, and some with both models. Some of the questions did not fit with any of the two models. The need to observe employment justice in the selection of candidates to enter military organizations requires that the powerful techniques of item-response theory are used in the design of exam questions, and in accordance with the sensitivity of job positions, compensatory or non-compensatory multidimensional models are used in the design of exam questions.

کلیدواژه‌ها [English]

  • Item-Response theory
  • multidimensional models
  • compensatory and non-compensatory models
  • employment tests

مراجع

ایزانلو، بلال (1393). مقایسه کارایی مدل‌های جبرانی و غیرجبرانی چندبعدی نظریه سؤال پاسخ در برآورد پارامترهای سوال و فرد: مورد آزمون‌های سراسری ورود به دانشگاه. رساله دکتری دانشگاه تهران.
رضی، سید مرتضی (1398). نهج البلاغه. ترجمه حسین انصاریان. آیین دانش.
Ackerman, T. A., Gierl, M. J., & Walker, C. M. (2003). Using multidimensional item response theory to evaluate educational and psychological tests. Educational measurement: issues and practice, 22(3), 37-51.
Ansley, T. N., & Forsyth, R. A. (1985). An examination of the characteristics of unidimensional IRT parameter estimates derived from two-dimensional data. Applied Psychological Measurement, 9, 37-48.
Babcock, B.G. (2011). Estimating a non-compensatory IRT model using Metropolis within Gibbs sampling. Applied Psychological Measurement, 35, 317-329.
Bielinski, J., & Davison, M. L. (2001). A Sex Difference by Item Difficulty Interaction in Multiple-Choice Mathematics Items Administered to National Probability Samples.
Journal of Educational Measurement, 38(1), 51-77.
Bolt, D. M., & Lall, V. F. (2003). Estimation of compensatory and noncompensatory
multidimensional item response models using Markov chain Monte Carlo. Applied
Psychological Measurement, 27(6), 395-414.
Cloefkorn, Sh. (2017). The History of Skills Testing:  https://www.eskill.com/
Cohen, B. (2015).Hiring the best talents, Whitepaper-Article. https://painlesshire.com/history-pre-employment-testing/
De Ayala, R. J. (2022). The theory and practice of item response theory. Guilford Publications.
DeMars, C. E. (2016). Partially compensatory multidimensional item response theory models: Two alternate model forms. Educational and Psychological Measurement, 76(2), 231-257.
Embretson, S. E., & Reise, S. P. (2000). Item response theory for Psychologists. Psychology Press.
Freeman, L. L. (2016). Assessing model-data fit for compensatory and non-compensatory multidimensional item response models using Vuong and Clarke statistics (Doctoral dissertation, The University of Wisconsin-Milwaukee).
Fu, Y., Strachan, T., Ip, E. H., Willse, J. T., Chen, S. H., & Ackerman, T. (2020). The recovery of correlation between latent abilities using compensatory and noncompensatory multidimensional IRT models. International Journal of Testing, 20(2), 169-186.
Hsu, C. L., & Wang, W. C. (2019). Multidimensional computerized adaptive testing using non-compensatory item response theory models. Applied psychological measurement, 43(6), 464-480.
Leighton, J., & Gierl, M. (Eds.). (2007). Cognitive diagnostic assessment for education: Theory and applications. Cambridge University Press.
Luecht, R. M., & Miller, T. R. (1992). Unidimensional calibrations and interpretations of composite traits for multidimensional tests. Applied Psychological Measurement, 16,
279-293.
Nandakumar, R. (1991). Traditional dimensionality versus essential dimensionality. Journal of Educational Measurement, 28(2), 99-117.
Ozdemir, B., & Gelbal, S. (2022). Measuring language ability of students with compensatory multidimensional CAT: A post-hoc simulation study. Education and Information Technologies, 1-22.
Reckase, M. D. (2009). Multidimensional item response theory: Springer Verlag.
Roussos, L., & Stout, W. (1996). A multidimensionality-based DIF analysis paradigm. Applied Psychological Measurement, 20(4), 355-371.
Seong, T. J., & Subkoviak, M. J. (1987). A Comparative Study of Recently Proposed Item Bias Detection Methods.
Sheng, Y., & Wikle, C. K. (2007). Comparing multiunidimensional and unidimensional item response theory models. Educational and Psychological Measurement, 67(6), 899-919.
Spray, J. A., Davey, T. C., Reckase, M. D., Ackerman, T. A., & Carlson, J. E. (1990).
Comparison of two logistic multidimensional item response theory models: DTIC
Document.
Tamano, H., Mochihashi, D. (2023). Dynamical Non-compensatory Multidimensional IRT Model Using Variational Approximation. Psychometrika 88, 487–526 . https://doi.org/10.1007/s11336-023-09903-y
Wang, C., & Nydick, S. W. (2015). Comparing two algorithms for calibrating the restricted non-compensatory multidimensional IRT model. Applied Psychological Measurement, 39(2), 119-134.
Way, W. D., Ansley, T. N., & Forsyth, R. A. (1988). The comparative effects of compensatory and non-compensatory two-dimensional data on unidimensional IRT estimates. Applied Psychological Measurement, 12(3), 239-252.
Whitely, S. E. (1980). Multicomponent latent trait models for ability tests. Psychometrika, 45(4), 479–494.

فایل ها

هم رسانی

ارجاع به این مقاله

آمار