ارزیابی و رشد سرمایه‌های انسانی

ارزیابی و رشد سرمایه‌های انسانی

چارچوب طراحی و اعتبارسنجی آزمون‌های قضاوت موقعیتی برای ارزیابی شایستگی شغلی کارکنان

نوع مقاله : مقاله پژوهشی

نویسندگان
1 دکتری، گروه سنجش و اندازه‌گیری، دانشکدۀ روان‌شناسی و علوم تربیتی، دانشگاه علامه طباطبائی، تهران، ایران.
2 استادیار، گروه سنجش و اندازه گیری، دانشکده روانشناسی و علوم تربیتی ، دانشگاه علامه طباطبایی، تهران، ایران.
چکیده
زمینه و هدف: آزمون‌های قضاوت موقعیتی، یکی از ابزارهای مهم در سنجش شایستگی‌های رفتاری است. استفاده از این آزمون‌ها در سال‌های اخیر رو به افزایش است و به‌عنوان یکی از ابزارهای سنجش در حوزۀ منابع انسانی، کاربرد بسیاری دارد. آزمون‌های قضاوت موقعیتی، مشتمل است بر یک بدنه و تعدادی گزینۀ پاسخ که همانند سایر آزمون‌های موجود، این شیوه نیز فرایند استانداردسازی را طی می‌کند و برای ساخت آن مهارت و تخصص ویژه‌ای نیاز دارد. هدف از پژوهش حاضر، ارائه چارچوبی است که چگونگی ساخت و اعتبارسنجی ابزار آزمون قضاوت موقعیتی برای سنجش شایستگی‌های شغلی کارکنان را نشان می‌دهد.
روش: این پژوهش از نظر هدف کاربردی و از نظر روش‌شناسی در زمره پژوهش‌های توسعۀ ابزاری است. به‌منظور بررسی روایی ملاکی این ابزار، از هم‌بسته‌کردن شایستگی‌های این ابزار با ویژگی‌های شخصیتی استفاده شد. جامعۀ آماری این پژوهش، کلیۀ کارشناسان ستادی در شرکت‌های غیردولتی ایرانی بود که از بین آن‌ها، ۱۵۰ نفر به شیوۀ نمونه‌گیری در دسترس انتخاب شدند. ابزار استفاده شده در این پژوهش، آزمون قضاوت موقعیتی محقق ساخته، به‌منظور سنجش شایستگی‌های نتیجه‌گرایی و ارتباط مؤثر، به همراه فرم کوتاه پرسش‌نامۀ ویژگی‌های شخصیتی نئو بود. در راستای تعیین رابطۀ بین ویژگی‌های شخصیتی و شایستگی‌های مدنظر، از روش آماری هم‌بستگی کانونی در نرم‌افزار آماری اس‌پی‌اس‌اس۲۳ استفاده شد.
یافته‌ها: در چارچوب ارائه شده برای طراحی آزمون‌های موقعیتی مدنظر، به تشریح اصول، فرایند و روش طراحی این آزمون‌ها پرداخته شد و روش نمره‌دهی و نحوۀ ارائه این آزمون‌ها و چگونگی ارزیابی اعتبار و پایایی این آزمون‌ها توضیح داده شد و بر اساس این چارچوب، یک نمونۀ آزمون موقعیتی طراحی شد.
نتیجه‌گیری: این پژوهش چارچوبی جامع برای طراحی آزمون‌های قضاوت موقعیتی با تلفیق نظریه‌های شایستگی‌های محوری و رویکردهای رفتاری ـ موقعیتی ارائه می‌کند که امکان سنجش دقیق‌تر سازه‌های پیچیده مانند نتیجه‌گرایی، ارتباط مؤثر و توافق‌پذیری را فراهم می‌کند. همچنین، گام‌هایی عملیاتی شده برای ساخت و اعتبارسنجی این آزمون‌ها، از جمله طراحی سناریوهای واقع‌گرایانه، تعیین معیارهای پاسخ بهینه و تحلیل روایی محتوایی آن‌ها ارائه می‌کند که به متخصصان منابع انسانی کمک می‌کند تا ابزاری کم‌هزینه و مؤثر برای استخدام و توسعۀ کارکنان ایجاد کنند. سازمان‌ها می‌توانند از این آزمون‌ها، هم به‌عنوان ابزاری برای گزینش بهتر استفاده کنند و هم به‌عنوان نقشه‌راهی برای توسعۀ مستمر شایستگی‌های کارکنان بهره ببرند و گامی مؤثر در جهت ارتقای سرمایه انسانی خود بردارند.
کلیدواژه‌ها

منابع
حق‌شناس، حسن (1387). هنجاریابی آزمون شخصیتی نئو، فرم تجدیدنظر شده. مجله روان‌پزشکی و روانشناسی بالینی ایران، ۴ (۴)، 38-48.
گال، مردیت، بورگ، والتر و گال، جویس (1393). روش‌های تحقیق کمی و کیفی در علوم تربیتی و روان‌شناسی. (احمدرضا نصر و همکاران). تهران: انتشارات سمت.
 
References
Allen, J. G. (2004). The complete Q&A job interview book. John Wiley & Sons.
Asher, J.J. & Sciarrino, J.A. (1974). Realistic work sample tests: A review. Personnel Psychology, 27(4).
Bergman, M. E., Drasgow, F., Donovan, M. A., Henning, J. B. & Juraska, S. E. (2006). Scoring situational judgment tests: Once you get the data, your troubles begin. International Journal of Selection and Assessment, 14(3), 223-235.
Bledow, R. & Frese, M. (2009). A situational judgment test of personal initiative and its relationship to performance. Personnel Psychology, 62(2), 229-258.
Brady, M. (2019). A Situational Judgment Test of Self-Control and its Relationship to Academic Performance: Development of a New Measure.
Brooks, M. E., Highhouse, S., Weekley, J. A. & Ployhart, R. E. (2006). Can good judgment be measured? Situational judgment tests: Theory, measurement, and application, 39-55.
Bruce, J. & Lerner, H. (1958). The reliability of the test-retest method in assessing the stability of personality traits. Journal of Psychology, 46(1), 105–112.
Buyse, T. & Lievens, F. (2011). Situational judgment tests as a new tool for dental student selection. Journal of Dental Education, 75(6), 743-749.
Christian, M. S., Edwards, B. D. & Bradley, J. C. (2010). Situational judgment tests: Constructs assessed and a meta-analysis of their criterion-related validities. Personnel Psychology, 63(1), 83-117.
Clevenger, J., Pereira, G. M., Wiechmann, D., Schmitt, N. & Harvey, V. S. (2001). Incremental validity of situational judgment tests. Journal of Applied Psychology, 86(3), 410.
Dalessio, A. T. (1994). Predicting insurance agent turnover using a video-based situational judgment test. Journal of Business and Psychology, 9, 23-32.
Drucker, P. (2012). Managing in a time of great change. Routledge.
Flanagan, J. C. (1954). The critical incident technique. Psychological bulletin, 51(4), 327.
Freudenstein, J. P., Schäpers, P., Reznik, N., Stolte, T. & Krumm, S. (2024). The influence of situational strength on the relation of personality and situational judgment test performance. International Journal of Selection and Assessment, 32(1), 1-11.
Gall, M., Borg, W. & Gall, J. (2015). Quantitative and qualitative research methods in education and psychology (Ahmad Reza Nasr Esfahani, Trans.). Tehran, SAMT. (in Persian)
Golubovich, J., Lake, C. J., Anguiano-Carrasco, C. & Seybert, J. (2020). Measuring achievement striving via a situational judgment test: The value of additional context. Revista de Psicología del Trabajo y de las Organizaciones, 36(2), 157-168.
Golubovich, J., Seybert, J., Martin-Raugh, M., Naemi, B., Vega, R. P. & Roberts, R. D. (2017). Assessing perceptions of interpersonal behavior with a video-based situational judgment test. International Journal of Testing, 17(3), 191-209.
Grossman, G. & Sharf, R. (2018). Situational Judgment Tests and Transformational Leadership: An Examination of the Decisions, Leadership, and Experience in Undergraduate Leadership Development. Journal of Leadership Education, 17(1).
Haghshenas, H. (1999). Persian version and standardizljtion of NED Personality Inventory-Revised. Iranian journal of psychiatry and clinical psychology4(4), 38-48. (in Persian)
Hattrup, K. & Jackson, S. (1996). Learning about individual differences by taking situations seriously. Individual differences and behavior in organizations, 507-547.
Haynes, S. N. & Lench, H. C. (2003). Incremental validity of new clinical assessment measures. Psychological assessment, 15(4), 456.
Hedlund, J., Forsythe, G. B., Horvath, J. A., Williams, W. M., Snook, S. & Sternberg, R. J. (2003). Identifying and assessing tacit knowledge: Understanding the practical intelligence of military leaders. The leadership quarterly, 14(2), 117-140.
Heininger, S. K., Baumgartner, M., Zehner, F., Burgkart, R., Söllner, N., Berberat, P. O. & Gartmeier, M. (2021). Measuring hygiene competence: the picture-based situational judgement test HygiKo. BMC medical education, 21(1), 410.
Hernandez, J., Muratet, M., Pierotti, M. & Carron, T. (2022, July). Enhancement of a Gamified Situational Judgment Test Scoring System for Behavioral Assessment. In 2022 International Conference on Advanced Learning Technologies (ICALT) (pp. 374-378). IEEE.
Hickman, L., Bosch, N., Ng, V., Saef, R., Tay, L. & Woo, S. E. (2022). Automated video interview personality assessments: Reliability, validity, and generalizability investigations. Journal of Applied Psychology, 107(8), 1323.
Hoffman, B. J., Kennedy, C. L., LoPilato, A. C., Monahan, E. L. & Lance, C. E. (2015). A review of the content, criterion-related, and construct-related validity of assessment center exercises. Journal of Applied Psychology, 100(4), 1143.
Hogan, J. (1994). The role of personality in the prediction of work performance. In C. L. Cooper & I. T. Robertson (Eds.), International review of industrial and organizational psychology (pp. 281-317). Wiley.
Holstein, J. A. (2002). Handbook of interview research: Context and method. Sage.
Hough, L. & Paullin, C. (1994). Construct-oriented scale construction: The rational approach.
Hunter, D. R. (2003). Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology13(4), 373-386.
Jesiek, B. K., Woo, S. E., Parrigon, S. & Porter, C. M. (2020). Development of a situational judgment test for global engineering competency. Journal of Engineering Education, 109(3), 470-490.
Kumazaki, H., Yoshikawa, Y., Muramatsu, T., Haraguchi, H., Fujisato, H., Sakai, K., ... & Mimura, M. (2021). Group-Based Online Job Interview Training Program Using Virtual Robot for Individuals With Autism Spectrum Disorders. Frontiers in psychiatry, 12.
Landers, R. N., Auer, E. M. & Abraham, J. D. (2020). Gamifying a situational judgment test with immersion and control game elements: Effects on applicant reactions and construct validity. Journal of Managerial Psychology, 35(4), 225-239.
Langer, M., König, C. J. & Papathanasiou, M. (2019). Highly automated job interviews: Acceptance under the influence of stakes. International Journal of Selection and Assessment, 27(3), 217-234.
Latham, G. P., Saari, L. M., Pursell, E. D. & Campion, M. A. (1980). The situational interview. Journal of Applied Psychology, 65(4), 422.
Lievens, F. (2013). Adjusting medical school admission: assessing interpersonal skills using situational judgement tests. Medical education47(2), 182-189.
Lievens, F. & Sackett, P. R. (2006). Video-based versus written situational judgment tests: a comparison in terms of predictive validity. Journal of applied psychology, 91(5), 1181.
Lievens, F. & Sackett, P. R. (2012). The validity of interpersonal skills assessment via situational judgment tests for predicting academic success and job performance. Journal of Applied Psychology, 97(2), 460.
Lievens, F., Peeters, H. & Schollaert, E. (2008). Situational judgment tests: A review of recent research. Personnel Review, 37(4), 426-441.
McDaniel, M. A., Hartman, N. S., Whetzel, D. L. & GRUBB III, W. L. (2007). Situational judgment tests, response instructions, and validity: A meta-analysis. Personnel psychology, 60(1), 63-91.
McDaniel, M. A., Morgeson, F. P., Finnegan, E. B., Campion, M. A. & Braverman, E. P. (2001). Use of situational judgment tests to predict job performance: a clarification of the literature. Journal of Applied Psychology, 86(4), 730.
McDaniel, M. A., Whetzel, D. L., Schmidt, F. L. & Maurer, S. D. (1994). The validity of employment interviews: A comprehensive review and meta-analysis. Journal of applied psychology, 79(4), 599.
McGehee, N. G. (2012). Interview techniques. In Handbook of research methods in tourism. Edward Elgar Publishing.
Meyer, R. D., Dalal, R. S. & Hermida, R. (2010). A review and synthesis of situational strength in the organizational sciences. Journal of management, 36(1), 121-140.
Motowidlo, S. J., Dunnette, M. D. & Carter, G. W. (2006). An alternative selection procedure: The low-fidelity simulation. Journal of applied psychology, 75(6), 640.
Murano, D., Lipnevich, A. A., Walton, K. E., Burrus, J., Way, J. D. & Anguiano-Carrasco, C. (2021). Measuring social and emotional skills in elementary students: Development of self-report Likert, situational judgment test, and forced choice items. Personality and Individual Differences, 169, 110012.
Nørskov, S. & Ulhøi, J. P. (2020). The use of robots in job interviews. Encyclopedia of electronic HRM. De Gruyter, 208-213.
Olson-Buchanan, J. B., Drasgow, F., Moberg, P. J., Mead, A. D., Keenan, P. A. & Donovan, M. A. (1998). Interactive video assessment of conflict resolution skills. Personnel Psychology, 51(1), 1-24.
Oostrom, J. K., Born, M. P., Serlie, A. W. & van der Molen, H. T. (2012). Implicit trait policies in multimedia situational judgment tests for leadership skills: Can they predict leadership behavior?. Human Performance, 25(4), 335-353.
Patterson, F., Zibarras, L., Ashworth, V., Coan, P., Kerrin, M. & Cousans, F. (2019). Evaluations of situational judgement tests to assess non-academic attributes in selection. Medical Education, 53(12), 1203–1213. https://doi.org/10.1111/medu.13919
Philpot, A., Devitt, R., Parr, J. & Nixon, B. (2002). Leadership competency models: roadmaps to success. Hospital Quarterly, 6(1), 42-45.
Ployhart, R. E. & Ehrhart, M. G. (2003). Be careful what you ask for: Effects of response instructions on the construct validity and reliability of situational judgment tests. International Journal of Selection and assessment, 11(1), 1-16.
Ployhart, R. E., & MacKenzie Jr, W. I. (2011). Situational judgment tests: A critical review and agenda for the future.
Rafique, A. & Ghazal, S. (2022). Content Validation of a Situational Judgment Test of Manager’s Integrity: A Qualitative Approach. Journal of Professional & Applied Psychology, 3(2), 306-318.
Richardson, M. W. & Smith, P. C. (1981). Reliability and validity of personality tests in a work environment. Journal of Organizational Behavior, 2(3), 121–129.
Sackett, P. R., Zhang, C., Berry, C. M. & Lievens, F. (2021). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040.
Salgado, J. F., Viswesvaran, C. & Ones, D. S. (2002). Predictors used for personnel selection: An overview of constructs, methods and techniques. Handbook of Industrial, Work & Organizational Psychology-Volume 1: Personnel Psychology, 165-199.
Sander, N. & Muck, P. (2014). Answering the call for construct orientation: Developing a situational judgment test of achievement motivation. Personality and Individual Differences, 60, S26.
Schmidt, F. L. & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological bulletin, 124(2), 262.
Sechrest, L. (1963). Incremental validity: A recommendation. Educational and psychological measurement, 23(1), 153-158.
Smith, K. J., Neely, S., Dennis, V. C., Miller, M. M. & Medina, M. S. (2022). Use of situational judgment tests to teach empathy, assertiveness, communication, and ethics. American Journal of Pharmaceutical Education, 86(6).
Steffensen Jr, D. S. (2014). Validation of a situational judgment test measuring teamwork processes (Doctoral dissertation, Middle Tennessee State University).rafiq
Stemler, S. E. & Sternberg, R. J. (2006). Using situational judgment tests to measure practical intelligence. Situational judgment tests: Theory, measurement, and application, 107-131.
Suen, H. Y., Chen, M. Y. C. & Lu, S. H. (2019). Does the use of synchrony and artificial intelligence in video interviews affect interview ratings and applicant attitudes?. Computers in Human Behavior, 98, 93-101.
Teng, Y., Brannick, M. T. & Borman, W. C. (2020). Capturing resilience in context: Development and validation of a situational judgment test of resilience. Human performance, 33(2-3), 74-103.
Thornton III, G. C. & Byham, W. C. (2013). Assessment centers and managerial performance. Elsevier.
Thornton III, G. C., Mueller-Hanson, R. A. & Rupp, D. E. (2017). Developing organizational simulations: A guide for practitioners, students, and researchers. Taylor & Francis.
Thornton III, G. C., Rupp, D. E. & Mueller-Hanson, R. A. (2003). Developing organizational simulations: A guide for practitioners and students. Psychology Press.
Ulrich, D., Brockbank, W., Johnson, D. & Younger, J. (2007). Human resource competencies: Responding to increased expectations. Employment Relations Today, 34(3). DOI:10.1002/ert.20159
Webster, E. S., Paton, L. W., Crampton, P. E. & Tiffin, P. A. (2020). Situational judgement test validity for selection: A systematic review and metaanalysis. Medical Education, 54(10), 888-902.
Weekley, J. A., & Jones, C. (1999). Further studies of situational tests. Personnel Psychology, 52(3), 679-700.
Weekley, J. A. & Gier, J. A. (1987). Reliability and validity of the situational interview for a sales position. Journal of Applied Psychology, 72(3), 484.
Weekley, J. A. & Ployhart, R. E. (2013). Situational judgment tests: Theory, measurement, and application. Psychology Press.
Weekley, J. A., Hawkes, B., Guenole, N. & Ployhart, R. E. (2015). Low-fidelity simulations. Annual Review of Organizational Psychology and Organizational Behavior, 2(1), 295-322.
Whetzel, D., Sullivan, T. & McCloy, R. (2020). Situational judgment tests: An overview of development practices and psychometric characteristics. Personnel Assessment and Decisions, 6 (1).
Wong, S. C. (2020). Competency definitions, development and assessment: A brief review. International Journal of Academic Research in Progressive Education and Development, 9(3), 95-114.