تاثیر منطقه بندی بر برآورد پارامتر توانایی و رتبه بندی آزمودنی ها در آزمون های بزرگ مقیاس

این پژوهش با هدف بررسی تاثیر ادغام سهمیه بندی در برآورد توانایی (پیش از رتبه بندی) و نیز رتبه بندی آزمودنی ها در آزمون های بزرگ مقیاس (مثل کنکور سراسری) انجام شد. طرح این پژوهش در زمره طرح های پیمایشی است. به دلیل این که هدف این پژوهش تحلیل داده هایی است که قبلا طی یک طرح پیشین توسط سازمان سنجش جمع آوری شده اند، این طرح را می توان در زمره تحلیل ثانویه داده ها نیز در نظر گرفت. جامعه آماری این طرح شامل تمام داوطلبان گروه ریاضی است که در آزمون سراسری سال 1394-1393 شرکت نموده اند. نمونه مورد استفاده در این پژوهش شامل داده های مربوط به 3000 آزمودنی گروه ریاضی از مناطق (سهمیه) یک، دو و سه است که از طرف سازمان سنجش در اختیار پژوهشگران قرار گرفته است. داده های اصلی مورد استفاده در این پژوهش عبارتست از پاسخ های نمره گذاری شده آزمودنی ها به سوالات آزمون (به صورت 1 برای پاسخ صحیح و 0 برای پاسخ غلط) و کد مربوط به سهمیه انتخابی. به طور خلاصه، می توان چنین نتیجه گیری کرد که تفاوت بین مناطق سه گانه و یا هر نوع خوشه بندی در داده ها هنگامی در نتایج تاثیر دارد که تحلیل در سطح کل نمونه و ورای خوشه ها صورت می گیرد. در چنین وضعیتی، امکان مشاهده تفاوت معنادار بین رتبه دهی با استفاده از روش های متفاوت، حتی زمانی که مقدار ICC بسیار پایین باشد (مانند تحلیل حاضر)، وجود دارد.