فهرست مطالب

مطالعات اندازه گیری و ارزشیابی آموزشی - پیاپی 43 (پاییز 1402)

فصلنامه مطالعات اندازه گیری و ارزشیابی آموزشی
پیاپی 43 (پاییز 1402)

  • تاریخ انتشار: 1402/09/27
  • تعداد عناوین: 6
|
  • وحیده اسدی*، علی مقدم زاده، کیوان صالحی صفحات 7-27
    هدف

    یکی از ویژگی های آزمون لنگر که از مولفه های مهم همترازسازی است، همبستگی آن با آزمون کل است. در این مرور سیستماتیک، اثر این ویژگی بر فرایند همترازسازی و عوامل موثر بر آن بررسی گردید.

    روش پژوهش:

     یک مرور سیستماتیک بر اساس اطلاعات موجود در پایگاه های داده PubMed، Medline، ERIC، JSTOR و Wiley، وب سایت های SAGE، ETS، ACADEMIA و نیز بررسی منابع مندرج در برخی مقاله های مهم اجرا شد. جستجو در بازه زمانی 1950 تا 2022 تنها برای منابع انگلیسی صورت پذیرفت. اصطلاحات جستجو شامل همترازسازی، لنگر و همبستگی بود که با ترکیب آن ها، راهبردهای جستجو به دست آمد.

    یافته ها

    با توجه به ملاک های ورود، 18 مطالعه از 167 منبع جستجو شده، برای بررسی به این مرور راه یافتند. کیفیت این پژوهش ها با استفاده از ابزار سنجش کیفیت مطالعه ها با طرح های مختلف (QATSDD) مورد ارزیابی قرار گرفت. نتایج مطالعه نشان داد که طول آزمون، پایایی آزمون، نوع لنگر از نظر ویژگی های آماری، ساختار محتوایی آزمون لنگر و تفاوت در توانایی گروه ها، عواملی هستند که بر همبستگی آزمون لنگر و آزمون کل موثر است. علاوه بر این، نتایج حاکی از آن بود که با افزایش این همبستگی، کیفیت و دقت برآورد پارامترها در فرایند همترازسازی بهبود می یابد و از خطای استاندارد همترازسازی کاسته می شود.

    نتیجه گیری

    به دلیل اهمیت همبستگی میان آزمون لنگر و آزمون کل، لازم است مقدار این همبستگی و عوامل موثر بر آن در مراحل ساخت آزمون و قبل از اجرای تحلیل های مرتبط با همترازسازی به دقت بررسی و تحلیل شود تا از بروز خطای همترازسازی و سوگیری در نتایج کاسته شود.

    کلیدواژگان: همترازسازی، آزمون لنگر، همبستگی، مرور سیستماتیک
  • الهام پیرمرادیان، اصغر مینائی* صفحات 28-44
    هدف

    دغدغه رو به افزایشی که در ناعادلانه بودن آزمون ها شکل گرفته، امکان وجود کارکرد افتراقی است. چرا که کارکرد افتراقی یا سوگیری باعث تردید در روایی آزمون می شود. در مطالعه حاضر شناسایی کارکرد افتراقی سوال های سواد خواندن پرلز 2016 بین دانش آموزان ایرانی از طریق مدل درخت راش بررسی شده است.  

    روش پژوهش: 

    داده های استفاده شده در این پژوهش، نتایج مطالعه بین المللی پرلز 2016 در ایران است که با نمونه گیری دو مرحله ای تصادفی، تعداد 4385 نفر دانش آموز ایرانی شامل 2143 دانش آموز دختر (87/48 درصد) و 2242 دانش آموز پسر (13/51 درصد) پایه چهارم با میانگین سنی 14/10 برای شرکت در مطالعه انتخاب شدند و در آزمون شرکت کردند. داده‏های این مطالعه در محیط  R (تحت کتابخانه psychotree) تحلیل و بررسی شد. 

    یافته ها

    یافته ها نشان می دهند  که از 181 سوال در این مطالعه بر اساس جنسیت،  بر اساس مدل درخت راش 1 سوال در میان سوالات دو ارزشی با کارکرد افتراقی یکنواخت شناسایی شد. به علاوه در بین سوالات چندارزشی، برای بلوک 16 کارکرد افتراقی شناسایی شد.

    نتیجه گیری

    به نظر می رسد با وجود کارکرد افتراقی تاثیر آن قابل صرف نظر است. اگرچه بهتر است که سوال های با کارکرد افتراقی هنگام انجام تحلیل ها کنار گذاشته شود. عملکرد ضعیف دانش آموزان ایرانی می تواند متاثر از این باشد که ترجمه متون مناسب نبوده یا دانش آموزان هنوز به توانایی لازم برای این سطح از خواندن دست نیافته اند. استفاده از نتایج آزمون پرلز نیازمند ظرافت و ملاحظات خاص است.

    کلیدواژگان: پرلز 2016، کارکرد افتراقی سوال، مدل راش، مدل درخت راش
  • سید احمد مدنی* صفحات 70-87
    هدف

    نمره دهی یکی از وظایف حرفه ای استادان و نیز یکی از مقررات و رویه های مهم در نظام های دانشگاهی است. نمره دهی را همچنین می توان یکی از ابزارهای استادان برای ایجاد یادگیری و هدایت رفتارهای تحصیلی دانشجویان محسوب کرد. هدف اول پژوهش حاضر آزمودن این فرضیه بود که وضعیت پیشرفت تحصیلی دانشجویان مردود پس از اخذ مجدد درس نیز به سطح مطلوب نمی رسد. هدف دوم آزمودن این فرضیه بود که نمره 10 به عنوان گونه ای از نمره حداقلی، نسبت به نمره های نزدیک به آن اثر مثبتی بر پیشرفت تحصیلی دانشجویان دارد.

    روش پژوهش: 

    برای آزمودن فرضیه تحقیق داده های بیش از 190 هزار نمره از هشت نیمسال آموزش حضوری قبل از کرونا از سامانه آموزش دانشگاه کاشان استخراج شد. پس از اعمال شرایط مطالعه طولی و حذف داده های مفقود و پرت، نمونه ای به اندازه 4522 جفت نمره از دانشجویانی که درسی را مردود شده بودند به دست آمد. از آزمون های مقایسه میانگین برای ارزشیابی میزان یادگیری دانشجویان در نوبت دوم اخذ درس و از مدل اثرات آمیخته برای بررسی اثر انواع نمره بر معدل دانشجویان استفاده شد.

    یافته ها

    تحلیل ها نشان داد پیشرفت و یادگیری دانشجویان مردود در نوبت دوم اخذ درس مطلوب نیست و از سطح متوسط کلاس به طور معناداری پایین تر است. همچنین معلوم شد مجموعه ای از عوامل آموزشی نظیر ساعت امتحان، تعداد واحد دروس و نرخ ثبت نام کلاس ها بر نمرات دانشجویان مردود اثرات منفی معنادار دارند. یافته اصلی و جالب در پژوهش حاضر این بود که نمره حداقلی 10 در مقایسه با نمره های قبولی «ضعیف» و «بسیار ضعیف» اثر مثبت بیشتری بر روی پیشرفت دانشجویان فاقد مشروطی دارد.

    نتیجه گیری

    در نظر گرفتن نمره حداقلی 10 برای دانشجویان فاقد مشروطی می تواند به عنوان یک راهکار موجهی که اثر مثبت بر پیشرفت تحصیلی دارد مورد توجه استادان دانشگاه قرار گیرد. تبیین محتمل این است که این نمره پیام ویژه ای برای این دانشجویان دارد به نحوی که انگیزه تلاش و کوشش بیشتر برای بهبود معدل و جبران عقب ماندگی را به آنها می دهد. بر اساس این یافته می توان گفت این باور سنتی فراگیران که 10 «نمره کوچک خوشبختی» است دارای مبنای نظری و توجیه روان شناختی است.

    کلیدواژگان: تدریس دانشگاهی، سنجش، ارزشیابی دانشجویان، نمره، نمره حداقلی
  • ابوالقاسم نادری روشناوند*، ابراهیم خدایی، غلامرضا گرایی نژاد، احمد کیخا صفحات 88-118
    هدف

    هدف از این پژوهش، واکاوی نقش شهریه بر تصمیمات تحصیلی دانشجویان می باشد که نتایج آن می تواند کمک شایانی به ارتقای اثربخشی سیاستگذاری های شهریه داشته باشد.

    روش پژوهش: 

    این پژوهش با استفاده از روش فراترکیب انجام شده است. بر این اساس، کلیدواژه های تخصصی پژوهش در پایگاه های معتبر بین المللی (ساینس دایرکت، اشپرینگر، ویلی آنلاین، اریک، سیج، امرالد) در بازه زمانی (1990-2022) جستجو شدند. سپس با استفاده نمونه گیری قضاوتی، 77 مطالعه برای تحلیل انتخاب شد. در ادامه، با استفاده از فن تحلیلی آنتروپی شانون مشخص شد کدام تصمیم تحصیلی نسبت به سایر تصمیمات تحصیلی وزن و اولویت بیشتری در این مطالعه دارد.

    یافته ها

    پنج تصمیم تحصیلی اصلی همراه با سایر عوامل مرتبط شامل تصمیم ثبت نام، تصمیم در رابطه با تلاش علمی بیشتر برای پیشرفت تحصیلی، تصمیم نسبت به انصراف تحصیلی، تصمیم نسبت به ادامه تحصیل، تصمیم نسبت به تغییر رشته تحصیلی متاثر از شهریه شناسایی شده اند. بر اساس نتایج فن تحلیلی آنتروپی شانون، تصمیم در ادامه تحصیل نسبت به سایر تصمیمات تحصیلی در این مطالعه وزن و تاثیرپذیری بیشتری بدست آورده است.

    نتیجه گیری

    در واکاوی نقش شهریه در تصمیمات تحصیلی دانشجویان، مشخص شد که تصمیمات دانشجویان در پنج عرصه مهم متاثر از شهریه هستند و البته میزان تاثیرپذیری هر یک از آنها متفاوت می باشد. همچنین این نتیجه آشکار شد که تصمیمات تحصیلی ابعاد و مقوله های فرعی متعددی نیز دارند که در قالب یازده مقوله فرعی و 506 مفهوم کلیدی دسته بندی شدند.

    کلیدواژگان: شهریه، تصمیمات تحصیلی دانشجویان، آموزش عالی، فراترکیب، آنتروپی شانون
  • مرضیه هاشمی* صفحات 119-138
    هدف

    هدف از این پژوهش، بررسی اثربخشی هیپنوتراپی در افزایش خودکارآمدی تحصیلی و کاهش نشانه های اضطراب امتحان نوجوانان کنکوری بود.

    روش پژوهش: 

    در این پژوهش از طرح آزمایشی تک آزمودنی یا تک موردی  و طرح A-B استفاده شد. جامعه آماری این پژوهش کلیه ی نوجوانان کنکوری در شهر تهران و در سال تحصیلی 1400-1399 بود. نمونه آماری شامل چهار نوجوان بود که به یکی از کلینیک‎ های شهر تهران مراجعه کرده بودند. نمونه گیری به صورت دردسترس و داوطلبانه انجام شد. پس از کسب رضایت و آموزش، این نوجوانان وارد طرح پژوهشی شدند و هفت جلسه یک ساعته درمان دریافت کردند. ملاک ورود به پژوهش پیش رو داشتن آزمون ورودی دانشگاه ها و ملاک خروج نیز دارا بودن اختلالات روانی بود.

    یافته ها

    نتایج حاکی از آن بود که هیپنوتراپی موجب افزایش خودکارآمدی تحصیلی و کاهش نشانه های اضطراب امتحان نوجوانان کنکوری شد.

    نتیجه گیری

    براساس یافته های پژوهش می توان نتیجه گرفت که هیپنوتراپی می تواند به عنوان درمانی موثر در افزایش خودکارآمدی تحصیلی و کاهش نشانه های اضطراب امتحان نوجوانان به کار گرفته شود.

    کلیدواژگان: هیپنوتراپی، خودکارآمدی تحصیلی، اضطراب امتحان، نوجوانان، کنکور
  • خیرالله بامری، حسین مومنی مهموئی*، مهدی زیرک، علی اکبر عجم صفحات 139-156
    هدف

    ارزشیابی برنامه های درسی یکی از اجزای مهم در طراحی برنامه های درسی و اجرای آن است، برنامه هایی که به درستی مورد ارزشیابی قرار بگیرند در زمینه رسیدن به اهداف خود موفق تر خواهند بود. هدف پژوهش حاضر  بررسی وضع موجود ارزشیابی برنامه های درسی دوره ابتدایی است.

    روش پژوهش: 

    این پژوهش با رویکرد کیفی و با روش داده بنیاد انجام گرفت. جامعه ی آماری شامل کلیه کارگزاران دخیل در برنامه درسی دوره ابتدایی هستند که از طریق نمونه گیری هدفمند از نوع ملاک محور انتخاب شدند. داده ها از طریق مصاحبه ی نیمه ساختار یافته با ده نفر از معلمان، هفت نفر از سرگروه های آموزشی دوره آموزش ابتدایی، شش نفر از مدیران مدارس ابتدایی و هشت نفر از اساتید دانشگاه فرهنگیان در رشته علوم تربیتی - برنامه ریزی درسی جمع آوری شد. به منظور تجزیه و تحلیل داده ها از روش کدگذاری باز، محوری و گزینشی استفاده شد. برای تامین روایی و پایایی از معیارهای لینکن و کوبا استفاده شد.

    یافته ها

    نتایج پژوهش نشان دهنده ی بیست و یک مفهوم محوری و نه مقوله منتخب است که در قالب مدل پارادیمی شامل ارزشیابی نامتوازن برنامه های درسی به عنوان مقوله محوری و شرایط علی (مشتمل بر محورهایی چون؛ ضعف سواد طراحی ارزشیابی برنامه ریزان درسی،تقلیل گرایی در ارزشیابی، ضعف سواد سنجش و ارزشیابی مجریان و کمیت گرایی در ارزشیابی)، عوامل زمینه ای (مشتمل بر محورهایی چون؛ سازمانی، مدرسه ای و کلاسی)، عوامل راهبردی (مشتمل بر محورهایی چون تغییر رویکرد ارزشیابی برنامه های درسی، تخصص محوری در اجرای ارزشیابی و شبکه سازی در حوزه طراحی ارزشیابی برنامه درسی) شرایط مداخله ای تسهیل گر(مشتمل بر محورهایی چون توسعه حرفه ای معلمان، تقویت دیدگاه انتقادی به برنامه درسی و حمایت و پشتیبانی سازمانی)، شرایط مداخله گر محدودکننده(مشتمل بر محورهایی چون موانع فردی، اجرایی و فرهنگی - ساختاری) و راهبردها و پیامد (کاهش اثربخشی و کارایی برنامه درسی) سازمان یافت.

    نتیجه گیری

    با توجه به نتایج می توان نتیجه گرفت وضعیت ارزشیابی برنامه های درسی در دوره ابتدایی در سطوح سه گانه برنامه های درسی قصد شده، اجرا شده و کسب شده مطلوب نیست و ضرورت توجه به بهبود سواد سنجش و ارزشیابی معلمان و برنامه ریزیان درسی در این زمینه لازم است.

    کلیدواژگان: ارزشیابی، برنامه درسی، دوره آموزش ابتدایی، گرندد تئوری
|
  • Vahideh Asadi *, Ali Moghadamzadeh, Keyvan Salehi Pages 7-27
    Objective

    One of the features of the anchor test, which can affect the equating process, is its correlation with the total test. This systematic review addressed the effects of this feature on the equating process and the factors affecting it.

    Methods

    To this end, the terms equating, anchor, correlation, and a combination of them were searched on PubMed, Medline, ERIC, JSTOR, and Wiley databases, SAGE, ETS, and ACADEMIA websites, and references of some important articles. The search was restricted to English sources from 1950 to 2022.

    Results

    Based on the inclusion criteria, 18 out of the 167 extracted documents were selected for further analysis. The quality of documents was measured using the Quality Assessment Tool for Studies with Diverse Designs (QATSDD). The results showed that the test length, test reliability, statistical characteristics of the anchor, the content structure of the anchor test, and differences in the ability of examinee groups were the most important factors affecting the correlation between the anchor test and the total test. The results also demonstrated that the increased correlation between these two tests improved the quality and accuracy of parameter estimation in the equating process and reduced the standard error of equating.

    Conclusion

    Considering the importance of the correlation between the anchor test and the total test, it is necessary to carefully examine and analyze the value of this correlation and the factors affecting it in the test development process before equating related analysis to minimize errors and biased results.

    Keywords: Equating, Anchor Test, Correlation, Systematic review
  • Elham Pirmoradian, Asghar Minaei * Pages 28-44
    Objective

    A growing concern in unfairness of educational assessments is the possible presence of differential item functioning. Differential item functioning or bias will undermine the validity of the assessment. In this study, identification of differential item functioning in PIRLS 2016 test among Iranian students has been considered via the Rasch-Tree model.

    Methods

    The data used in this research are from PIRLS 2016 exam results that was also held in Iran. A total of 4385 fourth grade Iranian students were involved consisting of 2143 girls and 2242 boys with the average age of 10.14. The analysis performed by the authors on this dataset was written in R programming language.

    Results

    The results indicate that out of 181 questions, based on raschtree model, one dichotomous question shows uniform differential item functioning. Moreover, among polytomous questions, block 16 shows differential item functioning. 

    Conclusion

    It appears even though there is differential item functioning in the PIRLS 2016 test for Iranian students, the impact is negligible. Ideally, however, we would want to remove the questions with differential item functioning before conducting any analysis. Using test results requires care and discretion.

    Keywords: Differential Item Functioning, PIRLS 2016, Rasch-tree model
  • Sayed Ahmad Madani * Pages 70-87
    Objective

    The first goal of the present study was to test the hypothesis that the academic progress of failed students does not reach the desired level even after retaking the course. The second goal was to test the hypothesis that 10 as a minimum grade has a positive effect on students’ academic progress compared to grades close to it.

    Methods

    The data of more than 190 thousand of grades from eight semesters was extracted from the university’s learning management system. By applying the conditions of panel study and removing missing and outliers, 4522 pairs of grades of students who failed a course formed the statistical sample of the research. After applying the mixed effects model, the students’ learning rate in the second round of taking the course and the educational factors affecting the students’ grades were explored.

    Results

    The findings showed that the learnings of failed students in the second round of taking courses is not satisfactory and is significantly lower than the average of the class. The main and interesting finding in the present study was that the minimum grade of ‘10’ compared to weak and very weak passing grades has a more positive effect on the overall progress of students without probation.

    Conclusion

    Considering the minimum grade of 10 for students can be considered by university professors as a justified solution that has a positive effect on academic progress. The probable explanation is that this grade has a special message for students in a way that motivates them to work harder to improve their GPA and compensate for their backwardness. It can be said that the traditional belief of some learners that 10 is the “Little Grade of Happiness” has a theoretical basis and psychological justification.

    Keywords: university teaching, Assessment, Student Evaluation, Grade, minimum grade
  • Abolghasem Naderi *, Ebrahim Khodaei, Gholamreza Geraeinejad, Ahmad Keykha Pages 88-118
    Objective

    This research explores tuition's role in students' academic decisions. The results can help improve the effectiveness of tuition policies.

    Methods

    This research was done using the Meta-Synthesis method. Based on this, the specialized keywords of the research in international databases (Science Direct, Springer, Wiley Online, Eric, Sage, Emerald) in The period (1990-2022) were searched. Then, using judgmental sampling, 77 studies were selected for analysis. Next, by using Shannon's entropy analytical technique, it was determined which academic decision has more weight and priority than other academic decisions in this study.

    Results

    Five academic decisions made by students have been identified accompanied with the other determinants, which are the decision to enroll, the decision in making further academic effort for greater academic progress, the decision to dropping out of university education, the decision to continuing education, the decision to changing the field of study which have been affected by the tuition fees. Based on the Shannon entropy analytical technique results, the decision to continue university education has obtained a greater weight and affectability in comparison with other academic decisions in this study.

    Conclusion

    In exploring the role of tuition fees in students' academic decisions classified in five categories, we conclude that the students’ decisions are significantly affected by tuition fees and some other factors. In addition, each area of students’ academic decisions comprises of some sub-categories elaborated into eleven primary sub-categories and 506 key concepts.

    Keywords: Tuition Fees, Students’ Academic
  • Marzie Hashemi * Pages 119-138
    Objective

    Aim of this study was to evaluate the effectiveness of hypnotherapy in increasing academic self-efficacy and reducing the symptoms of test anxiety in adolescents.

    Methods

    In this study, a Single subject design and A-B design were used. The statistical population of this study was all adolescents with entrance exam in Tehran in the academic year of 1399-1400. The statistical sample included four adolescents who had referred to one of the clinics in Tehran . Sampling was done voluntarily. After obtaining consent and training, these adolescents entered the research project and received seven sessions which each session was one-hour of treatment. The criterion for entering the research was having a university entrance exam and the criterion for leaving was having mental disorders.

    Results

    The results showed that hypnotherapy increased the academic self-efficacy and reduce symptoms of test anxiety of adolescents with entrance exam.

    Conclusion

    Based on the research findings, it can be concluded that hypnotherapy can be used as an effective treatment to increase the academic self-efficacy and reduce symptoms of test anxiety of adolescents.

    Keywords: Hypnotherapy, academic self-efficacy, Test anxiety, adolescents, Entrance Exam
  • Khairola Bameri, Hossain Momenimahmouei *, Mehdi Zirak, Aliakbar Ajam Pages 139-156
    Objective

    Curriculum evaluation is one of the important components in curriculum design and implementation, programs that are properly evaluated will be more successful in achieving their goals. The purpose of the current research is to investigate the current situation of evaluation of elementary school curricula.

    Methods

    This research was conducted with a qualitative approach and a data-based method. The statistical population includes all agents involved in the curriculum of the elementary school, who were selected through purposeful criterion-based sampling. The data were collected through semi-structured interviews with ten teachers, seven heads of educational groups of primary education, six principals of primary schools, and eight professors of Farhangian University in the field of educational sciences - mass curriculum planning. was brought In order to analyze the data, open, axial and selective coding method was used. Lincoln and Cuban criteria were used to ensure validity and reliability.

    Results

    The results of the research show twenty-one core concepts and nine selected categories, which, in the form of a paradigmatic model, include unbalanced evaluation of curricula as a core category and causal conditions (including axes such as: lack of literacy in the evaluation design of curriculum planners, reductionism in evaluation, weak assessment and evaluation literacy of the implementers and quantification in evaluation), contextual factors (including axes such as; organizational, school and class), strategic factors (including axes such as changing the approach of program evaluation curriculum, core expertise in the implementation of evaluation and networking in the field of curriculum evaluation design (facilitating intervention conditions) including such areas as professional development of teachers, strengthening the critical view of the curriculum and support organizational), restrictive intervening conditions (including axes such as individual, executive and cultural-structural barriers) and strategies and consequences (reduction in the effectiveness and efficiency of the curriculum) of the organization.

    Conclusion

    According to the results, it can be concluded that the evaluation status of the curricula in the primary period in the three levels of the intended, implemented and acquired curricula is not favorable and the need to pay attention to the improvement of the assessment and evaluation literacy of the teachers and the program. Curriculum is necessary in this field.

    Keywords: Evaluation, Curriculum, Elementary Education course, Grand theory