فهرست مطالب

مطالعات اندازه گیری و ارزشیابی آموزشی - سال دهم شماره 29 (بهار 1399)
  • سال دهم شماره 29 (بهار 1399)
  • تاریخ انتشار: 1399/04/11
  • تعداد عناوین: 7
|
  • علیرضا دهقانی*، بیژن عبدالهی، حسین عباسیان، محمدرضا بهرنگی صفحات 7-34

    با توجه به سیر تحول ارزشیابی آموزشی، در این مقاله مفهوم بازگشت انتظارات در حوزه ارزشیابی آموزش کارکنان بر اساس رویکرد کیفی و روش اسنادی بررسی می شود. برای تحلیل داده ها از روش تحلیل مضمون استفاده شد. طی جستجو در پایگاه های علمی ایران داک، مگ ایران، سیویلیکا، Elsevier، Emerald، Google Scholar، Amazon، Sciencedirect، IEEE، Springer، SAGE و Wiley تعداد 92 سند و منبع گردآوری شد که در فرایند بررسی و انتخاب اسناد و منابع، تعداد 19 مورد از آنها  انتخاب و بررسی شدند. از روش سه سویه سازی برای افزایش روایی استفاده شد. ضریب پایایی با روش هولستی 85.9 بود. فرایند کدگذاری و تحلیل مضامین با نرم افزار MAXQDA انجام گرفت. در این فرایند تعداد 632 کد به دست آمد که در قالب 55 مضمون پایه، 11 مضمون سازمان دهنده و 1 مضمون فراگیر طبقه بندی شدند. در پایان، ضمن ارایه شبکه مضامین بازگشت انتظارات، بر مبنای ارتباط بین مضامین سازمان دهنده موجود در ادبیات و پیشینه پژوهش و با مصاحبه نیمه ساختاریافته با 5 نفر از استادان و صاحب نظران ارزشیابی آموزشی، مدل ارزشیابی آموزشی بازگشت انتظارات طراحی شد. اجزای این مدل فرایندی عبارت اند از: ویژگی ها، الزامات، شناسایی ذی نفعان، تعیین انتظارات، شاخص گذاری، طراحی آموزشی، ارایه آموزش، ارزشیابی اثربخشی، اقدامات حمایتی، پایش، بازخورد و پیامدها. این مدل می تواند میزان اثربخشی برنامه های آموزشی را مبتنی بر شاخص های برآمده از انتظارات ذی نفعان، نشان داده و افزایش دهد.

    کلیدواژگان: ارزشیابی اثربخشی آموزشی، بازگشت انتظارات، مدل ارزشیابی بازگشت انتظارات
  • لیلا برازنده، حیدرعلی زارعی* صفحات 35-59

    پژوهش حاضر به منظور بررسی حضور یا عدم حضور در کلاس های کنکور مدرسه ها بر میزان نگرش تحصیلی و انگیزش پیشرفت دانش آموزان شهرستان ماکو اجرا شد. روش پژوهش از نوع علی- مقایسه ای و جامعه آماری پژوهش شامل همه دانش آموزان دختر دوره متوسطه دوم در سال تحصیلی 97-1396، به تعداد 1000 نفر بود. حجم نمونه آماری شامل 200 دانش آموز بود که با توجه به شرکت کردن یا شرکت نکردن در کلاس های کنکور با دو روش نمونه گیری تصادفی ساده و خوشه ای چندمرحله ای انتخاب شدند. برای گردآوری داده ها از پرسشنامه استاندارد سنجش نگرش به مدرسه (SAAS-R) مک کوچ و سیگل (2003) و پرسشنامه استاندارد پیشرفت (T.M.A) هرمنس (1970) استفاده شد. تحلیل داده ها با روش های آمار توصیفی، تحلیل واریانس چندمتغیری یک راهه و آزمون t مستقل با استفاده از نرم افزار 24SPSS انجام گرفت. نتایج نشان داد میزان نگرش تحصیلی دانش آموزانی که در کلاس های کنکور شرکت داشتند به صورت معنی داری بیشتر از دانش آموزانی بود که سابقه حضور در این کلاس ها را نداشتند. همچنین انگیزش پیشرفت این دانش آموزان به صورت معنی داری بیشتر از دانش آموزانی بود که در کلاس های کنکور مدرسه ها شرکت نداشتند.

    کلیدواژگان: کلاس های کنکور، نگرش تحصیلی، انگیزش پیشرفت
  • مریم مقدسین* صفحات 61-144

    سنجش مهارت زبان انگلیسی در ارزیابی های خطیر به تعداد زیادی پرسش برای آزمون هایی به شیوه مداد-کاغذی (P&P) نیاز دارد؛ زیرا هر سال افراد بسیاری در این نوع آزمون های سرنوشت ساز شرکت می کنند. هدف از اجرای این پژوهش، طراحی و کاربرد سنجش انطباقی کامپیوتری (CAT) به عنوان گزینه ای برای سنجش مهارت زبان انگلیسی در سازمان سنجش آموزش کشور بود. CAT برخلاف آزمون های سنتی P&P که توالی گزینش پرسش ها در آن ثابت و یکنواخت است، از یک شیوه گزینش سوال بهینه و انطباقی استفاده می کند. CAT، برآورد توانایی موقت را به طور بهینه مورد هدف قرار می دهد و به یک ملاک همگرایی مناسب برای برآورد توانایی می رسد و در نتیجه، به یک فرایند سنجش کوتاه تر، قابل اطمینان تر و کارآمدتر می رسد. مورد مطالعه مهارت زبان انگلیسی در مطالعه حاضر، آزمون تولیمو است. این پژوهش در دو مرحله اجرا شده است: در مرحله اول، نمونه ای از اجراهای مداد-کاغذی آزمون تولیمو (دوره 114 تا 123)، انتخاب و سپس، سوال ها و توانایی آزمودنی ها مدرج سازی شد. در مرحله دوم، CATهای بهینه شبیه سازی شده به عنوان مبنایی برای ارزیابی صحت و کارایی CAT عملیاتی طراحی شدند. نتایج پژوهش نشان داد که برآورد پارامتر توانایی به روش بیشینه درست نمایی و ملاک توقف طول ثابت، بیشترین دقت در برآورد پارامتر توانایی آزمودنی ها را ایجاد می کنند. همچنین، آزمون CAT تولیمو که بر اساس خزانه سوال بهینه شبیه سازی شدند، نسبت به CAT عملیاتی که بر اساس خزانه سوال موجود طراحی شده است، به سوال های کمتری نیاز دارد، درحالی که به نتایج دقیق تری نسبت به CAT عملیاتی در برآورد پارامتر توانایی منجر می شود. بنابراین، باوجود مناسب بودن سوال های موجود در خزانه سوال مدرج سازی شده آزمون تولیمو، طراحی سوال هایی برای هدف اجرای آزمون به شیوه CAT، هم به صرفه تر است و هم دقیق تر پارامتر توانایی را برآورد می کند. همچنین، نتایج این مطالعه نشان داد که آزمون تولیمو هم به شیوه CAT شبیه سازی شده و CAT عملیاتی طراحی شده به شکلی کارآتر و دقیق تر نسبت به تولیمو مداد-کاغذی عمل می کند. یافته های این پژوهش، نشان می دهد که آزمون CAT تولیمو دارای پتانسیل بالایی در کارایی و دقت اندازه گیری توانایی زبان انگلیسی است.

    کلیدواژگان: سنجش انطباقی کامپیوتری (CAT)، آزمون تولیمو، برآورد پارامتر توانایی، خزانه سوال، تعادل محتوایی و مواجهه سوال
  • مهران سهراب زاده*، کیانوش محمدی روزبهانی، سید سعید حسینی زاده صفحات 145-165

    پژوهش حاضر با هدف ارزیابی آثار اجتماعی- فرهنگی و سیاسی تداوم اجرای بومی گزینی از منظر مدیران و صاحب نظران آموزش عالی شامل کارشناسان حوزه های ستادی آموزش عالی، معاونان آموزشی و دانشجویی- فرهنگی دانشگاه ها اعم از دانشگاه های تابعه وزارت علوم، تحقیقات و فناوری وزارت بهداشت، درمان و آموزش پزشکی اجرا شده است . این پژوهش از نوع تحقیقات پیمایشی بوده و جامعه آماری آن شامل خبرگان صاحب نظر در امور آموزشی بود که 79 تن از آنها به روش نمونه گیری هدفمند انتخاب شده و با استفاده از پرسشنامه مورد ارزیابی قرار گرفته اند. روایی پرسشنامه به روش محتوایی (CVR) و پایایی آن با آزمون آلفای کرونباخ ارزیابی شد. داده ها به وسیله نرم افزار تحلیل داده های کمی (spss) و آزمون های تحلیل واریانس و تفاوت میانگین دوگروهه تحلیل شده است. بدین لحاظ، یافته های این پژوهش در بعد توصیفی نشان دادند که از میان کل پاسخگویان (79 نفر)، حدود 34 درصد با سیاست بومی گزینی، موافق و 66 درصد با این سیاست یا روش مخالف هستند. پاسخگویانی که در سازمان های وزارت علوم، سمت مسیول یا کارشناس داشتند، هیچ یک موافق با سیاست بومی گزینی نبودند. همچنین 43 درصد از پاسخگویان در دانشگاه های وزارت علوم، مخالف طرح بومی گزینی دانشجو و 59 درصد از اعضای هییت علمی دانشگاه های علوم پزشکی موافق شیوه بومی گزینی بودند. برای اطمینان از واقعی بودن نسبت های مذکور، آزمون خی دو میان دو متغیر نگرش به بومی گزینی وابستگی سازمانی انجام گرفت که مقدار این آزمون (43/13) در سطح 95 درصد اطمینان نتایج به دست آمده را تایید کرد. از مهم ترین پیشنهادهای این پژوهش، تاسیس قطب های دانشگاهی در شهرهای بزرگ و تمرکزبخشی به رشته های دانشگاهی به منظور ایجاد برخی شهرهای دانشگاهی است.

    کلیدواژگان: بومی گزینی، همبستگی ملی، عدالت آموزشی، عدالت رفاهی، عدالت اجتماعی، تامین اخلاقی و مصون سازی فرهنگی
  • حانیه اسمعیلی ماهانی، جواد پورکریمی*، سید محمد میرکمالی، احسان جمالی صفحات 167-203

    هدف از اجرای این پژوهش، شناسایی و تبیین عوامل موثر بر توسعه حرفه ای اعضای هییت علمی با تاکید بر نقش گروه های آموزشی بود. روش پژوهش آمیخته اکتشافی (کیفی-کمی) است. جامعه آماری در بخش کیفی مقاله های مرتبط با توسعه حرفه ای اعضای هییت علمی بود که از بین آنها 42 مقاله به عنوان نمونه انتخاب شد؛ ابزار گردآوری داده ها در بخش کیفی چک لیست بود. در بخش کمی، جامعه آماری مدیران گروه های آموزشی و اعضای هییت علمی دانشگاه شهید باهنر کرمان (667=N) و نمونه با روش انتساب متناسب به حجم 244 نفر بود. در بخش کیفی، 14 مولفه موثر بر توسعه حرفه ای اعضای هییت علمی شناسایی شد که اهمیت آنها از نظر اعضای گروه نمونه در بخش کمی مورد تایید قرار گرفت. این مولفه‎ها در دو طبقه عوامل مدیریتی حمایتی و فرایندی دسته بندی شدند. رتبه بندی مولفه ها با آزمون فریدمن (آماره فریدمن = 58/115 و 05/0p) نشان داد که مشارکت اعضای هییت علمی در تصمیم گیری، حمایت مدیریت و مهارت های پژوهشی بالاترین رتبه ها را به خود اختصاص داده اند؛ با توجه به نتایج پژوهش به نظر می رسد توجه به مولفه های شناسایی شده به عنوان پیش نیاز برنامه های توسعه حرفه ای اعضای هییت علمی به صورت یک مجموعه در هم تنیده، زمینه لازم برای توسعه آنان در گروه های آموزشی را فراهم آورد؛ که این سرآغازی برای تغییر و تحول نظام آموزش عالی خواهد بود.

    کلیدواژگان: توسعه حرفه ای، فراترکیب، اعضای هیئت علمی، گروه های آموزشی، آموزش عالی
  • ریحانه رحیمی*، علی دلاور، جلیل یونسی، زهره سادات نصیری صفحات 205-227

    سنجش تشخیصی شناختی، نوعی از سنجش آموزشی است که با به کارگیری مدل های روان سنجی به تعیین و تشخیص نارسایی های یادگیری کمک می کند. با توجه به اینکه مدل های زیادی در این زمینه وجود دارد؛ انتخاب یک مدل تشخیصی شناختی مناسب برای تحلیل داده ها اهمیت زیادی خواهد داشت. هدف از اجرای پژوهش حاضر، تعیین مدل مناسب برای آزمون های خواندن و درک مطلب است. داده های مورد بررسی در این پژوهش شامل پاسخنامه 3000 نفر از شرکت کنندگان در آزمون سراسری کارشناسی ارشد رشته زبان انگلیسی بوده است که از بین 16044 شرکت کننده به صورت تصادفی انتخاب شده اند. روش کار به این صورت بود که پس از تشکیل ماتریس Q مدل کلی (G-DINA و LCDM)، دو مدل جبرانی (ACDM و DINO) و دو مدل غیر جبرانی (RRUM و DINA) برای مقایسه در نظر گرفته شدند. ازنظر شاخص برازش ماکزیمم خی-دو هیچ یک از مدل ها برازش نداشتند؛ ولی در مقابل نتایج شاخص SRMSR نشان داد که همه مدل ها برازش قابل قبولی با داده ها دارند. در مقایسه بین شاخص های برازش نسبی مشخص شد که مدل های G-DINA و ACDM برازش بهتر و مدل های DINO و DINA برازش ضعیف تری نسبت به سایر مدل ها دارند. در بررسی شاخص برازش سوال نیز فقط مدل های G-DINA و LCDM با همه سوال ها برازش مطلوبی نشان دادند.

    کلیدواژگان: سنجش تشخیصی شناختی، ماتریس Q، مدل کلی، مدل جبرانی، مدل غیرجبرانی
  • فرهاد سراجی*، نگار شکوری صفحات 229-260

    هدف از اجرای پژوهش حاضر، شناسایی موانع مشارکت والدین در ارزشیابی توصیفی بود و مطالعه با اتخاذ رویکرد کیفی از نوع پدیدارشناسانه انجام گرفت. برای این منظور با استفاده از شیوه های نمونه گیری کرانه ای (مخالفان) و مطلوب (موافقان) 35 تن از والدین که فرزندان آنها در مدرسه های هییت امنایی در پایه ششم تحصیل می کردند، برای مشارکت در مصاحبه نیمه ساختار یافته انتخاب شدند. با تحلیل داده ها، 89 مضمون پایه، 15 مضمون سازمان دهنده و شش مضمون اصلی شکل گرفت که این مضامین به ناآگاهی والدین از مبانی و ویژگی های ارزشیابی توصیفی، فهم نادرست معلمان از مشارکت والدین، تعهد نداشتن و مسیولیت پذیر نبودن والدین، شیوه ها و ساختار ارزشیابی حاکم بر سایر دوره های آموزشی، تجربه های تحصیلی والدین و عوامل اجتماعی- فرهنگی مربوط می شد. این موانع به دو دسته موانع اختصاصی و موانع عمومی دسته بندی شدند که عوامل فرهنگی و اجتماعی به عنوان مبنا و ریشه بر هر دو دسته تاثیرگذار هستند.

    کلیدواژگان: ارزشیابی توصیفی، مشارکت والدین، برنامه درسی، موانع اختصاصی، موانع عمومی
|
  • Alireza Dehghani *, Bijan Abdolahi, Hossein Abasian, Mohammadreza Behranghi Pages 7-34

    Regarding the evolution of training evaluation, this paper seeks to examine the new concept of return on expectations in the field of training with quality approach and documentary research method. The method for data analysis was thematic analysis. Searching in scientific databases include Irandoc, Magiran, Sivilica, Elsevier, Emerald, Google Scholar, Amazon, Science Direct, IEEE, Springer, SAGE, obtained 92 documents and sources, that 19 of them were selected in the process of reviewing and selecting documents. The triangulation method was used to increase the validity and reliability coefficient calculated using the Holsti method was 85.9. The process of coding was carried out by MAXQDA software. In this process, 632 codes were obtained that were categorized in the form of 55 basic themes, 11 organizing themes and one global theme. In the end, the thematic network of return on expectations in training evaluation was provided, and based on the relationship between the organizing themes in the literature and through semi-structured interviews with 5 training evaluation experts the return on expectations training evaluating model (ROE) was designed. The components of this process model include: attributes, requirements, identifying stakeholders, determining the expectations, indexing, designing the training, delivering training, evaluating, supporting actions, monitoring, feedback, and consequences. This model can show and increase the effectiveness of training programs based on indicators derived from stakeholder expectations.

    Keywords: Training effectiveness evaluation, Return on expectations training evaluating model, Return on expectations, stakeholders
  • Leila Barazandeh, Heaidarali Zarei * Pages 35-59

    The present study was conducted to investigate the involvement or non-involvement influence of university entrance preparatory courses on the academic attitude and achievement motivation of students in Maku. The research method was causal-comparative. The statistical population of the study included all female high school students (N=1000) in the academic year 2017-18. The sample size included 200 students who were chosen through simple random sampling and multi-stage cluster sampling according to the involvement or non-involvement in the university entrance preparatory courses. Data were collected using the McCoach & Sigel`s standard questionnaire for the attitude toward school (SAAS-R) and the Hermann`s standard questionnaire for Achievement Motivation (T.M.A) (1977). Data analysis was carried out through descriptive statistics, multivariate analysis of variance, and independent t-test using SPSS24 software. The results revealed that the academic attitude of those students who participated in the university entrance preparatory courses were significantly more than that of those who had no history of attending those afro-mentioned courses. Also, the achievement motivation of these students was significantly more than those who did not attend the above-mentioned courses.

    Keywords: University entrance preparatory courses, Academic attitude, Achievement motivation
  • Maryam Moghadasin * Pages 61-144

    Measuring of English Language proficiency in large-scale assessments normally requires a large number of test items and relies on paper-and-pencil (P&P) formats; because many people participate annually in this high stake type of tests. The purpose of this research is to design and apply a Computerized Adaptive Testing (CAT) as an alternative to assessing the English language proficiency in the National Organization of Educational Testing. Unlike the traditional P & P tests in which the sequence of selection of items in it is constant and uniform, CAT uses an optimal and adaptive item selection method. CAT caters to optimally estimating temporary ability parameter and achieves a suitable convergence criterion for estimating ability, which results in a shorter, more reliable, and more efficient measurement process. In current study, the case study for examination of English language skill was the TOLIMO test. This research has been carried out in two phases. In the first stage, a sample of pencil-paper TOLIMO (period 114 to 123) was selected and then the items and subjects' ability were calibrated. In the second phase, simulated optimal CATs were designed as a basis for evaluating the efficiency of operational CAT. The results show that the ability parameter estimation method, the maximum likelihood and the fixed length of test as test termination criterion, give the most accuracy in the ability parameter estimation. Also, the simulated CAT TOLIMO test based on the optimum item pool needs less items than the designed CAT based on the available item pool, while it leads to obtain more accurate results in comparison to the operational CAT for ability parameter estimation. Therefore, despite the suitability of the items in the graded item pool of TOLIMO, the design of items to implement the examination with CAT method is so much better and more accurately, the ability parameter is estimated. The study also demonstrates that TOLIMO test in the form of simulated CAT and operational CAT can be more efficient and precise in the evaluation criteria than TOLIMO test in the form of P&P. The findings suggest that CAT has a great potential in efficiently and precisely measuring TOLIMO ability of English language.

    Keywords: Computerized adaptive testing (CAT (, TOLIMO, Parameter ability estimation, Item pool, Content balance, item exposure
  • Mehran Sohrabzadeh *, Kiyanoush Mohammadi Rozbahanei, Seyad Saeid Hoseinezadeh Pages 145-165

    The purpose of this study was to assess the socio-cultural and political effects of the continuation of native selection from the perspective of higher education administrators and experts, including experts from the headquarters of higher education, university assistants and educational and student-cultural departments, including universities affiliated to the Ministry of Science and Ministry of Health and Medical Education. This research is a survey research and its statistical community includes experts in educational affairs that 79 of them were selected through purposeful sampling and were evaluated using a questionnaire. Validity of the questionnaire by content method (CVR) and its reliability was assessed by Cronbach's alpha test. To analyze the data, quantitative data analysis software (SPSS) and variance analysis and mean difference between two groups have been used. In this regard, the findings of this research in the descriptive dimension showed that among the total number of respondents (79), about 34% agree with the policy of indigenization, and 66% oppose this policy or method. Respondents who worked in the Ministry of Science, responsible or expert positions, did not agree with non-nominal policies. Also, 43% of the respondents at the universities of the Ministry of Science are opposed to the natively selection of students and 59% of the faculty members of the medical universities agree native selection of students. In order to ensure the realities of these ratios, a chi-square test was conducted between the two variables of native selection of students and organizational affiliation, which confirmed the value of this test (43.13) at 95% confidence level. The most important suggestions of this research are: The importance of diversifying the tribes and multicultural campuses of the universities, the exclusion of indigenous peoples from the provincial, regional and polar states and the application of indigenous choices and fairer distribution of deprived areas.

    Keywords: Native selection, National Unity, educational justice, Welfare justice, social justice, Moral, cultural immunization
  • Haneyeh Esmaeilei Mahanei, Javad Porkaremei *, Seyed Mohammad Mirkamalei, Ehsan Jamalei Pages 167-203

    The purpose of this research was to identify and explain the factors affecting the professional development of faculty members with emphasis on the role of educational departments. The research method is mixed (qualitative-quantitative) research. The statistical population in the qualitative section is the articles related to the professional development of faculty members out of which 42 articles were selected as sample; the data collection tool is the checklist in the qualitative section. In the quantitative part of the statistical population, the heads of educational departments and faculty members of Shahid Bahonar University of Kerman (N = 667) and the sample was proportional to the number of 244 persons. In the qualitative section, 14 factors influencing the professional development of faculty members were identified, whose importance was acknowledged by faculty members and heads of departments in the quantitative section. These components were categorized into two categories of supportive and process management factors. Component ratings with Friedman test (Friedman statistic = 11.58 and p <0.05) showed that faculty members' participation in decision making, management support and research skills were highest. Based on the results obtained, it seems that attention to the components identified as a prerequisite for faculty development programs as a cohesive set provides the necessary context for their development in educational departments, which is the beginning of change in higher education system, respectively.

    Keywords: professional development, excellence, faculty members, Departments, Higher Education
  • Reyhaneh Rahemei *, Ali Delavar, Jalil Younesei, Zohreh Sadat Naserei Pages 205-227

    Cognitive Diagnostic Assessment is a type of educational assessment that serves to identification and diagnosis of the learning disabilities through the application of psychometric models. Presence of numerous models, makes it crucial choose an appropriate Cognitive Diagnostic Model for data analysis. The purpose of this study was to determine a fitting model for reading comprehension tests. The examined data in this study were included responses from 3,000 participants in the Graduate Entrance Exam for English language field, which were selected randomly out of 16044 people. After Creation of matrix Q, two general models (G-DINA and LCDM), two compensatory models (ACDM and DINO) and two non-compensatory models (RRUM and DINA) were considered for comparison. In terms of Chi-squared maximum Fit Index, none of the models were fitted; but in contrast the results of SRMSR index showed that the fit of all data were acceptable with the data. A comparison of Relative Fit Indices cleared that G-DINA and ACDM models have a stronger fit and DINO and DINA have a poorer fit in comparison to the other models. Also, investigating the Question Fit index showed that only G-DINA and LCDM have a fit with all questions.

    Keywords: Cognitive Diagnostic Assessment, Matrix Q, General Model, Compensatory Model, Non-Compensatory Model
  • Farhad Seraje *, Neghar Shakouri Pages 229-260

    The study was aimed at identifying parent involvement (PI) barriers in qualitative evaluation (QE) and applied phenomenological qualitative research. For this purpose, semi- structured interview with 35 parents of 6th grade students was conducted, and sample was selected by extreme (opposition) and intensify (proponents) sampling methods. Data analysis revealed 89 base, 15 organizers and 6 comprehensive themes, which are the lake of parental awareness of the basics and characteristics of qualitative evaluation (QE), improper understanding of teachers from parents’ participation in qualitative evaluation (QE), lack of parents’ knowledge from their responsibility, governing quantitative evaluation methods and structure on formal and informal education system, parents’ experiences from education system and socio- cultural factors. According to the findings, suggestions are presented for future researches and Practical solutions.

    Keywords: qualitative evaluation, Parent involvement, Curriculum, Public barriers, Specific barriers