Влияние системы оценивания на образовательные результаты студентов среднего профессионального образования
(на примере дисциплины «Математика»)
Черемухин Артем Дмитриевич
кандидат экономических наук, доцент кафедры «Математика и вычислительная техника» Нижегородский государственный інженерно-экономический университет (г. Княгинино, Российская Федерация)
Колодкина Нина Николаевна
старший преподаватель кафедры «Математика и вычислительная техника» Нижегородский государственный инженерно-экономический университет (г. Княгинино, Российская Федерация)
Аннотация
В настоящее время активно идет процесс реформирования и перезагрузки среднего профессионального образования (СПО), направленный на интеграцию системы СПО и сектора экономики. СПО нуждается в обновлении системы оценивания новых образовательных результатов с целью качественной подготовки будущих специалистов. Авторы считают, что балльно-рейтинговая система (БРС) оценки результатов обучения является одной из таких форм.
В статье рассматривается практический опыт использования балльно-рейтинговой системы для среднего профессионального образования первокурсников на примере дисциплины «математика». Считается, что внедрение БРС в образовательный процесс как способа эффективного и объективного оценивания учебной деятельности способствует развитию мотивации, систематизации учебной работы, повышению самостоятельности обучающегося. Целью статьи является проверка статистической гипотезы о наличии / отсутствии зависимости результатов обучения студентов первого курса среднего профессионального образования от применяемой системы оценивания на примере дисциплины «математика». Исследование построено на следующих данных: оценка по математике в аттестате, оценка за входной контроль, за текущий контроль, за промежуточную аттестацию.
Полученные результаты исследования позволяют сделать выводы о независимости результатов промежуточной аттестации первокурсников от выбранного типа системы оценивания.
Ключевые слова: среднее профессиональное образование, математика, система оценки, балльно-рейтинговая система, традиционная система, статистический тест, дисперсионный анализ, входной контроль, промежуточная аттестация, подтверждаемость оценок.
Abstract
INFLUENCE OF THE ASSESSMENT SYSTEM ON THE EDUCATIONAL RESULTS OF STUDENTS OF SECONDARY VOCATIONAL EDUCATION (ON THE EXAMPLE OF THE DISCIPLINE "MATHEMATICS")
CHEREMUHIN Artem D.
PhD in economic sciences, associate professor of the department of «Mathematics and computer science»
Nizhny Novgorod State Engineering and Economic University (Knyaginino, Russian Federation)
KOLODKINA Nina N.
Senior lecturer at the department of «Mathematics and computer science»
Nizhny Novgorod State Engineering and Economic University (Knyaginino, Russian Federation)
Currently, the process of reforming and rebooting secondary vocational education is actively underway, aimed at integrating the secondary vocational education system and the economic sector. Secondary professional education needs to update the system for measuring new educational results in order to ensure high-quality training of future specialists. The authors believe that the point-rating system for assessing learning outcomes is one of these forms.
The article provides practical experience in using BRS with the system of secondary vocational education for first-year students in the discipline «Mathematics». It is believed that the introduction of BRS into the educational process, as a way of effective and objective assessment of educational activities, contributes to the development of motivation, systematization of educational work, and increased student independence. The purpose of the article is to test the statistical hypothesis in the presence/absence, regardless of the learning outcomes of first-year students of secondary vocational education, using an observation system using the example of the discipline «Mathematics». The study is based on the following data: grade in mathematics in the certificate, grade during the entrance test, grade during ongoing control, intermediate certification.
The results of the study allow us to draw conclusions about the independence of the results of the intermediate certification of first-year students by type of measurement system.
Keywords: secondary vocational education, mathematics, grading system, point-rating system, traditional test system, statistical, analysis of variance, entrance control, intermediate certification, grade confirmability.
Современный этап развития педагогики как науки характеризуется широкой дискуссией о роли и корректных практиках применения аналитических и квалиметрических методов в педагогических исследованиях. Особенно актуально их использование при рассмотрении гипотез об эффективности того или иного инструмента.
В последнее время также много говорится о необходимости разработки новых систем оценки обучающихся, в частности о необходимости внедрения балльно-рейтинговой системы. В настоящее время активно идет процесс реформирования и перезагрузки среднего профессионального образования, направленный на интеграцию системы среднего профессионального образования и сектора экономики. Система СПО нуждается в обновлении системы оценивания новых образовательных результатов в виде формируемых компетенций, разработке практикоориентированных фондов оценочных средств с целью качественной подготовки будущих специалистов. Однако очень небольшое количество исследований содержат статистически обоснованные выводы о сравнительной эффективности разных систем оценки, в то время как данный вопрос кажется авторам данной статьи важным и интересным.
Опытом применения балльно-рейтинговой системы оценки результатов обучения в процессе освоения образовательной программы в своих исследованиях поделились многие педагоги образовательных организаций [1-14]. Рейтинговая система оценки успеваемости студентов вузов, введенная приказом Министерства образования РФ с 2002 г., была интерпретирована образовательными организациями по своему усмотрению, при этом они руководствовались методическими рекомендациями. Внедрение в систему менеджмента качества, составление рейтингов, определение рейтингов и их количества, распределение баллов определялись субъективным характером образовательной организации. В образовательных организациях были разработаны положения по введению новой системы оценивания, в которых определение самой системы трактовалось по -разному: БРС оценки, модульно-рейтинговая система оценивания, рейтинговая оценка успеваемости, модульно - рейтинговая технология обучения, рейтинговая система оценки качества, модульно-рейтинговая оценка качества образования, модульно-рейтинговая технология оценки достижений.
На основании изученной литературы, посвященной балльно -рейтинговой системе, можно говорить, что она действенна не только в высшем образовании, но и в СПО. Многие исследователи склоняются к мнению, что внедрение БРС в образовательный процесс способствует развитию мотивации к учебной деятельности [15; 16], рассматривают БРС как средство систематизации учебной работы обучающегося, повышения самостоятельности [17], а также как способ эффективного и объективного оценивания [17], БРС выделено как средство «повышения посещаемости» занятий [18], возможность применения более точной оценки за счет увеличенной шкалы оценивания [19; 20], как способ решения вопросов информационно-методического обеспечения [21]. Мнения большинства практикующих педагогов сводятся к тому, что балльно - рейтинговая система оценивания учебных достижений способствует выявлению уровня подготовки обучающегося, позволяет управлять и корректировать процесс при освоении образовательной программы.
В Княгининском университете реализуется несколько специальностей среднего профессионального образования. При этом экономические и информационные специальности оцениваются с помощью БРС, а инженерные специальности - по традиционной системе. Надо сказать, что условия реализации образовательных программ высшего образования отличаются от программ СПО, учебные планы последних ежегодно претерпевают изменения, удовлетворяя требованиям ФГОС, вносимым изменениям в документы, регламентирующие деятельность в образовательной организации, что приводит к актуализации учебно-методической документации, в том числе и процедуры оценивания.
Рассмотрим суть применяемой балльно-рейтинговой системы в СПО и влияние выбранной системы оценивания на результат промежуточной аттестации первокурсников. На основании принятого положения о БРС в вузе, а также положения о фонде оценочных средств преподавателями СПО по каждой дисциплине были разработаны технологические карты, в которых указывались средства и способы набора баллов студентом в течение семестра. Общая система оценивания включала в себя следующие составляющие: посещаемость, контроль знаний, активность на занятии, внеаудиторная деятельность, промежуточная аттестация.
В течение семестра обучающийся может набрать до 70 баллов. Промежуточная аттестация проводится в форме экзамена и оценивается в 30 баллов. В текущий контроль включены обязательные контрольные точки: входной контроль и контрольные работы (суммарное максимальное значение 50 баллов), результаты которых существенно влияют на итоговую оценку. В кумулятивную оценку также входят оценки за активность студента на занятии, где можно заработать от 0 до 3 баллов, оценка научно-исследовательской деятельности студента в рамках дисциплины (при наличии), дополнительные баллы за своевременность, а также посещаемость. Посещаемость занятий суммарно оценивается в 5 баллов (поскольку данный фактор не основной). Система не наказывает за отсутствие на занятиях, но стимулирует к вовлеченности по изучению материала на занятиях. Оценка «отлично» выставляется при наборе баллов от 86 до 100, «хорошо» - 71-85, «удовлетворительно» - 51-70, «неудовлетворительно» - меньше 51 балла. Также баллы можно набрать, участвуя во внеаудиторных мероприятиях, организованных кафедрой. Рейтинг студента по дисциплине определяется как сумма накопленных баллов, за семестр - как среднее значение по всем изученным дисциплинам.
В электронной информационно-образовательной среде вуза на странице дисциплины размещается электронный журнал, который позволяет обучающимся контролировать и регулировать свою успеваемость, побуждая к активной учебной деятельности.
Статистический анализ, включающий сравнения традиционной и балльно-рейтинговой системы оценивания, даст возможность сделать выводы об эффективности используемой системы, а также поспособствует поддержке и развитию профессионализма педагогов.
В целом данная статья посвящена проверке статистической гипотезы о наличии / отсутствии зависимости результатов обучения студентов среднего образования от применяемой системы оценивания на примере дисциплины «математика» на данных, собранных на студентах Княгининского университета (Нижегородская область).
Для проведения исследования была собрана база данных результатов студентов СПО со следующей информацией:
- итоговая оценка по математике в аттестате (если присутствуют оценки по алгебре и геометрии, вычисляется средняя арифметическая);
- оценка студента за входной контроль (входной контроль проводится на первом занятии по модифицированным вариантам ОГЭ);
- оценка студента за текущий контроль в первом семестре (текущий контроль проводится в середине семестра);
- оценка студента за первый семестр (при этом бралась первая оценка по ведомости);
- оценка студента за текущий контроль во втором семестре;
- оценка студента за второй семестр.
Данная информация собиралась по результатам освоения общеобразовательной дисциплины «Математика» на 1 -м курсе обучения студентами специальностей «Бухгалтерский учет, анализ и аудит», «Информационные системы и технологии», «Сети связи и системы коммутации», «Электрификация и автоматизация сельского хозяйства», «Механизация сельского хозяйства» за 2019-2021 гг. Указанную дисциплину вели разные преподаватели, которые применяли традиционную или балльно - рейтинговую систему.
Проверка предположения о равенстве средних величин оценок проводилась с помощью:
- проверки статистических гипотез о равенстве средних значений оценок по контрольным мероприятиям среди двух совокупностей студентов - оцененных по традиционной или балльной-рейтинговой системе;
- дисперсионного анализа с оценками по контрольным мероприятиям в качестве зависимой переменной и независимыми переменными, обозначающими год обучения, направление обучения, используемую систему оценки.
Всего были собраны данные по 318 студентам, 101 из которых оценивались по балльно-рейтинговой системе, 217 -по традиционной системе оценок; из выборки 91 студент учился на первом курсе в 2019 г., 128 студент - в 2020 г., 99 студент - в 2021 г.
В выборку вошли 76 студентов, учащихся по специальности «Бухгалтерский учет, анализ и аудит», 79 студентов, учащихся по специаьности «Информационные системы и технологии», 25 человек, учащихся по специальности «Сети связи и системы коммутации», 46 человек, учащихся по специальности «Электрификация и автоматизация сельского хозяйства», 92 человека, учащихся по специальности «Механизация сельского хозяйства»; 135 студентов поступило с оценкой «удовлетворительно» в аттестате, 92 студента - с оценкой «хорошо», 11 студентов - с оценкой «отлично».
Все расчеты проводились с использованием языка R. Проверка статистических гипотез о равенстве средних значений осуществлялась с использованием пакета функций ggbetweenstats пакета ggstatsplot, который реализует t-тест Уэлша. Результаты исследования оценок входного контроля показали следующее:
- гипотеза о равенстве средних оценок по итогам входного контроля для разных направлений подготовки в целом может быть опровергнута. Статистически значимо снижение среднего балла для групп, обучающихся по специальностям «Электрификация и автоматизация сельского хозяйства», «Механизация сельского хозяйства» по сравнению с остальными (соответствующие р-значения равны 4.55e-09);
- гипотеза о равенстве средних оценок по итогам входного контроля для студентов набора разных лет не может быть опровергнута (значение критерия равно 2.95, р-значение равно 0.06);
- гипотеза о равенстве средних оценок по итогам входного контроля для студентов с разным баллом аттестата может быть опровергнута (значение критерия равно 6.58, р-значение равно 0.0078). Для студентов с оценкой «удовлетворительно» в аттестате средний балл входного контроля равен 2.49; с оценкой «хорошо» - 3.07; с оценкой «отлично» - 3.57. Подтверждаемость оценок аттестата равна: для оценки «удовлетворительно» - 30 %, для оценки «хорошо» - 41 %, для оценки «отлично» - 14 %.
Результаты исследования оценок промежуточной аттестации по итогам I семестра показали следующее:
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации в I семестре для разных направлений подготовки в целом может быть опровергнута (значение критерия равно 11.76, р-значение равно 1.27е-07). Статистически значимо увеличенное значение величины среднего балла в группах специальностей «Бухгалтерский учет, анализ и аудит», «Информационные системы и технологии» (частные р-значения равны 2.48е-05 и 5.74е-04); оценивание студент профессиональное образование