КОМПЬЮТЕРНОЕ ТЕСТИРОВАНИЕ КАК СОВРЕМЕННАЯ ФОРМА ЭКСПРЕСС-КОНТРОЛЯ ЗНАНИЙ

В статье приводится информация о разработке компьютерной программы тестирования знаний студентов по дисциплинам кафедры инженерной графике БГУИР и ее внедрении в учебный процесс.

Учебный процесс принято рассматривать как распределенный во времени процесс формирования требуемых знаний. Управлять и корректировать процесс можно лишь на основании данных контроля над его течением. Выделяют следующие основные этапы контроля знаний:

Формы контроля, применяемые преподавателями, очень разнообразны, но наиболее часто используются письменный или устный опросы. Недостатком устного опроса является относительно большая затрата времени при небольшом количестве выставляемых за занятие оценок, при проведении письменных работ количество оценок возрастает, но много времени уходит на проверку.

Наиболее популярной формой контроля знаний в последнее время становится компьютерный экспресс-контроль с использованием следующих известных программ. Айрен – это бесплатная программа, позволяющая создавать тесты для проверки знаний и проводить тестирование в локальной сети, через интернет или на одиночных компьютерах. TestTurn – это бесплатная программа для проведения тестирования от VeralSoft. Основные возможности: многопользовательский режим работы, хранение и возможность печати подробных протоколов выполнения теста, выставление оценки за тест с применением различных профилей оценок, администратор программы может управлять пользователями, тестами, просматривать результаты тестирования всех пользователей, изменять настройки программы. Усовершенствованный профессиональный пакет программ для разработки и проведения тестов VeralTest является платным. MyTestXPro – это система программ для создания и проведения компьютерного тестирования знаний, сбора и анализа результатов. С помощью программы MyTestXPro возможна организация и проведение тестирования, экзаменов в любых образовательных учреждениях (вузы, колледжи, школы) как с целью выявить уровень знаний по любым учебным дисциплинам, так и с обучающими целями.

Кафедрой инженерной графики БГУИР были рассмотрены и проанализированы и другие схожие программные продукты на предмет применения их для оценки знаний студентов. В ходе проведения оценки эффективности имеющегося на рынке программного обеспечения для контроля знаний было установлено, что ни один из рассмотренных программных продуктов не удовлетворяет нашим требованиям. Большинство программ не позволяют работать с графическими файлами в полной мере, например менять масштаб картинки во время тестирования, если изображение графической части достаточно сложное или насыщенно мелкими фрагментами. Также подвергается большому сомнению безопасность подобных систем, не говоря уже о том, что некоторые вообще не имеют какой-либо защиты от взлома. Часть из рассмотренных систем контроля имеет весьма запутанный интерфейс, когда просто не знаешь «А что надо делать дальше?». Такие системы требуют дополнительного времени на их изучение за счёт учебных часов. Далее, не все программы поддерживают дифференцированную систему оценки, т.е. когда правильные ответы на вопросы большей сложности имеют больший вес при выставлении финальной оценки, и наоборот. Кроме того, хотелось бы иметь древовидную структуру тестов, которые можно относить к общим темам, а темы к одному разделу. Нами был сделан вывод, что программ, в полной мере обеспечивающих все необ-ходимые требования к экспресс-контролю знаний студентов по инженерной графике нет. А имеющееся программное обеспечение подходит лишь частично в большей или меньшей степени, что заставляет подстраиваться под эти программы. В связи с этим было решено разработать свое собственную программное обеспечение.

В условиях работы по новым стандартам (БГУИР в 2013 году перешел на 4-летнее обучение), когда существенно уменьшилось количество учебных часов, отпущенных на освоение дисциплин кафедры инженерной графики, было решено, что наиболее целесообразно проводить экспресс-контроль знаний в форме компьютерного тес-тирования, которое позволяет достаточно точно оценить знания студента за малый временной промежуток по всем темам предмета. Как известно тестирование в учебном заведении выполняет три основные взаимо-связанные функции: диагностическую, обучающую и воспитательную:

Компьютерное тестирование позволяет:

При создании программы экспресс-контроля знаний были сформулирования следующие вопросы, требующие ответов: «что контролировать?», «когда контролировать?» и «как контролировать?». Кроме того, необходимо было минимизировать время тестирования для того, чтобы больше времени уделить процессу обучения. Было разработано «техническое задание» в соответствии с ГБ НИР № 11-2005, выполняемой на кафедре инженерной графики БГУИР, согласно которому устанавливались следующие критерии тестирования:

- время тестирования 20-35 мин;

- тестовая карта должна включать условие задачи и четыре варианта решения, из которых только один верный;

- охват всех изучаемых по курсу тем;

- возможность тестирования по одной или нескольким темам;

- случайный порядок подачи тестов по теме и вариантов возможных ответов;

- возможность зуммирования графических изображений вопросов и ответов для детализации их мелких фрагментов;

- автоматическая обработка результатов с выставлением оценки знаний по 10-бальной шкале;

- учет времени, затраченного на ответы, и возможность ограничения этого времени;

- защита от взлома;

- возможность просмотра результата решения по каждому вопросу.

В соответствии с учебной программой были определены темы изучаемых дисциплин, по которым планировалось осуществлять тестирование и составлен перечень конкретных вопросов по каждой теме. Были установлены следующие требования к тестам:

Разработанная программа тестирования знаний (рис.1, рис.2) написана на языке HTML с применением технологий XML и JavaScript. Отличительной ее особенностью является то, что тестирование можно проводить не только очно, но и дистанционно - через Интернет: достаточно ввести адрес сервера кафедры, на котором расположена программа и при наличии любого браузера получить доступ к системе контроля и пройти тест. Программа, являясь открытым программным продуктом, позволяет проводить проверку знаний в интерактивном режиме, через модуль мастера тестов исправлять и добавлять информацию тестовых заданий, корректировать содержание ответов, заменять текст, изменять графические элементы заданий, изменять критерии автоматической оценки уровня знаний (рис.3, рис.4). Программа снабжена простым и интуитивно понятным интерфейсом на русском языке. Имеется возможность настройки интерфейса пользователем.

В заключение необходимо отметить, что разработанная программа компьютерного тестирования знаний хорошо вписывается во внедренную в БГУИР модульно-рейтинговую систему обучения и позволяет оперативно осуществлять текущий мониторинг успеваемости студентов.

Список литературы

1. Майоров А.Н. Теория и практика создания тестов для системы образования. - М., «Интеллект центр», 2001. - 296 с.

2. Булатова И. С. Текстовые задания по инженерной графике : метод. указания / И. С. Булатова, О. В. Соколова. – Хабаровск: изд-во ДВГУПС, 2012 – 27 с.

3. Кривицкий Б. Х. К вопросу о компьютерных программах учебного контроля знаний // (Международный электронный журнал). Educational Technology & Society 7(2) 2004, pp.158 – 169.

4. Прокофьева Н.О. Вопросы организации компьютерного контроля знаний // (Меж-дународный электронный журнал). Educational Technology & Society 9(1) 2006, pp.433 – 440.

5. Углев В. А. Обучающее компьютерное тестирование // Теоретические и приклад-ные вопросы современных информационных технологий: Материалы VIII Всерос-сийской научно-технической конференции. - Улан-Удэ: ВСГТУ, 2007. - С. 312 – 316.

6. Рудинский И. Д., Аскеров Э.М., Емелин М.А., Строилов Н.А. Принципы и технологии создания интегрированной автоматизированной системы контроля знаний // Информационные технологии в образовании и науке: Сб. трудов ВНПК. - М., 2006, С. 17-35.

7. Аванесов В. С. Форма тестовых заданий. Учебное пособие. Второе издание -М.: Центр Тестирования, 2005. –155с.

Рисунки к докладу

Стартовая страница системы тестирования

Рабочее окно прохождения теста

Панель управления тестами

Панель создания нового теста

Лепаров Михаил Николаевич (23 февраля 2016 г. 23:39)	Здравствуйте, уважаемые Михаил Васильевич и Владимир Алексеевич! Спасибо большое за доклад. Вы пишете „диагностическая функция заключается в выявлении уровня знаний, умений, навыков учащегося”. Вопрос: каким образом проверяете умений и навиков учащегося? Пожалуйста, извините мой русский. мл
Дударь Елена Сергеевна (24 февраля 2016 г. 9:33)	Уважаемые коллеги, Михаил Васильевич и Владимир Алексеевич! С большим интересом прочитала Ваш доклад. Вопрос создания базы тестовых заданий всегда актуален, а опыт реализации вызывает интерес.   В Вашем докладе в перечне критериев тестирования указан «учет времени, затраченного на ответы, и возможность ограничения этого времени». Буду признательна, если Вы  подробнее осветите это положение.  Как происходит реализация этого критерия на практике? Как он влияет на итоговую оценку? С наилучшими пожеланиями, Елена С. Дударь
Столер Владимир Алексеевич (25 февраля 2016 г. 18:59)	Спасибо за вопрос уважаемый Михаил Николаевич! Хороший вопрос, так как для себя мы еще раз сформулировали эти понятия: знания, умения и навыки. По определениям: Знание -  это совокупность сведений в какой-нибудь области. Это самое общее выражение для обозначения теоретической деятельности ума. Умение - освоенный субъектом способ выполнения действия, обеспечиваемый совокупностью приобретенных знаний и навыков; способность выполнять некое действие по определенным правилам, причем действие еще не достигло автоматизма. Формируется путем упражнений и создает возможность выполнения действия не только в привычных, но и в изменившихся условиях. Навыки - действия, которые в результате длительного повторения становятся автоматическими. Овладеть знаниями (т. е. теорией) еще не означает успешно решить задачу. При тестировании студент должен  найти правильный ответ из нескольких в течение малого временного промежутка. Это возможно, если студент имеет теоретические знания и  умеет применить эти знания на практике (т. е. владеет методикой  решения) и может применить эту методику для решения «незнакомой» задачи, что предполагает обладание опытом (т. е. практическими навыками решения достаточно большого круга задач). Таким образом, получается, что компьютерное тестирование, которое, как правило, производится в форме экспресс-контроля (быстрого контроля), позволяет оценить и знания, и умения и навыки.
Столер Владимир Алексеевич (25 февраля 2016 г. 19:06)	Спасибо за вопрос уважаемая Елена Сергеевна! Вы правы, действительно в рамках выделенных на изучение графических дисциплин  учебных часов, которые у нас за последние 10 лет уменьшились вдвое, актуальным становится введение в учебный процесс тестов и поддерживающих их программ. Ответ на ваш вопрос. На каждый тест, состоящий например из 10 вопросов, отведено определённое количество времени, которое указывается преподавателем с точностью до 1 минуты при формировании конкретного теста в режиме администрирования. Если студент успел ответить на все вопросы теста  за отведённое время , то в итоговой оценке учитывается процент правильных ответов. При этом имеется возможность учета сложности задания.  Если же студент ответил не на все вопросы теста, а время, отведённое на тестирование уже закончилось, то вопросы, на которые не были даны ответы приравниваются к вопросам, на которые ответили с ошибкой. Что и учитывается при итоговой оценке.
Лепаров Михаил Николаевич (25 февраля 2016 г. 21:26)	Здравствуйте, уважаемый Владимир Алексеевич! Спасибо за ответ. Понял все, что Вы сказали, а думаю- и то что Вы не сказали. У меня серезные сомнения, что можно разграничить знаний, умений и навики путем обычного компютерного тестирования. У нас тоже есть тесты. Наши наблюдения показывают, что большенство студентов просто запоминают ответы методом многократного тренировки тестом (есть у нас такой режим). Сам я пробовал примерно 10 раз решать тестов случайным ответом- в 3 раза у меня получилось оценка тройку. Пожалуйста, извините мой русский. С уважением мл
Столбова Ирина Дмитриевна (25 февраля 2016 г. 21:32)	Здравствуйте, уважаемый Владимир Алексеевич! Спасибо за представленный доклад. Наша кафедра тоже давно занимается разработкой автоматизированного контроля. И мне хотелось все-таки уточнить вопрос, который задал Михаил Николаевич. Т.к. теоретическое определение знаний, умений и навыков, наверное, большинство присутствующих знает или всегда может найти, например, в Википедии. Хотелось практической информации. 1. Какими типами вопросов Вы проверяете именно знания, или именно умения, или навыки?  Структурирована ли у Вас по этим признакам база тестовых заданий? 2. Проводится ли у Вас анализ и выдаются ли рекоменлации студентам по результатам тестирования, в каких темах у них пробелы или уровнях познавательной деятельности (ЗУНах)? 3.Чем определяется сложность вопросов - его типом или содержанием? 4. Как организуется процедура тестирования? Если на занятиях для текущего контроля, то занятия д.б. в компьютерном классе по расписанию? Или в режиме самотестирования? Проводите ли Вы рубежный автокрнтроль (вместо или вместе с контрольными работами)? Применяете ли его на экзаменах? Извините за большое количество заданных вопросов, но для нас это актуально. С уважением, И.Столбова
Столер Владимир Алексеевич (26 февраля 2016 г. 16:02)	Здравствуйте уважаемая Ирина Дмитриевна! Спасибо за организацию на базе вашего вуза такой прекрасной конференции. Всегда с интересом читаю и доклады и вопросы и комментарии к ним. Хочу задать Вам вопрос не по теме нашего доклада. Меня интересует организация учебного процесса на кафедре. Какие дисциплины преподаются кафедрой, сколько часов выделяется на их изучение, и есть ли деление групп на подгруппы 12-15 студентов (и чем регламентировано это -приказ Минобра СССР №230 от 5.04.1984г ??).Занятия проводятся в чертежных классах и компьютерных и в каком соотношении?. Все ли задания выполняется студентами на компьютере. В каком виде оформляются работы студентов - альбомы ?, и есть ли так называемые рабочие тетради-практикумы для решения геометрических задач? Можно ответ отправить на мою е-почту. Заранее благодарен, с уважением Столер В.А.
Сальков Николай Андреевич (3 марта 2016 г. 4:29)	Здравствуйте, Михаил Васильевич и Владимир Алексеевич. В действительности такой экспресс-контроль необходим, чтобы студенты на 4 месяца не расслаблялись и были в тонусе, чтобы понять, учатся ли они или просто так тусуются в вузе. Но осуществить монитогинг действительной успеваемости - это сделать невозможно: таким образом мы будем скатываться к пресловутому ЕГЭ. Это я как автор пары тысяч тестов для ФЭПО могу утверждать. Только человек может определить и возможности учащегося, и его потенциал. С уважением, Н. Сальков.
Столер Владимир Алексеевич (4 марта 2016 г. 17:49)	Здравствуйте, уважаемый Николай Андреевич ! Спасибо за комметарий к докладу, если учесть вашу занятость как главного редактора журнала "Геометрия и графика", и особенно в деле продвижения его статуса. Я согласен с вами, что только при очном общении можно определить и возможности студента, и его потенциал. Были в свое время и устные экзамены и коллоквиумы, затем экзамены в письменном виде и консультации, теперь тесты, да еще с возможностью дистанционного участия студентов. Реалии диктуют свои условия жизни или скорее выживания. Учебные часы постоянно уменьшаются, занятия и их вид "оптимизируется", еще и экономические факторы делают свое дело. Даже тесты упрощаются. Ранее предлагалось 6-10 ответов для выбора, из которых могли быть и все правильные и ни одного, или любое их соотношение. Была основная цель – автоматизировать процесс контроля знаний и их оценивания, убрать субъективизм и рутинность. Теперь как вы и отметили, основная цель - пытаться держать студентов в тонусе и заставить их учиться, ну и модульно-рейтинговая система не в обиде. С уважением, В. Столер
Столер Владимир Алексеевич (4 марта 2016 г. 18:31)	Здравствуйте Ирина Дмитриевна! Пользуясь случаем, поздравляю вас с приближающимся днем 8 Марта, желаю вам праздничного настроения и творческих успехов. Извините за долгий ответ на ваши вопросы. Надеялся , что соавторы включатся в беседу. Все вопросы тестов делятся на 3 раздела: начертательная геометрия, техническое черчение, САПР и основы компьютерной графики. Темы входящие в разделы, содержат и теоретические и практические вопросы в виде текста или графики или в сочетании. С теоретическими вопросами мы связываем полученные студентом знания, с практическими - приобретенные им умения и навыки. Коэффициент сложности вопроса для расчета итоговой оценки по тесту мы присваиваем исходя из своего представления о нем и опыта проведения предыдущих тестов. Со студентами обсуждение результатов теста проводится только при интересе самих студентов к этим результатам, или если средний бал группы низок, или с тем студентом у кого неудовлетворительная оценка. Пробелы бывают в разных темах – группа на группу и год на год не приходится. И тут самые разные причины, которые не коррелируются. Тесты как правило проводятся во время практических занятий в течении 20-30 минут. Некоторые преподаватели наряду с тестами проводят и контрольные работы, если считают, что подготовленные вопросы в тестах не полно отражают изучаемую тему. Для конструкторских специальностей, где предусмотрен экзамен, тесты проводятся в семестре три раза. Результаты тестов могут быть учтены лектором на экзамене. Для информационных специальностей предусмотрен простой зачет (ранее был диф. зачет), поэтому результаты тестов мы стараемся максимально учитывать для студентов не пропустивших занятия. Студенты, пропустившие 30% и более занятий и допущенные к зачету, выполняют письменную работу. С уважением, В. Столер