Сервер “Телекоммуникационные технологии” и программа проверки и оценки знаний студентов

Семенов Ю.А. (ИТЭФ/МФТИ)

Программа проверки и оценки знаний студентов находится в эксплуатации уже около 8 лет (смотри knowtest.itep.ru), неоднократно обновлялась и дополнялась. Она была создана для проверки знаний студентов кафедры “Телекоммуникационные сети и системы” Московского Физико-технического института по курсам “Каналы передачи данных” и “Протоколы Интернет”.

Программа написана на языке PERL, использует HTML и JavaScript и по этой причине может работать как в среде Windows, так и LINUX. Установки каких-либо баз данных не требуется..

Программа модульная и управляемая с помощью конфигурационных файлов. Файлы вопросов имеют HTML-формат. Вопросы могут содержать рисунки в соответствии с требованиями современных WEB-технологий (gif, jpg)..

Вопросы выбираются из списка (файлов вопросов) псевдослучайным образом, повторения вопросов в пределах одного теста исключаются. Полное число вопросов по курсу и число вопросов, задаваемых в отдельном тесте, задаются текстовым конфигурационным файлом. В настоящее время полное число вопросов по курсу “Каналы передачи данных” равно 172, а число вопросов по курсу “Протоколы Интернет” достигает 185. Реальное же число вопросов, задаваемых во время одной сессии тестирования может лежать в диапазоне от 25 до 30 (задается конфигурационным файлом). Этого числа вопросов вполне достаточно, чтобы оценить знания с ошибкой менее полбалла.

Для каждого вопроса предлагается четыре ответа. Правильным может быть один ответ, два, три, четыре или ни одного. Испытуемый может, таким образом, выбрать 0, 1, 2, 3 или все четыре ответа. Вероятность случайного угадывания становится равна 1/16, а не ¼. Каждый ответ при вычислении итоговой оценки имеет определенный весовой коэффициент. Вариация весов позволяет выровнять вклад разных вопросов и ответов в итоговую оценку.

Сегодня настало время критично посмотреть на многие алгоритмы и характеристики, ставшие уже привычными. Сначала попытаюсь отметить те особенности сетей, которые не отвечают требованиям времени.

Каждая запись в файле вопросов содержит вопрос и четыре ответа. Как вопрос, так и все ответы размещается на отдельных строках без символов переноса. Далее следует строка оценок ответов – четыре целых числа (весовые коэффициенты), характеризующие оценку ответов. Эти числа могут быть как положительными, так и отрицательными, обычно они лежат в диапазоне от -4 до +4. На седьмой строке рекорда размещается URL-ссылка на раздел сервера “Телекоммуникационные технологии” ( book.itep.ru), к которому относится вопрос. Эта ссылка будет помещена в итоговое резюме теста, если испытуемый дал неверный ответ на данный вопрос. Рекорды отделяются друг от друга свободной строкой. Вопросы неизбежно имеют разную сложность, предлагаемые ответы, также обладают не равную сложность распознавания. Весовые коэффициенты позволят выровнять эту неэквивалентность.

Сумма весовых коэффициентов ответов ≤ 0. Оценка ответа равна где p_i – весовые коэффициенты ответов, выбранных испытуемым, k – число выбранных ответов. Результат тестирования при заданных 25 вопросах характеризуется R= , где j – номер вопроса. Эта сумма может даже оказаться <0 (если дано много неверных ответов). Максимально возможная сумма R_max=100. Конкретная случайная выборка вопросов теста может дать значение R_max, отличное от 100. Для вычисления оценки теста производится расчет суммы S_max= для этого теста. Значение этой суммы и число задаваемых вопросов (в рассматриваем варианте = 25) и определяет уровни, которые задают выставляемый балл по результату тестирования.

Многолетняя практика показала, что если студент стабильно получает оценку от программы выше трех баллов, то он вполне удовлетворительно усвоил данный курс.

Сервер “Телекоммуникационные технологии”, который является основой для организации учебного процесса по указанным выше курсам, был создан в 1998 году и к настоящему времени содержит данные, объем которых составляет более 3500 страниц (формат А4) и более 900 рисунков. Материалы сервера базируются на текстах четырех монографий автора. Это наиболее крупный и постоянно обновляемый русскоязычный сервер по данной тематике в России. К настоящему времени зарегистрировано более 115000 посещений из более чем 40 стран мира (данные Rambler) и это при том, что сервер является русскоязычным. Распределение посещений по странам может характеризовать число русскоязычных специалистов в области телекоммуникаций, работающих в этих странах.

Различными фирмами и отдельными энтузиастами создано более 10 копий сервера в РФ (CitForum и др. в Москве, OpenNet в Санкт-Петербурге, в Пензе, Ставрополе, Дубне, Октябрьске и т.д.), в Украине (Донецк) и Эстонии (Тарту), что облегчает для желающих доступ к информации сервера.

Работа доложена на Всероссийском форуме "Образовательная среда - 2006" (III Всероссийская научно-практическая конференция "Образовательная среда сегодня и завтра", Москва, ВВЦ, 28 сентября 2006 года, стр. 524.