что такое прокторинг на экзамене
Прокторинг: экзаменатор в каждый класс, включая виртуальный
Иван Ветошкин
25 августа 2020 • 16:30
Распространение дистанционных форм обучения и проверки знаний требует внедрения современных средств контроля за поведением экзаменуемых. Списать онлайн всегда легче, чем под пристальным взором преподавателя. «Педсовет» совместно с Softline рассказывает о передовой технологии — автоматизированном прокторинге.
1. Что такое прокторинг?
Чёткого определения этого слова пока нет. Если обобщить существующие варианты, получится, что прокторинг — это процесс дистанционного наблюдения и контроля над тестированием, позволяющий следить за соблюдением правил. Сейчас он используется в дистанционном обучении, на экзаменах и при тестировании кандидатов на собеседованиях.
Раньше контролем занимались по видеосвязи специально обученные прокторы, а сейчас всё большую популярность приобретают автоматизированные системы прокторинга, при использовании которых подключение проктора требуется лишь эпизодически.
2. Кто такие прокторы?
Проктор звонит по видеосвязи тестируемому, просит подтвердить свою личность и намерение сдавать экзамен. После этого он предлагает показать свой экран, дает доступ к заданиям, запускает отсчёт времени и следит за нарушениями. Если проктор фиксирует нарушение, он делает в системе пометку. Если пометок набирается несколько, экзамен останавливается. Проктор может остановить его сразу, если нарушение было серьёзным — например, в кадре веб-камеры появился другой человек или тестируемый уходил из кадра.
Естественно, один проктор мог следить таким образом только за одним тестируемым за раз, и такая процедура достаточно дорога.
3. Как устроен автоматизированный прокторинг?
Принцип работы системы тот же, но проктору уже не обязательно постоянно следить за тестируемым. Для экзаменуемого сеанс прокторинга может выглядеть по-разному, но суть всегда неизменна: он входит в систему через браузер, система сама собирает данные с его веб-камеры, микрофона и экрана компьютера (движения курсора, нажатия клавиш на клавиатуре), подтверждает его личность и фиксирует нарушения.
Данные о нарушениях в режиме реального времени передаются организатору, который принимает решение, остановить экзамен для этого конкретного человека или нет. Есть системы, принимающие это решение сами, без участия организатора.
4. Какие именно нарушения может фиксировать система прокторинга?
подмену сдающего (когда тест за ученика сдает его родственник или знакомый);
списывание (если открыть во время теста другую вкладку браузера или программу на компьютере, система посчитает это нарушением);
подсказки (в кадре двое или никого? посторонние шумы в комнате? — нарушение!);
попытки скопировать и сохранить задания теста.
Организатор теста сам определяет, какие именно из этих нарушений система должна фиксировать и как себя вести после этого: например, она может закрыть сдающему доступ к тесту или просто предупредить его. Ещё он может ограничить время сдачи и запретить сдающему во время теста переключать вкладки в браузере, окна программ, заходить на определённые сайты, загружать файлы из интернета.
Добавляется психологический эффект: сдающий понимает, что за ним наблюдают, и с меньшей вероятностью пытается обманывать организатора.
5. Это же прямое психологическое давление на тестируемых! Действительно ли оно оправдано?
Сдавать экзамены под наблюдением прокторинга действительно тяжелее в моральном плане. Поэтому такие решения часто критикуют. Ученикам и студентам не нравится, что незнакомый им человек или система может блокировать функции их компьютеров, следить за движениями их глаз и записывать то, что происходит у них в комнате — их приватном пространстве, в которое обычно никто не вторгается, тем более — через компьютер.
Но сейчас прокторинг — единственная система, которая позволяет сделать попытки списывания в ходе онлайн-испытания невыгодными для тестируемого. Подготовиться оказывается проще, чем обмануть. Это плюс для организатора: он может справедливее расставлять оценки, тратить меньше времени (своего и экзаменуемых) на пересдачи и защищать себя от лжесвидетельств по итогам тестирований.
6. А как с приватностью? Сохраняются ли записи с экранов и камер учеников? Кто имеет к ним доступ?
Записи хранятся на серверах прокторинговой системы, а доступ к ним обычно имеет только организатор и — в случае необходимости — сотрудники компании, выпустившей прокторинговую систему.
Бывают системы, которые дополнительно шифруют данные на стороне сервера, но это спорная мера: если злоумышленник захочет перехватить эти данные, ему будет гораздо легче сделать это через браузер тестируемого или организатора, предложив установить расширение или скачать вредоносный файл. Поэтому прежде чем пользоваться системой прокторинга, необходимо защитить браузер от таких угроз.
7. Имеет ли смысл применять прокторинг в очном обучении?
Система прокторинга может через веб-камеру в классе анализировать поведение учеников во время урока — например, движения глаз — и подсказывать учителю, как лучше скорректировать форму подачи материала, чтобы сильнее вовлечь учеников в процесс обучения или улучшить усвоение.
8. Какие примеры внедрения прокторинга есть в образовании?
Более 30 вузов по всей стране воспользовались системами прокторинга на экзаменах в этом году. Softline внедрила системы прокторинга в нескольких российских вузах, один из которых — Тюменский государственный университет.
Эксперты Softline интегрируют систему прокторинга с инструментами для дистанционного обучения, что уменьшает затраты клиентов и позволяет пользоваться готовыми решениями, а не собирать их самостоятельно.
9. Как прокторинг встраивается в уже существующие системы дистанционного обучения?
Есть два варианта интеграции:
Подключение системы дистанционного обучения к системе прокторинга блочным методом через API. (API — это описание способов, которыми одна компьютерная программа может взаимодействовать с другой без участия пользователя. В данном случае система дистанционного обучения вызывает нужные ей функции системы прокторинга (описанные в API) и получает от неё ответы, которыми пользуется в дальнейшей работе.)
Тестируемый через систему прокторинга входит в систему дистанционного обучения через специальный протокол OAuth2. Экзамен проходит в системе прокторинга, а уже она даёт тестируемому доступ к заданиям. Получается, что система прокторинга становится дополнительным звеном контроля между системой дистанционного обучения и тестируемым.
Прямое добавление функций прокторинга в программный код системы дистанционного обучения. В этом случае они будут доступны прямо из её интерфейса.
10. Где можно пройти обучение использованию этой технологии?
Непосредственно у поставщиков конкретных прокторинговых систем. Другой вариант — в Учебном центре Softline можно заказать, помимо лицензий на саму систему, техническую поддержку и обучение администраторов и пользователей.
Списать не дам: что такое онлайн-прокторинг и как он работает
Что прокторинг представляет собой сегодня
Об экспертах:
Прокторинг — это процедура контроля за ходом дистанционного испытания (в английском языке «proctor» — это наблюдатель на экзаменах в вузе).
Это понятие уже достаточно хорошо знакомо не только экспертам. Но как он обеспечивается на самом деле и какой ценой? Необходима ли нам такая тотальная система контроля?
Исследователи выделяют следующие прокторинговые системы.
Он осуществляется путем отслеживания приложений, с которыми работают учащиеся на своих ПК, и переключений на другие сервисы во время экзамена.
Например, с помощью приложения «Блокировка браузера» закрывается доступ к другим приложениям во время экзаменов.
Так, онлайн-контроль происходит без экзаменатора, без участия человека. Записываются видео и звук, автоматически выявляется подозрительное поведение человека и фиксируются нарушения. За грубое несоблюдение правил (подмена экзаменуемого, копирование заданий) программа автоматически блокирует доступ к системе.
Реализуется аналогично пассивному, но с добавлением мониторинга в режиме реального времени. Один проктор (наблюдатель) может следить за несколькими учащимися одновременно.
Ограничения и последствия онлайн-прокторинга
Возможности прокторинга ограничены, что иногда вынуждает изменять процедуры многих экзаменов и усложнять их техническое оснащение.
Так, осуществление онлайн-контроля предполагает упрощение заданий экзамена. Это связано с сокращением времени на обдумывание ответов и соблюдением ряда ограничительных мер. Также не все экзамены возможно осуществлять в дистанционном формате.
Согласно апрельскому опросу НКО Educause, главными проблемами, с которыми сталкиваются образовательные учреждения во время внедрения прокторинговых систем, являются стоимость онлайн-контроля (58% респондентов), а также обеспечение конфиденциальности данных учащихся (51%).
Казалось бы, пандемия предоставила прекрасный шанс «переключить» образование на дистанционный формат, но именно вынужденный форсированный перевод процесса в онлайн выявил неподготовленность к этому преподавателей, учащихся, всей системы образования в целом. Он же позволил акцентировать внимание на связанных с этим проблемах, одной из которых является сама оценка.
Кто выступает против онлайн-прокторинга и почему
В некоторых университетах отказываются использовать прокторинговые системы из-за дороговизны процедуры. В России, например, рынок онлайн-прокторинга вообще не развит: на прокторинг вузы выделяют только около 5% своих расходов на онлайн-образование. Также многие эксперты отмечают, что эта технология не является полноценной заменой классической процедуры экзамена. Так, в связи с пандемией коронавируса руководство многих университетов стремилось отсрочить курсы и итоговые экзамены для дальнейшего возобновления процесса обучения в традиционном формате.
Такого же мнения часто придерживаются и сами учащиеся. К примеру, в Техасском технологическом университете (США) студенты негативно отнеслись к введению прокторинга, который воспринимался ими как вторжение «большого брата» в личную жизнь. Учащиеся университета Тилбурга (Нидерланды) создали петицию, призывающую отменить использование прокторинговых систем.
Чем внедрение прокторинга напоминает компьютеризацию шахмат
Любопытно, что проблема имеет место в совершенно, казалось бы, не родственной деятельности, а именно — игре в шахматы. И там можно считать, ситуация уже подходит к своему логическому завершению: внедрение разных программ против читинга (или «читерства»), т.е. мошенничества, приводит к изменению классических шахмат.
Началось все в конце XX века: сначала компьютер победил чемпиона мира Гарри Каспарова в блиц, потом обыграл его в одной из партий матча в классические шахматы, и наконец, выиграл сам матч. Само по себе это было бы не страшно, но параллельно практически линейно снижалась стоимость владения шахматным помощником за счет общего развития ИТ.
С тех пор любой человек, который умеет ходить фигурами и записывать ходы, может обыграть очень сильного гроссмейстера, если у него в доступе будет компьютер с установленной программой.
Таким образом, компьютерные технологии предоставили новичкам новые возможности для читинга — пользования программами во время игры и обращения за советом к профессионалу или просто человеку, имеющему доступ к компьютерным сервисам.
В ответ начали появляться различные модификации классических шахмат. К примеру, шахматы Фишера-960, шахматы с выбранной случайной расстановкой фигур, которые не предоставляют игрокам возможности использовать заученные ходы в начальной части партии. В итоге было создано множество радикальных модификаций классических шахмат, которые фактически представляют собой уже новые игры с сохранением только внешнего вида и основных принципов (к примеру, гексагональные шахматы Глинского, шахматы Капабланки).
Самих же турниров по классическим шахматам проводится все меньше. Так, согласно статистике сайта «Результаты шахматных турниров» (РШТ), в марте 2020 года в России состоялись 175 шахматных турниров, из которых «классика» составила только 38 состязаний, остальное — рапид (в большей степени) и блиц.
В итоге статус-кво в шахматах сейчас таков.
Если применить «шахматные» выводы к образованию, то напрашивается почти полная аналогия. Реально применимы лишь четыре сценария использования онлайн-режима оценивания:
Но ставить вопрос о качестве прокторинга в целом преждевременно, так как процесс оценки в онлайн-режиме меняет в принципе подход к оценке и к ее процедурам. К тому же в связи с переходом на дистанционный формат обучения многие студенты находятся в состоянии стресса и беспокойства, и дополнительный контроль может только навредить.
Прокторинговые системы особенно эффективны в рамках корпоративного обучения, когда нужно охватить большое число экзаменуемых, находящихся, например, в разных уголках страны и мира, или же когда крупной компании необходимо провести оценку большого числа своих сотрудников.
Таким образом, возможности применения онлайн-оценивания действительно ограничены, и можно предполагать, что в самое ближайшее время статус-кво онлайн-тестирования будет сильно изменен.
Человек-паук не поможет сдать экзамен. О том, как не стоит обманывать прокторинг
В 2021 году студенты продолжат обманывать автоматические системы проверки экзаменов. Рассказываем, как они прокололись в разгар пандемии.
Системы онлайн-прокторинга в России начали развиваться ещё во второй половине 2010-х. Их подключили передовые университеты, такие как ВШЭ и РАНХиГС, а также компании, которые с их помощью проводили удалённые тестирования сотрудников. Во время пандемии спрос на прокторинг вырос в несколько раз — вузам пришлось проводить в онлайне выпускные экзамены и сессии. После победы над COVID-19 потребность в нём неизбежно снизится, однако сервисам есть куда расти: спрос на качественные онлайн-экзамены сохранится и в образовании, и в бизнесе.
Недовольные студенты, столкнувшиеся с прокторингом во время пандемии, рисуют страшные картины дегуманизации образования, в которых их судьбу решают бездушные машины. Однако пока прокторинговые системы далеки от совершенства и за ними присматривают обычные люди, не лишённые сострадания и чувства юмора. Мы попросили сотрудников крупнейшей по выручке российской прокторинговой компании «Экзамус» рассказать о курьёзных случаях из их работы.
Журналист с широким кругом интересов, пишет про бизнес, культуру и международную политику. Сотрудничает с РБК, Republic и «Ножом».
Что такое прокторинг
Сам по себе термин «проктор» очень старый. Должность проктора появилась в английских университетах ещё в позднем Средневековье. В обязанности прокторов входил контроль за дисциплиной студентов — причём не только на экзаменах, но и во время всего обучения.
Сегодня прокторингом называют технологии, которые позволяют контролировать проведение испытания. В основном это понятие касается онлайн-экзаменов.
На российском рынке прокторинговых систем всего два крупных частных игрока — ProctorEdu и «Экзамус». Кроме того, существуют прокторинговые системы, которые вузы разработали для себя. По оценке РБК, «Экзамус» крупнее — в 2020 году его выручка составила 83 млн, в то время как у главного конкурента — 51 млн. Во время пандемии около 20 российских вузов ввели прокторинг на экзаменах — большинство таких заказов получил именно «Экзамус».
В 2020 году сотрудники «Экзамуса» провели более миллиона экзаменов в России и ещё полмиллиона за рубежом. Выручка выросла в пять раз, но и штат пришлось увеличить в четыре раза.
«Сказать, что мы озолотились во время пандемии, мы не можем. Но мы выросли, вышли на новый уровень, и теперь у нас есть ресурсы для уверенного выхода на международные рынки, на что мы и сделаем акцент в 2021 году», — рассказывает Skillbox Media директор «Экзамуса» по маркетингу Марина Новосёлова.
По словам Новосёловой, вузы, которые заключили с «Экзамусом» контракты ещё до пандемии, продолжают пользоваться его услугами. Новые клиенты, которые пришли в 2020 году, тоже пока остаются с «Экзамусом», однако некоторые из них поговаривают о возвращении к очным формам аттестаций.
В компании уверены, что вступительные экзамены и олимпиады в вузах точно останутся удалёнными. Возможность проводить приёмную кампанию дистанционно позволяет отбирать абитуриентов, которые в других условиях не могли бы приехать на очный экзамен, из разных уголков страны и мира.
Как работает прокторинг и кому он сегодня нужен
У «Экзамуса» есть три прокторинговых режима. В автоматическом система контролирует всё сама, без участия человека; есть опция, когда проктор присутствует только при идентификации сдающих. В асинхронном режиме запись экзамена целиком отсматривает проктор после его завершения. В синхронном он следит за сдачей вместе с системой.
Прокторинговый сервис работает через браузер. Сначала система проверяет камеру, микрофон и рабочий стол пользователя — не ведётся ли запись экрана, а затем идентифицирует сдающего с помощью системы распознавания лиц.
Во время экзамена программа следит за лицом и глазами сдающего — не смотрит ли он куда-то не туда, наблюдает за комнатой — не появится ли там кто-то лишний, ищет посторонние голоса, а также контролирует экран компьютера. Все данные записываются, система регистрирует каждое событие, выбивающееся из протокола, а по итогам экзамена рассчитывает общую вероятность нарушений.
По словам Марины Новосёловой, автоматический прокторинг заказывают крайне редко, а самый востребованный режим — асинхронный. В таком режиме корпорации проводят оценку кандидатов, аттестацию действующих сотрудников, отбор на программы обучения или итоговую оценку знаний после их прохождения.
Основные клиенты «Экзамуса» — крупные университеты. Как правило, они работают по годовой подписке, в которую входит пакет экзаменов. Более мелкие клиенты чаще платят за отдельный экзамен.
Баги вместо злых прокторов: студенты о своём опыте взаимодействия с «Экзамусом»
Весной 2020 года многие студенты опасались прокторинговых систем. Ходили слухи о том, что они действуют очень жёстко — например, считают нарушением даже продолжительный взгляд в сторону. Многим, особенно первокурсникам, эта паника сильно потрепала нервы.
Студенты вузов рассказали Skillbox Media, что боялись сдавать с прокторингом, однако в итоге панические слухи оказались преувеличением — с несправедливым отношением со стороны прокторов никто не сталкивался. В то же время многие пожаловались на то, что система часто сбоила, — однако такие ситуации решались в пользу студентов.
По словам студента магистратуры ВШЭ, у него и многих однокурсников возникли проблемы с проверкой компьютера и подключением к прокторинговой системе, однако сам экзамен прошёл нормально. В следующий раз система не отправила ответы, и пришлось вмешаться учебному офису.
У студента бакалавриата ВШЭ, который сдавал в «Экзамусе» сессию, не возникло никаких претензий к прокторингу.
«Даже те, у кого появлялись технические сложности, говорили, что университет быстро решил проблему: их просто переводили в Zoom, и они сдавали там».
Другая студентка бакалавриата ВШЭ рассказала, что проблемы у многих её одногруппников и у неё самой начались ещё при регистрации в системе. Во время экзамена у некоторых сервис просто вылетел, и им пришлось пересдавать в резервный день. Те, у кого прокторинг работал нормально, очень переживали из-за того, что и у них он тоже будет сбоить. По словам девушки, это привело к тому, что многие сдали гораздо хуже, чем могли бы.
Студентке СПбГУ ошибки прокторинговой системы изрядно помотали нервы — программа увидела нарушения, которых не было.
«Я сидела не шелохнувшись и смотрела исключительно в монитор, чтобы точно было не к чему придраться, но мне за день до пересдачи пришло сообщение о том, что я что-то нарушила, — рассказывает девушка. — Такие же сообщения получили и однокурсники. В итоге учебному отделу пришлось разбираться — но ему удалось решить проблему».
По словам студентки, которая в 2020 году сдавала через «Экзамус» вступительный экзамен в МГЮА, списать было бы не так уж и сложно, так как прокторы тогда ещё не просили показывать комнату (а теперь просят). Действий рук не видно, камера снимала только по грудь. «Если правильно подобрать свет, то твои зрачки и видно не будет, проктор не сможет оценить, куда ты смотришь», — говорит студентка. Главной технической проблемой стало то, что длинную юридическую задачу программа вывела в крошечном окошке и сдающим приходилось много раз прокручивать текст вверх и вниз.
Прокторы о неудачном списывании и курьёзных случаях на экзамене
Мы попросили прокторов «Экзамуса» рассказать нам о забавных и курьёзных случаях на своей работе, а также о том, как сдающие пытаются их провести.
Их рассказы производят двойственное впечатление. С одной стороны, некоторых онлайн-формат будто бы раскрепощает, снимает дисциплинарные условности, которые сопутствуют очным экзаменам в строгих кабинетах и аудиториях. С другой стороны, некоторые истории звучат так, будто бы они могли случиться и на обычном экзамене: многие студенческие уловки, ошибки и трагедии кажутся вечными и универсальными.
Взятки, подложные ноутбуки и крем на веб-камере — самые частые случаи
Чаще всего сдающие пытаются ухудшить качество видеосъёмки, наклеивая скотч или намазывая крем на камеру, сажают рядом с собой людей, которые тихонько (но всё же заметно) нашёптывают ответы. За такое прокторы банят сразу.
Также нередко сдающие пытаются договориться с проктором — например, предложить ему взятку. Они почему-то забывают, что и эти разговоры тоже записываются. В таких случаях прокторы вежливо рекомендуют вернуться к решению теста.
Сотрудники корпораций во время экзаменов нередко подменяют ноутбуки. Запись рабочего стола ведётся с MacOS, а при демонстрации рабочего места сдающий показывает стационарный компьютер или вообще красный ноутбук Lenovo на Windows. Этот момент вычисляется сразу.
Студент утёр нос системе
Однажды студент сдал часовой экзамен за 40 минут, ничем не выделяясь. Но в конце экзамена ему, по словам сотрудника «Экзамуса», захотелось утереть нос системе. Он отклеил шпаргалку от монитора и победоносно продемонстрировал её проктору, сообщив, что списал. Проктор отклонил всю сессию — видимо, сдающий не знал, что это можно сделать в любой момент, пока идёт запись.
Проктор в центрифуге
Прокторы жалуются, что очень часто сдающие, когда их просят показать комнату, начинают яростно вращать камеру вокруг себя. «Почему-то многим кажется, что это лучший способ показать стол и комнату, хотя для этого совершенно не обязательно разворачивать ноутбук вверх ногами» — говорит проктор.
Мастер над шептунами
Студент, который сдавал в общежитии, рассадил вокруг себя сразу нескольких помощников, которые спрятались от камеры. На все замечания проктора он отвечал, что вокруг никого нет. Когда проктор попросил показать комнату, сдающий подождал, пока все помощники выйдут, и только потом повертел камерой вокруг себя. Затем помощники вновь незаметно проскользнули в комнату и заняли свои позиции. История повторилась дважды — в итоге проктор всё-таки отклонил сессию.
Хитрая схема списывания, которая раскрылась до начала теста
Однажды сдающий и три его помощника разработали целую схему для помощи в решении теста. Проктор рассказал, что они построили хитрую систему передачи сигналов, которая работала с помощью зеркала: спрятавшиеся помощники могли видеть экран и при этом не попадать в камеру. Их план мог сработать, однако они почему-то решили ещё раз обговорить свои действия уже после того, как началась сессия, и сами раскрыли проктору свой замысел.
По словам прокторов, им часто приходится успокаивать расплакавшихся сдающих, которые получили плохую оценку или перенервничали во время экзамена. В таких случаях прокторы рекомендуют сдающему вернуться к решению теста. «В наши обязанности это не входит, но по-человечески их жалко», — говорит сотрудник «Экзамуса».
Несколько раз прокторам удавалось заметить хитрое и аккуратное списывание благодаря тому, что в одной аудитории сдавали сразу несколько человек. Сдающие виртуозно прятались от своей камеры, но их уловки были видны в камерах их соседей. Наблюдал за ними один-единственный проктор, который замечал эти нарушения.
Это любимая история прокторов. Сперва сдающая девушка довольно ловко прятала на столе второй ноутбук. Через некоторое время проктор всё же заметил его и потребовал убрать.
Ещё во время показа рабочего места проктор увидел под столом у девушки лишние ноги. Сдающая сказала, что ему показалось. Её допустили к сдаче экзамена, но через десять минут в кадре вновь появились эти ноги — при этом камера смотрела на лицо и грудь сдающей. Оказалось, что помощник пытался незаметно подобраться к девушке, но двигался по стульям, опираясь на стены руками. Почему он выбрал именно такой путь, а не попытался проскользнуть по полу, где его точно никто бы не увидел, прокторы так и не поняли.
Студент, уснувший на экзамене
Однажды студент уснул прямо во время сдачи теста, и камеры записали его получасовой сон. Прокторы решили, что бедняга слишком сильно вымотался, сдавая сессию, и не стали его будить.
Опекающие родители и миссия проктора
«Когда мы смотрим на прилежных студентов с особыми возможностями здоровья, — говорит проктор, — но с огромным желанием учиться, или, к примеру, на третьеклассника, который пришёл писать олимпиаду по физике, мы понимаем, зачем всё это и какую важную миссию мы выполняем».
Andrea Piacquadio / Photomix-company / Shuttesrtock / Polina Vari для Skillbox