1.3.3. Обоснование выбора логистической функции для статистической обработки результатов итогового тестирования
Как уже отмечалось выше, среди логистических функций различают: однопараметрическую, учитывающую только уровень сложности задания и уровень подготовленности тестируемого, двухпараметрическую, учитывающую наряду с вышеперечисленными параметрами дифференцирующую способность задания, и трехпараметрическую модель, где учтены уровень сложности задания, уровень подготовленности тестируемого, дифференцирующая способность задания и параметр угадывания.
Как кажется на первый взгляд, трехпараметрическая модель является наиболее информативной. Однако необходимо уточнить, какая из вышеперечисленных моделей подходит именно для нашего исследования, и почему.В однопараметрической модели Г. Раша вероятность выполнения j-го задания группой тестируемых равна (Дружинин, 1997):
Вероятность правильного решения задания (или ответа «да») i-м тестируемым равна (Дружинин, 1997):
На рис. 8 представлены три характеристические кривые заданий Item Characteristic Curve (ICC) с трудностями заданий -2, 0 и +2 логита (первое самое легкое, второе — сложнее, третье самое трудное). Из приведенных зависимостей видно, что вероятность успеха при выполнении того или иного задания увеличивается с увеличением уровня подготовленноститести
руемого. Например, для тестируемого свероятность правильно ответить на первое задание близка к единице, на второе равнаи на третье почти равна нулю, то есть чем сложнее задание, тем ниже вероятность выполнить его правильно.
В точках, гдевероятность правильного ответа равна 0.5;иными словами, если трудность задания равна уровню подготовленности тестируемого, то он с одинаковой вероятностью может справиться или не справиться с этим заданием.
Рис. 8. Характеристические кривые заданий в однопараметрической модели (по: Дружинин, 1997) |
На рис. 9 представлены три характеристические кривые тестируемых согласно Person Characteristic Curve. Приведены зависимости для трех тестируемых с уровнем подготовленности\ логита (самый слабый), логитов (средний) илогита (сильный испытуемый).
Из графиков видно, что чем выше уровень подготовленности, тем выше вероятность правильного ответа на тестовое задание. Например, задание с трудностью ,первый испытуемыйпрактически не сможет
выполнить, второй (в = 0) имеет вероятность выполнения задания, равную 0.5, третийлегко справится с заданием, так как для него вероятность
успеха почти равна единице.
Рис. 9. Характеристические кривые тестируемых (PCC) в однопараметрической модели (по: Дружинин, 1997) |
Как можно заметить из приведенных зависимостей, крутизна характеристических кривых в области .одинакова, — это значит, что
дифференцирующая способность в данном случае представляет собой константу.
Такая константа для дихотомической модели будет равна 0.25.К одному из недостатков модели Раша можно отнести пренебрежение крутизной характеристических кривых, так как их крутизна считается одинаковой. Задания с более крутыми (с большим углом наклона к оси абсцисс) характеристическими кривыми позволяют лучше «различать» тестируемых (особенно в среднем диапазоне шкалы способностей), чем задания с более «пологими» кривыми.
Параметр а, определяющий крутизну характеристических кривых заданий, называют дифференцирующей силой задания. Он используется в двухпараметрической модели Бирнбаума.
Вероятность правильного выполнения j-го задания группой тестируемых в двухпараметрической модели А. Бирнбаума равна (Дружинин, 1997):
Вероятность правильного решения задания с учетом дифференцирующей силы задания i-м тестируемым равна (Дружинин, 1997):
Параметропределяет наклон к оси абсцисс (крутизну)
характеристической кривой j-го задания. Из представленных на рисунке 10 характеристических кривых видно, что чем больше aj, тем больше угол наклона к оси абсцисс, соответственно, кривая идет круче и, следовательно, тем выше дифференцирующая способность задания. Как видно из графика, самая большая дифференцирующая способность у задания с параметром о/=2, затем идет задание с aj = 1, и самая низкая дифференцирующая способность у заданий с параметром aj = 0.5.
С введением параметра угадывания с вероятность правильного ответа в трехпараметрической модели А. Бирнбаума рассчитывается по формуле (Че- лышкова, 2002):
Вероятность правильного решения задания с учетом коэффициента угадывания i-м тестиуемым равна (Челышкова, 2002):
На рисунке 11 приведены примеры характеристических кривых для трех заданий с трудностью, дискриминационным параметроми
различными параметрами угадывания
Из приведенных графиков видно, что наличие параметра угадывания приводит к пропорциональному смещению характеристических кривых задания вверх на величинуПри учете с,- характеристическая кривая
становится более пологой, так какно при всех кривая
поднимается над осью способностей на величину
В качестве теоретической оценки Cj можно использовать обратную величину от количества ответов в заданиях с выбором.
Например, в тесте используются задания с тремя ответами, тогдаЭто значениедолжно уточняться при анализе эмпирических данных.
В каждой из представленных моделей параметры выражаются как шкалированные показатели единой для всех моделей шкалы логитов. Введение единой шкалы для элементов двух различных множеств — значений и значений— позволяет решить ряд вопросов, как теоретических, так и практических. В частности, благодаря единой шкале можно ввести взаимосвязь между переменными в виде разностикорректно сравнить
результаты учеников, полученные с помощью различных тестов, подобрать оптимальные значенияпозволяющие измерить искомоес минимальной ошибкой измерения. В целом эти важные преимущества позволяют преодолеть ряд существенных недостатков классической теории тестов и значительно повысить эффективность тестовых измерений.
В рамках данной работы для исследования уровня владения английским языком была выбрана однопараметрическая модель Раша, так как отношение сохраняется во всем интервале изменения в. Принципиально другая картина наблюдается для двух- и трехпараметрической моделей. Это отчетливо видно на рис. 10. Задание с aj = 0.5 в области положительных значений в является самым трудным из представленных трех заданий, соответственно, с самой низкой вероятностью правильного ответа.
С переходом в область отрицательных значений в, то есть при предъявлении задания испытуемому с более низким уровнем подготовленности, это же задание теперь уже самое легкое, так как, в соответствии с графиком, вероятность правильного ответа на него наибольшая. В итоге слабые студенты очень легко справятся с этим заданием, а для сильных оно окажется наиболее трудное, что в корне неправильно. Подобная ситуация характерна и для трехпараметрической модели. На рис. 11 представлен случай непересекающихся характеристических кривых, так как для них выбраны одинаковые параметры fj = 1 и aj = 1. Таким образом, можно утверждать, что все три задания имеют одинаковую трудность, равно как и одинаковый параметр дифференцирующей способности. Другой пример приведен на рис. 12. Рис. 12. Пересекающиеся характеристические кривые задания в трехпараметрической модели (по: Дружинин, 1997) |
Здесь у задания с параметром с, = 0 изменена трудность ,что
немедленно вызвало пересечение характеристических кривых. Задание с в областиявляется самым трудным, как и должно быть. Однаков области значенийот -1.5 до -1 (- 1.5
Еще по теме 1.3.3. Обоснование выбора логистической функции для статистической обработки результатов итогового тестирования:
- Выбор энергетических интервалов, для которых определяются усреднённые значения спектральной плотности нейтронного излучения
- Статья 59. Государство обязано принимать все доступные ему меры для создания внутреннего и международного порядка, необходимого для полного осуществления прав и свобод граждан Республики Беларусь, предусмотренных Конституцией.
- Результаты моделирования
- Статья 65. Выборы являются свободными: избиратель лично решает, участвовать ли ему в выборах и за кого голосовать.
- Статья 42. Лицам, работающим по найму, гарантируется справедливая доля вознаграждения в экономических результатах труда в соответствии с его количеством, качеством и общественным значением, но
- Базовые спектры нейтронных потоков для формирования обучающей и проверочной выборок
- ГЛАВА 3 МОДЕЛИРОВАНИЕ НЕЙТРОННОГО СПЕКТРОМЕТРА-ДОЗИМЕТРА РЕАЛЬНОГО ВРЕМЕНИ И ПОДБОР ДЕТЕКТОРОВ ДЛЯ МНОГОДЕТЕКТОРНОГО БЛОКА ДЕТЕКТИРОВАНИЯ
- Статья 71. Проведение выборов обеспечивают избирательные комиссии, если иное не предусмотрено Конституцией.
- Статья 66. Выборы являются равными: избиратели имеют равное количество голосов.
- Фирун Константин Борисович. СОЗДАНИЕ РАСПРЕДЕЛЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ НА БАЗЕ МОБИЛЬНЫХ УСТРОЙСТВ ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ РЕЧИ И ГОЛОСА. Диссертация на соискание ученой степени кандидата технических наук. СПбГУ., 2015
- Статья 67. Выборы депутатов являются прямыми:
- Статья 68. Голосование на выборах является тайным:
- Статья 70. Расходы на подготовку и проведение выборов осуществляются за счет государства в пределах выделенных на эти цели средств.
- Лютиков Михаил Юрьевич. Выборы Президента Российской Федерации в 1996 году. Диссертация, 2015
- Статья 62. Каждый имеет право на юридическую помощь для осуществления и защиты прав и свобод, в том числе право пользоваться в любой момент помощью адвокатов и других своих представителей в суде,
- Статья 82. Считается, что выборы состоялись, если в голосовании приняли участие более половины граждан Республики Беларусь, включенных в список избирателей.