<<
>>

1.3.3. Обоснование выбора логистической функции для статистической обработки результатов итогового тестирования

Как уже отмечалось выше, среди логистических функций различают: однопараметрическую, учитывающую только уровень сложности задания и уровень подготовленности тестируемого, двухпараметрическую, учитыва­ющую наряду с вышеперечисленными параметрами дифференцирующую способность задания, и трехпараметрическую модель, где учтены уровень сложности задания, уровень подготовленности тестируемого, дифферен­цирующая способность задания и параметр угадывания.

Как кажется на первый взгляд, трехпараметрическая модель является наиболее инфор­мативной. Однако необходимо уточнить, какая из вышеперечисленных моделей подходит именно для нашего исследования, и почему.

В однопараметрической модели Г. Раша вероятность выполнения j-го задания группой тестируемых равна (Дружинин, 1997):

Вероятность правильного решения задания (или ответа «да») i-м тестируемым равна (Дружинин, 1997):

На рис. 8 представлены три характеристические кривые заданий Item Characteristic Curve (ICC) с трудностями заданий -2, 0 и +2 логита (первое самое легкое, второе — сложнее, третье самое трудное). Из приведенных зависимостей видно, что вероятность успеха при выполнении того или иного задания увеличивается с увеличением уровня подготовленноститести­

руемого. Например, для тестируемого свероятность правильно ответить на первое задание близка к единице, на второе равнаи на третье почти равна нулю, то есть чем сложнее задание, тем ниже вероятность выполнить его правильно.

В точках, гдевероятность правильного ответа равна 0.5;

иными словами, если трудность задания равна уровню подготовленности тестируемого, то он с одинаковой вероятностью может справиться или не справиться с этим заданием.

Рис. 8. Характеристические кривые заданий в однопараметрической модели (по: Дружинин, 1997)

На рис. 9 представлены три характеристические кривые тестируемых согласно Person Characteristic Curve. Приведены зависимости для трех тестируемых с уровнем подготовленности\ логита (самый слабый), логитов (средний) илогита (сильный испытуемый).

Из графиков видно, что чем выше уровень подготовленности, тем выше вероятность правильного ответа на тестовое задание. Например, задание с трудностью ,первый испытуемыйпрактически не сможет

выполнить, второй (в = 0) имеет вероятность выполнения задания, равную 0.5, третийлегко справится с заданием, так как для него вероятность

успеха почти равна единице.

Рис. 9. Характеристические кривые тестируемых (PCC) в однопара­метрической модели (по: Дружинин, 1997)

Как можно заметить из приведенных зависимостей, крутизна характеристических кривых в области .одинакова, — это значит, что

дифференцирующая способность в данном случае представляет собой константу.

Такая константа для дихотомической модели будет равна 0.25.

К одному из недостатков модели Раша можно отнести пренебрежение крутизной характеристических кривых, так как их крутизна считается одинаковой. Задания с более крутыми (с большим углом наклона к оси абсцисс) характеристическими кривыми позволяют лучше «различать» тестируемых (особенно в среднем диапазоне шкалы способностей), чем задания с более «пологими» кривыми.

Параметр а, определяющий крутизну характеристических кривых заданий, называют дифференцирующей силой задания. Он используется в двухпараметрической модели Бирнбаума.

Вероятность правильного выполнения j-го задания группой тестируемых в двухпараметрической модели А. Бирнбаума равна (Дружинин, 1997):

Вероятность правильного решения задания с учетом дифференцирующей силы задания i-м тестируемым равна (Дружинин, 1997):

Параметропределяет наклон к оси абсцисс (крутизну)

характеристической кривой j-го задания. Из представленных на рисунке 10 характеристических кривых видно, что чем больше aj, тем больше угол наклона к оси абсцисс, соответственно, кривая идет круче и, следовательно, тем выше дифференцирующая способность задания. Как видно из графика, самая большая дифференцирующая способность у задания с параметром о/=2, затем идет задание с aj = 1, и самая низкая дифференцирующая способность у заданий с параметром aj = 0.5.

С введением параметра угадывания с вероятность правильного ответа в трехпараметрической модели А. Бирнбаума рассчитывается по формуле (Че- лышкова, 2002):

Вероятность правильного решения задания с учетом коэффициента угадывания i-м тестиуемым равна (Челышкова, 2002):

На рисунке 11 приведены примеры характеристических кривых для трех заданий с трудностью, дискриминационным параметроми

различными параметрами угадывания

Из приведенных графиков видно, что наличие параметра угадывания приводит к пропорциональному смещению характеристических кривых задания вверх на величинуПри учете с,- характеристическая кривая

становится более пологой, так какно при всех кривая

поднимается над осью способностей на величину

В качестве теоретической оценки Cj можно использовать обратную величину от количества ответов в заданиях с выбором.

Например, в тесте используются задания с тремя ответами, тогдаЭто значение

должно уточняться при анализе эмпирических данных.

В каждой из представленных моделей параметры выражаются как шкалированные показатели единой для всех моделей шкалы логитов. Введение единой шкалы для элементов двух различных множеств — значений и значений— позволяет решить ряд вопросов, как теоретических, так и практических. В частности, благодаря единой шкале можно ввести взаимосвязь между переменными в виде разностикорректно сравнить

результаты учеников, полученные с помощью различных тестов, подобрать оптимальные значенияпозволяющие измерить искомоес минимальной ошибкой измерения. В целом эти важные преимущества позволяют преодолеть ряд существенных недостатков классической теории тестов и значительно повысить эффективность тестовых измерений.

В рамках данной работы для исследования уровня владения английским языком была выбрана однопараметрическая модель Раша, так как отношение сохраняется во всем интервале изменения в. Принципиально другая картина наблюдается для двух- и трехпараметрической моделей. Это отчетливо видно на рис. 10. Задание с aj = 0.5 в области положительных значений в является самым трудным из представленных трех заданий, соответственно, с самой низкой вероятностью правильного ответа.

С переходом в область отри­цательных значений в, то есть при предъявлении задания испытуемому с более низким уровнем подготовленности, это же задание теперь уже самое легкое, так как, в соответствии с графиком, вероятность правильного ответа на него наибольшая. В итоге слабые студенты очень легко справятся с этим заданием, а для сильных оно окажется наиболее трудное, что в корне неправильно. Подобная ситуация характерна и для трехпараметрической модели. На рис. 11 представлен случай непересекающихся характеристических кривых, так как для них выбраны одинаковые параметры fj = 1 и aj = 1. Таким образом, можно утверждать, что все три задания имеют одинаковую трудность, равно как и одинаковый параметр дифференцирующей способности. Другой пример приведен на рис. 12.

Рис. 12. Пересекающиеся характеристические кривые задания в трех­параметрической модели (по: Дружинин, 1997)

Здесь у задания с параметром с, = 0 изменена трудность ,что

немедленно вызвало пересечение характеристических кривых. Задание с в областиявляется самым трудным, как и должно быть. Однаков области значенийот -1.5 до -1 (- 1.5

<< | >>
Источник: Сеничкина Ольга Авенировна. Методы оценивания сформированности иноязычной коммуникативной компетенции студентов-психологов (на материале английского языка). Диссертация, СПбГУ.. 2016

Еще по теме 1.3.3. Обоснование выбора логистической функции для статистической обработки результатов итогового тестирования:

  1. Выбор энергетических интервалов, для которых определяются усреднённые значения спектральной плотности нейтронного излучения
  2. Статья 59. Государство обязано принимать все доступные ему меры для создания внутреннего и международного порядка, необходимого для полного осуществления прав и свобод граждан Республики Беларусь, предусмотренных Конституцией.
  3. Результаты моделирования
  4. Статья 65. Выборы являются свободными: избиратель лично решает, участвовать ли ему в выборах и за кого голосовать.
  5. Статья 42. Лицам, работающим по найму, гарантируется справедливая доля вознаграждения в экономических результатах труда в соответствии с его количеством, качеством и общественным значением, но
  6. Базовые спектры нейтронных потоков для формирования обучающей и проверочной выборок
  7. ГЛАВА 3 МОДЕЛИРОВАНИЕ НЕЙТРОННОГО СПЕКТРОМЕТРА-ДОЗИ­МЕТРА РЕАЛЬНОГО ВРЕМЕНИ И ПОДБОР ДЕТЕКТОРОВ ДЛЯ МНОГОДЕТЕКТОРНОГО БЛОКА ДЕТЕКТИРОВАНИЯ
  8. Статья 71. Проведение выборов обеспечивают избирательные комиссии, если иное не предусмотрено Конституцией.
  9. Статья 66. Выборы являются равными: избиратели имеют равное количество голосов.
  10. Фирун Константин Борисович. СОЗДАНИЕ РАСПРЕДЕЛЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ НА БАЗЕ МОБИЛЬНЫХ УСТРОЙСТВ ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ РЕЧИ И ГОЛОСА. Диссертация на соискание ученой степени кандидата технических наук. СПбГУ., 2015
  11. Статья 67. Выборы депутатов являются прямыми:
  12. Статья 68. Голосование на выборах является тайным:
  13. Статья 70. Расходы на подготовку и проведение выборов осуществляются за счет государства в пределах выделенных на эти цели средств.
  14. Лютиков Михаил Юрьевич. Выборы Президента Российской Федерации в 1996 году. Диссертация, 2015
  15. Статья 62. Каждый имеет право на юридическую помощь для осуществления и защиты прав и свобод, в том числе право пользоваться в любой момент помощью адвокатов и других своих представителей в суде,
  16. Статья 82. Считается, что выборы состоялись, если в голосовании приняли участие более половины граждан Республики Беларусь, включенных в список избирателей.