?

Log in

No account? Create an account
ЖЖ Украина

Самый сок!

всё то интересное в сети, что попало в мои сети


Предыдущий пост поделиться Следующий пост
ЖЖ Украина

А потім вони вас будуть лікувати

Корупція в медосвіті?

Є загальнонаціональний іспит для студентів медиків - Крок. Чомусь розподіл оцінок на цьому іспиті дуже незвичайний. Аномально багато студентів здають іспит на мінімальну оцінку. Це може означати, що щось не те з методологією оцінок. Або є "вброс" результатів, коли з невідомих причин велика кількість студентів дають правильні відповіді рівно на стільки питань, що пройти іспит, і не на одне питання більше. Складно, щоб таке сталось випадково. Але таке може статись, якщо правильні відповіді на мінімальну кількість питань можна "дістати" або є "відомими" певним студентам.



Цю статистичну аномалію знайшли Інна Совсун і Тетяна Тищук. Вони опублікували статтю на Воксі. Тетяна і Інна працюють в Київській Школі Економіки і я пишаюсь тим, що вони піднімають такі важливі питання. А голова центру оцінювання тепер пише мені листи про необхідність проведення розслідування звідки автори взяли таку інформацію. І вимагає зняти статтю з сайту. Краще б вона пояснила що не так з іспитом.

Тимофей Милованов

Метки:

promo ibigdan декабрь 3, 2007 00:08
Buy for 1 500 tokens
Если вы хотите сделать хорошую рекламу вашему продукту или услуге - вы зашли по адресу. Блог "Самый сок!" читают во всём мире. Среднее количество просмотров на каждый пост - 50 тысяч, среднее количество просмотров блога в месяц - 4-5 миллионов. Изучить аудиторию блога в разных разрезах можно в…

  • 1
d_nielli 3 апреля, 9:25
возможно вопросы подобраны так, что минимальный бал набрать просто

vater_theodor 3 апреля, 9:31
Даже тогда была бы вариативность вокруг этого миниального балла и не было бы "провала" в гистограмме перед этим баллом. Тут статистически (с помощью непараметрической статистики) можно довольно легко показать, что случайно такое произойти практически не может.

Nikolay Karpenko 3 апреля, 9:33
Cудя по графику, минимальный балл "натягивают". Уж не знаю как, подсказывают 1-2 ответа или что-то такого типа.

zabolotny 3 апреля, 10:09
тогда бы пик на графике "после" был бы равен провалу "до".

dasblinkenlight 3 апреля, 14:03
Так он примерно и равен: уровень в районе "провала" примерно 100..120, так что суммарная "недостача" между 57-м и 60-м процентом (десять палочек) как раз и даст нам "лишние" три с половиной сотни.

fyvaproldzhe 3 апреля, 9:39
Очевидно что комбинация двух историй: натягивание до 60 у тех, кого 57-59 плюс вброс результатов экзаменов на минимально проходной балл за долю малую

Nikolay Karpenko 3 апреля, 9:43
Да, именно так. Одним натягиванием такого пика не получить.

fyvaproldzhe 3 апреля, 10:10
Ну, строго говоря - "натягиванием" именно пик получить можно без особых проблем. Но "провал" в таком случае должен бы быть посущественнее. Хотя, канешна, "на глаз" такое не делается.

Забабахать бы какую-нить regression discontinuity модельку с доп факторами типа доходов/богатства/места проживания. Токо, как в том анекдоте "съест-то он съест, да кто ж ему даст".

e_1_off 3 апреля, 10:18

Все гораздо проще. Эти результаты рисуют тупо "от руки".


fyvaproldzhe 3 апреля, 10:34
Дак вопрос-та остаецца: отчего их от руки рисуют? Кому их от руки рисуют? Есть ли зависимость от дохода такую оценку получившего? Может ли быть это частью оригинального распределения, сконцентрированного на данном участке, или это таки полностью другая история?

У нас в универе, например, сильно не рекомендуется ставить оценки за курс на 1-2 меньше проходного балла. Или режь до 3-4, или тяни до проходного. Бо студенты потом задалбывают.

e_1_off 3 апреля, 10:53
Их рисуют не конкретным студентам, их рисуют ВУЗам. И не во время сдачи, а в тест-центре, куда эти бланки отправляют.
Выбор бланков тестов, которым "дорисовывают" пару баллов чисто случаен. В тест-центре не могут знать, где чей бланк - имена студентов зашифрованы. Задача - сделать так, чтобы в ВУЗе был достаточный процент сдавших и все.
Как их "дорисовывают"? В КРОКах есть вопросы, на которые нужно выбрать не один, а несколько ответов. Вы уже поняли или обьяснять еще?

fyvaproldzhe 3 апреля, 11:15
- завсегда расшифровать можно
- зачем это ВУЗу? Штрафные санкции если не?
- студент зашифрован, вуз - нет?

e_1_off 3 апреля, 12:05
Можно, но очень сложно. Сотни бланков КРОКа в одной куче, запечатанные и среди них найти, сообщенный из ВУЗа нужный код - это сильно дохера кто должен в доле быть для одного оболтуса.
Санкции, оргвыводы, финансировние. У нас же в ВО наглухо совок, работают на "план" и "показатели".
Нет, не зашифрован.

Nikolay Karpenko 3 апреля, 10:35
Тогда бы не было провала перед пиком. Причем, провал любопытной формы - полное отсутствие в позиции -1, чуть-чуть в позиции -2, больше в позиции -3. Т.е. добавить +1 балл - легко, +2 балла - иногда можно, 3 и больше - не добавляем, тест провален.

e_1_off 3 апреля, 10:10

Не-а. Им тупо рисуют минимальный балл.
Но тут еще один расклад: эти тестировщики тупо зарубливают тех, кто не "договорился". Причем договор идет не на уровне "студент добазарился", а на уровне администрации ВУЗа и тестировочного центра.


Та же фигня, кстати, с компьютерным тестированием врачей для подтверждения/получения категории. Я когда в последний раз сдавал этот тест, сидел и отвечал на вопросы, а меня потарапливали, типа "давай, пиши че попало, все равно нужный процент нарисуют".


Но все же по поводу "они будут лечить" не все так плохо. Этот результат не показывает, что все те, кто "сдал" на минимум не знают. Этот результат с реальными знаниями просто никак не коррелирует.


trots1991 3 апреля, 10:21
А что вообще представляет из себя этот тест?🤔

З.ы. Кмк, "традиционные" экзамены, письменные и устные (и комбинированные) позволяют оценить уровень студента гораздо лучше, чем "бездушные" тесты. Да, там более вероятна "коррупционная составляющая", но оно того стОит.

e_1_off 3 апреля, 10:39
Письменный тест на стандартном защищенном бланке, которые присылают в ВУЗы запечатанными, в ВУЗах (теоретически) не знают ни вопросов, ни ответов. ВУЗы проводят тестировние тупо механически, раздавая бланки собравшимся студентам, потом собирают бланки и отправляют в тестировочный центр. Б бланках студенты обозначены кодами, поэтому в тестировочном центре (теоретически) не знают, где чей. Но им пох, потому что балл они рисуют не отдельному студенту, а ВУЗу в целом.

trots1991 3 апреля, 10:43
Блин, серьезная тема, как в лучших домах!👍
И все-равно обходят...
Талантливый у нас народ, что тут скажешь😊

dasblinkenlight 3 апреля, 13:55
Думаю, "натягивание" делают сами преподаватели в какой-то момент между "собирают бланки" и "отправляют в тестировочный центр".

riusaki l 3 апреля, 10:50
Это пересдачи. На последней ставят минимум если прошёл или не засчитывают если нет

djatlov_y 3 апреля, 12:24
А провал перед этим пиком откуда?
Пересдача, где "либо 60, либо приходи завтра" может объяснить пик на 60. Но полное отсутствие 59 и очень мало 58 надо объяснять как-то ещё. Например, "вытягиванием" тех, кто недобрал совсем немножко.

jurashz 3 апреля, 12:35
Так Супрун с этим давно пытается бороться, там такое спротивление, мама не горюй!
Там одесский мед брала штурмом титушня с уволеным ерктором во главе.

Но скоро все будет чики пуки
Зеля усе вернет взад

dasblinkenlight 3 апреля, 14:10
Это общая проблема методологии, когда "проходной" балл известен заранее: профессора знают, на сколько вопросов нужно ответить правильно, и "помогают" тем, кто "почти выучил".

Эту проблему можно элементарно обойти, если сказать, что отсеивать будут 10% худших студентов (судя по графику, это примерно столько же, сколько "отсекают" сейчас). В результате граница будет "размазана", и эффективность "натягивания" оценки сделает эту практику бессмысленной.

Burn 3 апреля, 15:41
Как говорит один мой друг - Как вспомню какой я инженер так страшно идти к врачам

kingeugen 3 апреля, 21:46
Да, скорей всего вытягивание тех, кто 1-2 пункта не добрал. И правда обидно и несправедливо с 1 пунктом пролететь.

  • 1