Оценка качества тестовых заданий. Трудность теста и тестовых заданий Что влияет на уровень трудности теста

Итр - показатель измерения легкости и трудности вопроса (утверждения) теста с учетом ВСЕХ правильных ответов, данных испытуемыми.

Индекс трудности Итр вычисляют следующим образом:

Итр = (Н + L )/n x 100

где: Н - число правильных ответов в «сильной» группе;

L - число правильных ответов в «слабой» группе;

общее число испытуемых в обеих группах (1/3+1/3).

Индекс трудности 95% свидетельствует о том, что для 95% испытуемых ответ на данный тест не составлял трудности. Тест с низкими значениями индекса трудности или слишком труден, или неправильно составлен. Оптимальное значение индекса трудности составляет 50-60%, а приемлемые колебания - от 30 до 70% . Тесты со значением Итр ниже 30% и более 70% из тестовой программы исключаются (или не принимаются во внимание при окончательном подсчете всех баллов по всей тестовой программе).

Качество каждого теста может быть охарактеризовано с помощью индекса дискриминативности (Ид) . Индекс дискриминации показывает, насколько данный тест может отличить (дискриминировать) более подготовленных специалистов от менее подготовленных:

Ид = 2 x (H - L )/n

(обозначения те же, что и для расчета Итр).

Экспериментальным путем установлено:

Значение Ид 0,35 и выше - отличный тест

0,25-0,34 - хороший тест

0,15-0,24 - спорный тест

ниже 0,15 - тест составлен плохо и подлежит исключению из «банка» тестов.

После вычисления индексов трудности и дискриминации тестовая программа пересматривается - из нее исключаются тесты с неудовлетворительными индексами Итр и Ид и, прежде всего, тесты со значением Итр более 70% (легкие тесты) и Ид менее 0,25.

Надежность теста характеризуется воспроизводимостью результатов при повторном тестировании одной и той же группы испытуемых и так же, как и трудность, определяется экспериментальным путем.

Все учебные задачи можно разделить условно на три типа: предметные, логические и психологические, которые в свою очередь могут быть разделены на группы, различающиеся по механизму вызываемых ими мыслительных действий.

Предметные типы задач. При их решении обучаемому приходится ориентироваться в некотором предметном поле, в котором могут «размещаться» не только предметы (вещи), но и люди, живые организмы, а также их модели (рисунки, чертежи, схемы и т.д.) Ориентирование в предметном поле – это действия мыслительные, когда человек по определенным, известным ему признакам находит в нем объекты, производит их мысленную классификацию, чтобы оперировать только значимыми объектами, которые позволяют решить задачу.

Логические типы задач . Это такие задачи, которые требуют для их решения рассуждений по законам логики, т.е. действий в уме, без какой-либо опоры на материальные объекты-ориентиры. Рассуждения направлены на выявление того, какие данные действительно нужны для решения задач, какие надо отсеять как лишние, а какие необходимые данные отсутствуют в формулировке задачи. Их необходимо испросить у преподавателя или найти самому.

Какие разновидности задач логического типа можно предусмотреть в наборе для обучения мыслительным действиям?

Всего их четыре разновидности:

задачи, в которых нет лишних данных, но нет и некоторых необходимых (А– В–), и, наконец,

задачи, в которых при наличии лишних данных есть не все необходимые (А – В+).

Психологические типы задач . Они могут провоцировать ошибочные действия обучаемого, потому что существенные моменты, имеющие прямое отношение к решению задачи, могут быть скрыты за несущественными. От субъекта требуется ум, воля, чтобы не поддаться соблазну идти по легкому пути, а также вдумчивость в действиях, рассудительность при анализе условий задачи.

Психологические типы задач можно различать по таким признакам:

а) признаки представленного в задаче явления напоминают те, которые характеризуют искомое (требуемое, относящееся к данной деятельности) явление, но на самом деле это нечто другое (похоже, но не то),

б) наблюдаемые признаки напоминают искомое явление, да и на самом деле так и есть (и похоже, и то);

в) наблюдаемые признаки вроде бы не относятся явно к искомому явлению, но тем не менее оказывается, что это именно его признаки (не похоже, а то);

г) по наглядным признакам явления, не совсем напоминающим искомое, можно заключить, что они принадлежат не ему (не похоже и не то).

Поскольку в реальной жизни такие ситуации могут встречаться, постольку у обучаемого нужно формировать умение ориентироваться безошибочно на существенные признаки искомого, не поддаваться иллюзиям зрения или слуха, не принимать похожее за то, что нужно для правильного выполнения деятельности, но не пропускать внешне не похожее, но внутренне присущее ей. Поэтому в наборе практических учебных задач обязательно должны содержаться такие данные, которые заманивают обучаемого в ловушку, провоцируют ошибочное действие, подают ложные сигналы. Зная об этом, обучаемый должен быть предельно внимателен, не попадаться на хитро замаскированную уловку, строго следовать принятым критериям оценки ситуаций.

Умение решать задачи психологического типа свидетельствует о том, что обучаемый достаточно полно и всесторонне освоил деятельность, все его действия осмысленны, обладают высокой степенью сознательности.

Методическая разработка тематического занятия включает в себя следующие пункты:

Название темы.

Цели занятия.

Общее время занятия.

Оснащение занятия (указывается материально-техническое (оборудование, приборы), методическое, информационное обеспечение (перечень учебных таблиц, стендов, методических пособий, препаратов, программ и т.д.).

План (по приведенной выше схеме).

Обучающие и тренирующие материалы.

Контролирующие материалы (задания для исходного и конечного контроля усвоения).

Если педагогический тест определить кратко как систему заданий возрастающей трудности, то станет понятно, что трудность заданий является важнейшим, скажем так, тест образующим показателем. Немало руководителей школ считают, что их учителя в состоянии "придумать" за короткое время могут сколько угодно "тестов"; я сам читал приказ по школе, где учителям предписывалось в течение трех дней представить завучу "тесты". На самом же деле можно придумать сколько угодно заданий в тестовой форме (а это ещё не тесты). Их нельзя включать в настоящий тест до тех пор, пока не станет известной мера трудности, проверяемая опытным путем. Из этого требования становится понятной обязательность предварительной эмпирической проверки каждого задания, до начала тестирования. В процессе проверки многие задания (обычно больше половины) не выдерживают предъявляемых к ним требований и потому не включаются в тест. Первое требование к тестовым заданиям: в тесте задания должны различаться по уровню трудности, что вытекает из данного ранее определения теста и рассматриваемого принципа.

Внимательный читатель вероятно уже уловил различия в лексике трех как бы "незаметно" введенных здесь основных понятий теории тестов: педагогического теста, задания в тестовой форме и тестового задания. Требования к первому из них уже было рассмотрено в статье "Определение педагогического теста" (УШ № 30, август 1999г.).

Требования ко второму понятию лучше ввести сейчас, сделав это хотя бы кратко перечислив их, для того чтобы не отвлечься от основной темы статьи. К заданиям в тестовой форме предъявляются следующие требования:

правильность содержания
логическая форма высказывания;
правильность формы;
краткость;
наличие определенного места для ответов;
правильность расположения элементов задания;
одинаковость правил оценки ответов;
одинаковость инструкции для всех испытуемых;
адекватность инструкции форме и содержанию задания.

Подробное истолкование этих требований последует в следующих статьях, а сейчас хотелось бы обратить внимание читателя на то, что здесь нет требования известной трудности задания, в то время как к тесту и к тестовому заданию такое требование предъявляется. Из размышления над этим и ранее опубликованным материалом можно сделать два вывода. Первый - что в тесте нет места заданиям с неизвестной мерой трудности. И второй - что не все предлагаемые задания в тестовой форме могут стать тестовыми заданиями: это разные понятия. В первом понятии самыми существенными являются требования содержания и формы. К тестовым же заданиям в первую очередь предъявляется требование известной трудности, то, что явно не требуется у заданий в тестовой форме. Задания имеют шанс стать тестовыми только после опытной, скажем строже, эмпирической проверки меры их трудности, на типичных группах испытуемых.

Показатель трудности теста и тестовых заданий является содержательным и формальным одновременно. Содержательным показателем, потому что в хорошем тесте трудность может зависеть только от содержания и от уровня подготовленности самих испытуемых, в то время как в плохом тесте на результаты начинают заметно влиять форма заданий (особенно если она не адекватна содержанию), плохая организация тестирования, если имеются возможности списывания, утечки информации. Особого упоминания в этой связи заслуживает спорная практика нацеленной подготовки к централизованному тестированию.

Формальная составляющая сторона показателя трудности возникает при рассмотрении тестирования как процесса противоборства каждого испытуемого с каждым предлагаемым ему заданием. Получаемый при этом исход полезно рассматривать как результат такого противоборства. При упрощенном истолковании каждого случая противоборства испытуемого с очередным заданием обычно рассматриваются только два исхода: победа испытуемого при правильном решении задания, где он получает один балл, или поражение, за что даётся ноль баллов. Оценка результата противоборства зависит от соотношения уровня знания тестируемого к уровню трудности задания, от избранной единицы измерения знаний и от заранее принятого правила (конвенции) - что считать "победой" испытуемого и допустима ли ничья, если говорить языком спорта.

Принцип возрастающей трудности используется при изложении содержания многих учебников и пособий, особенно по тем учебным дисциплинам, которые построены по кумулятивному принципу, что означает: знание последующих элементов курса в явном виде зависит от знания предыдущих учебных элементов. Такое построение присуще учебникам по математике, логике, иностранным языкам, статистике, техническим и многим другим наукам. В них ранее изученные понятия активно используются в последующих темах. Поэтому изучать такие дисциплины нужно только с самого начала, и без пробелов.

Большинство авторов, особенно зарубежных, не делают различий между понятиями "трудность" и "сложность". Многие разработчики тестов - то же. Однако есть работы, в которых эти понятия определяются различно. Например, А.Н.Захаров и А.М.Матюшкин отмечают, что степень трудности учебного задания не совпадает с его сложностью. Степень сложности учебного материала характеризуется реальной (объективной) насыщенностью учебного задания и формой его изложения, а степень трудности всегда предполагает соотнесение подлежащего усвоению учебного материала с ранее усвоенным учебным материалом и интеллектуальными возможностями учащихся (1).

Л.Н. Ланда объясняет трудность учебной задачи тем, что учащиеся часто не знают тех операций, которые надо производить, чтобы найти решение. Если систему операций для решения некоторого класса задач назвать методом решения, то, по его мнению, трудность связана с незнанием метода, с незнанием, как нужно думать в процессе решения, как и в какой последовательности надо действовать с условиями задачи (2). Возникающие затруднения объясняются тем, что педагог часто старается дать знания о содержании изучаемого и значительно меньше заботится о том, как надо думать, рассуждать (там же). Подобное истолкование пересекается с идеей о связи сложности задания с числом операций, которые необходимо совершить для достижения успеха. Эти определения трудности и сложности являются, по большей части, психологическими; они полезны при психологическом анализе содержания тестовых заданий.

Традиционной мерой трудности каждого задания долгие годы была доля правильных ответов в группе испытуемых, изображаемая символом pj, где индекс j указывает на номер интересующего задания (1, 2 и т. д.). Например, если правильные ответы испытуемых на третье задание теста оценивать одним баллом, а неправильные - нулем, то значение показателя p3 можно найти из элементарного отношения

где R3 означает число правильных ответов на данное задание, а N - общее число испытуемых в группе. Общая формула расчета доли правильных ответов на любое задание (j) имеет соответственно вид

Показатель pj. долго использовался в качестве меры трудности в так называемой классической теории тестов (3). Позже была осознана содержащаяся в ней смысловая неточность: ведь увеличение значения pj указывает не на возрастание трудности, а, наоборот, на возрастание легкости, если можно использовать такое слово. Поэтому в последние годы с показателем трудности заданий стали ассоциировать противоположную статистику - долю неправильных ответов (qj). Эта доля вычисляется из отношения числа неправильных ответов (Wj- от англ слова Wrong - неправильный) к числу испытуемых (N):

Содержание теста не может быть только легким, средним или трудным. Здесь в полной мере проявляется известная мысль о зависимости результатов применяемого метода. Легкие задания теста создают только видимость наличия знаний у учащихся, потому что ими проверяются минимальные знания. В этой связи можно заметить, что ориентация федерального органа управления образованием на проверку минимального уровня знаний не дает, и не может, даже по определению, дать представление о реальном уровне знаний, т.е. дать ту информацию, которая давно уже нужна обществу и органам управления. Искажает результаты тестирования и подбор заведомо трудных заданий, в результате чего у большинства школьников оказываются заниженные баллы. Ориентация на трудные задания нередко рассматривается как средство усиления мотивации к учебе. Однако это средство действует неоднозначно. Одних трудные задания могут подтолкнуть к учебе, других - оттолкнуть от нее. Подобная ориентация искажает результаты и в итоге, снижает качество педагогического измерения. Если тест построен строго из заданий возрастающей трудности, то этим открывается путь к созданию одной из самых интересных шкал измерения - шкалы Л. Гутмана.

При определении теста уже отмечалось, что все задания теста, хотелось бы подчеркнуть, независимо от содержания тем, разделов и от учебных дисциплин, располагаются в порядке возрастающей трудности. Распространенная, до недавнего времени, рекомендация включать в тест больше заданий средней трудности, оправдана с точки зрения определения надежности измерения по формулам т.н. классической теории тестов. Существующие в этой теории методы оценки надежности теста дают снижение надежности при включении в тест легких и трудных заданий. В то же время увлечение заданиями одной только средней трудности приводит к серьезной деформации содержания теста: последний теряет способность нормально отображать содержание изучаемой дисциплины, в которой всегда есть легкий и трудный материал. Таким образом, в погоне за теоретически высокой надежностью теряется содержательная валидность тестовых результатов. Стремление же поднять валидность результатов теста нередко сопровождается снижением их точности.

Если тестируется слабая, по подготовленности, группа учащихся, то оказывается, что трудные задания теста просто не работают, потому что ни один учащийся не может правильно на них ответить. Такие задания из дальнейшей обработки данных изымаются. В адаптивных контролирующих системах они не предлагаются. Содержание теста для слабых учащихся будет заметно отличаться от содержания теста для сильных учащихся. У последних, наоборот, не работают легкие задания, так как все знающие испытуемые на легкие задания отвечают правильно. Таким образом, содержание традиционного теста существенным образом варьирует в зависимости от уровня подготовленности тех групп учащихся, на измерение знаний которых нацелен тест.

Оптимальное отображение содержания учебного материала в тестовые задания требуемого уровня трудности предполагает возможность выбора подходящей формы. Содержание теста выражается в одной из четырех основных форм заданий. Это: 1) задания с выбором одного или нескольких правильных ответов из числа предложенных; 2) задания открытой формы, где ответ испытуемый дописывает сам, в отведенном для этого месте; 3) задания на установление соответствия, и 4) задания на установление правильной последовательности действий.

валидность . Для повышения качества тест-материалов, начиная с этапа их проектирования и разработки, уже используется экспертиза.

Тестовые задания, удовлетворяющие "внешним" формальным требованиям (правильность формулировки, логическая непротиворечивость , адекватная форма и др.) не являются всегда качественными, позволяющими рассматривать такие задания априори или апостериори как эффективное средство оценки уровня подготовки обучаемых.

Тестовые задания (тесты) измеряют свойства тех или иных выборок потенциальных испытуемых. Экспертиза качества заданий и всего теста – это оценка не только каждого его элемента (дистракторы, их количество и др.), но и всего теста, его структуры, взаимоотношений с другими заданиями.

Качество профессионального образования – это и уровень, объем знаний, их системность, устойчивость , ценность, перспективность, фундаментальность, способность получать и строить новые знания, применять их для решения задач. Эффективное управление качеством образования также невозможно без релевантной и оперативной информации об уровне обученности. Необходимо применение качественных тестовых материалов, достоверно оценивающих учебные достижения.

Применение принципов и средств квалиметрии, системного анализа акцентирует на целостность , эмерджентность, совместимость, адаптивность и другие системные признаки тестов. Качество тестов оценивают мерой соответствия характеристик тестовых заданий и составленных на их основе вариантов тестов. Комплексной оценкой теста (испытания) в целом.

У тестовых заданий, всего теста есть структурные элементы, характеризуемые внутренними и внешними свойствами, своей структурой. На эти свойства влияют определяющим образом много факторов:

генеральная совокупность и выборки испытуемых;
показатели качества;
особенности технологии тестирования;
особенности обработки, анализа результатов тестирования (в частности, используемые математико-статистический аппарат и эвристические процедуры);
квалификация экспертов и профессиональность экспертной группы;
системный подход к проведению и анализу тестирования.

Полный учет свойств позволяет сконструировать "желаемые" тесты – тесты с наперед задаваемыми (согласно гипотезе тестирования) качествами, статистическими свойствами, например, "параллельные" тесты, субтесты и др. Нужно учитывать также меру дифференциации, способность заданий (тестов) дифференцировать тестируемых, например, способность дифференцировать относительно максимального или минимального уровня обучения.

Первостепенно важны для анализа такие характеристики, как трудность (сложность) задания и его различающая способность. Трудность задания отражает уровень ее выполнимости в данной статистической выборке (стандартной). Ее оценивают часто отношением количества правильно выполнивших задание к количеству выборки испытуемых.

Чем ближе этот показатель к 1, тем выше трудность задания, чем ближе к 0 – тем ниже его трудность.

В качестве показателя трудности задания теста используют индекс трудности U вычисляемый по формуле:

где n – количество правильно ответивших на задание, N – общее количество испытуемых (выборки).

При построении критериально-ориентированного теста, для повышения его трудности добавляют задания более высокой трудности, для понижения – включают больше заданий низкой трудности.

Трудность задания (теста) бывает:

субъективная, связанная с обстоятельствами типа лимит времени, знание технологии, понимание условий (сформированность знаний, умений и навыков), психическая готовность и т.д.;
объективная (статистическая), связанная с долей испытуемых из выборки, решивших задание (тест).

Трудность – относительная величина, зависящая от возрастных, профессиональных и иных различий испытуемых, поэтому эти особенности влияют на результаты тестирования, на надежность теста. Необходимы меры выравнивания условий (минимизации таких воздействия на тестируемых). Для этого используют направленное комплектование выборки, стандартизацию процедуры тестирования, т.е. необходима эффективная диагностическая методика, приводящая к "золотой середине", балансу трудных, среднего уровня и простых заданий.

Слишком трудные задания ухудшают статистические характеристики оценивания (мало решающих, неудача на трудном задании может повлиять на решение других заданий и т.п.). Слишком простые задания ведут к малоинформативным однообразным результатам, затрудняющим анализ качества обучения, вызывают негативное отношение испытуемых к тесту и тестированию.

Пример. Критериально-ориентированный тест должен быть полным, отражающим по содержанию весь объем знаний, планируемый к усвоению. Нормативно-ориентированный тест может содержать лишь те разделы , которые требуются для дифференциации по уровню учебных достижений обучаемых, например, 50-70% заданий средней трудности (рис. 4.1 , рис. 4.2).

В критериально-ориентированных аттестационных тестах основная часть заданий легче, что ограничивает процент неаттестованных студентов.

Пример. Если прогнозный процент неаттестованных должен быть не больше 10%, а критерий "неуспеваемости" – 70% (выполнившие лишь до 30% заданий – не аттестованы), в тест следует включить от 70% легких заданий, посильных 90% тестируемых (рис. 4.2).

Рис. 4.1.

Рис. 4.2.

Поэтому важно выбрать тест, оптимальный по сложности заданий, группам сложности, структуре теста. Если на вопрос правильно отвечает большинство испытуемых, его обычно помещают в начале теста, а остальные вопросы – по мере роста их трудности. Такое расположение заданий позволяет оценить приблизительно порог трудности для каждого испытуемого, его место в рейтинге.

Практическое тестирование свидетельствует: максимально отражается индивидуальный уровень знаний, навыков, умений испытуемых при использовании заданий средней трудности с включением небольшого количества остальных заданий.

Есть специальная характеристика, называемая различающей способностью заданий. Она показывает меру эффективности различения тестируемых на группы: овладевшие учебным материалом и не овладевшие им.

Чем ближе R к нулю, тем меньше различение заданием испытуемых, овладевших или не овладевших учебным материалом.

Чем ближе R к значению –1, тем также больше различение, но в инверсном порядке: испытуемые, овладевшие материалом, ответили неправильно, и наоборот. Это редкий случай, он свидетельствует, например, о пробелах в методике, спонтанности ее.

Составитель заданий к тестам не должен забывать, что тестовые задания по своей трудности есть нечто противоположное так называемым творческим, или «олимпиадным», заданиям. Если для «олимпиад» уместны трудные задания, позволяющие дифференцировать прежде всего лучших от самых лучших, то для тестов нужны элементарные задания, позволяющие скорее дифференцировать неподготовленных (худших) от умеренно подготовленных («середнячков»). Кроме того, следует учесть, что тесты даются с ограничением времени: на 20 заданий отводить целесообразно не более 10 минут. Лучший балл здесь показывает тот, кто уверенно и быстро применяет базовые знания, кто способен показать хороший умственный темп, высокую степень автоматизации основных навыков, «свернутость» понятий и умственных операций. Хороший ориентир в том, какой трудности должны быть тестовые заданий, может быть сформулирован так:

БЕЗ ОГРАНИЧЕНИЙ ВРЕМЕНИ ОТЛИЧНИК ДОЛЖЕН УМЕТЬ ОТВЕТИТЬ НА ВСЕ 100 ПРОЦЕНТОВ ТЕСТОВЫХ ЗАДАНИЙ, НО ПРИ ОГРАНИЧЕНИИ ВРЕМЕНИ ОТЛИЧНИК СО СРЕДНИМ УМСТВЕННЫМ ТЕМПОМ ДОЛЖЕН ОТВЕТИТЬ ТОЛЬКО НА 70-80 ПРОЦЕНТОВ ТЕСТОВЫХ ЗАДАНИЙ.

Самый эффективный метод выяснения трудности заданий - проведение пилотажного эксперимента. К этому эксперименту можно, например, привлекать учеников из более старшего класса, для которых он может стать хорошим поводом повторить материал и выяснить пробелы перед экзаменами.

Скорость ПИЛОТИРОВАНИЯ теста и расчета трудности заданий значительно возрастает, если учитель располагает компьютерным классом и специализированной программой для оперативного тестирования, такой, например, как ТЕСТАН («Гуманитарные технологии», МГУ). При помощи специализированного редактора-формуляра этой программы легко ввести в компьютер сами тексты заданий, тесты вариантов ответа, ключи, интерпретационные сообщения. Копирование с дискету на дискету (или встроенные диски компьютеров) - самый быстрый и доступный метод размножения теста. В любой момент после сбора группы протоколов можно включить режим обработки данных и расчета тестовых норм. Тренинговый режим программы позволяет тут же выдавать на экран объяснения для ученика, допустившего ошибку.

Главная > Тесты

Статья 7. Трудность теста и тестовых заданий

В предыдущей статье было рассмотрено девять принципов разработки содержания педагогических тестов. Сегодня мы продолжаем рассмотрение десятого принципа - возрастающая трудность тестовых заданий. Если педагогический тест определить кратко как систему заданий возрастающей трудности, то станет понятно, что трудность заданий является важнейшим, скажем так, тест образующим показателем. Немало руководителей школ считают, что их учителя в состоянии «придумать» за короткое время могут сколько угодно «тестов»; я сам читал приказ по школе, где учителям предписывалось в течение трех дней представить завучу «тесты». На самом же деле можно придумать сколько угодно заданий в тестовой форме (а это ещё не тесты). Их нельзя включать в настоящий тест до тех пор, пока не станет известной мера трудности, проверяемая опытным путем. Из этого требования становится понятной обязательность предварительной эмпирической проверки каждого задания, до начала тестирования. В процессе проверки многие задания (обычно больше половины) не выдерживают предъявляемых к ним требований и потому не включаются в тест. Первое требование к тестовым заданиям: в тесте задания должны различаться по уровню трудности, что вытекает из данного ранее определения теста и рассматриваемого принципа. Внимательный читатель вероятно уже уловил различия в лексике трех как бы «незаметно» введенных здесь основных понятий теории тестов: педагогического теста, задания в тестовой форме и тестового задания. Требования к первому из них уже было рассмотрено в статье «Определение педагогического теста» (УШ № 30, август 1999г.). Требования ко второму понятию лучше ввести сейчас, сделав это хотя бы кратко перечислив их, для того чтобы не отвлечься от основной темы статьи. К заданиям в тестовой форме предъявляются следующие требования:

правильность содержания; логическая форма высказывания; правильность формы; краткость; наличие определенного места для ответов; правильность расположения элементов задания; одинаковость правил оценки ответов; одинаковость инструкции для всех испытуемых; адекватность инструкции форме и содержанию задания. Подробное истолкование этих требований последует в следующих статьях, а сейчас хотелось бы обратить внимание читателя на то, что здесь нет требования известной трудности задания, в то время как к тесту и к тестовому заданию такое требование предъявляется. Из размышления над этим и ранее опубликованным материалом можно сделать два вывода. Первый - что в тесте нет места заданиям с неизвестной мерой трудности. И второй – что не все предлагаемые задания в тестовой форме могут стать тестовыми заданиями: это разные понятия. В первом понятии самыми существенными являются требования содержания и формы. К тестовым же заданиям в первую очередь предъявляется требование известной трудности, то, что явно не требуется у заданий в тестовой форме. Задания имеют шанс стать тестовыми только после опытной, скажем строже, эмпирической проверки меры их трудности, на типичных группах испытуемых. Показатель трудности теста и тестовых заданий является содержательным и формальным одновременно. Содержательным показателем, потому что в хорошем тесте трудность может зависеть только от содержания и от уровня подготовленности самих испытуемых, в то время как в плохом тесте на результаты начинают заметно влиять форма заданий (особенно если она не адекватна содержанию), плохая организация тестирования, если имеются возможности списывания, утечки информации. Особого упоминания в этой связи заслуживает спорная практика нацеленной подготовки к централизованному тестированию. Формальная составляющая сторона показателя трудности возникает при рассмотрении тестирования как процесса противоборства каждого испытуемого с каждым предлагаемым ему заданием. Получаемый при этом исход полезно рассматривать как результат такого противоборства. При упрощенном истолковании каждого случая противоборства испытуемого с очередным заданием обычно рассматриваются только два исхода: победа испытуемого при правильном решении задания, где он получает один балл, или поражение, за что даётся ноль баллов. Оценка результата противоборства зависит от соотношения уровня знания тестируемого к уровню трудности задания, от избранной единицы измерения знаний и от заранее принятого правила (конвенции) - что считать «победой» испытуемого и допустима ли ничья, если говорить языком спорта. Принцип возрастающей трудности используется при изложении содержания многих учебников и пособий, особенно по тем учебным дисциплинам, которые построены по кумулятивному принципу, что означает: знание последующих элементов курса в явном виде зависит от знания предыдущих учебных элементов. Такое построение присуще учебникам по математике, логике, иностранным языкам, статистике, техническим и многим другим наукам. В них ранее изученные понятия активно используются в последующих темах. Поэтому изучать такие дисциплины нужно только с самого начала, и без пробелов. Большинство авторов, особенно зарубежных, не делают различий между понятиями "трудность" и "сложность". Многие разработчики тестов - то же. Однако есть работы, в которых эти понятия определяются различно. Например, А.Н.Захаров и А.М.Матюшкин отмечают, что степень трудности учебного задания не совпадает с его сложностью. Степень сложности учебного материала характеризуется реальной (объективной) насыщенностью учебного задания и формой его изложения, а степень трудности всегда предполагает соотнесение подлежащего усвоению учебного материала с ранее усвоенным учебным материалом и интеллектуальными возможностями учащихся. Л.Н. Ланда объясняет трудность учебной задачи тем, что учащиеся часто не знают тех операций, которые надо производить, чтобы найти решение. Если систему операций для решения некоторого класса задач назвать методом решения, то, по его мнению, трудность связана с незнанием метода, с незнанием, как нужно думать в процессе решения, как и в какой последовательности надо действовать с условиями задачи. Возникающие затруднения объясняются тем, что педагог часто старается дать знания о содержании изучаемого и значительно меньше заботится о том, как надо думать, рассуждать. Подобное истолкование пересекается с идеей о связи сложности задания с числом операций, которые необходимо совершить для достижения успеха. Эти определения трудности и сложности являются, по большей части, психологическими; они полезны при психологическом анализе содержания тестовых заданий. Традиционной мерой трудности каждого задания долгие годы была доля правильных ответов в группе испытуемых, изображаемая символом pj, где индекс j указывает на номер интересующего задания (1, 2 и т. д.). Например, если правильные ответы испытуемых на третье задание теста оценивать одним баллом, а неправильные - нулем, то значение показателя p3 можно найти из элементарного отношения:

Где Rsub>3 означает число правильных ответов на данное задание, а N – общее число испытуемых в группе. Общая формула расчета доли правильных ответов на любое задание (j) имеет соответственно вид:

Показатель P j . долго использовался в качестве меры трудности в так называемой классической теории тестов. Позже была осознана содержащаяся в ней смысловая неточность: ведь увеличение значения pj указывает не на возрастание трудности, а, наоборот, на возрастание легкости, если можно использовать такое слово. Поэтому в последние годы с показателем трудности заданий стали ассоциировать противоположную статистику - долю неправильных ответов (q j). Эта доля вычисляется из отношения числа неправильных ответов (W j – от англ слова Wrong - неправильный) к числу испытуемых (N):

Естественным образом принимается, что p j + q j = 1. В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм. Содержание теста не может быть только легким, средним или трудным. Здесь в полной мере проявляется известная мысль о зависимости результатов применяемого метода. Легкие задания теста создают только видимость наличия знаний у учащихся, потому что ими проверяются минимальные знания. В этой связи можно заметить, что ориентация федерального органа управления образованием на проверку минимального уровня знаний не дает, и не может, даже по определению, дать представление о реальном уровне знаний, т.е. дать ту информацию, которая давно уже нужна обществу и органам управления. Искажает результаты тестирования и подбор заведомо трудных заданий, в результате чего у большинства школьников оказываются заниженные баллы. Ориентация на трудные задания нередко рассматривается как средство усиления мотивации к учебе. Однако это средство действует неоднозначно. Одних трудные задания могут подтолкнуть к учебе, других - оттолкнуть от нее. Подобная ориентация искажает результаты и в итоге, снижает качество педагогического измерения. Если тест построен строго из заданий возрастающей трудности, то этим открывается путь к созданию одной из самых интересных шкал измерения - шкалы Л. Гутмана. При определении теста уже отмечалось, что все задания теста, хотелось бы подчеркнуть, независимо от содержания тем, разделов и от учебных дисциплин, располагаются в порядке возрастающей трудности. Распространенная, до недавнего времени, рекомендация включать в тест больше заданий средней трудности, оправдана с точки зрения определения надежности измерения по формулам т.н. классической теории тестов. Существующие в этой теории методы оценки надежности теста дают снижение надежности при включении в тест легких и трудных заданий. В то же время увлечение заданиями одной только средней трудности приводит к серьезной деформации содержания теста: последний теряет способность нормально отображать содержание изучаемой дисциплины, в которой всегда есть легкий и трудный материал. Таким образом, в погоне за теоретически высокой надежностью теряется содержательная валидность тестовых результатов. Стремление же поднять валидность результатов теста нередко сопровождается снижением их точности. Если тестируется слабая, по подготовленности, группа учащихся, то оказывается, что трудные задания теста просто не работают, потому что ни один учащийся не может правильно на них ответить. Такие задания из дальнейшей обработки данных изымаются. В адаптивных контролирующих системах они не предлагаются. Содержание теста для слабых учащихся будет заметно отличаться от содержания теста для сильных учащихся. У последних, наоборот, не работают легкие задания, так как все знающие испытуемые на легкие задания отвечают правильно. Таким образом, содержание традиционного теста существенным образом варьирует в зависимости от уровня подготовленности тех групп учащихся, на измерение знаний которых нацелен тест. Оптимальное отображение содержания учебного материала в тестовые задания требуемого уровня трудности предполагает возможность выбора подходящей формы. Содержание теста выражается в одной из четырех основных форм заданий. Это:

задания с выбором одного или нескольких правильных ответов из числа предложенных; задания открытой формы, где ответ испытуемый дописывает сам, в отведенном для этого месте; задания на установление соответствия; задания на установление правильной последовательности действий.

Статья 8. Логические требования к содержанию теста

Тестовые задания отличаются от нетестовых не только по содержанию, но и по стилю построения предложения. Из тестового задания полностью устраняется двусмысленность, когда, например, подлежащее в именительном падеже легко путается с прямым дополнением в винительном падеже (типа “мать любит дочь”). Кроме того, иногда тестовое задание ошибочно отождествляется с загадкой. Хотя в обоих случаях ставится задача найти правильный ответ, отмеченного сходства недостаточно для отождествления загадки и тестового задания. Есть признаки, которые явно отделяют их. Для загадки наиболее важным, специфически отличительным признаком является метафоричность, образность загадки. Известно, что метафоричным выражение становится тогда, когда оно употребляется не в прямом, а в переносном значении. Тестовое задание, напротив, всегда автологично: в нем слова используются только в их прямом, непосредственном значении. Автологический стиль - это тот, о котором В.Маяковский писал: "Ищем речи точной и нагой". Тестовое задание формулируется из точных терминов и никогда не содержит метафоры, но лишнего слова и лишнего знака. Пример метафорично сформулированного задания в открытой тестовой форме: “Отцом русской физиологии считается ___________”. В предыдущих статьях рассматривались педагогические требования к содержанию теста. Теперь пришло время рассмотреть логические принципы определения содержания педагогического теста. В логике известны такие законы правильного мышления как законы тождества, непротиворечия, исключенного третьего и достаточного основания. Это позволяет выделить такие основные свойства правильного мышления, как определенность, непротиворечивость, обоснованность. Применительно к тестовой теории и практики эти общие свойства правильного мышления приобретают функции специфических регулятивов тестовой деятельности, вследствие чего приобретают значение принципов. Рассмотрим их подробнее. 1. Определенность содержания теста Определенность содержания теста образует предмет педагогического измерения. В случае гомогенного теста возникает вопрос об уверенности в том, что все задания теста проверяют знания именно по определенной учебной дисциплине, а не по какой-то другой. Довольно часто случается так, что правильные ответы на некоторые задания требуют знаний не только интересующей дисциплины, но и ряда других, обычно смежных и предшествовавших учебных дисциплин. Близость и связанность которых затрудняет точное определение предметной принадлежности измеряемых знаний. Например, в физических расчетах используется немало математических знаний и потому в систему физического знания обычно включается та математика, которая используется при решении физических задач. Неудача в математических расчетах порождает неудачу при ответах на задания физического теста. Отрицательный балл ставится, соответственно, за незнание физики, хотя испытуемый допустил ошибки математического толка. Если в такой тест включено много таких заданий, которые для правильного решения требуют не столько физических знаний, сколько умений выполнять усложненные расчеты, то это может быть примером неточно определенного содержания теста по физике. Чем меньше пересечение знаний одной учебной дисциплины со знаниями другой, тем определеннее выражается в тесте содержание учебной дисциплины. Определенность содержания требуется и во всех других тестах. В гетерогенном тесте это достигается посредством явного выделения заданий одной учебной дисциплины в отдельную шкалу. При этом нередко встречаются задания, хорошо работающие не только на одну, но и на две, три и даже большее число шкал. Во всяком тестовом задании заранее определяется, что однозначно считается ответом на задание, с какой степенью полноты должен быть правильный ответ. Не допускается определение понятия через перечисление элементов, не входящих в него. Рассмотрим пример задания открытой формы, где испытуемому предлагается, на месте прочерка, дополнить утверждение своим ответом: ТОЧКА ЕСТЬ ТО, ЧТО НЕ ИМЕЕТ ______________. В сознании возникает вопрос: “Не имеет чего? Ответ, по Евклиду – “точка не имеет частей", но это как раз случай неудачного определения содержания, как задания, так и самого понятия точки. Как известно, точка не имеет, например, цвета, вкуса, запаха и многого другого, и не только частей. Немалую роль в формировании теста как системы играет требование логической правильности заданий, включенных в тест. Как отмечается в литературе, логическая правильность в формулировании тестовых заданий достигается при соблюдении следующих условий:

2. Непротиворечивость содержания заданий Непротиворечивость содержания заданий требует, чтобы относительно одной и той же мысли не возникали суждения, одновременно утверждающие и отрицающие ее. Недопустимо существование двух исключающих ответов на одно и то же задание теста. Если испытуемым дается инструкция: “Обведите кружком номер правильного ответа”, а затем в одном из ответов утверждается, что правильного ответа нет, то это порождается пример непоследовательности мышления разработчика теста. В некоторых тестах встречаются ответы, вообще не связанные с содержанием задания. Таки ответы довольно легко распознаются испытуемыми как ошибочные, и потому тест оказывается неэффективным. Для повышения эффективности тест предварительно проходит апробацию на типичной выборке испытуемых. И если обнаружатся такие ответы к заданиям, которые испытуемые вообще не выбирают, то такие ответы из теста удаляются. Потому что они не выполняют функцию так называемых дистракторов, призванных отвлечь внимание незнающих испытуемых от правильного ответа. Кроме того, такие дистракторы вредны для теста, ибо снижают точность измерений (но об этом в статьях, где будут рассматриваться вопросы надежности тестов). 3. Обоснованность Обоснованность содержания тестовых заданий означает наличие у них оснований истинности. Обоснованность связана с аргументами, которые могут быть приведены в пользу той или другой формулировки заданий теста. При отсутствии доказательных аргументов в пользу правильности сформулированного задания оно в тест не включается, ни под каким предлогом. То же происходит, если в процессе экспертного обсуждения возникает хотя бы один контраргумент, или допускается условие, при котором данное утверждение может оказаться двусмысленным или ложным. Идея обоснованности содержания теста тесно переплетается с принципом содержательной правильности тестовых заданий, о чем уже говорилось в предыдущей статье. Напомним, что в тест включается только то содержание учебной дисциплины, которое является объективно истинным и что поддается некоторой рациональной аргументации. Соответственно, спорные точки зрения, вполне приемлемые в науке, не рекомендуется включать в содержание тестовых заданий. Неистинность содержания тестовых заданий отличается от некорректности их формулировки. Неистинность, как отмечалось выше, определяется соответствующим ответом, в то время как некорректно сформулированное задание может продуцировать ответы как правильные, так и неправильные, а то и вызывать недоумение. Сюда же можно отнести неточно или двусмысленно сформулированные задания, порождающие несколько правильных или условно правильных ответов. Отсюда возникает необходимость вводить дополнительные условия истинности, что удлиняет само задание и усложняет его семантику. Некорректность формулировки обычно выясняется в процессе обсуждения содержания заданий с опытными педагогами-экспертами. Успех такого обсуждения возможен при создании соответствующей культурной среды, где допустимы только конструктивные и тактичные суждения. Увы, опыт убеждает, что такое встречается не часто. Между тем, только совместное и доброжелательное обсуждение материалов разработчиками и экспертами способно породить атмосферу поиска наилучших вариантов содержания теста. Этот поиск практически бесконечен, и здесь нет истины в последней инстанции.

В дополнение к трем перечисленным свойствам логически правильного мышления отметим еще одно требование к тестовым заданиям, которое является столь же формальным, сколь и содержательным. Это требование краткости тестовых заданий. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смыслового содержания задания. Исключаются повторы, малопонятные, редко употребляемые, а также неизвестные для студентов символы, иностранные слова, затрудняющие восприятие смысла. Примерное количество слов в задании - пять-девять, но, в общем, чем меньше, тем лучше. Например:
СИЛА – ЭТО
1) вектор
2) скаляр

Хорошо, когда задания содержат не более одного придаточного предложения. Как отмечал известный лингвист А.М.Пешковский, точность и легкость понимания растут по мере уменьшения словесного состава фразы и увеличения ее бессловесной подпочвы. Чем меньше слов, тем меньше недоразумений. Хороший способ достижения краткости задания - это спросить о чем-нибудь одном. Часто встречающиеся случаи утяжеления заданий требованиями что-то найти, решить и затем еще и объяснить отрицательно сказываются на качестве задания и теста в целом, хотя с педагогической точки зрения легко понять причину формулирования такого рода заданий. Если в таких заданиях ученик что-то решает без учителя, потом что-то ему объясняет, то возникает сопряжение объективного метода с субъективным, плюс к этому - затруднения с оценками при решении вопроса какой выставить балл. В противоположность этому, одно из важных требований теста – иметь заранее разработанные правила выставления баллов без участия учителя.

Статья 9. Знания как предмет тестового контроля

Что значит знать? Вот, друг мой, в чем вопрос.
Гете. Фауст.

Знание О знаниях мы сейчас знаем не многим больше того, что знали о них во времена Гете. Педагогическая наука этим феноменом не занималась, или занималась очень мало, как это ни странно. Подтверждение тому - отсутствие в учебниках педагогики определения понятия “знание” и относящихся к этому материалов. Между тем, формирование системы знаний у учащихся - важнейшая цель образовательного процесса, кардинальная проблема педагогики. В свою очередь отсутствие у учащихся системы знаний по учебной дисциплине делает невозможным создание полноценного теста для измерения знаний. Именно такой случай имел однажды место при проверке варианта теста по истории Отечества для централизованного тестирования. История вопроса о знаниях уходит в глубину веков. Первые документальные свидетельства систематического исследования знаний связаны с именами Пифагора и Сократа. Пифагор унаследовал от египетских жрецов, где учился, так называемую эзотерическую традицию отношения к знаниям. В соответствии с этой традицией, знания должны передаваться учителем из уст в уста, и не всем, а только достойным (посвященным) ученикам. Сократ, напротив, учителем себя никогда не считал, был сторонником открытого, общедоступного знания. В своих диалогах Сократ многократно ставил вопрос о сущности знания, связи знания с незнанием, невежеством, с умом, моралью, мнением, с представлениями и умениями. В противоположность открыто восхвалявшим себя софистам, Сократ не торопился проявлять свое понимание. Не был он и спорщиком, хотя, казалось бы, часто погружался в обсуждение того или иного вопроса. Свое мастерство выяснять суть предмета посредством серии последовательных вопросов, в процессе непринужденной беседы, Сократ называл, шутя, “повивальным” искусством. Результаты его поисков история сохранила для нас в произведениях “Диалоги” Платона и “Воспоминания” Ксенофонта. Например, в диалоге “Менон” Платона проводится разграничение понятий “знание” и “мнение”. Это делается на примере знания дороги в город и мнения о знании дороги. Мнение характеризуется тем, человек правильно предполагает, где эта дорога, но никогда по ней не ходил, и не знает её (1; т.1, с. 406.). Знание же дороги отличается от мнения о ней тем, что человек по ней уже ходил, и имеет, так сказать, эмпирический опыт. Там же отмечается, что по практической значимости мнение может не уступать знанию. Тот, кто имеет верное мнение о том, где проходит дорога, может повести в этот город людей не менее успешно, чем тот, кто знает эту дорогу. Сократ поставил актуальный сейчас вопрос о видах знаний, в ответ на который его собеседник выделяет два вида знаний. К первому он относит геометрию, астрономию, счет и музыку, а ко второму – ремесло сапожника и другие ремесла; “ведь они есть не что иное, как знания того, как изготовлять обувь, деревянную утварь или иные предметы” (2, с. 225-226). Сейчас можно сказать, что первый из этих видов больше походит на теоретическое, а второй – на практическое знание. Можно было бы ожидать, что сущность знания выражается в научных определениях этого понятия. Но здесь ждет разочарование. Например, в философском энциклопедическом словаре знание определяется общими словами: как проверенный общественно-исторической практикой и удостоверенный логикой результат процесса познания действительности, адекватное её отражение в сознании человека в виде представлений, понятий, суждений, теорий. Другое определение знания слишком общее и короткое: знание - это информация об окружающем мире и о самом человеке (3; 190). Знание и ум Считается, что знание связано с умом. Но уже со времен Гераклита Эфесского было известно, что “многознание уму не научает”. Некоторые знания можно приобрести и при невысоком, а некоторые – только при высоком уме. Если перейти от использования слова "ум" к его научному эквиваленту "интеллект", то можно отметить, что от интеллекта зависит скорость усвоения учебного материала, а также результаты тестирования знаний. Обычно чем выше интеллект, тем больше знаний. Выше и тестовые баллы, но не всегда. Все зависит от содержания заданий. В каждом школьном классе могут встретиться интеллектуально развитые дети, которые, однако, мало знают из-за нежелания хорошо учиться. Интеллект детей, по некоторым данным, примерно на 36 процентов связан с уровнем интеллектуального развития матерей, и только на 26 процентов – с уровнем такого же развития отцов. В современных зарубежных теориях известен такой фактор интеллекта, как “критический ум”. Как бы предвосхитив эти теории, известный русский врач В.М. Бехтерев говорил ещё в 1905 году, что школа должна заботиться не столько о шаблонном заучивании готовых форм, заимствованных большей частью из классиков, сколько о развитии самодеятельной личности с критическим умом и самодеятельным отношением к окружающей действительности. На приемных экзаменах в вузах часто приходилось слышать о стремлении некоторых экзаменаторов проверять не только знания, но и “умения мыслить”. Иначе говоря, ставится вопрос о проверке не только знаний, но и интеллекта абитуриентов. Полезно напомнить, что содержание тестов для измерения знаний существенно отличается от содержания интеллектуального теста. Эта идея открывает дорогу субъективизму при проверке знаний и слишком часто превращается в дубинку против тех абитуриентов, которые не берут, накануне экзаменов, платные консультации у тех самых преподавателей-экзаменаторов, и репетиторов по совместительству. Незнание Трудности определения знания наводит на мысль о поиске ответа на противоположный вопрос – а что такое незнание? На ум приходит мысль о незнании, как об отсутствии нужной информации. Если человек знает о том, что он не знает, то разве знание о таком незнании не является знанием? Это вполне осознанное знание о недостатке знаний по той или иной проблеме. В науке такая познавательная ситуация называется проблемной. Выделяются две различающиеся формы незнания: 1) незнание в смысле не информированности и 2) незнание в смысле несущественных свойств приобретаемых знаний. Первая форма представляет собой временное состояние, побуждающее к поискам информации, и в этом заключается её побудительная сторона. Вторая форма незнания характерна для некачественного образования, которое, говоря словами Г. Спенсера, способствует скорее распространению приятных заблуждений, чем горьких истин. В этой связи уместно упомянуть попытки дифференциации обучения, например, математике, по двум вариантам “А” и “Б”. (4). Это отход от практики единого для страны базового образования, которое прежде предлагалось государственной школой молодому поколению. Если раньше знания учащихся отличались в зависимости от их личных усилий и качества работы учителей и школ, то теперь знания будут отличаться еще и от варианта предлагаемых знаний. При внедрении этих вариантов в жизнь распространение приятных заблуждений у большой части учащихся о своих знаниях будет поставлено на поток. Образование останется полным средним только по названию, а по содержанию приобретенных знаний оно станет несопоставимым. Таким образом, дифференциация вариантов учебных курсов фактически открывает возможность снижения требований к уровню образованности, на этот раз со стороны федерального органа управлением образования. Но нужно ли это снижение детям и их родителям, обществу, государству? – далеко не ведомственный вопрос. В учебном процессе получаемое знание почти всегда, в той или иной мере, искажается учащимися в силу привычки к упрощению воспринимаемого материала и недостаточности владения понятийным аппаратом. Можно даже говорить о психологической закономерности и, в этой связи, о заметном различии предлагаемых ученикам знаний от знаний, усваиваемых ими реально. Особенно заметными эти различия могут стать при невысоком интеллекте и низкой мотивации учащихся. Другая причина искажения предлагаемых знаний у старших школьников – обширное конспектирование, отвлекающее их от осмысления сути излагаемых вопросов. Последнее обстоятельство побуждает, например, автора этих строк в работе с учителями давать структурированный конспект лекций по своему курсу и визуализировать подачу всех основных материалов, что даёт положительный обучающий эффект (5). Можно говорить и о такой форме незнания, которая не осознается, а потому она относится к неявному знанию. Это как бы форма “незнания о знании”. Философ М. Полани считает, что неявное знание не фиксируется логическим способом и проявляется (передается) только в процессе человеческого общения. К форме неявного знания можно отнести и интуицию, которая определяется как способ постижения истины путем ее усмотрения без обоснования. Гораздо хуже случай, когда человек думает что знает, но не знает, что он не знает. Этот случай – довольно частый. Он предшествует заблуждениям, а при некоторых обстоятельствах - и к невежеству. Невежество Вряд ли случайно Сократ противопоставлял знание не незнанию, а невежеству, утверждая, что есть одно только благо – знание, и есть одно только зло – невежество. Возникает вопрос – почему? Может быть потому, что незнание не мешает приобретению знанию, а иногда и способствует этому, в то время как невежество – действительное зло в деле приобщения к знаниям. Одну причину невежества выделил Т. Гоббс “Существует один дефект ума, - писал он, - который состоит к невосприимчивости к учению. Этот недостаток, по-видимому, вытекает из ложного мнения соответствующего лица, будто оно уже знает истину о том объекте, о котором идет речь... Непосредственной причиной невосприимчивости к знанию является, таким образом, предрассудок, а непосредственной причиной предрассудка - ложное мнение… о собственном знании” (6) Ученики с такого рода предрассудками есть, по-видимому, в каждой школе. Невежество возникает при соединении необразованности, некультурности и невоспитанности. Дело не только в отдельной личности. Невежество возникает как результат той или иной модели социальной организации общества. Оно не является временным или случайным; существует намеренное и сознательное невежество, насаждаемое при помощи хорошо отлаженного механизма, предназначенного для того, чтобы способствовать торжеству невежества (7). Как вспоминал В.М. Бехтерев, “…самое главное, что спасало нас от невежества, - писал он, - это некоторый остаток свободного от гимназических занятий времени, которое мы по настоятельному влечению, особенно в старших классах гимназии, посвящали чтению посторонних книг”. От невежества больше других страдают знающие и талантливые люди. В истории известен автор педагогического сочинения “Город солнца” Т. Кампанелла (1568-1639). Он провел в заточении 27 лет (где и написал эту книгу) по обвинению в том, что “знает то, чему его не учили”. В наше время сажать знающих людей на такие сроки в тюрьмы, кажется, перестали, но научились бюрократическими уловками отодвигать их в сторону.

Статья 10. Знания как предмет тестового контроля

Концепция знания В предыдущей статье проводился анализ трех понятий: знание, незнание, и невежество. Из этих понятий в педагогическом тестировании опираются только на знание; при этом незнание рассматривается довольно упрощенно как альтернатива знанию. Хотя уже было показано, что со времен Сократа знанию противостоят не незнание, а невежество. Уровень незнания и невежества вряд ли можно измерить по причине неконкретности и бесконечности того мира, который образуется частицей отрицаниями "не" с различными словами. В то время как понятия "знать" и "ведать" можно соотнести с конкретным набором элементов, образующих множества признаков данного свойства у испытуемых. Таким образом, главная сложность измерения знания заключается в общей концептуализации этого явления. Именно этого в педагогической науке явно не хватает. В отсутствии общей концепции знания, разработчики тестов начинают строить свое собственное понимание сущности знаний, применительно к той учебной дисциплине, с преподаванием которых они имеет дело. Таким образом, они становятся - или начинают читать себя - экспертами. Существуют признаки, на основе которых окружающие полагают; что эксперты знают, что значит знать: это уровень и качество полученного ими общего и профессионального образования, опыт преподавания, показатели эффективности работы, научно-методические труды, признание со стороны руководителей. К сожалению, в советское и особенно, в постсоветское время, немалое число некомпетентных лиц научились приобретать репутацию экспертов, не будучи таковыми, по существу. Это делалось за счет выстраивания системы взаимовыгодных отношений с вышестоящими деятелями, защиты липовых диссертаций, написания коллективных "научных трудов", а также бесцеремонного заимствования из трудов знающих людей. Это своего рода хунвейбины, известные по новейшей истории Китая, после которых страна была по многим направлениям отброшена назад, на десятилетия. Там многое, если не все, пришлось переделывать заново. Схожий период настал сейчас и в России. Для целей педагогического измерения концептуально можно выделить четыре основные сферы знаний: знание мира, знание людей, знание самого себя, и знание способов деятельности. Далее эти четыре сферы полезно разделить на естественнонаучную и на гуманитарную сферу знаний, а далее делить по отраслям практики, по наукам. Например, научное знание делится на филологическое, математическое, историческое, физическое, химическое и т.д. Но не все знания являются научными. Помимо них существует пласты донаучных и вненаучных знаний, объективных и субъективных. Вненаучные знания отличаются от научных способами получения, хранения и передачи. Научные способы обеспечивают сравнительно большую объективность, подтверждаемость и воспроизводимость знаний. К вненаучным можно отнести результаты таких направлений деятельности, как магия, астрология, нумерология, хиромантия, и учение о живом космосе, левитация и ясновидение, и многие другие. К спорному относят статус религиозных знаний, хотя их существование в религиозных текстах и влияние на сознание множества людей не может подвергаться сомнению. Главным критерием отличия донаучных знаний от научных является мера их рациональной обоснованности: чем выше такая обоснованность, тем больше знания претендуют на научность. Рациональное познание - сложный, присущий человеку способ отражения действительности посредством мышления. Для него характерны: опора на результаты чувственного отражения, опосредованность чувствами; абстрактность и обобщенность возникающих образов; воспроизведение объектов на уровне сущностей, внутренних закономерных связей и отношений. К основным формам рационального познания относят понятия, суждения, умозаключения, законы, гипотезы, теории. Учебные знания заметно отчленены от процесса научного познания, упорядочены, соподчинены, выражены доступным для учащихся языком и, наконец, представлены в учебнике во множестве заданий, сопровождающих учебник и учебный процесс. В некотором смысле учебные знания объективны и субъективны одновременно. Будучи объективными вообще, изложенные в научных текстах и в учебных материалах, они превращаются в субъективные знания в процессе их усвоения. При этом практически всегда имеет место то или иное субъективное искажение предлагаемых знаний. Знание может быть также объективно истинным и объективно ложным. Ложное знание возникает как результат искажения, и, кроме того, вследствие намеренной пропаганды со стороны заинтересованных групп, партий, объединений и т.п. Объективно ложное знание органы образования не распространяют в принципе, за исключением некоторых меняющихся идеологем и политических мифов, сочетаемых с объективными или частично объективными знаниями в области истории, философии, религии, политологии и тому подобных, относимых к гуманитарным наукам. Объективно ложное знание существует в форме незнания, псевдознания и просто лжи. Немало ложных знаний имелось в курсах истории. Поэтому не случайно, что учебники истории приходилось (и видимо, еще придется) менять чаще других. Некоторые знания могут быть осмысленными или неосмысленными. В последнем случае можно говорить о непонимании сути. Напротив, понимание, по мнению З.И. Калмыковой – это мысленное проникновение в суть познаваемой действительности, абстрагирование и обобщение её закономерностей. Она же выделяет несколько уровней понимания. Первый уровень - элементарный – как акт чтения текста, в процессе которого происходит переход от графических знаков к словам и предложениям. Второй уровень понимания – лексический - устанавливаются связи между словами и соответствующими им предметам и явлениям действительности, без учета содержания текста в целом. На третьем уровне – синтаксическом – уточняется значение слов в зависимости от их формально- логических связей в предложении (1, с. 84-105). Знания, культура, мораль и воспитание Концепция знаний не может рассматриваться вне вопросов культуры. «Культура, истинная культура, - писал французский ученый и литератор Жан Ростан, - гораздо меньше, чем это принято думать, связана с накоплением фактических данных. Это скорее известное умение понимать, преломлять, мыслить. Быть культурным - это не значит начинить свой мозг цифрами, датами, именами. Это уровень суждения, логическая требовательность, стремление к доказательствам, понимание сложности вещей и трудности поставленных проблем. Это способность к сомнению, к чувству меры, к скромности суждения, и терпимости к незнанию. Это уверенность в том, что «никогда не можешь быть правым до конца". Связь знания и культуры регулируется так называемым чувством меры. Не случайно в Древнем Китае совершенным человеком справедливо считался тот, кто умел остановиться на том, что ему неизвестно. Пример нарушения отмеченного чувства меры можно найти в новейшей истории советской педагогики. В ней каждый элемент учебных знаний, в рамках так называемого воспитывающего обучения, должен был формировать преданность известным идеям, лицам и непоколебимую убежденность в правильности всех предлагавшихся (нередко принудительно) знаний, что нередко делалось, к тому же, в вульгаризированном виде. Вряд ли кто будет спорить с тем, что изучение наук не всегда оказывает положительное воспитательное воздействие на учащихся. Образование без воспитания опасно, и для личности, и для общества. В предыдущих статьях уже отмечалась убежденность древнеегипетских жрецов и членов ордена пифагорейцев в том, что для блага общества в тайны наук надо посвящать только достойных, порядочных людей. Эта же мысль подтверждается в так называемой философии герметизма, в которой подчеркивается что ложно понимаемый "прогресс" человечества порождает титанов ума и пигмеев духа, людей с притупленной совестью и чувственностью (2). Наиболее четко эта ситуация была выражена русским философом И. А. Ильиным. "Образование без воспитания не формирует, а разнуздывает и портит человека, ибо оно дает в его распоряжение жизненно выгодные возможности, технические умения, которыми он, - бездуховный, - начинает злоупотреблять". Классификации видов знаний Существует множество попыток классифицировать виды знаний, но нет пока ни одной, которая полностью удовлетворяла бы практические потребности. Например, в состав знаний И.Я. Лернер включал термины и понятия, факты, законы и теории, методологические знания (знания о методах), оценочные знания, абстрактные и конкретные знания, эмпирические и теоретические знания (3). Попытка выстроить классификацию знаний, с использованием нескольких оснований деления, сделана Е.Т. Дыранковой (4). Иерархию видов знаний школьников можно найти в работе В.П. Максаковского. Самое высокое место в его иерархии занимает знание научных законов, закономерностей. Затем следуют знания научных теорий, парадигм, концепций, гипотез, общих и единичных понятий, терминов, фактов. Замыкают этот ряд представления (5, с. 6). В ставшей уже классической работе Б. Блума и его коллег (6) выделяются три сферы образовательной деятельности и иерархия уровней подготовленности. В познавательной сфере там формулируются такие уровни: 1. Знания, позволяющие воспроизвести факты, перечислить названия изучаемых явлений и предметов. Здесь все основано на воспроизведении запомнившейся информации; 2. Понимание тех знаний, которые воспроизводятся. Хороший способ проверить понимание - просить учащихся воспроизвести материал своими словами, привести примеры; 3. Применение знаний, особенно в новой ситуации; 4. Умение анализировать и синтезировать признаки; 5. Умение дать оценку, сделать общий вывод. Это самый высокий уровень подготовленности. В сфере психологической выделяются:

восприятие отдельных показаний, признаков, реагирование на них;

проявление интереса к нужной информации;

организация, структурирование полученной информации, систематизация;

умение иерархизировать получаемую информацию по уровням.

В психомоторной сфере:

представление о том, как надо действовать;
готовность выполнять действия под руководством педагога;
самостоятельное выполнение действий.

К этим известным классификациям автор данной статьи добавляет и свой перечень видов знаний, сформулированный исключительно для решения задач педагогического измерения. Но об этом - в следующей статье.

При подготовке сборника были использованы материалы

доктора педагогических наук, профессора Вадима Аванесова

Подготовил А.Н.Ошмарин,

методист учебно-методического центра

отдела образования Джанкойской райгосадминистрации,

Глава первая- Тесты: история и теория

1.Из глубины веков………………………………………………….1

2.Конец 19 века………………………………………………………4

3.Начало 20 века…………………………………………………….6

4.Тенденции 20 века………………………………………………...8

5.Советский период…………………………………………………11

6.Пятидесятые годы………………………………………………...14

7.Система полного усвоения знаний…………………………….17

Глава вторая- Тесты: теория и методика их разработки

1.Начала теории. Отношение к тестам……………………….…20

2.Определение педагогического теста…………………………..23

3.Традиционные тесты……………………………………………..26

4.Нетрадиционные тесты…………………………………………..29

6.Принципы разработки содержания теста……………………..37

7.Трудность теста и тестовых заданий………………………….40

Документ

Нередко студенты задают вопрос: зачем нам изучать историю социологии, знать то, что навсегда ушло в прошлое и в текущей деятельности вряд ли пригодится? Не лучше ли сразу начать с изучения методики и принципов разработки социальных технологий,