Имя материала: Основы психодиагностики

Автор: Шмелёв Александр Георгиевич

1.1. основные понятия

 

ПСИХОДИАГНОСТИКА — это область психологической науки и одновременно важнейшая форма психологической практики, которая связана с разработкой и использованием разнообразных методов распознавания индивидуальных психологических особенностей человека. Сам по себе термин «диагностика» образован от известных греческих корней («диа» и «гнозис») и буквально истолковывается как «различительное познание».

Термин «ДИАГНОСТИКА» в настоящее время активно используется не только в психологии и педагогике, но и в медицине, в технике, в других областях науки и общественной практики. Согласно современному общенаучному представлению, под термином «диагностика» подразумевают распознавание состояния определенного объекта или системы путем быстрой регистрации его существенных параметров и последующего отнесения к определенной диагностической категории с целью прогноза его поведения и принятия решения о возможностях воздействия на это поведение в желательном направлении. Соответственно, о психодиагностике мы говорим тогда, когда речь идет об особого рода объектах диагностического познания — о наделенных психикой конкретных людях.

Если рассматривать систему обучения детей по аналогии с системой управления, то психодиагностику следует считать важнейшим средством обеспечения так называемой «обратной связи» — средством информационного обеспечения любого педагогического воздействия. В этой логике любое педагогическое воздействие должно начинаться со сбора психодиагностической информации (для того, чтобы осуществить обоснованный выбор наиболее адекватного воздействия) и завершаться повторным психодиагностическим обследованием (для сравнения реального и желательного результата воздействия). Конечно, в педагогической практике цикл «воздействие — измерение результата»

___________________

Все примечания в тексте сделаны научным редактором, д. психол. н.                А. Г. Шмелевым.

не может производиться ежедневно и занимает, как правило, месяцы и даже годы. Но от этого аналогия между педагогикой и принципами теории управления не теряет свою силу. (Оговорка: абстрагируемся в этом контексте временно от известной специфики педагогического взаимодействия, в котором «объект» управления — ребенок — является не вполне «объектом», а скорее полноправным активным участником, субъектом совместного процесса).

Все мы в роли пациентов еще с детства сталкивались с диагностикой в медицине. По комплексу признаков-симптомов врач ставит больному диагноз, то есть относит его заболевание к определенной диагностической категории, для которой, как правило, известно оптимальное лечение — перечень и порядок приема лекарств и других лечебных процедур. В технике любой агрегат проходит через особую техническую диагностику — испытывается на особых «тестовых стендах». Это позволяет выявить скрытые дефекты в изделии и устранить их еще до ввода устройства в эксплуатацию. Переход от поверхностных, наблюдаемых симптомов и признаков к диагностическому выводу в научной психодиагностике требует применения особых методик и процедур — измерительных тестов и качественно-количественных экспертных шкал. Таким образом, к основным понятиям психодиагностики следует прежде всего отнести ДИАГНОСТИЧЕСКИЕ ПРИЗНАКИ и ДИАГНОСТИЧЕСКИЕ КАТЕГОРИИ.

Признаки отличаются тем, что их можно непосредственно наблюдать и регистрировать. Категории скрыты от непосредственного наблюдения. Поэтому в социальных науках их принято называть «латентными переменными». Для количественных категорий часто используется также название «диагностические факторы». Диагностический вывод — это переход от наблюдаемых признаков к уровню скрытых категорий. Особая трудность психологической диагностики заключается в том, что между признаками и категориями не существует строгих взаимнооднозначных связей. Например, один и тот же внешний поступок ребенка (вырвал листок из дневника) может быть обусловлен совершенно различными психологическими причинами (повышенный уровень скрытого фактора «склонность к обману» или повышенный уровень другого скрытого фактора «страх наказания»). Для однозначного вывода одного симптома (одного поступка), как правило, недостаточно. Нужно проанализировать комплекс симптомов, то есть серию поступков в разных ситуациях.

На рис.1 схематически проиллюстрировано соотношение этих понятий:

Рис.1

Соотношение наблюдаемых диагностических признаков

и ненаблюдаемых диагностических категорий

Систематический перебор различных симптомов, связанных с гипотетическим скрытым фактором, обеспечивают тесты. ТЕСТ в психодиагностике — это серия однотипных стандартизированных кратких испытаний, которым подвергается испытуемый — носитель предполагаемого скрытого фактора. Различные тестовые задания призваны выявить у испытуемого различные симптомы, связанные с тестируемым скрытым фактором. Сумма результатов этих кратких испытаний говорит об уровне измеряемого фактора (здесь, для большей ясности, имеется в виду самая простая схема подсчета тестового балла).

За внешней простотой научных тестов скрывается большая исследовательская работа по их разработке и апробации. Различение практического ОБСЛЕДОВАНИЯ и научного дифференциально-диагностического ИССЛЕДОВАНИЯ является одним из важнейших в современной тестологической культуре. Обследование — это применение готового, уже разработанного теста. Его результат — сведения о психических свойствах конкретного обследованного человека (испытуемого). Дифференциально-диагностическое исследование — это комплекс теоретических и экспериментальных работ, направленных на формулирование концепции измеряемого психического свойства (скрытого фактора, влияющего на эффективность и характер деятельности), на выявление диагностических признаков (или «эмпирических индикаторов»), по которым можно получать информацию о заданном свойстве, это создание и испытание методики регистрации выявленных признаков. Нередко за более короткой и внешне простой методикой скрывается более сложное и трудоемкое исследование, которое было необходимо выполнить для его разработки.

Таким образом, современное понятие «психодиагностики» тесно связано с понятием ПСИХОЛОГИЧЕСКОЕ ТЕСТИРОВАНИЕ, но не сводится к нему полностью, так как кроме тестовых (стандартизированных, измерительных) существуют экспертные (основанные на качественных экспертных оценках), или, как принято чаще называть, «клинические» психодиагностические методики. В разных научных психологических школах и разных странах психодиагностика развивалась с разной системой приоритетов: в одних школах (европейская традиция, особенно в области медико-психиатрической психодиагностики) преимущественное внимание уделялось развитию КЛИНИЧЕСКИХ методов (беседа, слабостандартизированные проективные методики), в других школах (американская традиция, особенно в области образования и индустриально-психологической практики отбора кадров) интенсивно развивались СТАНДАРТИЗИРОВАННЫЕ тестовые методы. В настоящее время в современных наиболее эффективных зарубежных и отечественных научно-практических центрах активно используются и взаимодополняют друг друга оба этих подхода.

Нередко обостренная дискуссионность позиции авторов отдельных научных изданий создает у неискушенных читателей впечатление, что у психодиагностики отсутствуют признаки цельной научной дисциплины. Но объективная логика практических задач диктует здесь свои условия, и, отставляя в сторону свои научные пристрастия, эффективные практические психологи всегда используют целый комплекс разнообразных методов, разработанных в разных научных школах. На самом деле, глубокое понимание общей диагностической логики решения практических задач позволяет увидеть глубокое родство таких внешне противоположных ПОДХОДОВ, как, например, КОЛИЧЕСТВЕННЫЙ И КАЧЕСТВЕННЫЙ подходы.

Нередко за патетическим отстаиванием достоинств «качественного подхода» скрывается обыкновенное недопонимание сути многомерных количественных методов. В этом случае отдельные количественные параметры при установлении количественных порогов по каждому измерению работают фактически как система бинарных (логических), то есть фактически качественных признаков. Уже перебор всевозможных комбинаций 10 бинарных факторов дает 2 в десятой степени, то есть 1024 случая. А комбинации многих десятков количественных параметров, варьирующих более, чем на двух уровнях, дают фактически безграничные возможности для описания совершенно уникальной комбинации психических свойств (факторов). Поэтому существенные различия между количественным и качественным подходами на самом деле лежат не в надуманной проблеме числа градаций изучаемого психического свойства (фактора, параметра), а в проблеме использования стандартизированного, жестко заданного, или свободного, варьирующего от испытуемого к испытуемому набора признаков.

Стандартизованные количественные тесты эффективнее в тех случаях, когда нужно получить хотя бы приближенные данные о целой группе людей в кратчайшие сроки и при этом принять строгоальтернативное решение, требующее количественного обоснования своей надежности (принять или не принять на работу или учебу, дать отдых-отгул или поставить на дежурство, считать или не считать человека обладающим интеллектуальной и личностной зрелостью полноправного гражданина и т. п.). Кроме того, стандартизированные методы лучше защищены от возможных методических ошибок, возникающих вследствие низкой психодиагностической квалификации исполнителя, проводящего тест. (На Западе человек, проводящий тест, часто называется «администратором», в нашей стране нередко используется компьютерный термин «пользователь», а также «исполнитель», «экспериментатор», «обследователь»).

Экспертные методы более эффективны в руках опытных, профессионально подготовленных психодиагностов-психологов. Они позволяют глубже и точнее проникнуть в уникальную жизненную ситуацию отдельного конкретного человека, но требует гораздо больше времени на индивидуальную работу с ним. Особенно эффективны экспертные методы тогда, когда по их результатам сам психолог-диагност оказывает психологическую помощь, проводит коррекцию, психотерапию, тренинг, другие виды психологического вмешательства.

Особая популярность качественного, экспертного подхода в детской и педагогической психологии не в последнюю очередь определяется следующим объективным обстоятельством. В отличие от взрослого человека психика ребенка отличается повышенной изменчивостью, так как он постоянно интенсивно развивается, овладевает на каждом этапе новыми психическими функциями, приобретает новые психические свойства (новообразования). Это приводит к тому, что фиксированный набор диагностических свойств, достаточный для предшествующего этапа развития, оказывается совершенно недостаточным для следующего этапа. И даже, если кто-то разрабатывает строгую периодизацию развития и для каждого этапа фиксирует заданный набор свойств, то в случае конкретного ребенка оказывается не известным, на каком этапе он находится, какой набор свойств ожидать в данном конкретном случае. Поэтому прогностичность диагностики в детской психологии тесно связана с возможностью дополнять количественные стандартизированные описания качественными данными.

Такая взаимодополнительность стандартизированных групповых и индивидуализированных нестандартных методов необходима и в школьной педагогике, где объективно сочетаются групповые (ситуация общения с классом как с группой) и индивидуальные (внеклассное общение) методы работы с детьми. При этом сохраняется общая логика. И в том, и в другом случае диагноз выносится на основе анализа комплекса первичных психодиагностических данных (признаков). Технологические приемы получения этих первичных данных и логические правила их синтеза в диагностические категории — вот главный предмет и одновременно продукт развития научной психодиагностики.

В наиболее логически строгой, обобщенно-формализованной форме эти логико-методические принципы отражены в ПСИХОМЕТРИКЕ — математизированной технологии создания стандартизированных, измерительных психодиагностических методик. Современная психометрика требует, чтобы любой тест, претендующий на то, чтобы считаться научным, обладал необходимыми психометрическими свойствами. Это свойства ВАЛИДНОСТИ, НАДЕЖНОСТИ, РЕПРЕЗЕНТАТИВНОСТИ (см. 2,3). В психометрике обоснованы Определенные правила и методы измерения указанных психометрических свойств тестов. Следование этим правилам и методам обеспечивает объективный контроль за степенью научности любого нового предложенного теста, а также за степенью реальной ценности старого теста, который вполне может по определенным причинам устареть и перестать «работать» правильно.

Итак, в психологии психодиагностика служит своеобразным мостом между наукой и практикой: наукой об индивидуальных психологических различиях (ДИФФЕРЕНЦИАЛЬНАЯ ПСИХОЛОГИЯ) и практикой постановки ПСИХОЛОГИЧЕСКОГО ДИАГНОЗА. Как и в сфере точных наук, в психологии это соединение научных знаний и практических задач достигается не непосредственно, а на основе технологии. Таким образом, будучи технологической дисциплиной, психодиагностика выполняет в психологии роль, во многом аналогичную той, которую выполняет техническая метрология в физико-технических науках или медицинская диагностика в медико-биологических науках.

Системное строение психодиагностики, как интегративной научно-технологической дисциплины, для простоты понимания можно было бы образно представить так: «голову» психодиагностики образуют научные теории в области дифференциальной психологии; «туловище» психодиагностики образует репертуар конкретных методик (тестовых и оценочных шкал), «ноги» — это математизированная технология конструирования тестов (психометрика), «руки» — это прикладные модели и методы практической психологии (в данном случае психолого-педагогические теории и технологии), указывающие на схему применения психодиагностических методик для решения конкретных практических задач (ДИАГНОСТОГРАММЫ). Любой крен, выражающийся в преимущественном внимании к развитию какого-то одного из компонентов единого «организма» психодиагностики, приводит к неизбежному снижению эффективности функционирования всего аппарата психодиагностики как целого.

Центральным и наиболее универсальным (родовым) понятием дифференциальной психологии является понятие «ПСИХИЧЕСКОГО СВОЙСТВА». Частным случаем психических свойств, стабильных во времени, являются ЧЕРТЫ личности. В тех случаях, когда от уровня развития определенной черты зависит достижение индивидом определенного нормативно заданного результата (решение учебной задачи, в частности), мы говорим о СПОСОБНОСТИ личности. Когда уровень черты не влияет на достижение результата, а предопределяет только выбор способа его достижения, мы говорим о стилевой черте. Совокупность стилевых черт определяет индивидуальный стиль поведения или деятельности. Черты, влияющие на направленность деятельности, называются мотивационными. Психические свойства-явления, динамичные во времени (нестабильные), формируют то, что мы называем психическими состояниями (состояние тревоги, например). Таким образом, с известной долей упрощения можно сказать, что все скрытые факторы, на которые направлена диагностика в психологии, являются либо способностями, либо стилевыми, либо мотивационными чертами личности, либо психическими состояниями.

Подробнее о классификации черт и психических свойств смотрите отдельный параграф 1.4. В данном же, вводном, параграфе нам важно прежде всего подчеркнуть, что любая психодиагностическая методика (тест) основывается на определенной «диагностической концепции» — теоретически постулируемой системе психических свойств, значимых для осуществления определенной деятельности. Таким образом, любая методика предполагает наличие у исполнителя (пользователя методики) знания о системе определенных диагностически важных психических свойств, на измерение (выявление) которых она направлена. Различение общих и частных черт индивидуальности (общих потребностей и частных ситуационных установок, например) обеспечивает понимание различия между общими и частными психодиагностическими методиками. Одно дело — универсальный тест на выявление общего уровня познавательной потребности. Другое дело — более частный тест — на выявление, например, уровня интереса к изобразительному искусству.

Понимание уровня общности заданных в методике диагностических категорий необходимо, в частности, для обоснованного выбора глубины прогноза по результатам диагностики. Более обобщенные диагностические свойства обладают более «широким ПОЛЕМ ПРОГНОЗА» (в психометрике это также называется «областью валидности» теста). Но важно учитывать, что при увеличении «ширины» поля прогноза точность прогноза, как правило, снижается. Для большинства обобщенных психических свойств прогноз возможен лишь с вероятностной точностью. Если мы провели, например, тест «прогрессивные матрицы Равена» с целью измерения уровня обучаемости, то мы действительно можем распространять прогноз на самые разные школьные предметы. Но вероятность исполнения прогноза будет не очень высокой. Более узкий по «области валидности», более конкретный тест (например, тест на фонематический слух) дает нам гораздо более точный, хотя и узкий прогноз, который будет распространяться на один какой-то предмет (в данном случае на родной язык, так как точное слуховое различение согласных и гласных звуков является одной из составляющих так называемой «природной грамотности »).

Высокий уровень развития психометрики, ставшей практически синонимом ТЕСТОЛОГИИ (науки о тестах), иногда приводит к тому, что даже специалисты склонны ставить знак равенства между понятиями «тестирование» и «психологическое тестирование». Но, в строгом смысле, большинство тестов в педагогике и профобучении, сходных с психологическими тестами по процедурным признакам, на самом деле не являются психологическими по их предметной направленности. Психологическими тестами следует считать только тесты, направленные на измерение психических свойств.

Тестирование знаний по определенным предметам школьной программы, а также специальных навыков и умений в профессиональных (профориентационных) тестах не дает информации о психических свойствах. Эти тесты следует называть соответственно ПЕДАГОГИЧЕСКИМИ и ПРОФЕССИОНАЛЬНЫМИ ТЕСТАМИ. Ненадежным и недостаточно формализованным, но хорошо знакомым нам вариантом педагогических тестов являются обычные школьные и вузовские контрольные и экзамены. Броская особенность профессиональных тестов — использование особых тренажеров, в которых специально воспроизводится модель какой-то производственной задачи. Педагогические и профессиональные тесты дают нам информацию о знаниях и умениях, но не о способностях, чертах и мотивах человека. Ясно, что знания и умения подвергаются более быстрой и легкой коррекции (обучению и изменению), чем психические свойства личности. Это более оперативная диагностика, чем психодиагностика. Хороший, точный психологический диагноз позволяет прогнозировать поведение человека на гораздо более протяженном отрезке его жизни (хотя, возможно, и менее точно). В этом ценность прогноза на основе психодиагностики.

Теперь, когда мы ввели представление о психических свойствах, подойдем к определению того, что такое «ПСИХОЛОГИЧЕСКИЙ ДИАГНОЗ». Ошибкой будет думать так, что это заключение о психической болезни или о предрасположенности к определенному психическому заболеванию. Да, действительно, одна из ветвей современной научной психодиагностики, тесно связанная по своему происхождению с такой отраслью медицины, как психиатрия, долгое время строила теорию психологических типов личности как бы «от болезни к норме» — от психических расстройств, которые свойственны лицам с определенной нервно-психической конституцией (типом нервной системы и типом темперамента), к типологии человеческого характера. При этом предполагалось, что нормальные, адаптированные к жизни люди определенного склада при столкновении с длительным стрессом, экстремальными ситуациями и трудностями заболевают определенными психическими болезнями по принципу «слабого звена» — страдают в деятельности мозга именно те отделы и функции, которые наиболее уязвимы и истощаемы при чрезмерно длительном воздействии мощных конфликтогенных раздражителей. В трудах таких известных психиатров и психофизиологов, как Кречмер, Шелдон, отечественный психиатр Ганнушкин, проводятся параллели между типом конституции и психическими болезнями: сухопарые «астеники» якобы больше предрасположены к шизофрении, мускулистые «атлеты» — к эпилепсии, тучные «пикники» — к маниакальным психозам. Но результаты современных массовых статистических исследований не подтвердили такие прямые грубые параллели.

Практика «психиатрических клише» особенно опасна в педагогике. Опасна своими антигуманными последствиями. Руководствуясь стереотипными представлениями об индивидуальности, исходящими из внешнего облика ребенка, учитель вольно или невольно навязывает этому ребенку определенное «амплуа», задает маршрут развития его характера, что снижает потенциал гибкой самоорганизации — активной компенсации конституциональных ограничений.

В современной психодиагностике психологический диагноз практически не только не сводится к фиксации, но даже не связан и с прогнозом возможных психических заболеваний. Он может быть поставлен любому здоровому человеку и означает не отнесение к какой-то одной заданной категории или типу личности, а структурированное описание комплекса взаимосвязанных психических свойств — способностей, стилевых черт и мотивов личности.

Таким образом, психологический диагноз состоит не из одного слова — названия типа личности или болезни, а имеет развернутый и комплексный характер. Например, сюда может входить констатация у одного и того же человека одновременно следующих особенностей: высокого уровня развития «креативности» (изобретательности и гибкости мышления), среднего уровня «вербального интеллекта» (речевого мышления), сниженного уровня способности к концентрации внимания, черт «социальной экстраверсии» (повышенной коммуникабельности, общительности), «внутреннего локуса контроля» (повышенная ответственность и включенность самооценки в деятельность), «проницаемости границ Я» (уязвимости, ранимости) на фоне ведущей мотивации достижения социального успеха и т. п.

Некоторые черты и особенности у данного человека могут в некоторых ситуациях как бы конфликтовать между собой, подталкивать к разным способам поведения. Столкновение разнородных внутренних установок (черт-диспозиций) у ребенка — одна из причин внутренних кризисов в развитии личности. Одна из важнейших задач глубинной личностной психодиагностики состоит в выявлении того, какие именно психические свойства вошли в противоречие. Это помогает распутать клубок внутреннего конфликта (см. 4.2). Это очень тонкий и сложный вопрос. Здесь пока подчеркнем одно — диагностика с помощью одного слова-клише не дает нам описания структуры внутриличностного конфликта, а только обозначает его.

В каком-то смысле психологический диагноз более похож на результат системной технической диагностики, чем традиционной медицинской, оперирующей упрощенным представлением о наличии дискретных «нозологических» категорий, не переходящих одна в другую и характеризующихся жестко фиксированным набором симптомов. Когда автомобиль проходит техосмотр, то на разных стендах, на основе разных технических тестов, в карту технического состояния вносятся оценки уровня исправности, износа и возможных причин неисправности разных узлов и агрегатов. При этом состояние одного узла может приводить к повышению, например, ходовых качеств, а состояние другого узла — к противоположному эффекту. Кстати, в современных медико-диагностических центрах работа организована по такому же системному принципу.

Под структурированностью психологического диагноза понимается приведение разнообразных параметров психического состояния человека в определенную систему: они группируются по уровню значимости, по родственности происхождения, по возможным линиям причинного взаимовлияния. Взаимоотношения различных параметров в структурированном диагнозе специалисты отображают в форме ДИАГНОСТОГРАММ. Один из простейших вариантов «диагностограммы» — ПСИХОДИАГНОСТИЧЕСКИЙ ПРОФИЛЬ. Повышенные значения одних параметров изображаются подъемами на ломаной линии-графике, а пониженные значения — спадами на этой линии. Состав параметров и форма диагностограмм зависят от области деятельности и конкретной задачи, ради решения которой проводится психодиагностика. В педагогической психологии диагностограммы могут быть сфокусированы на психических свойствах, наиболее значимых для развития учебной деятельности. На рис. 2 дается пример такой простейшей профильной диагностограммы.

 

 

Рис. 2

Пример упрощенной профильной диагностограммы

для психических свойств, значимых в учебной деятельности

 

Конечно, психологический диагноз имеет смысл не сам по себе, а для психологического прогноза поведения и почти всегда содержит в себе прогноз в явном или неявном виде. (За исключением диагностики текущего психического состояния, что обслуживает прежде всего задачу выбора оптимального метода взаимодействия с человеком в этом состоянии). По структуре интеллекта мы можем прогнозировать, к примеру, относительную легкость и быс0троту усвоения арифметики и трудности в грамматике. Но при этом всегда необходимо учитывать комплекс параметров. Такой комплексный учет параметров не под силу дилетанту, не знающему, как параметры связаны и взаимодействуют между собой. Именно поэтому науке грамотного прочтения «психологических профилей» — науке интерпретации тестовых результатов — нужно долго учиться.

Особое значение для психодиагностики имеет понятие «норма». Здесь, как и в случае с психологическим диагнозом, положение новичка затрудняется наличием обыденного значения этого слова, мешающего усвоению научного понятия. В психодиагностике следует различать как минимум два различных вида норм: статистические и социокультурные. Первый вид чаще применяется для оценки стилевых и мотивационных черт. Второй вид — для оценки способностей и достижений (знаний и умений).

СТАТИСТИЧЕСКАЯ НОРМА — это средний диапазон значений на шкале измеряемого свойства (область, прилегающая к центральной линии на профиле). Нормой здесь считается близость значения свойства к тому уровню, который характеризует статистически среднего индивида. Значимое отклонение от нормы в этом случае (выход за пределы среднего диапазона) называется АКЦЕНТУАЦИЕЙ, а данная личностная черта называется «акцентуированной». Чем сильнее выражено это отклонение, тем более сильной считается акцентуация, вплоть до появления «патохарактерологических» признаков (см. 4.2).

СОЦИОКУЛЬТУРНЫЙ НОРМАТИВ — это уровень свойства, который явно или неявно считается в обществе необходимым. Допустимо сделать одну ошибку-описку на страницу текста, но недопустимо — 10 ошибок. Если средний выпускник школы делает больше 1 ошибки, то это не значит, что статистическая норма должна «тянуть» вниз социокультурный норматив. Очевидно, что всякое обучение должно быть ориентировано на нормативы, а не на статистические нормы.

В заключение данного вводного параграфа перечислим выделенные и истолкованные здесь ключевые термины: диагностика, психодиагностика, диагностические признаки, диагностические категории, диагностические факторы, дифференциальная психология, психометрика, психологический тест, диагностическое обследование, дифференциально-диагностическое исследование, количественный и качественный подходы, стандартизированные и экспертные методы, психическое свойство, черта личности, стилевые и мотивационные черты, способность, психическое состояние, тестология, педагогические и профессиональные тесты, психологический диагноз, ширина поля прогноза (область валидности), диагностограмма, психодиагностический профиль, статистические нормы, акцентуация, социокультурный норматив.

 

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104 | 105 | 106 | 107 |