Имя материала: Эконометрика

Автор: А.И.Орлов

14.1. методы социально-экономического прогнозирования

 

Кратко рассмотрим различные методы прогнозирования (предсказания, экстраполяции), используемые в социально-экономической области. По вопросам прогнозирования имеется большое число публикаций (см., например, книги [1-9]). Как часть эконометрики существует научная и учебная дисциплина "Математические методы прогнозирования". Ее целью является разработка, изучение и применение современных математических методов эконометрического (в частности, статистического, экспертного, комбинированного) прогнозирования социально-экономических явлений и процессов, причем методы должны быть проработаны до уровня, позволяющего их использовать в практической деятельности экономиста, инженера и менеджера. К основным задачам этой дисциплины относятся разработка, изучение и применение современных математико-статистических методов прогнозирования (в том числе непараметрических методов наименьших квадратов с оцениванием точности прогноза, адаптивных методов, методов авторегрессии и др.), развитие теории и практики экспертных методов прогнозирования, в том числе методов анализа экспертных оценок на основе статистики нечисловых данных, методов прогнозирования в условиях риска и комбинированных методов прогнозирования с использованием совместно экономико-математических и эконометрических (как статистических, так и экспертных) моделей. Теоретической основой методов прогнозирования являются математические дисциплины (прежде всего, теория вероятностей и математическая статистика, дискретная математика, исследование операций), а также экономическая теория, экономическая статистика, менеджмент, социология, политология и другие социально-экономические науки.

Как общепринято со времен основоположника научного менеджмента Анри Файоля, прогнозирование и планирование - основа работы менеджера. Сущность эконометрического прогнозирования состоит в описании и анализе будущего развития, в отличие от планирования, при котором директивным образом задается будущее движение. Например, вывод прогнозиста может состоять в том, что за час мы сможем отойти пешком от точки А не более чем на 5 км, а указание плановика - в том, что через час необходимо быть в точке Б. Ясно, что если расстояние между А и Б не более 5 км, то план реален (осуществим), а если более 10 км - не может быть осуществлен в заданных условиях. Необходимо либо отказаться от нереального плана, либо перейти на иные условия его реализации, например, двигаться не пешком, а на автомашине. Рассмотренный пример демонстрирует возможности и ограниченность методов прогнозирования. А именно, эти методы могут быть успешно применены при условии некоторой стабильности развития ситуации и отказывают при резких изменениях.

Один из вариантов применения методов прогнозирования - выявление необходимости изменений путем "приведения к абсурду". Например, если население Земли каждые 50 лет будет увеличиваться вдвое, то нетрудно подсчитать, через сколько лет на каждый квадратный метр поверхности Земли будет приходиться по 10000 человек. Из такого прогноза следует, что закономерности роста численности населения должны измениться.

Учет нежелательных тенденций, выявленных при прогнозировании, позволяет принять необходимые меры для их предупреждения, а тем самым помешать осуществлению прогноза.

Есть и самоосуществляющиеся прогнозы. Например, если в вечерней телевизионной передаче будет сделан прогноз о скором банкротстве определенного банка, то наутро многие вкладчики этого банка пожелают получить свои деньги, у входа в банк соберется толпа, а банковские операции придется остановить. Такую ситуацию журналисты описывают словами: "Банк лопнул". Обычно для этого достаточно, чтобы в один "прекрасный" (для банка) момент вкладчики пожелали изъять заметную долю (скажем, 30\%) средств с депозитных счетов.

Прогнозирование - частный вид моделирования как основы познания и управления.

Роль прогнозирования в управлении страной, отраслью, регионом, предприятием очевидна. Необходимы учет СТЭП-факторов (социальных, технологических, экономических, политических), факторов конкурентного окружения и научно-технического прогресса, а также прогнозирование расходов и доходов предприятий и общества в целом (в соответствии с жизненным циклом продукции - во времени и по 11 -и стадиям международного стандарта ИСО 9004). Проблемы внедрения и практического использования математических методов эконометрического прогнозирования связаны прежде всего с отсутствием в нашей стране достаточно обширного опыта подобных исследований, поскольку в течение десятилетий планированию отдавался приоритет перед прогнозированием.

Статистические методы прогнозирования. Простейшие методы восстановления используемых для прогнозирования зависимостей исходят из заданного временного ряда, т.е. функции, определенной в конечном числе точек на оси времени. Задачам анализа и прогноза временных рядов посвящена глава 6 выше. Временной ряд при этом часто рассматривается в рамках вероятностной модели, вводятся иные факторы (независимые переменные), помимо времени, например, объем денежной массы (агрегат М2). Временной ряд может быть многомерным, т.е. число откликов (зависимых переменных) может быть больше одного. Основные решаемые задачи - интерполяция и экстраполяция. Метод наименьших квадратов в простейшем случае (линейная функция от одного фактора) был разработан К.Гауссом более двух столетий назад, в 1794-1795 гг. (см. главу 5). Могут оказаться полезными предварительные преобразования переменных.

Опыт прогнозирования индекса инфляции и стоимости потребительской корзины накоплен в Институте высоких статистических технологий и эконометрики. При этом оказалось полезным преобразование (логарифмирование) переменной - текущего индекса инфляции. Характерно, что при стабильности условий точность прогнозирования оказывалась достаточно удовлетворительной - 10-15 \%. Однако спрогнозированное на осень 1996 г. значительное повышение уровня цен не осуществилось. Дело в том, что руководство страны перешло к стратегии сдерживания роста потребительских цен путем массовой невыплаты зарплаты и пенсий. Условия изменились - и статистический прогноз оказался непригодным. Влияние решений руководства Москвы проявилось также в том, что в ноябре 1995 г. (перед парламентскими выборами) цены в Москве упали в среднем на 9,5\%, хотя обычно для ноября характерен более быстрый рост цен, чем в другие месяцы года, кроме декабря и января.

Наиболее часто используется метод наименьших квадратов при нескольких факторах (2-5). Метод наименьших модулей и другие методы экстраполяции применяются реже, хотя их статистические свойства зачастую лучше. Большую роль играет традиция и общий невысокий уровень знаний об эконометрических методах прогнозирования.

Оценивание точности прогноза - необходимая часть процедуры квалифицированного прогнозирования. При этом обычно используют вероятностно-статистические модели восстановления зависимости, например, строят наилучший прогноз по методу максимального правдоподобия. Разработаны параметрические (обычно на основе модели нормальных ошибок) и непараметрические оценки точности прогноза и доверительные границы для него (на основе Центральной Предельной Теоремы теории вероятностей). Так, нами предложены и изучены методы доверительного оценивания точки наложения (встречи) двух временных рядов и их применения для оценки динамики технического уровня собственной продукции и продукции конкурентов, представленной на мировом рынке.

Применяются также эвристические приемы, не основанные на какой-либо теории: метод скользящих средних, метод экспоненциального сглаживания.

Адаптивные методы прогнозирования позволяют оперативно корректировать прогнозы при появлении новых точек. Речь идет об адаптивных методах оценивания параметров моделей и об адаптивных методах непараметрического оценивания. Отметим, что с развитием вычислительных мощностей компьютеров проблема сокращения объемов вычисления теряет свое значение.

Многомерная регрессия, в том числе с использованием непараметрических оценок плотности распределения - основной на настоящий момент эконометрический аппарат прогнозирования. Подчеркнем, что нереалистическое предположение о нормальности погрешностей измерений и отклонений от линии (поверхности) регрессии использовать не обязательно. Однако для отказа от предположения нормальности необходимо опереться на иной математический аппарат, основанный на многомерной центральной предельной теореме теории вероятностей и эконометрической технологии линеаризации. Он позволяет проводить точечное и интервальное оценивание параметров, проверять значимость их отличия от 0 в непараметрической постановке, строить доверительные границы для прогноза.

Весьма важна проблема проверки адекватности модели, а также проблема отбора факторов. Дело в том, что априорный список факторов, оказывающих влияние на отклик, обычно весьма обширен, желательно его сократить, и крупное направление современных эконометрических исследований посвящено методам отбора "информативного множества признаков". Однако эта проблема пока еще окончательно не решена. Проявляются необычные эффекты. Так, в главе 5 установлено, что обычно используемые оценки степени полинома имеют геометрическое распределение. Перспективны непараметрические методы оценивания плотности вероятности и их применения для восстановления регрессионной зависимости произвольного вида. Наиболее общие постановки в этой области получены с помощью подходов статистики нечисловых данных (см. главу 8).

К современным статистическим методам прогнозирования относятся также модели авторегрессии, модель Бокса-Дженкинса, системы эконометрических уравнений, основанные как на параметрических, так и на непараметрических подходах.

Для установления возможности применения асимптотических результатов при конечных (т.н. "малых") объемах выборок полезны компьютерные статистические технологии (см. главу 11). Они позволяют также строить различные имитационные модели. Отметим полезность методов размножения данных (бутстреп-методов). Системы прогнозирования с интенсивным использованием компьютеров объединяют различные методы прогнозирования в рамках единого автоматизированного рабочего места прогнозиста.

Прогнозирование на основе данных, имеющих нечисловую природу, в частности, прогнозирование качественных признаков основано на результатах статистики нечисловых данных (см. главу 8). Весьма перспективными для прогнозирования представляются регрессионный анализ на основе интервальных данных, включающий, в частности, определение и расчет нотны и рационального объема выборки (см. главу 8), а также регрессионный анализ нечетких данных, разработанный в монографии [10]. Общая постановка регрессионного анализа в рамках статистики нечисловых данных и ее частные случаи - дисперсионный анализ и дискриминантный анализ (распознавание образов с учителем), давая единый подход к формально различным методам, полезна при программной реализации современных статистических методов прогнозирования.

Экспертные методы прогнозирования. Необходимость и общее представление о применении экспертных методов прогнозирования при принятии решений на различных уровнях управления - на уровне страны, отрасли, региона, предприятия - вытекает из рассмотрений главы 12. Отметим большое практическое значение экспертиз при сравнении и выборе инвестиционных и инновационных проектов, при управлении проектами, экологических экспертиз. Роли лиц, принимающих решения (ЛПР), и специалистов (экспертов) в процедурах принятия решений, критерии принятия решений и место экспертных оценок в процедурах принятие решений рассмотрены выше. В качестве примеров конкретных экспертных процедур, широко используемых при прогнозировании, укажем метод Дельфи и метод сценариев. На их основе формируются конкретные процедуры подготовки и принятия решений с использованием методов экспертных оценок, например, процедуры распределения финансирования научно-исследовательских работ (на основе балльных оценок или парных сравнений), технико-экономического анализа, кабинетных маркетинговых исследований (противопоставляемых "полевым" выборочным исследованиям - см. главу 2), оценки, сравнения и выбора инвестиционных проектов.

В соотнесении с задачами прогнозирования напомним о некоторых аспектах планирования и организации экспертного исследования. Должны быть сформированы Рабочая группа и экспертная комиссия. Основные этапы проведения экспертного исследования рассмотрены в главе 12. Весьма ответственными этапами являются формирование целей экспертного исследования (сбор информации для ЛПР и/или подготовка проекта решения для ЛПР и др.) и формирование состава экспертной комиссии (методы списков (реестров), "снежного кома", самооценки, взаимооценки) с предварительным решением проблемы априорных предпочтений экспертов. Различные варианты организации экспертного исследования, различающиеся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями ("мозговой штурм") или без ограничений) позволяют учесть специфику конкретного экспертного исследования. Компьютерное обеспечение деятельности экспертов и Рабочей группы, экономические вопросы проведения экспертного исследования важны для успешного проведения экспертного исследования.

Напомним, что экспертные оценки могут быть получены в различных математических формах. Наиболее часто используются количественные или качественные (порядковые, номинальные) признаки, бинарные отношения (ранжировки, разбиения, толерантности), интервалы, нечеткие множества, результаты парных сравнений, тексты и др. (см. главы 8 и 9) Основные понятия (репрезентативной) теории измерений: основные типы шкал, допустимые преобразования, адекватные выводы и др. - важны применительно к экспертному оцениванию. Необходимо использовать средние величины, соответствующие основным шкалам измерения. Применительно к различным видам рейтингов репрезентативная теория измерений позволяет выяснить степень их адекватности прогностической ситуации, предложить наиболее полезные для целей прогнозирования (см. главу 3).

Например, анализ рейтингов политиков по степени их влиятельности, публиковавшийся одной из известных центральных газет, показал, что из-за неадекватности используемого математического аппарата лишь первые 10 мест, возможно, имеют некоторое отношение к реальности (они не меняются при переходе к другому способу анализа данных, т.е. не зависят от субъективизма членов Рабочей группы), остальные - "информационный шум", попытки опираться на них при прогностическом анализе могут привести лишь к ошибкам. Что же касается начального участка рейтинга этой газеты, то он также может быть подвергнут сомнению, но по более глубоким причинам, например, связанным с составом экспертной комиссии.

Основными процедурами обработки прогностических экспертных оценок являются проверка согласованности, кластер-анализ и нахождение группового мнения.

Проверка согласованности мнений экспертов, выраженных ранжировками, проводится с помощью коэффициентов ранговой корреляции Кендалла и Спирмена, коэффициента ранговой конкордации Кендалла и Бэбингтона Смита. Используются параметрические модели парных сравнений - Терстоуна, Бредли-Терри-Льюса - и непараметрические модели теории люсианов (о люсианах см. главу 8). В главе 12 рассмотрена процедура согласования ранжировок и классификаций; построения согласующих бинарных отношений по ГОГ - методу (т. е. методу Горского-Орлова-Гриценко).

При отсутствии согласованности разбиение мнений экспертов на группы сходных между собой проводят методом ближайшего соседа или другими методами кластерного анализа (автоматического построения классификаций, распознавания образов без учителя). Классификация люсианов осуществляется на основе вероятностно-статистической модели.

Используют различные методы построения итогового мнения комиссии экспертов. Своей простотой выделяется метод средних рангов. Компьютерное моделирование (см. работу [11]) позволило установить ряд свойств медианы Кемени, часто рекомендуемой для использования в качестве итогового (обобщенного, среднего) мнения комиссии экспертов. Интерпретация закона больших чисел для нечисловых данных в терминах теории экспертного опроса такова: итоговое мнение устойчиво, т.е. мало меняется при изменении состава экспертной комиссии, и при росте числа экспертов приближается к "истине". При этом в соответствии с принятым в монографии [12] подходом предполагается, что ответы экспертов можно рассматривать как результаты измерений с ошибками, все они - независимые одинаково распределенные случайные элементы, вероятность принятия определенного значения убывает по мере удаления от некоторого центра - "истины", а общее число экспертов достаточно велико.

Проблемы применения методов прогнозирования в условиях риска. Многочисленны примеры ситуаций, связанных с социальными, технологическими, экономическими, политическими, экологическими и другими рисками. Именно в таких ситуациях обычно и необходимо прогнозирование. Известны различные виды критериев, используемых в теории принятия решений в условиях неопределенности (риска). Из-за противоречивости решений, получаемых по различным критериям, очевидна необходимость применения оценок экспертов.

В конкретных задачах прогнозирования необходимо провести классификацию рисков, поставить задачу оценивания конкретного риска, провести структуризацию риска, в частности, построить деревья причин (ы другой терминологии, деревья отказов) и деревья последствий (деревья событий). Центральной задачей является построение групповых и обобщенных показателей, например, показателей конкурентоспособности и качества. Риски необходимо учитывать при прогнозировании экономических последствий принимаемых решений, поведения потребителей и конкурентного окружения, внешнеэкономических условий и макроэкономического развития России, экологического состояния окружающей среды, безопасности технологий, экологической опасности промышленных и иных объектов. Метод сценариев незаменим применительно к анализу технических, экономических и социальных последствий аварий.

Имеется некоторая специфика применения методов прогнозирования в ситуациях, связанных с риском. Велика роль функции потерь и методов ее оценивания, в том числе в экономических терминах. В конкретных областях используют вероятностный анализ безопасности (для атомной энергетики) и другие специальные методы. Эконометрике риска посвящен ряд дальнейших разделов настоящей главы.

Современные компьютерные технологии прогнозирования. Перспективны интерактивные методы прогнозирования с использованием баз эконометрических данных, имитационных (в том числе на основе применения метода Монте-Карло, т.е. метода статистических испытаний) и экономико-математических динамических моделей, сочетающих экспертные, статистические и моделирующие блоки. Обратим внимание на сходство и различие методов экспертных оценок и экспертных систем. Можно сказать, что экспертная система моделирует поведение эксперта путем формализации его знаний по специальной технологии. Но интуицию "живого эксперта" нельзя заложить в ЭВМ, а при формализации мнений эксперта (фактически - при его допросе) наряду с уточнением одних его представлений происходит и огрубление других. Другими словами, при использовании экспертных оценок непосредственно обращаются к опыту и интуиции высококвалифицированных специалистов, а при применении экспертных систем имеют дело с компьютерными алгоритмами расчетов и выводов, при создании которых когда-то давно привлекались эксперты как источник данных и типовых заключений.

Обратим внимание на возможность использования в прогнозировании производственных функций, статистически описывающих связь выпуска с факторами производства, на различные способы учета научно-технического прогресса, в частности, на основе анализа трендов и с помощью экспертного выявления точек роста. Примеры экономических прогнозов всех видов имеются в литературе. К настоящему времени разработаны компьютерные системы и программные средства комбинированных методов прогнозирования. Одна из первых таких систем была создана в 70-е годы в ИМЭМО АН СССР под руководством С.А.Петровского.

 

14.2. Основные идеи технологии сценарных экспертных прогнозов

 

Как уже отмечалось в пункте 14.1, социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. Объективно имеются точки выбора (фуркации), после которых рассматриваемое прогнозистами развитие может пойти по одному из нескольких возможных путей (эти пути и называют обычно сценариями). Выбор может делаться на разных уровнях -конкретной личностью (перейти на другую работу или остаться), менеджером (выпускать ту или иную марку продукции), конкурентами (сотрудничество или борьба), властными структурами (выбор той или иной системы налогообложения), населением страны (выбор президента), "международным сообществом" (вводить или нет санкции против России).

Рассмотрим пример. Вполне очевидно, что после первого тура президентских выборов 1996 г. о дальнейшем развитии социально-экономических событий можно было говорить лишь в терминах сценариев: если победит Б.Н. Ельцин, то будет то-то и то-то, если победит Г.А. Зюганов, то события пойдут так-то и так-то.

Например, работа [13] имела целью прогноз динамики валового внутреннего продукта (ВВП) на 9 лет (1999-2007). При ее проведении было ясно, что за это время произойдут различные политические события, в частности, по крайней мере два цикла парламентских и президентских выборов (при условии сохранения нынешней политической структуры), результаты которых нельзя предсказать однозначно. Поэтому прогноз динамики ВВП мог быть сделан лишь по отдельности для каждого сценария из некоторой гаммы, охватывающей возможные пути социально-экономической динамики России.

Метод сценариев необходим не только в социально-экономической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, техническими, экономическими и социальными последствиями, возможностями предупреждения.

Таким образом, метод сценариев - это метод декомпозиции (разделения на части) задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.

Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

построение исчерпывающего, но обозримого набора сценариев;

прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций принятия решений, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям и расчетам.

Для построения исчерпывающего, но обозримого набора сценариев необходимо предварительно проанализировать динамику социально-экономического развития рассматриваемого экономического агента и его окружения. Корни будущего - в настоящем и прошлом, причем зачастую - в весьма далеком прошлом. Кроме макроэкономических и микроэкономических характеристик, известных лишь с погрешностями, которые нельзя считать случайными или малыми, необходимо учитывать состояние и динамику отечественного массового сознания, политических, в то числе внешнеполитических реалий, поскольку на обычно рассматриваемом интервале времени (до 10 лет) экономика зачастую следует за политикой, а не наоборот.

Так, например, к началу 1985 г. экономика СССР находилась в достаточно стабильном состоянии с ежегодным ростом в среднем 3-5\%. Если бы руководство страны находилось в руках иных людей, то развитие продолжалось бы в прежних условиях и к концу тысячелетия ВВП СССР увеличился бы на 50\% и составил бы примерно 150 \% от уровня 1985 г. Реально же из-за политических причин ВВП России за эти 15 лет упал примерно в 2 раза, т.е. составил около 50 \% по сравнению с 1985 г., или в 3 раза меньше, чем можно было бы ожидать из чисто экономических причин при сохранении стабильных условий 1985 г.

Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события - прилет инопланетян, падение астероида, массовые эпидемии ранее неизвестных болезней, и т.д.

Само по себе создание набора сценариев - предмет экспертного исследования, проводимого в соответствии с описанной выше методологией. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария. Ясно, что эти оценки не являются надежными.

Часто используют упрощенный подход к прогнозированию методом сценариев. А именно, формулируют три сценария - оптимистический, вероятный и пессимистический. При этом для каждого из сценариев достаточно произвольно выбирают значения параметров, описывающих производственно-экономическую ситуацию (по-английски -case). Цель такого подхода - рассчитать интервалы разброса для характеристик и "коридоры"   для   временных   рядов,   интересующих   исследователя   (и заказчика исследования). Например, прогнозируют финансовый поток (по-английски - cash flow) и чистую текущую стоимость (по-английски - net present value или NPV) инвестиционного проекта.

Ясно, что такой упрощенный подход не может дать максимального или минимального значения характеристики, он дает лишь представление о порядке количественной меры разброса. Однако его развитие приводит к байесовской постановке в теории принятия решений. Например, если сценарий описывается элементом конечномерного евклидова пространства, то любое вероятностное распределение на множестве исходных параметров преобразуется в распределение интересующих исследователя характеристик. Расчеты могут быть проведены с помощью современных информационных технологий метода статистических испытаний. Надо в соответствии с заданным распределением на множестве параметров выбирать с помощью датчика псевдослучайных чисел конкретный вектор параметров и рассчитывать для него итоговые характеристики. В результате получится эмпирическое распределение на множестве итоговых характеристик, которое можно разными способами анализировать, находить оценку математического ожидания, разброса и др. Остается только неясным, как задавать распределение на множестве параметров. Естественно, для этого можно использовать экспертов.

Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому обычно предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.

Вопрос об использовании результатов прогнозирования относится не к эконометрике, а к смежной науке - теории принятия решений. Как известно, при принятии решений на основе анализа ситуации, в том числе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.

Итак, рассмотрена концепция современной методики экспертного оценивания методом сценариев. Она использовалась, например, для прогнозирования социально-экономического развития России (см. работу [13]).

 

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 |