Анализ результатов моделирования

Обработка и анализ результатов моделирования

Стр 1 из 3

Обработка и анализ результатов моделирования

Решения, принимаемые исследователем по результатам имитационного моделирования, могут быть конструктивными только при выполнении двух основных условий:

  • полученные результаты обладают требуемой точностью и достоверностью;
  • исследователь способен правильно интерпретировать полученные результаты и знает, каким образом они могут быть использованы.

Возможность выполнения первого условия закладывается, в основном, еще на этапе разработки модели и частично — на этапе планирования эксперимента. Достоверность результатов моделирования предполагает, что модель, с помощью которой они получены, не только является «правильной», но отвечает и некоторым дополнительным требованиям, предъявляемым к имитационным моделям. Эти требования и методы оценки соответствия им созданной модели рассматриваются ниже. Способность исследователя правильно интерпретировать полученные результаты и принимать на их основе важные решения существенно зависит от степени соответствия формы представления результатов целям моделирования.

Если разработчик модели уверен, что полученные результаты будут использоваться в соответствии с одной, четко определенной, целью, форма их представления может быть определена заранее. В этом случае преобразование экспериментальных данных к требуемому виду может производиться либо в ходе эксперимента, либо сразу после его завершения. Такой подход позволяет экономить память компьютера, необходимую для хранения большого количества необработанных данных, а также сократить время на анализ результатов и принятие решения.

Если же заранее конкретизировать цель моделирования сложно или целей несколько, данные должны накапливаться в базе данных и затем уже выдаваться в требуемой форме по запросу пользователя. Как правило, по такому принципу строятся системы автоматизации моделирования.


Далее будет показано, как при правильной организации обработки экспериментальных данных могут быть получены дополнительные сведения о моделируемой системе.

Оценка качества имитационной модели

Оценка качества модели является завершающим этапом ее разработки и преследует две цели:

  • проверить соответствие модели ее предназначению (целям исследования);
  • оценить достоверность и статистические характеристики результатов, получаемых при проведении модельных экспериментов.

При аналитическом моделировании достоверность результатов определяется двумя основными факторами:

  • корректным выбором математического аппарата, используемого для описания исследуемой системы;
  • методической ошибкой, присущей данному математическому методу.

При имитационном моделировании на достоверность результатов влияет целый ряд дополнительных факторов, основными из которых являются:

  • моделирование случайных факторов, основанное на использовании датчиков случайных чисел, которые могут вносить «искажения» в поведение модели;
  • наличие нестационарного режима работы модели;
  • использование нескольких разнотипных математических методов в рамках одной модели;
  • зависимость результатов моделирования от плана эксперимента;
  • необходимость синхронизации работы отдельных компонент модели;
  • наличие модели рабочей нагрузки, качество которой зависит, в свою очередь, от тех же факторов.

Пригодность имитационной модели для решения задач исследования характеризуется тем, в какой степени она обладает так называемыми целевыми свойствами. Основными из них являются:

  • адекватность;
  • устойчивость;
  • чувствительность.

Далее рассмотрены некоторые способы проведения оценки модели по каждому из них.

Оценка адекватности

В общем случае под адекватностью понимают степень соответствия модели тому реальному явлению или объекту, для описания которого она строится.

Вместе с тем, создаваемая модель ориентирована, как правило, на исследование определенного подмножества свойств этого объекта. Поэтому можно считать, что адекватность модели определяется степенью ее соответствия не столько реальному объекту, сколько целям исследования. В наибольшей степени это утверждение справедливо относительно моделей проектируемых систем (то есть в ситуациях, когда реальная система вообще не существует).

Тем не менее, во многих случаях полезно иметь формальное подтверждение (или обоснование) адекватности разработанной модели. Один из наиболее распространенных способов такого обоснования — использование методов математической статистики. Суть этих методов заключается в проверке выдвинутой гипотезы (в данном случае — об адекватности модели) на основе некоторых статистических критериев.

При проверке гипотез методами математической статистики необходимо иметь в виду, что статистические критерии не могут доказать ни одной гипотезы — они могут лишь указать на отсутствие опровержения.

Итак, каким же образом можно оценить адекватность разработанной модели реально существующей системе? Процедура оценки основана на сравнении измерений на реальной системе и результатов экспериментов на модели и может проводиться различными способами. Наиболее распространенные из них:

  • по средним значениям откликов модели и системы;
  • по дисперсиям отклонений откликов модели от среднего значения откликов системы;
  • по максимальному значению относительных отклонений откликов модели от откликов системы.

Названные способы оценки достаточно близки между собой по сути, поэтому ограничимся рассмотрением первого из них. При этом способе проверяется гипотеза о близости среднего значения наблюдаемой переменной Y среднему значению отклика реальной системы Y*.

В результате N0 опытов на реальной системе получают множество значений (выборку) Y*. Выполнив NM экспериментов на модели, также получают множество значений наблюдаемой переменной Y.

Затем вычисляются оценки математического ожидания и дисперсии откликов модели и системы, после чего выдвигается гипотеза о близости средних значений величин Y* и Y (в статистическом смысле). Основой для проверки гипотезы является t-статистика (распределение Стьюдента). Ее значение, вычисленное по результатам испытаний, сравнивается с критическим значением tКР взятым из справочной таблицы. Если выполняется неравенство tn<tKР, то гипотеза принимается. Необходимо еще раз подчеркнуть, что статистические методы применимы только в том случае, если оценивается адекватность модели существующей системе. На проектируемой системе провести измерения, естественно, не представляется возможным.

Единственный способ преодолеть это препятствие заключается в том, чтобы принять в качестве эталонного объекта концептуальную модель проектируемой системы. Тогда оценка адекватности программно реализованной модели заключается в проверке того, насколько корректно она отражает концептуальную модель. Данная проблема сходна с проверкой корректности любой компьютерной программы, и ее можно решать соответствующими методами, например с помощью тестирования.

Оценка устойчивости

При оценке адекватности модели как существующей, так и проектируемой системы реально может быть использовано лишь ограниченное подмножество всех возможных значений входных параметров (рабочей нагрузки и внешней среды). В связи с этим для обоснования достоверности получаемых результатов моделирования большое значение имеет проверка устойчивости модели. В теории моделирования это понятие трактуется следующим образом.

Устойчивость модели — это ее способность сохранять адекватность при исследовании эффективности системы на всем возможном диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы.
Каким образом может быть оценена устойчивость модели? Универсальной процедуры проверки устойчивости модели не существует. Разработчик вынужден прибегать к методам «для данного случая», частичным тестам и здравому смыслу. Часто полезна апостериорная проверка. Она состоит в сравнении результатов моделирования и результатов измерений на системе после внесения в нее изменений. Если результаты моделирования приемлемы, уверенность в устойчивости модели возрастает.

В общем случае можно утверждать, что чем ближе структура модели структуре системы и чем выше степень детализации, тем устойчивее модель. Устойчивость результатов моделирования может быть также оценена методами Математической статистики. Здесь уместно вспомнить основную задачу математической статистики. Она заключается в том, чтобы проверить гипотезу относительно свойств некоторого множества элементов, называемого генеральной совокупностью, оценивая свойства какого-либо подмножества генеральной совокупности (то есть выборки). В генеральной совокупности исследователя обычно интересует некоторый признак, который обусловлен случайностью и может иметь качественный или количественный характер.

В данном случае именно устойчивость результатов моделирования можно рассматривать как признак, подлежащий оценке. Для проверки гипотезы об устойчивости результатов может быть использован критерий Уилкоксона, который служит для проверки того, относятся ли две выборки к одной и той же генеральной совокупности (то есть, обладают ли они одним и тем же статистическим признаком). Например, в двух партиях некоторой продукции измеряется определенный признак, и требуется проверить гипотезу о том, что этот признак имеет в обеих партиях одинаковое распределение; другими словами, необходимо убедиться, что технологический процесс от партии к партии изменяется несущественно.

При статистической оценке устойчивости модели соответствующая гипотеза может быть сформулирована следующим образом: при изменении входной (рабочей) нагрузки или структуры ИМ закон распределения результатов моделирования остается неизменным.

Проверку указанной гипотезы Н проводят при следующих исходных данных. Пусть имеются две выборки , полученные для различных значений рабочей нагрузки; относительно законов распределения X и Y никаких предположений не делается.

Значения обеих выборок упорядочиваются вместе по возрастанию. Затем анализируется взаимное расположение . В случае говорят, что пара значений образует инверсию.
Например, пусть для n=m=3 после упорядочивания получилась такая последовательность значений: тогда имеем инверсии:

Подсчитывают полное число инверсий U. Если гипотеза верна, то U не должно сильно отклоняться от своего математического ожидания М:

От гипотезы отказываются, если |U-M| > UKP (UKP определяют по таблице для заданного уровня значимости).

Оценка чувствительности

Очевидно, что устойчивость является положительным свойством модели. Однако если изменение входных воздействий или параметров модели (в некотором заданном диапазоне) не отражается на значениях выходных параметров, то польза от такой модели невелика (ее можно назвать «бесчувственной»). В связи с этим возникает задача оценивания чувствительности модели к изменению параметров рабочей нагрузки и внутренних параметров самой системы.

Такую оценку проводят по каждому параметру X в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен. Одна из наиболее простых и распространенных процедур оценивания состоит в следующем.
1. Вычисляется величина относительного среднего приращения параметра X:

2. Проводится пара модельных экспериментов при значениях и средних фиксированных значениях остальных параметров. Определяются значения отклика модели

3. Вычисляется относительное приращение наблюдаемой переменной Y:

В результате для k-гo параметра модели имеют пару значений , характеризующую чувствительность модели по этому параметру.

Аналогично формируются пары для остальных параметров модели, которые образуют множество .
Данные, полученные при оценке чувствительности модели, могут быть использованы, в частности, при планировании экспериментов: большее внимание должно уделяться тем параметрам, по которым модель является более чувствительной.

Оценка чувствительности

Очевидно, что устойчивость является положительным свойством модели. Однако если изменение входных воздействий или параметров модели (в некотором заданном диапазоне) не отражается на значениях выходных параметров, то польза от такой модели невелика (ее можно назвать «бесчувственной»). В связи с этим возникает задача оценивания чувствительности модели к изменению параметров рабочей нагрузки и внутренних параметров самой системы.

Такую оценку проводят по каждому параметру X в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен. Одна из наиболее простых и распространенных процедур оценивания состоит в следующем.
1. Вычисляется величина относительного среднего приращения параметра X:

  1. Проводится пара модельных экспериментов при значениях и средних фиксированных значениях остальных параметров. Определяются значения отклика модели
  2. Вычисляется относительное приращение наблюдаемой переменной Y:

В результате для k-гo параметра модели имеют пару значений , характеризующую чувствительность модели по этому параметру.

Аналогично формируются пары для остальных параметров модели, которые образуют множество .
Данные, полученные при оценке чувствительности модели, могут быть использованы, в частности, при планировании экспериментов: большее внимание должно уделяться тем параметрам, по которым модель является более чувствительной.

T-критерий

Этот критерий служит для проверки гипотезы о равенстве средних значений двух нормально распределенных случайных величин X и Y в предположении, что дисперсии их равны (хотя и неизвестны). Сравниваемые выборки могут иметь разный объем. В качестве критерия используют величину Т:

Величина Т подчиняется t-распределению Стьюдента.

Критическое значение для t-критерия определяется по таблице для выбранного значения а и числа степеней свободы k=n1+n2-2.

Если вычисленное по указанной формуле значение Т удовлетворяет неравенству T ³ tKp, то гипотезу Н0 отвергают.

По отношению к предположению о «нормальной распределенности» величин х и у t-критерий не очень чувствителен. Его можно применять, если распределения случайных величин не имеют нескольких вершин и не слишком асимметричны.

F-критерий

Этот критерий служит для проверки гипотезы о равенстве дисперсий Dx и Dy при условии, что х и у распределены нормально.
Гипотезы такого рода имеют большое значение в технике, так как дисперсия есть мера таких характеристик, как погрешности измерительных приборов, точность технологических процессов, точность наведения при стрельбе и так далее. В качестве контрольной величины используется отношение дисперсий (или DY /Dх — большая дисперсия должна быть в числителе). Величина F подчиняется F-распределению (Фишера) с (m1, m2) степенями свободы .

Проверка гипотезы состоит в следующем.
Для величины и величин m1, m2 по таблице F-распределения выбирают значения Fa,m1,m2.
Если f, вычисленное по выборке, больше этого критического значения, гипотеза должна быть отклонена с вероятностью ошибки a.

Критерии согласия

Критерии согласия используются для проверки того, удовлетворяет ли рассматриваемая случайная величина данному закону распределения.

Критерий согласия Пирсона (х2) служит для проверки гипотезы Н0 о том, что Fy (у)=F0 (у), где Fy (у) — истинное распределение случайной величины у, F0 (у) — гипотетическое распределение.
Проверка производится следующим образом.

  1. Область значений случайной величины у разбивается (произвольно) на k непересекающихся множеств («классов»).
  2. В результате n опытов формируется выборка (у1, … уn).
  3. Вычисляется контрольная величина х2:

Здесь М2i — число значений у, попавших в i-й класс; pi — теоретическая вероятность для F0(y) попадания значения у в i-й класс.

4. По таблице -распределений находят критическое значение для уровня значимости а и m=k-1 степеней свободы. Если , то гипотеза отвергается.

При использовании критерия Колмогорова- Смирнова имеющуюся выборку(у1 уn) упорядочивают по возрастанию и строят следующую эмпирическую функцию распределения:

Контрольной величиной является следующая:

Гипотеза Н0: Fy(y)=F0(y) отвергается, если вероятность попадания соответствующего критерия в критическую область оказывается меньше выбранного исследователем уровня значимости а.

Критическое значение критерия, как и в предыдущих случаях, находится по таблице. Разумеется, проведение вручную расчетов, необходимых для проверки статистических гипотез, требует значительных затрат времени и сил. Поэтому многие современные математические пакеты имеют в своем составе средства, позволяющие свести к минимуму число операций, выполняемых пользователем вручную.

Что нового мы узнали?

  • В тех случаях, когда поведение исследуемой системы зависит от воздействия большого числа случайных факторов, либо интерес представляет развитие ситуации во времени, удобнее всего использовать имитационные модели. Основная особенность таких моделей — обеспечение возможности проведения статистического эксперимента.
  • В зависимости от того, какие аспекты поведения исследуемой системы или операции вас интересуют, ее модель может быть описана либо как последовательность событий, либо как совокупность взаимодействующих процессов, либо как последовательность операций обслуживания транзактов.
  • Создание имитационной модели сложной системы, функционирование которой предполагает наличие параллельных процессов, является весьма сложным делом, требующим от разработчика не только хорошего знания рассматриваемой предметной области, но достаточно прочных навыков в программировании.
  • Результаты имитационного эксперимента могут быть использованы для принятия решения лишь при условии их корректной статистической обработки, что предъявляет к уровню подготовки исследователя целый ряд дополнительных требований.
  • Существенное повышение технологичности подготовки, проведения и анализа результатов имитационного моделирования возможно в том случае, если в распоряжении исследователя имеются соответствующие инструментальные средства.

Обработка и анализ результатов моделирования

Решения, принимаемые исследователем по результатам имитационного моделирования, могут быть конструктивными только при выполнении двух основных условий:

  • полученные результаты обладают требуемой точностью и достоверностью;
  • исследователь способен правильно интерпретировать полученные результаты и знает, каким образом они могут быть использованы.

Возможность выполнения первого условия закладывается, в основном, еще на этапе разработки модели и частично — на этапе планирования эксперимента. Достоверность результатов моделирования предполагает, что модель, с помощью которой они получены, не только является «правильной», но отвечает и некоторым дополнительным требованиям, предъявляемым к имитационным моделям. Эти требования и методы оценки соответствия им созданной модели рассматриваются ниже. Способность исследователя правильно интерпретировать полученные результаты и принимать на их основе важные решения существенно зависит от степени соответствия формы представления результатов целям моделирования.

Если разработчик модели уверен, что полученные результаты будут использоваться в соответствии с одной, четко определенной, целью, форма их представления может быть определена заранее. В этом случае преобразование экспериментальных данных к требуемому виду может производиться либо в ходе эксперимента, либо сразу после его завершения. Такой подход позволяет экономить память компьютера, необходимую для хранения большого количества необработанных данных, а также сократить время на анализ результатов и принятие решения.

Если же заранее конкретизировать цель моделирования сложно или целей несколько, данные должны накапливаться в базе данных и затем уже выдаваться в требуемой форме по запросу пользователя. Как правило, по такому принципу строятся системы автоматизации моделирования.

Далее будет показано, как при правильной организации обработки экспериментальных данных могут быть получены дополнительные сведения о моделируемой системе.

Анализ результатов моделирования

Конечная цель моделирования — принятие решения, которое должно быть выработано на основе всестороннего анализа результатов моделирования.

Этот этап решающий — либо вы продолжаете исследование, либо заканчиваете. Этап анализа результатов не может существовать автономно. Полученные выводы часто способствуют проведению дополнительной серии экспериментов, а подчас и изменению задачи.

Основой выработки решения служат результаты тестирования и экспериментов. Если результаты не соответствуют целям поставленной задачи, значит, на предыдущих этапах были допущены ошибки. Это может быть либо неправильная постановка задачи, либо слишком упрощенное построение информационной модели, либо неудачный выбор метода или среды моделирования, либо нарушение технологических приемов при построении модели. Если такие ошибки выявлены, то требуется корректировка модели, то есть возврат к одному из предыдущих этапов. Процесс повторяется до тех пор, пока результаты эксперимента не будут отвечать целям моделирования.

Теоретическая часть Практическая часть

Обработка результатов моделирования

В процессе моделирования формируется большое количество реализаций (например, сценариев), являющихся исходным статистическим материалом для нахождения приближенных значений показателей эффективности или, как говорят, их оценок. В этих условиях обработка результатов моделирования может решаться только с применением средств вычислительной техники.

Перечислим ряд таких приемов.

Оценка вероятности. Оценкой вероятности является частота Р(А) = т/ N. Для ее получения обычно организуют на программном уровне два счетчика: один для подсчета общего числа экспериментов N, второй – для подсчета общего числа положительных исходов т.

Гистограммы. Иногда в качестве характеристик исследуемой системы выступает закон плотности распределения. Его приближенно можно охарактеризовать гистограммой. Для этого интервал изменения случайной величины разбивают на отрезки t,•, каждому из них относят счетчик, где накапливают – число попаданий значений случайной величины в . На каждом строится прямоугольник с высотой . Полученную гистограмму можно сгладить.

Оценка математического ожидания. Оценку математического ожидания получают как среднее арифметическое значение случайной величины

Сумму лучше всего вычислять (во избежание непроизводительных затрат памяти) путем постепенного накапливания.

Оценка дисперсии. Оценку дисперсии можно вычислять по формуле

однако это связано с непроизводительным использованием памяти ЭВМ. Поэтому лучше воспользоваться формулой

Оценка корреляционного момента. Из тех же соображений для оценки корреляционного момента двух случайных величин ξ и η рекомендуется использовать формулу

Оценка характеристик случайного процесса. Для вычисления оценки характеристик случайных процессов производят статистическую обработку по их N реализациям. Для этого интервал задания случайных процессов разбивают на части cΔt = const. Матожидания и дисперсии для каждого tk = kΔt можно вычислить по формулам, приведенным выше. Оценку корреляционной функции рассчитывают по формуле

Здесь

Важной задачей обработки информации является задача определения количества реализаций N, обеспечивающих заданную точность получения оценок. Для определения N при оценке вероятности пользуются формулой

а при оценке математического ожидания

где – квантиль для нормального, центрированного нормального закона распределения, соответствующий значению а = 1 – Р, где Р – заданная достоверность;

– оцениваемая вероятность;

– допустимая погрешность;

–дисперсия.

В этих формулах неизвестно, а может быть неизвестным. Поэтому производятпредварительно 50–100 реализаций, получают по ним оценки и и подставляют их в формулы для вычисления уточненного значения N.

Анализ результатов моделирования. Конечная цель моделирования состоит в принятии решения, которое должно быть выработано на основе всестороннего анализа результатов моделирования. Этот этап решающий – либо исследование продолжается, либо заканчивается. Этап анализа результатов не может существовать автономно. Полученные выводы часто способствуют проведению дополнительной серии экспериментов, а подчас и изменению задачи.

Основой выработки решения служат результаты тестирования и экспериментов. Если результаты не соответствуют целям поставленной задачи, значит, на предыдущих этапах были допущены ошибки. Это может быть либо неправильная постановка задачи, либо слишком упрощенное построение информационной модели, либо неудачный выбор метода или среды моделирования, либо нарушение технологических приемов при построении модели. Если такие ошибки выявлены, то требуется корректировка модели, т.е. возврат к одному из предыдущих этапов. Процесс повторяется, до тех пор пока результаты эксперимента не будут отвечать целям моделирования.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *