ГОСТ Р 57639-2017 Пожарно-технический анализ. Часть 1. Валидация и верификация методов расчета

Текст ГОСТ Р 57639-2017 Пожарно-технический анализ. Часть 1. Валидация и верификация методов расчета

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

Fire safety engineering —

Procedures and requirements for verification and validation of calculation methods — Part 1: General, MOD)

ГОСТ Р 57639—-2017

1 ПОДГОТОВЛЕН Обществом с ограниченной ответственностью «СИТИС» (ООО «СИТИС») на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 274 «Пожарная безопасность»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому ре* гулированию и метрологии от 5 сентября 2017 г. N9 1009-ст

4 Настоящий стандарт является модифицированным по отношению к международному стандарту ИСО 16730-1:2015 «Пожарно-технический анализ. Процедуры и требования к верификации и валидации методов расчета. Часть 1. Общие положения» (ISO 16730-1:2015 «Fire safety engineering — Procedures and requirements for verification and validation of calculation methods — Part 1: General». MOD) путем изменения отдельных фраз. слов, которые выделены в тексте курсивом.

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5—2012 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные и межгосударственные стандарты, сведения о которых приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N9 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется е ежегодном (ло состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и пол давок — е ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет ()

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

ГОСТ Р 57639—2017

1 Область применения . 1

2 Нормативные ссылки. 1

3 Термины и определения. 2

4 Документация. 3

4.1 Общие положения. 3

4.2 Техническая документация. 3

4.3 Руководство пользователя. 5

5.1 Общие положения. 6

5.2 Верификация . 8

5.3 Валидация . 10

5.4 Обзор теоретической и экспериментальной основы вероятностных моделей. 13

5.5 Анализ чувствительности . 13

5.6 Обеспечение качества. 14

6 Требования к справочным данным для валидации метода расчета. 15

6.1 Общие положения. 15

6.2 Особые требования к данным для валидации . 15

Приложение А (справочное) Неопределенность. 17

Приложение 8 (справочное) Примеры методов валидации. 19

Приложение С (справочное) Методы анализа чувствительности . 26

Приложение О (справочное) Методика обеспечения контроля качества . 29

Приложение ДА (справочное) Сведения о соответствии ссылочных национальных

и межгосударственных стандартов международным стандартам, использованным

в качестве ссылочных в примененном международном стандарте. 33

ГОСТ Р 57639—-2017

Цель пожарно-технического анализа заключается в оказании помощи в достижении приемлемого расчетного уровня пожарной безопасности. Кроме того, в настоящем стандарте описано использование методов расчета для того, чтобы:

• прогнозировать ход событий, которые потенциально могут иметь место в случае пожара или в его результате:

• оценивать возможности противопожарной защиты по снижению воздействия неблагоприятных последствий пожара на людей, имущество, окружающую среду и другие объекты.

Основные принципы, которые необходимы для обеспечения надежности этих методов расчета. — верификация и валидация.

В настоящем стандарте в общих чертах рассмотрены оценка, верификация и валидация методов расчета пожарно-технического анализа.

Потенциальные пользователи методов расчета и лица, ответственные за принятие полученных результатов, должны быть уверены в том. что методы расчета обеспечивают достаточно точные прогнозы течения и последствий пожара в каждом конкретном случае. В связи с чем необходимо, чтобы выбранные методы расчета прошли верификацию на предмет математической точности и валидацию на способность воспроизводить эти процессы. Тщательно проводимый процесс валидации и верификации является ключевым элементом обеспечения качества проделанной работы.

Не существует четко установленного требования к точности, применимого ко всем методам расчета. так как уровень точности зависит от цели использования метода расчета. Причем не все методы расчета должны демонстрировать высокую точность при наличии выявленных ошибок, неопределенностей и ограничений применимости.

Предметом настоящего стандарта является точность прогнозирования методов расчета. Однако и другие факторы, такие как удобство использования, актуальность, завершенность и статус разработки, играют важную роль в оценке применения наиболее подходящего метода расчета в каждом конкретном случае. Оценка пригодности метода расчета для специального назначения в области пожарно-технического анализа достигается благодаря использованию методологии контроля качества, что гарантирует выполнение требований. В настоящем стандарте в краткой форме изложено руководство по определению системы метрик для измерения свойств соответствующих характеристик качества.

Настоящий стандарт содержит части, которые используют полностью или частично е своей работе следующий круг лиц:

• разработчики методов расчета (частные лица или организации, осуществляющие деятельность в области разработок, в том числе анализ требований, проектирование и тестирование компонентов) для документального подтверждения актуальности того или иного метода расчета, возможно, для конкретного применения. Часть разработки метода расчета включает в себя определение прецизионности и границ применимости, а также независимое тестирование:

- разработчики методов расчета (частные лица или организации, которые осуществляют поддержку компьютерных моделей, их поставку и оценку качества в рамках обеспечения оценки и контроля качества) для документального оформления процесса разработки программного обеспечения и предоставления пользователям гарантии, что соответствующие методы испытаний соблюдены с целью обеспечения качества прикладных инструментов:

- пользователи методов расчета (лица или организации, которые используют методы расчета для выполнения анализа), которым необходимо удостовериться в том, что они применяют соответствующий метод для конкретного случая и что данный метод обеспечивает достаточную точность при расчете:

- разработчики норм и стандартов для определения соответствия метода расчета сообразно его применению:

- надзорные органы/представители надзорных органов (частные лица или организации, занимающиеся изучением и утверждением применения методов и инструментов оценки), которые несут ответственность за то. что метод расчета используется в рамках определенной области применения и имеет приемлемый уровень точности:

> преподаватели, которые объясняют применение и допустимость данных методов расчета.

Пользователи настоящего стандарта должны иметь соответствующую квалификацию и компетентность в области пожарно-технического анализа и оценки риска. Важно, чтобы пользователи могли определять параметры, в пределах которых могут быть использованы конкретные методики.

ГОСТ Р 57639—2017 (ИСО 16730-1:2015)

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ПОЖАРНО-ТЕХНИЧЕСКИЙ АНАЛИЗ Часть 1

валидация и верификация методов расчета

Fire safety engineering. Part 1. Validation and verification of calculation methods

Дата введения — 2018—06—01

1 Область применения

Настоящий стандарт обеспечивает основу для верификации и валидации всех видов методов расчета, используемых в качестве инструментов для пожарно-технического анализа. В нем не представлены конкретные модели пожара, однако настоящий стандарт предназначен для применения в аналитических моделях, алгебраических зависимостях и сложных численных моделях, которые рассмотрены в качестве методов расчета в контексте настоящего стандарта.

Настоящий стандарт включает:

• процесс, позволяющий определить, что соответствующие уравнения и методы расчета реализованы правильно (верификация) и что рассматриваемый метод расчета точно отображает реальность (валидация);

• требования к документации, подтверждающей пригодность научно-технической основы метода расчета;

- требования к данным, на основе которых должны быть проверены прогнозируемые результаты метода расчета;

• руководство по использованию настоящего стандарта разработчиками и/или пользователями методов расчета и лицами, которые занимаются оценкой результатов, полученных с помощью методов расчета.

2 Нормативные ссылки

8 настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 28195—89 Оценка качества программных средств. Общие положения

ГОСТ Р ИСО/МЭК 25010—2015 Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов

ГОСТ Р ИСО/МЭК 25040—2014 Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Процесс оценки

Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте национального органа Российской Федерации по стандартизации а сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная

ГОСТ Р 57639—-2017

ссылка, внесено изменение, затрагивающее положение, на которое дана осыпка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 точность (accuracy): Степень точности, присущая приближению, измерению и т. д.

3.2 метод расчета (calculation method): Математический метод, используемый для прогнозирования явлений, вызванных пожаром.

Примечание — Методы расчета могут отражать поведение людей, а также объектов или пожара; по типу они могут быть как вероятностными, так и детерминированными и могут быть выражены как алгебраическими формулами, так и в виде сложных компьютерных моделей.

3.3 калибровка (модели) (calibration of a model): Процесс корректировки параметров моделирования в вычислительной модели с целью повышения их соответствия экспериментальным данным.

3.4 компьютерная (компьютеризированная) модель [computer(rized) model]: Исполняемая компьютерная программа, которая реализует концептуальную модель.

3.5 концептуальная модель (conceptual model): Описание, включающее в себя всю информацию. данные математического моделирования и математические уравнения, описывающие представляющую интерес (физическую) систему или процесс.

3.6 значение по умолчанию (default value): Стандартная настройка или состояние, которые использованы программой, если системой или пользователем не задана другая настройка или состояние.

3.7 детерминированная модель (deterministic model): Метод расчета, использующий научно-обоснованные математические выражения для получения одного и того же результата каждый раз. когда расчет осуществляют с одним и тем же набором значений входных данных.

3.8 инженерная оценка (engineering judgment): Процесс, выполняемый специалистом, который обладает соответствующими квалификацией, образованием, опытом и навыками и который уполномочен выполнять, дополнять, принимать или отклонять компоненты количественного анализа.

3.9 ошибка (error): Опознаваемая неточность на определенном этапе или е действии в процессе расчета, не являющаяся следствием недостаточности знаний.

3.10 модель пожара (fire model): Представление системы или процесса, связанного с развитием пожара, включая динамику и воздействие пожара.

3.11 математическая модель (mathematical model): Набор уравнений, описывающих поведение физичесхой системы.

3.12 показатель измерения (measure): Переменная, которой присваивают значение по результатам измерений.

3.13 измерение (measurement): Набор операций с целью определения значения показателя измерения.

3.14 метрика характеристик качества (metric): Количественная или качественная мера относительного достижения желаемой характеристики качества.

3.15 моделирование (modelling): Процесс построения или модификации модели.

3.16 численная модель (numerical model): Численное представление физической модели (пожара).

3.17 физическая модель (physical model): Модель, демонстрирующая воспроизведение пожара в упрощенных физических условиях (например, масштабная модель).

3.18 вероятностная модель (probabilistic model): Модель, которая рассматривает явление в виде серии последовательных событий или состояний, с использованием математических правил для управления переходом от одного события к другому, например от возгорания к установившемуся горению, а также вероятностей, заданных для каждой точки перехода.

3.19 прецизионность (precision): Ошибка в реализации и решении метода расчета, точно отображающая представленное разработчиком концептуальное описание метода расчета.

3.20 анализ чувствительности (sensitivity analysts): Исследование методом расчета степени, в которой изменения в конкретных параметрах воздействуют на результаты, полученные с помощью метода расчета.

3.21 моделирование (simulation): Выполнение или использование метода расчета.

ГОСТ Р 57639—2017

3.22 расчетная модель (simulation model): Модель, рассматривающая динамические соотношения. существование которых предполагается в реальности, как ряд элементарных операций с соответствующими переменными.

3.23 неопределенность (uncertainty): Потенциальная неточность на определенном этапе или в действии в процессе моделирования, вызванная недостаточностью знаний.

3.24 валидация (validation): Процесс определения степени, в которой метод расчета является точным отражением реальности с точки зрения предполагаемого использования метода расчета.

3.25 верификация (verification): Процесс определения того, что реализация метода расчета точно отражает выполненное разработчиком концептуальное описаже метода расчета и решение метода расчета.

Примечание — Фундаменгалычая стратегия верификации вычисгытельных моделей представляет собой идентификацию, количественную оценку ошибок в расчетной модели и их решение.

4.1 Общие положения

Техническая документация должна быть достаточно подробной, чтобы все результаты расчетов могли быть воспроизведены с установленной достоверностью и прецизионностью квалифицироеанным(ой) независимым лицом или группой лиц. Подробная документация методов расчета, в том числе компьютерное программное обеспечение, имеет существенное значение для оценки адекватности научно- технической основы методов расчета и точности вычислительных процессов. Кроме того, составленная должным образом документация может помочь в предотвращении некорректного применения методов расчета. Отчеты о любой верификации и валидации конкретного метода расчета должны становиться частью документации. Достоверность метода расчета включает в себя сравнение результатов с данными реальных пожаров или статистических исследований, испытаний и экспериментов и должна быть подтверждена с применением методики обеспечения контроля качества. Это дает показатель или набор показателей измерений, которые следует сравнивать с заранее определенными критериями, чтобы продемонстрировать соблюдение утвержденных требований к качеству.

8 состав документации следует включать:

• техническую документацию с пояснением научной основы метода расчета (см. 4.2):

• руководство пользователя в том случае, если метод расчета является компьютерной программой (см. 4.3).

Необходимые требования к технической документации и руководству пользователя представлены в 4.2 и 4.3. Перечень требований достаточно подробный, однако это не исключает использование других форм информации, которые могут помочь пользователю в оценке применимости и пригодности метода расчета.

4.2 Техническая документация

4.2.1 Общие положения

Техническая документация необходима для оценки научной базы метода расчета. Предоставление технической документации метода расчета является задачей разработчиков модели. Необходимо. чтобы техническая документация детально описывала метод расчета и его основу, отражала возможности метода надлежащим образом и предоставляла пользователям информацию, необходимую для правильного применения метода расчета. В случае расчетов путем алгебраических уравнений, полученных по результатам испытаний путем регрессии, или если применены аналитические решения, пользователю следует полагаться на соответствующую документацию стандартов или аналогичного рода материалы, например на научную литературу. Когда разрабатывают стандарты, которые содержат методы расчета для использования в системе пожарной безопасности, источник(и) для применяемых методов расчета, а также техническую документацию в соответствии с 4.2.2—4.2.4 следует предоставлять. где это применимо.

4.2.2 Описание метода расчета

Описание метода расчета должно включать подробную информацию о нижеследующем:

1) определить решаемую задачу или выполняемую функцию.

ГОСТ Р 57639—-2017

2) описать результаты метода расчета.

3) включить технико-экономические обоснования и формулировку обоснованности;

1) описать основную концептуальную модель (главное явление), если применимо.

2) описать теоретическую основу явления и физические законы, на которых основан метод расчета. если применимо.

c) реализация теории, если применимо:

1) представить основополагающие уравнения.

2) описать используемые математические методы, процессы и вычислительные алгоритмы и предоставить их источники.

3) определить все допущения, вложенные в логику, с учетом ограничений по входным параметрам. вызванных областью применения метода расчета.

4) обсудить прецизионность (погрешность) результатов, полученных посредством использования основных алгоритмов, и в случае с компьютерными моделями — любую зависимость от конкретных компьютерных возможностей.

5) описать результаты анализа чувствительности:

d) входные данные:

1) описать необходимые входные данные.

2) предоставить информацию об источнике необходимых данных.

3) для компьютерных моделей перечислить все необходимые вспомогательные программы или внешние файлы данных.

4) предоставить информацию об источнике, содержании и использовании библиотек данных для компьютерных моделей.

4.2.3 Описание верификации и валидации метода расчета

Верификация и валидация метода расчета должны быть полностью и подробно описаны и содержать информацию:

a) о результатах любых попыток оценки прогностических возможностей метода расчета в соответствии с разделом 5. что должно быть представлено в количественном выражении.

b) ссылках на уже выполненные обзоры, аналитические испытания, сравнительные испытания, экспериментальную валидацию и проверки кода. Если в случае с компьютерными моделями валидация метода расчета основана на бета-тестировании, в документации должен быть указан профиль лиц. участвовавших е тестировании (например, участвовали ли они в разработке метода расчета или были обычными пользователями; были ли им предоставлены дополнительные инструкции, не доступные потенциальным пользователям конечного продукта, и т. д.);

c) степени, в которой метод расчета соответствует требованиям настоящего стандарта.

Техническая документация должна быть представлена как один документ, такой как руководство.

если речь идет о компьютерных моделях. Всякий раз. когда алгебраические уравнения в явном виде используют для решения задачи пожарной безопасности, соответствующая техническая документация может быть приведена из источников, указанных выше.

Методы обеспечения качества следует использовать для определения соответствия программного обеспечения предполагаемым целям. Данный процесс более подробно изложен е 5.6. Он поддерживается путем определения и использования соответствующих методов обеспечения качества для достижения показателя измерения или набора (полученных) показателей измерения, что позволяет масштабировать качество расчетного метода и определяет, является ли метод расчета достаточно точным. чтобы соответствовать требованиям потенциального пользователя. (См., например, требования ГОСГ 28195 и понятие внутренних и внешних метрик характеристик качества и качества программного продукта в использовании, приведенное в серии стандартов ИСО/МЭК «Требования и оценка качества программного обеспечения (SquaRE)n).

Цель оценки метода расчета заключается в том. чтобы сравнить качество метода расчета с требованиями к качеству, в которых отражены потребности пользователей, или даже выбрать метод расчета путем сравнения различных методов расчета.

4.2.4 Примеры с решением

Техническая документация должна включать по меньшей мере один пример (или несколько примеров) с решением. Примеры с решением могут потребоваться как для алгебраических уравнений

ГОСТ Р 57639—2017

в явной форме, так и для математических моделей. Последние рассмотрены в 4.3.9. Задача примера с решением заключается в теми, чтобы продемонстрировать, какие входные данные необходимы и степень их ограничения, а также показать область применения реэультата(ов) рассматриваемого метода расчета. Примерами необходимых входных данных и их предполагаемой областью применения или ограничений, в пределах которых вычисление прошло валидацию, могут быть геометрия, свойства материалов и граничные условия. Область применения и точность метода расчета должны быть четко определены в документации.

Примечание — Использование метода расчета вне указанных сценариев, определенных посредством валидации, может приводить к значительным ошибкам в реализуемых решениях вопросов безопасности и мерах противопожарной защиты (см. требования к определению области применения, установленной а процессе валидации. в 5.3).

4.3 Руководство пользователя

4.3.1 Общие положения

Руководство пользователя необходимо, только когда речь идет о компьютерных моделях. Руководство пользователя для компьютерной модели должно позволять пользователю понять применение модели и методологию, воспроизводить компьютерную операционную сроду и результаты примеров задач, включенные в руководство, изменять входные данные и осуществлять запуск программы для указанных областей значений параметров и предельных значений. Руководство должно быть изложено достаточно четко, чтобы служить в качестве справочного документа для подготовки входных данных и интерпретации результатов. Документация по установке, техническому обслуживанию и программированию может быть включена в руководство пользователя или представлена отдельно. Для установки программы на компьютере необходимо достаточное количество информации. Все формы документации должны включать в себя имя и необходимую информацию для определения конкретной версии метода расчета и определения организации, ответственной за техническую поддержку метода расчета и дальнейшее обслуживание.

8 случае с компьютерными моделями руководство пользователя должно предоставлять в полном объеме информацию, необходимую пользователю, для правильного применения компьютерных моделей (см. 4.3.2—4.3.10).

4.3.2 Описание программы

Описание программы представляет собой полное описание:

b) основных выполненных задач обработки данных и используемые методы и процедуры расчетов (блок-схема может быть полезна):

c) знаний и навыков, необходимых для выполнения стандартных запусков программы.

4.3.3 Инструкции по установке и эксплуатации

8 инструкциях по установке и эксплуатации должны быть:

a) указана минимально необходимая аппаратная конфигурация;

b) указан(ы) компьютеру), на котором(ых) программа была успешно выполнена;

c) указаны используемые языки программирования и операционные системы, а также версия программного обеспечения:

d) предоставлены инструкции по установке программы;

e) определены стандартное время для персонала и время установки, чтобы выполнить стандартный запуск программы;

f) предоставлена информация, необходимая для оценки времени выполнения программы компьютером с помощью действующих компьютерных систем для определенных задач.

4.3.4 Расчеты программы

Расчеты программы должны содержать:

a) описание функции каждой значительной опции, доступной для решения различных задач, а также руководства по выбору этих опций;

b) определение границы области применения (например, ряд сценариев, для которых достоверно или предположительно действует основополагающая теория, или ряд входных данных, для которых был испытан метод расчета):

ГОСТ Р 57639—-2017

с) список ограничений программы, включая соответствующие диапазоны данных и поведение программы, в том случае, когда эти диапазоны превышены, а также, когда данная информация должна быть представлена в технической документации.

4.3.5 Описание входных данных Описание входных данных должно:

а) предоставить имя и описание каждой входной переменной, ее размерных единиц, значений по умолчанию (при их наличии) и источника (если он не находится в широком доступе); t>) описать все особые способы ввода данных;

c) определить ограничения входных данных на основе устойчивости, точности и практичности данных и применимости модели, а также полученные в результате ограничений для выходных данных;

d) описать все значения переменных по умолчанию и процесс присвоения этих переменных значений. определенных пользователем;

e) если возможна обработка последовательных случаев, объяснить условия сохранения данных или их повторной последовательной инициализации.

4.3.6 Файлы внешних данных Файлы внешних данных включают;

a) описание содержания и организации файлов внешних данных;

b) ссылки на вспомогательные программы, которые создают, изменяют или редактируют эти файлы.

4.3.7 Требования управления системой

В требованиях управления системой следует;

а) подробно описать процедуру, необходимую для установки и запуска программы: t>) перечислить команды управления операционной системой;

c) перечислить подсказки программы и привести область соответствующих ответов:

d) при возможности, описать, каким образом прервать работу программы во время ее выполнения. продолжить или осуществить выход из нее. а также указать статус файлов и данных после прерывания работы.

4.3.8 Выходные данные Выходные данные должны содержать:

a) описание выходных данных программы и порядок графического изображения данных:

b) руководство по оценке того, достигает ли программа правильного решения, при необходимости.

4.3.9 Примеры задач/примеры с решением

Примеры задач/примеры с решением предоставляют файлы с примерами соответствующих выходных данных, позволяющих пользователю верифицировать правильность работы программы: эти примеры задач должны выполнять большую часть доступных запрограммированных вариантов (для сравнения см. 4.2.4.)

4.3.10 Обработка ошибок На данном этапе необходимо:

a) предоставить список сообщений об ошибках, которые могут быть сгенерированы программой;

b) предоставить список инструкций для соответствующих действий при возникновении сообщений об ошибках;

c) описать поведение программы при нарушении ограничений;

d) описать процедуры восстановления.

5.1 Общие положения

Верификация и валидация метода расчета — это процессы, используемые для определения точности соответствия метода расчета реальному миру с точки зрения предполагаемых целей его применения (валидация) и степени точности, с которой реализация метода расчета отображает представленное разработчиком концептуальное описание и решение (верификация). Верификация — это процесс

ГОСТ Р 57639—2017

определения правильности решения уравнений при условии, что используемые уравнения верны. Валидация позволяет убедиться в том, что фактические результаты соответствуют ожидаемым данным.

На рисунке 1 в общем схематическом виде представлены этапы моделирования и роль верификации и валидации в этих процессах применительно к компьютерным моделям пожаров.

Рисунок 1 — Пример этапов разработки и оценки компьютерных (комгъютеризированных) моделей

Концептуальная модель создается на основе анализа реального мира (иногда физической системы) и состоит из данных математического моделирования и уравнений, описывающих физическую систему (уравнения Навье — Стокса, сохранения энергии и массы, а также дополнительные физические модели, например модели турбулентности, аспекты человеческого поведения, поведение конструкции, риск и т. д.). Верификация рассматривает взаимосвязь между концептуальной моделью и компьютеризированной моделью, в то время как валидация — взаимосвязь между расчетной моделью и реальностью.

На рисунке 2 более детально раскрыт пример, приведенный на рисунке 1. и представлена блок-схема для широкого применения, которая включает возможные способы использования алгебраических уравнений в случае их целесообразности.

Процедура начинается с получения необходимых знаний об испытаниях и экспериментах или исследованиях для описания явлений реального мира. На основе восприятия реального мира разрабатывают концептуальную модель в виде подробного словесного описания рассматриваемого(ых) процесса(ов). которая в дальнейшем преобразуется в набор математических взаимосвязей. На основе этих взаимосвязей формируется решение (или ряд решений) путем разбиения одной строки за другой — от более сложных уровней до менее сложных, с применением приближений до такой степени, при которой задача может быть решена с достаточной точностью и приемлемым уровнем затрат на решение (например, временные и связанные с производительностью компьютера).

Теоретическая основа метода расчета компьютерной модели должна быть исследована одним или несколькими экспертами, хорошо знакомыми как с научными основами явлений пожаров, так и с техникой расчетов, но не принимавшими участие в разработке модели. Данное исследование должно включать оценку полноты документации, в частности в отношении численных аппроксимаций. Эксперт должен быть способен оценить, достаточно ли существует научных доказательств в научной литературе для использования применяемых подходов. Данные, используемые в программе для постоянных величин и значений по умолчанию, также должны оценивать на предмет точности и применимости с точки зрения метода расчета и предполагаемого использования. Последнее требование особенно важно в тех случаях, когда данные, используемые для численных постоянных, могут иметь специальные значения для конкретных сценариев. Практические верхние и нижние предельные значения переменных. используемых в качестве входных данных, должны быть четко определены, чтобы ограничить их применение проверенной областью.

ГОСТ Р 57639—-2017

Рисунок 2 — Схематическое изображение валидации и верификации модели

Между этапами преобразования элементов в систему, пригодную для дальнейшей работы, необходимо выполнять процессы верификации и валидации с целью постоянной проверки системы на возможные источники ошибок. 8 связи со сложностью математической интерпретации явлений пожара е примере на рисунке 2 приведены подробные данные, которые не нужны для оценки (эмпирических) методов расчета т.е. алгебраические уравнения, которые также рассмотрены в настоящем стандарте и представлены в определенной ячейке таблицы.

Методология не ограничена расчетом распространения пожара и подобными задачами, но может быть применена относительно валидации и верификации методов расчета поведения и движения людей. поведения конструкции и оценки рисков.

Верификация представляет собой процесс определения того, что реализация метода расчета в точности соответствует его концептуальному описанию и решению, предоставленным разработчиком.

ГОСТ Р 57639—2017

Это не подразумевает, что разрешающие уравнения являются пригодными, однако означает, что уравнения реализованы и решены правильно и их реализация точно соответствует концептуальному описанию метода расчета и его решению, предоставленным разработчиком метода.

Таким образом, цель процесса верификации заключается в том. чтобы проверить правильность программного кода и оценить контроль численных ошибок, которые могут быть разделены на три категории; округление, усечение и дискретизация. Ошибки округления возникают вследствие того, что компьютеры предоставляют действительные числа, используя конечное число цифр. Ошибки усечения возникают при замене непрерывного процесса конечным. Например, такие ошибки могут происходить, когда бесконечный ряд усекается после конечного числа членов или когда повторное действие прекращается после того, как критерий сходимости был удовлетворен. Ошибки дискретизации возникают. когда непрерывный процесс, такой как вычисление производной, аппроксимируется дискретным аналогом, таким как разделенная разность, верификация вычислительного метода должна включать в себя анализ и обсуждение используемых методов и присущих ограничений в конкретных выбранных вариантах.

5.2.1 Проверка компьютерных программ

Программный код может быть проверен на структурной основе, вручную или с помощью программ проверки кода, с цепью выявления нарушений и несоответствий в компьютерном коде. Обеспечение четкого определения и регистрации методов и методологий, используемых для проверки программного кода, а также любых обнаруженных недостатков повышает уровень уверенности в способности программы надежно обрабатывать данные, однако это не может служить показателем возможной пригодности и точности используемой программы. Не всегда ошибка указывает на непригодность программы, однако документирование этих «ошибок» предотвращает использование ошибочных режимов программы.

5.2.2 Временная и пространственная дискретизация

Математические модели, как правило, выражены в виде дифференциальных или интегральных уравнений. Модели, в целом, имеют сложную структуру, и аналитические решения часто бывает трудно найти. Для нахождения приближенных решений необходимы численные методы. В численном методе происходит дискретизация непрерывной математической модели, то есть приближение с помощью дискретной. численной модели. Дискретизация осуществляется во времени и в пространстве (разбиение на сетки).

Непрерывная математическая модель может быть дискретизирована множеством различных способов. в результате чего будет получено множество различных дискретных моделей. Для достижения хорошего приближения к решению непрерывных моделей дискретная модель должна имитировать свойства и поведение непрерывной модели. Это означает, что дискретное решение должно сходиться к решению (если оно существует) непрерывной задачи при уменьшении параметров дискретизации (временного шага, пространственной сетки и т. д.). Это достигается путем выполнения требований совместимости и устойчивости. Совместимость означает, что дискретная модель максимально приближена к непрерывной модели в отношении некоторых оценок, например норм определенных величин. Устойчивость означает, что погрешность не увеличивается по мере выполнения программы.

Следует выявлять и изучать формальный порядок ошибки в пространственной и временной дискретизации. Возможно, не удастся провести исчерпывающий анализ, однако необходимо осуществить как часть процесса верификации анализ представления уравнений в дискретную числовую форму.

Многие задачи, связанные с пожаром, включают взаимодействие различных физических процессов. таких как химические или тепловые процессы и механические реакции. Временные и пространственные масштабы, относящиеся к этим процессам, могут существенно отличаться, что приводит к возникновению численных трудностей. Следовательно, при решении дифференциальных уравнений необходимо позаботиться о выборе нужных временных и пространственных шагов, чтобы обеспечить устойчивость (особенно в отношении временного шага для переходных вычислений) и достаточную сходимость вычислений. Некоторые численные методы могут быть использованы для динамического мониторинга параметров дискретизации в соответствии с требованиями устойчивости и точности (например. в отношении пространственной дискретизации, апостериорная оценка ошибок, объединенная с динамическим измельчением сетки). Рекомендуется использовать такие методы, особенно для временной устойчивости, а также для нелинейных задач, которые встречаются в зонных моделях. В этом случае документация программы должна в полной мере объяснять, каким образом это было достигнуто.

ГОСТ Р 57639—-2017

и должны быть представлены численные эксперименты со ссылкой на достоверность используемого алгоритма. Это не мешает пользователю проводить для некоторых расчетов исследование сходимости времени и пространства. Каким образом выполняется данная задача систематически в случае выбора параметров дискретизации, остается на усмотрение пользователя.

5.2.3 Проверки сходимости итераций и устойчивости

Важно, чтобы реализация концептуальной модели в виде компьютерной программы была выполнена правильно. Для этого необходимо осуществить следующие действия, когда это применимо:

a) проверить критерии остаточных ошибок:

b) проверить устойчивость выходных переменных:

c) применить глобальные проверки по сохранению соответствующих величин;

d) по мере возможности, проводить сравнение с аналитическими решениями:

e) проводить сравнение с более точными решениями, полученными с помощью более полных моделей, которые достоверно прошли верификацию и валидацию:

f) проверить воздействие искусственных граничных условий для незамкнутых задач.

5.2.4 Обзор числовой обработки моделей

Важная часть верификации модели заключается в том. чтобы удостовериться, что уравнения и методы, указанные в документации, описывающей подход, были реализованы надлежащим образом, что подразумевает оценку документации, реализацию уравнений в компьютерном коде и анализ используемых методов дискретизации и численных методов.

5.3.1 Общие положения

В данном пункте представлены процедуры с целью определения точности метода расчета для широкого спектра применений. Строгое соблюдение процедуры валидации необходимо, чтобы установить диапазон применения метода расчета и определить точность метода расчета в приемлемом диапазоне. Это является верным для любого вида метода расчета, представленного в настоящем стандарте. Корреляции — это допустимые прогнозирующие инструменты, которые должны быть проверены таким же образом, как компьютерные модели с использованием аналогичных методов.

Даже для простейших случаев задач по оценке пожаров не существует универсальных аналитических решений, то есть решений в аналитическом виде. Однако существует возможность выполнить два типа проверки. Первый тип представляет собой способ, с помощью которого отдельные алгоритмы сверяют с алгоритмами в экспериментальной работе. Второй тип состоит из простых экспериментов. например теплопроводность и излучение, результаты в которых асимптотичны. В частности, в простом испытании с одним помещением при отсутствии возгорания температура должна асимптотически приходить в равновесие к единому значению. Модель должна быть в состоянии воспроизвести это поведение. Наконец, есть возможность вычислить решения для ситуаций, в которых существуют аналитические ответы, однако такие ситуации можно воспроизводить в эксперименте, но не естественным путем.

Расхождение при сравнении алгебраического уравнения или компьютерной модели с экспериментальными данными связано со степенью неопределенности, в которой метод расчета является точным отражением реальной картины с точки зрения его предполагаемого использования (валидация), а также с погрешностью в концептуальном описании метода расчета, предоставленном разработчиком, и решением метода расчета (верификация).

В настоящем стандарте предусмотрены две процедуры, любая из которых может сопровождаться валидацией, которую проводит заинтересованная сторона. Эти процедуры называются «слепая» и «открытая» валидация.

При проведении процедуры слепой валидации сторона, которая проводит валидацию, имеет данные только начальных и граничных условий эксперимента, необходимых для выполнения методов расчета. проходящего валидацию. Эти данные могут включать любой параметр (например, скорость выделения тепла), для которого прогнозирующую способность модели не проверяют. Сторона, проводящая валидацию, не имеет доступа к экспериментальным измерениям выходных данных метода расчета, проходящего валидацию.

В открытой процедуре сторона, проводящая валидацию, имеет данные о начальных и граничных условиях эксперимента, а также сведения об измерениях выходных параметров метода расчета, лро-

ГОСТ Р 57639—2017

ходящего валидацию, до тою. как выполняется метод расчета. В литературе встречаются и другие определения, используемые по данному вопросу, такие как «априори», «апостериори», «абсолютно слепая» и «наполовину слепая» валидация. В настоящем стандарте приняты и использованы только два термина, «слепая» и «открытая» валидация, как определено выше, которые охватывают диапазон условий, возникающих в процессе валидации.

Существует ряд достоинств и недостатков этих двух процессов валидации. Заинтересованная сторона должна самостоятельно определить, какой из процессов валидации больше соответствует ее потребностям. Пользователь настоящего стандарта должен соблюдать его требования, проводя открытую или слепую валидацию.

Процедура, которую должны использовать в процессе открытой или слепой валидации, представлена в 5.3.2 и 5.3.3.

Во всех случаях обеих процедур валидации необходимо определять сравнительные метрики характеристик качества.

Далее должен быть выбран характер значений, подлежащих сравнению. Если модель прошла валидацию для общей скорости выделения тепла, это не означает ее прохождение валидации для других параметров. Ряд взаимосвязанных типов поведения моделей может приводить к соответствию с общей кривой выделения тепла, однако это происходит при неправильном рассмотрении предметов горения, которые выделяют тепло.

Зонная модель в первую очередь решает глобальные балансы массы и энергии по слоям.

Первым шагом в процессе валидации для таких моделей является проверка скорости выделения тепла и массы, затем могут быть сделаны сравнения значений, связанных с каждым слоем, такие как граница слоя, температура и состав.

С точки зрения модели вычислительной гидродинамики CFD должны быть подтверждены глобальная валидация и локальная валидация энергии, массы, массы по видам и величин перемещения. Полная валидация модели потребует глобальных данных, таких как общая потеря массы или выделение тепла HRR. и локальных данных, таких как скорость движения воздушной массы, местный состав газа и местные значения температур.

5.3.2 Процедура открытой валидации

Не существует строгих требований к проведению аудита процедуры открытой валидации. Процедура, которую следует соблюдать в процессе открытой валидации, представлена ниже:

a) сторона, проводящая валидацию, имеет или получает доступ к начальным и граничным условиям экспериментов, а также к измерениям выходных параметров, прогнозируемых с помощью их метода расчета, прежде чем осуществляют методы расчета;

b) граничные условия и входные значения, которые будут использованы для методов расчета. должны быть установлены и задокументированы прежде, чем будут осуществлены методы расчета:

c) методы расчета ни в коем случае не следует осуществлять повторно с измененными граничными условиями экспериментов в качестве входных значений, за исключением рамок анализа неопределенности при оценке риска, где рассматривается результат неопределенности в экспериментальных данных.

5.3.3 Процедура слепой валидации

Процедура слепой валидации требует проведения аудита для того, чтобы подтвердить выполнение процедур, приведенных в данном пункте. Аудит можно проводить либо в соответствии с требованиями. установленными организацией, осуществляющей проверку, либо более формально согласно ГОСТ Р ИСО 19011 и ГОСТ Р ИСО/МЭК 17021 в качестве аудита, проводимого «первой» или «второй стороной», либо «аудита и сертификации, проводимых третьей стороной».

Процедура процесса слепой валидации заключается в следующем:

a) сторона, проводящая валидацию, должна иметь данные только о начальных и граничных условиях эксперимента, которые необходимы для осуществления методов расчета, проходящих валидацию. Сторона, проводящая валидацию, не должна иметь доступ к результатам экспериментальных измерений данного метода расчета, который проходит валидацию:

b) процесс слепой валидации может быть использован только тогда, когда должны быть проведены новые эксперименты по валидации или когда существуют опыты валидации, не доступные для общественности и для стороны, проводящей валидацию;

ГОСТ Р 57639—-2017

c) спецификация экспериментов, используемая для процесса валидации, включая начальные и граничные условия, должка быть достаточно подробной, чтобы обеспечить аналитиков методов расчета всеми необходимыми входными данными;

d) в зависимости от цели валидации в качестве граничного условия и вводных данных для метода расчета могут использовать некоторые параметры, такие как скорость выделения тепла, которые должны быть определены при осуществлении валидации;

e) сторона, проводящая валидацию, должна иметь доступ к экспериментальным измерениям, соответствующим выходным данным расчета, проходящего валидацию, после того, как метод расчета был осуществлен и результаты были предоставлены аудитору;

f) эксперименты, в ходе которых получают результаты, используемые для валидации метода расчета. могут проводить либо до. либо после осуществления методов расчета;

д) в некоторых случаях начальные и граничные условия экспериментов, предоставляемые стороне. проводящей валидацию, должны быть изменены после того, как эксперименты были проведены, чтобы отразить их фактические условия. В таких случаях пересмотренные граничные условия должны быть предоставлены стороне, проводящей валидацию, для повторного осуществления расчетных методов. если расчеты были осуществлены до проведения опытов;

h) во всех случаях должно быть достигнуто соглашение о граничных условиях и входных данных, используемых для методов расчета, до окончательного осуществления расчетных методов и до выхода экспериментальных измерений выходных данных расчета, проходящего валидацию;

i) метод расчета ни в коем случае не может быть повторно осуществлен после того, как были получены экспериментальные измерения выходных данных расчета, проходящего валидацию;

j) результаты метода расчета, подвергаемого валидации, должны быть предоставлены аудитору до того, как будут получены экспериментальные измерения выходных данных расчета;

k) сторона, проводящая валидацию, должна разработать специальную процедуру валидации в соответствии с настоящим стандартом. Данная процедура должна быть утверждена аудитором до начала процесса валидации.

5.3.4 Отчетность по валидации

Результаты процесса открытой и слепой валидации должны быть документально оформлены и включать в себя следующее;

a) описание экспериментов и измерений, включая неопределенность в измерениях (см. приложение В);

b) входные данные, используемые для методов расчета;

c) сравнение результатов метода расчета с экспериментальными данными с использованием установленных метрик характеристик качества в количественном выражении;

d) представление расхождений в виде таблиц с использованием установленных метрик характеристик качества в количественном выражении.

Примечание — Расхождение может быть связано с ошибкой и неопределенностью е методе расчета:

е) граничные и начальные условия экспериментов и, следовательно, сценарии пожаров, для которых применима валидация.

5.3.5 Особые соображения в сравнении прогнозов с данными

Поскольку результаты алгебраической формулы в большинстве своем представляют точечные прогнозы, для них применимы те же принципы, что и для точечных прогнозов компьютерных моделей. Точечные прогнозы следует соотносить с данными (экспериментов, исследований) каждый раз. когда они доступны для рассматриваемой задачи и если они были получены с эквивалентным набором начальных и граничных условий.

Для сравнения прогнозирования временной величины сданными в приложении в представлены два метода для количественной оценки сходства и различия двух кривых, таких как изменение во времени температуры верхнего слоя для прогнозирования модели и эксперимента. Первый метод реализован путем рассмотрения кривых как бесконечномерных векторов и дальнейшего описания различий с помощью векторного анализа. Данный анализ обеспечивает количественный метод валидации моделей пожара и количественной оценки неопределенности в опытных данных.

Второй метод, называемый нормированным евклидовым расстоянием, рассматривает различия между результатами расчетов и измерениями в течение всего пожара. Данная метрика обеспечивает информацию о глобальных ошибках и дает полный обзор возможностей программного кода.

В приложении В показано применение обоих методов.

ГОСТ Р 57639—2017

5.4 Обзор теоретической и экспериментальной основы вероятностных моделей

Уравнения, используемые в вероятностной модели как часть оценки риска. — это. как правило, уравнения. определяющие риск с точки зрения вероятностной функции в пространстве, установленном сценариями. и уравнения, используемые для получения необходимых вероятностей из других более доступных вероятностей. Исследование правильности уравнений должно дать ответы на следующие вопросы:

a) Использует ли модель только четко определенные вероятностные переменные и параметры?

Вероятностное моделирование и оценка риска, как правило, используют экспериментальные

базы данных или инженерные оценки для получения переменных и параметров вероятности. Доказательство точности оценки переменной или параметра с одним значением может быть получено путем сравнения с альтернативными оценками, рассчитанными таким же способом на основе независимых данных. Например, значения оценки, предоставленные одной группой экспертов, могут сравнивать со значениями оценки, полученными от другой группы экспертов. 8 таком случае особое внимание следует уделять характеристикам тех специалистов, которые с наибольшей вероятностью повлияют на оценку. Кроме того, вероятность на основании опыта (например, вероятность возгорания) может быть верифицирована путем сравнения с подобными примерами вероятности на основании опыта, полученного в другом месте или в другое время.

Выходные переменные оценки риска, как правило, основаны на вероятности и последствиях, где последние являются производными детерминированной модели. Прогнозы детерминированной модели могут быть подтверждены в порядке, описанном в настоящем стандарте. Комбинированный расчет риска либо для всего расчета, либо для подсистемы, либо другой части расчета может быть подтвержден путем сравнения с фактическим ущербом. 8 тех случаях, когда вероятностные значения основаны на опыте, значение ущерба, используемое для валидации, должно быть получено в тех же местах и в тот же период времени, которые использовались для определения значений вероятности.

b) Следуют пи вероятностные переменные, параметры и расчеты законам вероятностей (например. вероятности должны находиться в пределах от 0 до 1)?

d) Явно ли выражено определение риска, связывая его меру с вероятностью и последствиями сценариев? Если нет. то существует ли подразумеваемое выражение?

e) Охватывает ли выражение, определяющее риск с точки зрения сценариев, все возможные сценарии? Если нет. то всесторонне ли в расчете учтено воздействие пропущенных сценариев на расчет?

0 Затрагиваются ли в расчете непосредственно неопределенности, связанные с вероятностными переменными и параметрами? Рассматриваются ли и учитываются ли случайные неопределенности и источники систематических ошибок?

д) Если какие-либо уравнения упрощаются, сравниваются ли они с точки зрения точности с их аналогами в полном виде?

5.5 Анализ чувствительности

Анализ чувствительности метода расчета представляет собой исследование степени воздействия изменений в конкретных параметрах на результаты, полученные с помощью метода расчета. Прогнозы могут быть чувствительны к неопределенностям в исходных данных, к уровню строгости, принятому в моделировании соответствующих физических и химических явлений, и к применению неадекватных числовых операций.

Правильно спланированный и проведенный анализ чувствительности позволяет:

a) определить доминирующие переменные в методах расчета:

b) определить допустимую область значений для каждой входной переменной;

c) продемонстрировать чувствительность выходных переменных к изменениям во входных данных:

d) информировать и предупреждать потенциальных пользователей о степени и уровне тщательности. необходимых при выборе входных данных и запуске модели;

е) предоставить информацию о том. какие параметры следует отслеживать в крупномасштабных испытаниях.

Проведение анализа чувствительности сложной пожарной модели является трудной задачей. Многие модели требуют широкий набор входных данных и генерируют прогнозы для многочисленных

ГОСТ Р 57639—-2017

выходных переменных в течение моделируемого промежутка времени. Выбранный метод для использования зависит от целей исследования, требуемых результатов, имеющихся ресурсов и сложности анализируемой модели. Методы, доступные для проведения анализа чувствительности, приведены в приложении С.

5.6 Обеспечение качества

Рекомендуется проводить оценку компьютерных программ с целью обеспечения оценки качества. Качество таких программ можно оценить с помощью специальных моделей. Они используют процедуры. способствующие оценке как «внешнего качества», важного для конечного пользователя, так и «внутреннего качества», необходимого для надлежащего функционирования программы. Показатели качества программного обеспечения делятся на восемь характеристик (функциональная пригодность, уровень производительности, совместимость, удобство использования, надежность, защищенность, сопровождаемость и переносимость), которые, в свою очередь, подразделяются на подхарактеристики (см. рисунок 3). Для каждой характеристики и подхарактеристики качество программного обеспечения следует определять набором измеренных внутренних показателей. Характеристики и подхарактеристики должны быть измерены внешне в такой степени, в которой позволяет система, содержащая данное программное обеспечение. Важным элементом обеспечения качества в методах расчета пожарной безопасности является определение пригодности и точности методов (функциональная пригодность).

Рисунок 3 — Модель внешнего и внутреннего качества, показывающая характеристики и подхарактеристики

Для валидации методов расчета пожара необходимо предъявлять строгие требования контроля качества ввиду того, что они находятся в зачаточной стадии разработки и при этом широко применяются в области пожарно-технического анализа. Развитие пожара представляет собой сложное явление, оно охватывает очень широкий спектр сценариев и включает в себя множество факторов, которые могут на него повлиять. Одним из наиболее важных элементов обеспечения качества метода пожарного расчета является определение диапазона валидации и. следовательно, применимости, т. е. для каких конкретных сценариев пожара был утвержден метод расчета. Адекватная процедура валидации, как описано в 5.3, для определения точности метода расчета пригодных метрик и выявления диапазона применимости — ключ к обеспечению качества. Использование правильной точности методов пожарного расчета для определения факторов безопасности, необходимых в более широком контексте применения пожарно-технического анализа пожарной безопасности, в соответствии с требованиями (16). — конечная цель обеспечения принятия решений о качестве в целях пожарной безопасности.

Для оценки качества метода расчета применяют процедуры, приведенные в ГОСТ 28195 и серии нормативных документов на основе ГОСТР ИСО/МЭК 25010 и ГОСТ Р ИСО/МЭК 25040. Сокращенная версия процедуры согласно ГОСТ 28195 приведена в приложении О.

ГОСТ Р 57639—2017

6.1 Общие положения

Справочные данные для валидации метода расчета могут быть получены в ходе экспериментов, одного или нескольких аналогичных исследований подробно документированных случаев пожара либо других проверенных методов расчета в соответствии с параметрами и другими величинами, которые подлежат валидации.

Данные, испольэуемые при определении, установке или оценке величины в методе расчета, не могут применять для валидации этой величины. Для процедуры валидации необходимо использовать независимые данные.

Различия между величиной метода расчета и данными, ислользуемыми в ней для валидации, могут быть связаны с наличием ошибок в этой величине или в данных.

Для обоснования выводов о применимости метода расчета необходимо, чтобы при выполнении валидации оценивались величина, характер ошибок в справочных данных и влияние этих ошибок на различия между расчетными величинами и данными. Таким образом, необходимо, чтобы полноту, каче-ство, прецизионность (погрешность) справочных данных можно было охарактеризовать одним из следующих пунктов, прежде чем они могут быть использованы для валидации.

Для экспериментальных денных необходимо проводить оценку повторяемости и воспроизводимости процедуры испытания, являющейся источником данных. Характеристики прецизионности и погрешности исходных данных могут быть получены из доступных характеристик аппарата или устройства измерения, использованного для получения данных.

Для (статистических) данных исследований необходима оценка репрезентативности плана исследования и полученной выборки. Кроме того, следует выявить неопределенность, связанную с размером выборки.

Для данных расследований пожара необходимо указать, каким образом были получены эти данные.

Для данных из других проверенных методов расчета необходимо свидетельство о валидации этих методов наряду с характеристикой их прецизионности (погрешности), источников и величин ошибки.

Необходимо провести оценку соответствия условий сбора справочных данных условиям, предполагаемым в методе расчета. Это включает в себя начальные и граничные условия. К примеру, если в экспериментах использованы справочные данные об осуществлении эвакуации населения, состоящего исключительно из молодых, здоровых взрослых людей, то этих данных недостаточно для валидации метода расчета, применяемого к смешанным группам населения.

Необходимо в полном объеме проверить метод расчета, а также отдельно — его подсистемы и подмодели. Соответствующие данные должны быть определены и получены для каждого из этих уровней валидации.

Следует оценить все процедуры сокращения, преобразования или интерпретации применительно к необработанным данным с целью получения справочных данных, пригодных для использования в процессе валидации. Например, если необработанные данные исследования доступны только для выбранных высотных офисных зданий в одном городе, то его применимость к другим типам зданий, другой высоты, в других городах и других странах является неопределенной. Необходимо отмечать и оценивать такое неполное соответствие.

Следует оценить независимость формирования справочных данных от разработки метода расчета.

Полная валидация метода расчета требует оценки полного спектра выходных данных для полного перечня случаев и условий. Справочные данные требуются для проведения наиболее полной оценки, по мере возможности, и необходимо, чтобы любые ограничения на диапазон выходных данных и оцениваемых случаев были явно указаны, по возможности в форме ограничений по применению метода расчета, для которого валидация была успешно завершена. Например, если экспериментальные данные доступны только для значений температуры на уровне потолка, то для температурных прогнозов метода расчета в других местах в помещении валидация не является непосредственно пройденной.

6.2 Особые требования к данным для валидации

Первым шагом является сравнение прогнозов модели или аналитического метода с соответствующими данными. Как было отмечено во введении, в то время как модель является реализацией теоретической концепции, экспериментальные данные становятся представлением о реальном мире.

ГОСТ Р 57639—-2017

8 этом контексте важно убедиться в том. что соответствующие модели и входные данные отражают практический опыт. Оба представления имеют ограничения и присущие им ошибки, и соответствующие неопределенности в них должны быть включены в сравнение. С точки зрения валидации корректность заключается в том. что модель дает соответствующие ответы на входные данные, которые представлены в рассматриваемых сценариях. Процесс валидации включает в себя сообщение о диапазоне действительности входных данных.

Эти данные, как правило, включают в себя:

- обеспечение полноты данных об окружающей среде (например, перепады температуры в зданиях или разницу температур внутри и снаружи здания, воздействие ветра);

• использование точных данных о свойствах; если используют постоянные значения, анализ чувствительности должен показать их влияние на выходные данные: если постоянные значения используют вместо, например, температурно-зависимых переменных, то исход этого приближения (см. выше) следует оценивать в диапазоне применимости модели или метода расчета.

Данные, заимствованные из литературных источников, должны быть снабжены ссылками на них. Литературными источниками могут быть справочники, стандарты, журналы и научные доклады. 8 тех случаях, когда данные из рецензируемых источников не доступны, эти данные должны быть проверены в сравнении с подтвержденными данными.

Те же принципы применяют к реальным явлениям, независимо от степени сложности их представления с помощью расчетных методов или моделей. Они могут быть использованы для прогнозирования развития пожара в здании, или процессов эвакуации, или того и другого, в то время как аспекты человеческого поведения также могут влиять на результаты и должны оцениваться на основе тех же принципов.

ГОСТ Р 57639—2017

Приложение А (справочное)

А.1 Неопределенность измерения данных

А.1.1 Общие положения

В подразделе А.1 приведена информация с цепью содействия лицам, проводящим эксперименты, в выражении неопределенности результатов их измерений, а также пользователям модели в оценке полезности экспериментальных данных при выполнении эмпирической валидации модели. Не все опубликованные экспериментальные данные содержат информацию о неопределенности данных.

В целом результат измерения — это только результат приближения или оценки определенной величины, подлежащей измерению, и. таким образом, результат является полным только в сопровождении количественного суждения о неопределенности. Неопределенность результата измерения, как правило, состоит из нескольких компонентов. которые в подходе, используемом Международным советом по мерам и весам, могут быть сгруппированы в две категории в зависимости от метода, используемого для оценки их численных значений:

• категория А — те компоненты, которые оценивают путем статистических методов:

• категория В — те компоненты, которые оценивают посредстве»» других средств.

Неопределенность, как правило, деляг на две составляющие: случайную и систематическую. Каждый компонент. вносящий вклад в неопределенность измерения представлен в виде предполагаемого стандартного отклонения. которое называется стандартной неопределенностью, обозначается символом и,, и равен положительному квадратному корню из расчетной дисперсии uf. Компонент неопределенности в категории А может быть представлен в виде статистически рассчитанного стандартного отклонения s,. равного положительному квадратному корню из статистической оценки дисперсии $> и связанного с числом степеней свободы Vf. Для такого компонента стандартная неопределенность и, = . Аналогичным образом, компонент неопределенности в категории В представлен величиной u)t которую могут рассматривать как приближение к соответствующему стандартному отклонению; он равен положительному квадратному корню из of. которьм может быть рассмотрен как приближение к соответствующей дисперсии и получен из предполагаемого распределения вероятностей, основанного на всем объеме имеющейся информации. Поскольку величина uf рассмотрена как дисперсия, а иу — в качестве стандартного отклонения для такого компонента, стандартная неопределенность просто представлена иг

А.1.2 Оценка стандартной неопределенности категории А

Оценка стандартной неопределенности категория А может быть основана на любом допустимом статистическом методе обработки данных.

Примером является вычисление стандартного отклонения среднего значения ряда независимых наблюдений с помощью метода наименьших квадратов, чтобы привести кривую в соответствие с данными для оценки параметров кривой и их стандартных отклонений.

Данный отчет не является попыткой предоставить подробные статистические методы проведения статистической оценки.

А.1.3 Оценка стандартной неопределенности категории В

Оценка неопределенности категории В. как правило, основана на научной оценке с использованием всей необходимой доступной информации, которая может включать:

a) данные предыдущих измерений;

b) опыт или общие знания работы и свойств соответствующих материалов и инструментов:

c) спецификации производителя:

d) данные, представленные в калибровочном отчете и других отчетах, а также неопределенности по материалам справочников.

Поскольку надежность оценки компонентов неопределенности зависит от качества имеющейся информации, рекомендуется обеспечить, чтобы все параметры, от которых зависит измерение, максимально варьировались. чтобы оценка в наибольшей степени основывалась на данных наблюдений.

При возможности, использование эмпирических моделей процесса измерения на основе долгосрочных количественных данных, а также контрольных стандартов и контрольных карт, которые могут подтверждать, что процесс измерения находится под статистическим контролем, должны быть составной частью отчета для получения потенциально надежной оценки компонентов неопределенности.

А. 1.4 Суммарная стандартная неопределенность

Суммарную стандартную неопределенность измеренного реэугътата, обозначаемую символом ие. используют для обозначения стандартного отклонения результата. Она может быть получена путем объединения отдельных стандартных неопределенностей и,, полученных в результате оценки категории А или В с использованием обычного метода для объединения стандартных отклонений. Данный метод часто называют «закон распространения не

ГОСТ Р 57639—-2017

определенности» или «метод квадратного корня из суммы квадратов». Суммарная стандартная неопределенность ис является широко используемым показателем измерения неопределенности.

А.1.5 Расширенная неопределенность

Хотя суммарную стандартную неопределенность иг используют для выражения неопределенности многих результатов измерений, часто требуется показатель измерения, определяющий интервал в результате измерения. у. в котором значение измерения Y может с уверенностью считать ложным. Этот показатель измерения известен как расширенная неопределенность, обозначаемая символом U и которая может быть получена путем умножения ис(у) на коэффициент охвата, обозначаемый к. Следовательно. U = кЩу), и можно с уверенностью утверждать, что y-UiYSy + Uvi часто записывается в виде Y-y±U.

В целом коэффициент охвата к может быть выбран с желаемым уровнем уверенности. Как правило, к находится в промежутке от 2 до 3. Когда применяют нормальное распределение и ис имеет незначительную неопределенность. присвоение к значения 2 определяет интервал, имеющий уровень уверенности, приблизительно равный 95 %. а присвоение к значения 3 — уровень уверенности, составляющий более 99 %. В текущей международной практике используют значение к. равное 2.

А.1.6 Предоставление данных неопределенности

Для того чтобы сообщить о неопределенности измерений, нужно предоставить значение U совместно с коэффициентом охвата к. используемым для его вычисления, или сообщить значение ие. При предоставлении результата измеретя и его неопределенности следует вносить е отчет следующую информацию:

• список всех компонентов стандартной неопределенности вместе с их степенью свободы, где это применимо, и полученные в результате значения и^ компоненты должны быть определены е соответствии с методом, используемым для оценки их численных значений