№ 483-П от 06.08.2015 Положение Банка России «О порядке расчета величины кредитного риска на основе внутренних рейтингов»
Об общих принципах и подходах Банка России к осуществлению регуляторной валидации качества данных и информационных систем, применяемых банком при внедрении ПВР
Вопрос
1. Что такое валидация качества данных (далее – КД) и информационных систем (далее – ИС)? Каковы цели валидации КД и ИС? Каково место валидации КД и ИС в общей процедуре валидации?
2. Каковы объекты валидации КД? По каким направлениям она осуществляется?
3. Каковы требования регулятора к КД и ИС, применяемых в ПВР? Где они определены? Каким критериям должны соответствовать данные, применяемые в ПВР?
4. Каковы этапы и особенности проведения валидации КД и ИС?
5. Какой состав документов банк должен иметь и предоставить Банку России для осуществления процедуры валидации КД и ИС?
6. Какие методы оценки и источники информации могут применяться рабочей группой Банка России при осуществлении процедуры валидации КД и ИС?
7. Есть ли отличия между оценкой данных и оценкой качества этих данных в ходе валидации ПВР?
8. Об исключении отдельных наблюдений из выборок для разработки, калибровки и валидации количественных моделей в связи с отсутствием отдельных данных по этим наблюдениям, или их недостаточной полнотой и (или) достоверностью данных, используемых для оценки компонентов кредитного риска. Какие процедуры повышения КД рекомендуется применять банкам для повышения точности моделей при разработке и валидации?
9. Какие методы, технологии, подходы, ИС целесообразно применять банку при построении своей СОКД?
10. В чем заключается различие между показателями (индикаторами) КД и показателями (индикаторами) эффективности СОКД?
11. Какие методы, процедуры оценки эффективности СОКД могут применяться банком? В чем заключается тестирование эффективности СОКД?
Ответ
1. В широком смысле под валидацией понимается «подтверждение, посредством представления объективных свидетельств, того, что требования, предназначенные для конкретного использования или применения, выполнены» (ISO 9000:2015 «Quality management systems – Fundamentals and vocabulary», а также соответствующий ГОСТ Р ИСО 9000:2011 «Системы менеджмента качества. Основные положения и словарь»). Иными словами, это процедура, дающая высокую степень уверенности осуществляющего ее органа (организации) в том, что конкретный процесс (система, метод, модель и т п.) будет последовательно приводить к результатам, отвечающим заранее установленным критериям приемлемости, применительно к заданным условиям его применения (использования).
В ходе внедрения в банке подходов к количественной оценке рисков для целей расчета норматива достаточности ее собственных средств (капитала) и иных обязательных нормативов, в том числе формирования резервов с применением подхода на основе ожидаемых кредитных потерь (далее – продвинутые подходы) необходимо проведение процедуры оценки применяемых при этом методик управления рисками и моделей количественной оценки рисков, что определено в статье 72.1 Федерального закона Российской Федерации от 10.07.2002 №
Внедрение продвинутых подходов в России началось в крупнейших банках с области продвинутых подходов в сфере кредитных рисков – подходов на основе внутренних рейтингов (далее – ПВР). Для получения банком, направившей соответствующее ходатайство, разрешения Банка России на применение ПВР необходима оценка банковских методик и моделей количественной оценки кредитного риска, используемых в целях расчета достаточности капитала (далее соответственно – методики и модели ПВР). Эта оценка осуществляется в ходе процедуры валидации для принятия решения о возможности выдачи банку разрешения на применение ПВР в отношении конкретных классов (сегментов) кредитных требований (далее – валидация ПВР).
Валидация КД и ИС является важным и неотъемлемым направлением единого процесса валидации ПВР. Как правило, она выполняется одновременно с другими направлениями валидации ПВР.
Международный стандарт ISO/IEC 2382:2015 определяет валидацию КД как «процесс, осуществляемый в целях определения того, что данные являются точными, полными и соответствуют заданным критериям» (ISO/IEC 2382:2015. Information technology – Vocabulary).
Совместно с валидацией КД осуществляется валидация качества ИС, обеспечивающих ввод, передачу, получение, хранение, агрегирование и иную обработку данных банка, применяемых при реализации ПВР.
Банк России проводит валидацию КД и ИС в следующих целях:
- оценки банковских методик и процедур обеспечения КД на соответствие требованиям Положения Банка России от 06.08.2015 № 483?П «О порядке расчета величины кредитного риска на основе внутренних рейтингов» (далее – Положение Банка России
- оценки эффективности системы управления КД;
- оценки применения в системе управления КД банка методик и процедур обеспечения КД, определенных во внутренних документах банка;
- оценки достаточности КД банка для обеспечения эффективного функционирования методик и моделей ПВР;
- оценки способности информационных систем и системы информационной безопасности (ИБ) банка обеспечивать надежное и эффективное функционирование методик и моделей ПВР;
- выработки для банка рекомендаций по совершенствованию системы управления КД.
2. В соответствии со статьей 2 Федерального закона Российской Федерации от 27.07.2006 № 149?ФЗ «Об информации, информационных технологиях и о защите информации» под ИС понимается «совокупность содержащейся в базах данных информации и обеспечивающих ее обработку информационных технологий и технических средств». Здесь под информационными технологиями (далее – ИТ) понимаются «процессы, методы поиска, сбора, хранения, обработки, предоставления, распространения информации и способы осуществления таких процессов и методов».
ИС в целях осуществления валидации ПВР рассматриваются в более широком контексте с учетом определения, указанного в пункте 8.2 Положения Банка России
В частности, рассматриваются следующие компоненты ИС, являющиеся объектами валидации КД и ИС:
- функциональные компоненты (модели, методы и алгоритмы);
- компоненты системы обработки, передачи и хранения данных (комплекс технических средств, программное обеспечение);
- организационные компоненты (управление, персонал).
3. Общие требования к КД и ИС, применяемых в методиках и моделях ПВР, устанавливает Банк России. Это право закреплено в статье 72.1 Федерального закона № 86?ФЗ. В настоящее время указанные общие требования определены в Положении Банка России № 483?П, в том числе в его приложении 3, а также в других нормативных актах Банка России.
На основе общих требований Банка России банк самостоятельно разрабатывает комплекс конкретных показателей и критериев, детальных требований к КД и ИС, правил функционирования своей системы обеспечения качества данных (далее – СОКД), определяет их в своих внутренних документах и доказывает в ходе валидации Банку России их корректность, полноту и соответствие указанным общим требованиям.
4. Процедура валидации КД и ИС включает анализ внутренней документов банка, а также наличие системного подхода к формированию и утверждению внутренней документации.
Программа проведения валидации КД и ИС предусматривает следующие этапы:
- проверка процедур обеспечения КД банка на соответствие требованиям приложения 3 Положения Банка России №
- проверка исходных данных, используемых в банковских методиках и моделях количественной оценки кредитного риска, а также тестирование алгоритмов КД. Оцениваются первичные данные, используемые в моделях, их полнота и источники этих данных, алгоритмы обработки и передачи данных, уровень надежности и непрерывности функционирования используемых ИС, достаточность мер по обеспечению информационной безопасности, места хранения данных. Анализируются внутренние алгоритмы оценки качества данных для моделей: на полноту, пропуски, на экстремальные значения (попадания в допустимые значения), допустимые форматы и т п., показатели КД банка, их критерии и предельные значения для работы данными, алгоритмов обработки КД банка и их тестирование;
- в ходе валидации КД и ИС выявленные Банком России несоответствия обсуждаются с банком и впоследствии устраняются банком в сроки, определенные планом устранения несоответствий;
- по результатам проведения валидации и результатов выполнения плана устранения несоответствий Банк России определяет в соответствующем разрешении условия применения ПВР, определенные в ходе процедуры валидации ПВР (далее – регуляторные условия ПВР), для принятия их банком к исполнению;
- после выдачи банку разрешения на применение ПВР Банк России на постоянной основе осуществляет последующий надзор за соответствием внутренних положений ПВР банка требованиям Банка России, соблюдением банком внутренних и регуляторных положений ПВР, а также внутренних и регуляторных условий ПВР, в том числе в части внесения в них возможных изменений.
5. Для успешного осуществления процедуры валидации КД и ИС банку необходимо иметь и предоставить Банку России внутренние документы, определяющие порядок функционирования сферы ИТ и СОКД, в том числе (наименования документов приведены условно для отражения их основной сути и содержания):
• стратегии (политики, стандарты и иные положения), имеющие отношение к сфере КД и ИС (например, управления рисками, ИТ развития, обеспечения КД, корпоративной безопасности, информационной безопасности, резервного копирования, управления изменениями, обеспечения непрерывности деятельности, управления проектами, управления персоналом, документирования деятельности, импорта и использования внешних данных и др.);
• положения об органах и подразделениях, непосредственно участвующих в СОКД, и подразделений, связанных с функционированием моделей ПВР банка (например, положения о комитете по ИТ, проектном комитете, комитете по управлению рисками и др.);
• планы работ, связанных с функционированием СОКД банка (например, обеспечения непрерывности деятельности, аварийного восстановления ИС и др.);
• должностные (типовые должностные) обязанности основных работников, непосредственно участвующих в обеспечении КД;
• документы, описывающие и регламентирующие работу ИС, участвующих в обработке данных, используемых в ПВР, в т ч.:
- инструкции и руководства пользователей, указанных ИС;
- инструкции и руководства администраторов, указанных ИС;
• применяемые банком методики в сфере обеспечения КД, определяющие в т ч.:
- характеристики КД, подлежащие контролю;
- методы, алгоритмы и средства, применяемые для обеспечения КД;
- показатели КД с описанием правил их расчета в разрезе соответствующих характеристик КД;
- показатели эффективности методов, алгоритмов и средств обеспечения КД (далее – показатели эффективности) с описанием правил их расчета в разрезе соответствующих характеристик КД;
- общие методологические подходы банка к обеспечению КД, в т ч. описывающие применение показателей КД и показателей эффективности на различных этапах работы с данными;
• практические порядки (процедуры, правила), обеспечивающие практическую реализацию и контроль исполнения указанных методик, в том числе разработку, внедрение, изменение, расчет и использование показателей КД и показателей эффективности;
• процедуры взаимодействия органов и подразделений, участвующих в СОКД;
• технологические регламенты, связанные с вопросами обеспечения КД (внедрения ИС, сопровождения ИС, аварийного восстановления ИС и др.).
Кроме указанных внутренних документов банку необходимо предоставить Банку России ряд вспомогательных документов рабочего характера, коротко характеризующих ИС банка, имеющие отношение к реализации ПВР, в том числе:
• таблицы (журналы) с информацией, отражающей состав и краткие характеристики ИС, включая:
- краткое и полное наименования ИС;
- краткое описание функционала, состав и назначение модулей ИС;
- процессы, в которых участвует ИС;
- производитель (производители) ИС;
- кто осуществлял первичное внедрение ИС;
- дата начала эксплуатации ИС;
- текущая версия ИС, ее ключевые особенности по сравнению с первичной версией;
- этапы и сроки значительных доработок ИС;
- условия использования ИС, наличие лицензий;
- наличие/отсутствие соглашений об уровне ИТ-сервисов (service level agreement (SLA));
- структурные подразделения, использующие ИС;
- подразделение, осуществляющее техническую поддержку ИС;
- примечания (например, планы совершенствования, замены и т п.).
• обобщенная схема (комплект схем), отражающая общую архитектуру ИС банка, связанных с реализацией ПВР, циркулирующие между ИС информационные потоки с их кратким описанием;
• логическая схема (комплект схем), описывающая практическую реализацию расчета компонентов кредитного риска и капитала, взвешенного по размеру кредитного риска, в ИС банка;
• отчеты с текущими и историческими значениями показателей КД и показателей эффективности в ключевых точках информационных потоков от момента появления информации до применения данных в моделях ПВР, в том числе в части исторических данных;
• документы (например, отчеты, заключения, сертификаты) с результатами ранее проведенных (внутренних и внешних) валидациях и аудитах КД и ИС (ИТ, ИБ и т п.);
• международные сертификаты, характеризующие уровень профессиональной подготовленности ИТ-персонала банка в сфере КД и ИС;
• текущее состояние обеспеченности банка квалифицированным персоналом в сфере КД и ИС, применяемые при этом подходы и правила, осуществляемые банком в этом направлении практические мероприятия, включая:
- уровень обеспеченности персоналом на ключевых направлениях;
- уровень текучки кадров;
- меры по обеспечению преемственности и передаче знаний и навыков;
- степень зависимости качества функционирования СОКД от смены персонала;
- порядок допуска персонала к работе в соответствии с ролями;
- меры контроля за качеством работы;
- порядок и периодичность повышения квалификации персонала.
• статистические данные об инцидентах и обращениях пользователей, связанных с работой ИС, применяемых в ПВР (например, журнал инцидентов и обращений, периодические отчеты о событиях операционного риска по направлению деятельности банка, связанной с КД и ИС).
Банк может не ограничиваться вышеуказанным перечнем.
Документы предоставляются банком в составе общего пакета Банку России в порядке, предусмотренном Указанием Банка России от 06.08.2015 №
В ходе валидации при необходимости рабочей группой Банка России могут быть запрошены дополнительные документы в порядке, установленном Указанием Банка России №
6. Рабочая группы Банка России, осуществляющая процедуру валидации КД и ИС, может использовать широкий спектр аналитических методов, в том числе:
- изучение и анализ нормативных и иных документов банка, связанных с обеспечением КД и ИС;
- изучение и анализ результатов, предшествовавших внутренних (осуществленных самим банком) и внешних (осуществленных Банком России или специализированными организациями/ компаниями) валидаций и аудитов, связанных со сферой КД и ИС;
- проведение специальных тестов, оценивающих КД и эффективность методов, алгоритмов и средств его обеспечения, в том числе в целях проверки предоставленных банком результатов;
- проверка достоверности данных, зафиксированных в ИС банка путем выборочного сравнения с первичными документами;
- визуальное наблюдение (в том числе в ходе внеплановых проверок) за процессами, связанными с обработкой данных и функционированием ИС на различных стадиях их жизненного цикла;
- изучение и анализ материалов, предоставленных банком по тематике КД и ИС;
- интервьюирование (устное и письменное) участников процесса управления КД, в т ч. участвующих в обеспечении КД и непосредственной работе с данными;
- изучение и анализ иных материалов, в т ч. из внешних источников, имеющих отношение к КД и ИС банка.
7. Вопросы состава, разрезов и периодов данных для их использования при разработке, тестировании, калибровке и валидации моделей ПВР, форматов их представления, обеспечения репрезентативности соответствующих выборок и иные подобные вопросы не относятся к направлению КД и ИС и оцениваются в ходе валидации методик и моделей ПВР.
Текущее и историческое КД и ИС рассматривается в разрезе подходов и характеристик, определенных в данной сфере соответствующими международными и российскими стандартами (например, ISO/IEC 25012) и нормативными документами Банка России с учетом рекомендаций Базельского комитета по банковскому надзору.
8. Исключение отдельных наблюдений из выборок для разработки, калибровки и валидации количественных моделей в связи с отсутствием отдельных данных по этим наблюдениям, или их недостаточной полнотой и (или) достоверностью данных, используемых для оценки компонентов кредитного риска препятствует получению точных оценок и является поэтому ненадлежащей практикой применения ПВР. В указанных случаях для достижения заданного уровня КД и успешного осуществления процедуры валидации КД и ИС банк должен применять процедуры повышения КД в соответствии с абзацем шестым пункта 3 приложения 3 к Положению Банка России
9. Банк может применять любые разрешенные законодательством и соответствующие требованиям Банка России решения, которые позволяют ей в процессе внедрения ПВР обеспечить КД, достаточное для надежного, правильного и эффективного функционирования методик и моделей ПВР, корректной оценки кредитного риска с применением ПВР. Для этих целей СОКД банка должна обеспечивать КД в ИС в разрезе характеристик, указанных в подпункте 8.7.4 пункта 8.7 Положения Банка России
10. Показатели (индикаторы) КД устанавливаются для целей оценки и мониторинга характеристик КД, указанных в подпункте 8.7.4 пункта 8.7 Положения Банка России
• выявление данных, несоответствующих заданному уровню КД;
• исправление выявленных ошибок, неточностей и иных нарушений КД;
• реагирование на случаи нарушения установленных банком предельно допустимых значений показателей КД;
• анализ причин возникновения ошибок, неточностей и иных нарушений КД, а также нарушений установленных банком предельно допустимых значений показателей КД;
• обеспечение и повышение КД, используемых при построении, валидации и применении моделей оценки рисков.
Показатели (индикаторы) эффективности СОКД устанавливаются для целей тестирования, оценки и мониторинга качества установленной в банке СОКД, другими словами, ее способности выявлять и устранять в данных ошибки, неточности и иные нарушения, негативно влияющие на результаты применяемых моделей оценки рисков.
11. Банк может применять любые разрешенные законодательством и соответствующие требованиям Банка России методы и процедуры проведения оценки эффективности СОКД, обеспечивающие мониторинг и выявление отклонений в эффективности работы СОКД банка, негативно влияющие на результаты применяемых моделей оценки рисков.
В качестве метода оценки эффективности СОКД банкам рекомендуется применять процедуры тестирования СОКД в различных функциональных областях бизнеса и ИС, использующих данные, и по банку в целом. Под тестированием СОКД подразумевается проведение тестирования эффективности контрольных процедур КД, начиная с этапа ввода первичных данных до этапа расчета модели оценки рисков и (или) его компонентов и системы выявления и устранения ошибок КД. Ниже приведен пример одного из этапов проведения тестирования СОКД.
Типовой алгоритм проведения тестирования качества системы выявления и исправления ошибок в данных в рамках проведения тестирования СОКД.
Допустим, в выборках данных, используемых банком для разработки, калибровки и (или) валидации модели, были выявлены пропуски. Тестирование качества системы выявления и исправления ошибок в данных в рамках тестирования СОКД для цели тестирования качества соблюдения характеристики «восстанавливаемость» согласно пункту 1 приложения 3 к Положению Банка России
1) выбирается любой срез ретроспективных данных, на котором производится моделирование или калибровка модели;
2) сотрудник независимого уполномоченного подразделения или иной сотрудник, не являющийся сотрудником подразделения, ответственного за обеспечение КД, службы управления рисками и бизнес подразделений, связанных с проведением кредитных операций и управления кредитными рисками, подвергает данные искажению и фиксирует произведенные действия (далее – первоначальный список искажений). При этом, доступ к материалам, содержащим первоначальный список искажений, должен быть закрыт для остальных участников тестирования;
3) на исследуемом срезе данных запускаются алгоритмы поиска ошибок;
4) система должна идентифицировать все внесенные искажения, при этом система должна зафиксировать все данные в выборке среза, которые признаны ошибочными или отсутствующими, и далее производится расчет показателей качества алгоритмов идентификации ошибок:
• доля выявленных искажений и доля пропущенных (далее – ошибка первого рода);
• доля данных, признанных алгоритмами ошибочными, но которые изначально были корректными и не входили в список искажений (далее – ошибка второго рода);
5) по окончании поиска ошибок (искажений) запускается процедура их исправления (восстановление данных путем поднятия резервной копии или ручного поиска информации из архивной документации или открытых источников, или заменой на более консервативные с точки зрения скоринговой методики значения). Затем по выявленным ошибкам из списка ошибок первого рода производится сравнение качества их исправлений с первоначальными корректными значениями из первоначального списка искажений. Аналогично анализируются исправленные значения по списку ошибок второго рода и степень их отклонения от первоначальных (корректных) значений;
6. тестирование считается успешно пройденным в том случае, когда удалось определить долю выявленных ошибок и долю исправленных ошибок в пределах заданных критериев качества алгоритмов (например, доля выявленных ошибок первого рода должна быть не менее 99%; доля ошибок второго рода не должна превышать 1%; по ошибкам первого рода доля корректно восстановленных данных должна быть более 90% — 95% и прочие). По окончании проведения процедур тестирования все искажения должны быть приведены к изначальным значениям;
7) подготавливается отчет о проделанном тестировании, содержащий первоначальный список искажений, информацию о выявленных искажениях, информацию об исправленных ошибках, процент отклонения, время, потраченное на поиск и исправление ошибок.
Другим методом оценки эффективности СОКД является формирование оперативных отчетов о КД и мониторинг количества ошибок в различных разрезах. Если данные оперативных отчетов показывают, что выявленные показателями (индикаторами) эффективности СОКД ошибки устраняются в соответствии установленными банком правилами, из этого следует, что СОКД в банке работает эффективно. В случае если методы оценки эффективности показывают отклонения в работе СОКД от установленных банком правил, то методы мониторинга ошибок позволяют локализовать проблему, например, понять, ошибки какого характера, в каких функциональных областях бизнеса и ИС, какими ответственными подразделениями исправляются неэффективно, и выбрать подходящий способ для их устранения.
Банк определяет во внутренних документах процедуры оценки эффективности СОКД, перечень и функции вовлеченных подразделений, сроки выполнения отдельных этапов процедур, а также критерии оценки эффективности СОКД. Оценка эффективности СОКД должна проводится независимым уполномоченным подразделением в целях предотвращения возможного конфликта интересов при ее проведении.
При этом банку рекомендуется регулярно (не реже одного раза в год) проводить независимый аудит процесса выявления и устранения ошибок данных и оценки эффективности СОКД банка. Отчет аудита должен содержать оценку того, как осуществляется управление КД, насколько оно эффективно, в том числе насколько эффективно происходит устранение ошибок.