Основы метода Обобщенная формула Байеса. МЕТОД БАЙЕСА Среди методов технической диагностики метод основанный на обобщенной формуле Байеса Теорема Байеса или формула Байеса одна из основных теорем теории вероятностей которая позволяет определить вероятность того что произошло какоелибо событиегипотеза при наличии лишь косвенных тому подтверждений данных которые могут быть неточны занимает особое место благодаря простоте и эффективности. Метод Байеса имеет недостатки: большой объем...

Поделитесь работой в социальных сетях

Если эта работа Вам не подошла внизу страницы есть список похожих работ. Так же Вы можете воспользоваться кнопкой поиск

Лекция 6

Тема. СТАТИСТИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ

Цель. Дать понятие распознавания цифрового сигнала .

Учебная. Разъяснить процесс распознавания цифрового сигнала.

Развивающая. Развивать логическое мышление и естественное - научное мировоззрение.

Воспитательная . Воспитывать интерес к научным достижениям и открытиям в отрасли телекоммуникации.

Межпредметные связи:

Обеспечивающие: информатика, математика, вычислительная техника и МП , системы программирования.

Обеспечиваемые: Стажерская практика

Методическое обеспечение и оборудование:

Методическая разработка к занятию.

Учебный план.

Учебная программа

Рабочая программа.

Инструктаж по технике безопасности.

Технические средства обучения: персональный компьютер.

Обеспечение рабочих мест:

Рабочие тетради

Ход лекции.

Организационный момент.

Анализ и проверка домашней работы

Ответьте на вопросы:

1. В чем заключается отличие цифровых сигналов от аналоговых?
2. Какие классы диаграмм используются при проведении измерений?
3. Дайте краткое описание каждому классу.
4. Что используется для построения глазковой диаграммы?
5. Поясните суть глазковой диаграммы.

План лекции

1. МЕТ ОД БАЙЕСА

• Основы метода
• Обобщенная формула Байеса.
• Диагностическая матрица.
• Решающее правило
• Основы метода.
• Общая процедура метода.

Основное преимущество статистических методов распознавания состоит в возможности одновременного учета признаков различной физической природы, так как они характеризуются безразмерными величинами — вероятностями их появления при различных состояниях системы .

1. МЕТ ОД БАЙЕСА

Среди методов технической диагностики метод, основанный на обобщенной формуле Байеса (Теорема Байеса (или формула Байеса) — одна из основных теорем теории вероятностей , которая позволяет определить вероятность того, что произошло какое-либо событие(гипотеза) при наличии лишь косвенных тому подтверждений (данных), которые могут быть неточны ) , занимает особое место благодаря простоте и эффективности.

Метод Байеса имеет недостатки: большой объем предварительной информации, «угнетение» редко встречающихся диагнозов и др. Однако в случаях, когда объем статистических данных позволяет применить метод Байеса, его целесообразно использовать как один из наиболее надежных и эффективных методов.

Основы метода. Метод основан на простой формуле Байеса. Если имеется диагноз D i и простой признак ki , встречающийся при этом диагнозе, то вероятность совместного появления событий (наличие у объекта состояния Di и признака ki ).

Априорная вероятность — распределение вероятностей, которое выражает предположения до учёта экспериментальных данных.

Априорное распределение вероятностей (англ. prior probability distribution , или просто prior ) неопределённой величины p — распределение вероятностей , которое выражает предположения о p до учёта экспериментальных данных.

(3.1)

Из этого равенства вытекает формула Байеса

(3.2)

Очень важно определить точный смысл всех входящих в эту формулу величин.

P(Di)- априорная вероятность гипотезы D

P (ki / Di ) - вероятность гипотезы ki при наступлении события D (апостериорная вероятность - вероятность случайного события при условии того, что известны апостериорные данные, т.е. полученные после опыта.)

P (ki ) - полная вероятность наступления события ki

P (Di / ki ) - вероятность наступления события Di при истинности гипотезы ki

Р(D )— вероятность диагноза D , определяемая по статистическим данным (априорная вероятность диагноза). Так, если предварительно обследовано N объектов и у W ,- объектов имелось состояние D , то

P (D i ) = N i / N . (3.3)

Р (kj / Di ) k j ; у объектов с состоянием Di . Если среди Ni , объектов, имеющих диагноз Di , у N ij проявился признак k j то

(3.4)

Р (kj ) — вероятность появления признака kj во всех объектах независимо от состояния (диагноза) объекта . Пусть из общего числа N объектов признак к } был обнаружен у Nj объектов, тогда

(3.5)

В равенстве (3.2) Р (Di / kj ) — вероятность диагноза D после того, как стало известно наличие у рассматриваемого объекта признака kj (апостериорная вероятность диагноза ).

Обобщенная формула Байеса.

Эта формула относится к случаю, когда обследование проводится по комплексу признаков K , включающему признаки k 1, k 2 ..., k v . Каждый из признаков kj имеет т j разрядов (k j 1 k j 2 ..., k jS ..., k jm ). В результате обследования становится известной реализация признака kj * = k js (3.6) и всего комплекса признаков K *. Индекс *, как и раньше, означает конкретное значение (реализацию) признака. Формула Байеса для комплекса признаков имеет вид

Р (D i / K *) = Р (Di ) Р (K */ D i )/ P (K *) (i = 1, 2, ..., n ), (3.7)

где Р (Di / K *) — вероятность диагноза D после того, как стали известны результаты обследования по комплексу признаков K , Р (Di ) — предварительная вероятность диагноза D (по предшествующей статистике).

Формула (3.7) относится к любому из п возможных состояний (диагнозов) системы. Предполагается, что система находится только в одном из указанных состояний и потому

(3.8)

В практических задачах нередко допускается возможность существования нескольких состояний А1 ... An , причем некоторые из них могут встретиться в комбинации друг с другом. Тогда в качестве различных диагнозов D i следует рассматривать отдельные состояния D i = А 1, ..., D r = А r и их комбинации

Dr + i = A 1Λ A 2 и т. п.

В большинстве практических задач, особенно при большом числе признаков, можно принимать условие независимости признаков даже при наличии существенных корреляционных связей между ними.

Вероятность появления комплекса признаков K *

. (3.11)

Обобщенная формула Байеса может быть записана так:

(3.12)

где Р (K */ Di ) определяется равенством. Из обобщенной формул ы Байеса (3.12) вытекает что, разумеется,

(3.13)

и должно быть, так как один из диагнозов обязательно реализуется, а реализация одновременно двух диагнозов невозможна.

Следует обратить внимание на то, что знаменатель формулы Байеса для всех диагнозов одинаков. Это позволяет сначала определить вероятности совместного появления 1-го диагноза и данной реализации комплекса признаков и затем апостериорную вероятность диагноза

Отметим, что иногда целесообразно использовать предварительное логарифмирование формулы (3.12).

Если реализация некоторого комплекса признаков K * является детерминирующей (детерминирующая - определяющая направленность, избирательность в зависимости от поставленной задачи.) для диагноза Dp , то этот комплекс не встречается при других диагнозах:

Тогда, в силу равенства (3.12)

Таким образом, детерминистская логика установления диагноза является частным случаем вероятностной логики. Формула Байеса может использоваться и в том случае, когда часть признаков имеет дискретное распределение, а другая часть — непрерывное. Для непрерывного распределения используются плотности распределения. Однако в расчетном плане указанное различие признаков несущественно, если задание непрерывной кривой осуществляется с помощью совокупности дискретных значений.

Диагностическая матрица.

Для определения вероятности диагнозов по методу Байеса необходимо составить диагностическую матрицу (табл. 1), которая формируется на основе предварительного статистического материала. В этой таблице содержатся вероятности разрядов признаков при различных диагнозах. Если признаки двухразрядные (простые признаки «да—нет»), то в таблице достаточно указать вероятность появления признака P (kj ,/ Di ).

Таблица 1

Диагностическая матрица в методе Байеса

В диагностическую матрицу включены априорные вероятности диагнозов. Процесс обучения в методе. Байеса состоит в формировании диагностической матрицы. Важно предусмотреть возможность уточнения таблицы в процессе диагностики. Для этого в памяти ЭВМ следует хранить не только значения вероятности, но и следующие величины: N — общее число объектов, использованных для составления диагностической матрицы; N t — число объектов с диагнозом D ; Nij — число объектов с диагнозом D , обследованных по признаку Kj .

Решающее правило — правило, в соответствии с которым принимается решение о диагнозе. В методе Байеса объект с комплексом признаков К* относится к диагнозу с наибольшей (апостериорной) вероятностью (Апостерио́рная вероя́тность - условная вероятность случайного события при условии того, что известны данные, полученные после опыта)

(3.19)

Символ Є , применяемый в функциональном анализе, означает принадлежность множеству. Условие (3.19) указывает, что объект, обладающий данной реализацией комплекса признаков К * или, реализация K * принадлежит диагнозу (состоянию) D . Правило (3.19) обычно уточняется введением порогового значения для вероятности диагноза:

P (Di / K *)> Pi , (3.20)

где Pi — заранее выбранный уровень распознавания для диагноза D . При этом вероятность ближайшего конкурирующего диагноза не выше 1 — P i . Обычно принимается P i > 0,9. При условии

P (Di / K *)≤ Pi , (3.21)

решение о диагнозе не принимается (отказ от распознавания) и требуется поступление дополнительной информации.

Процесс принятия решения в методе Байеса при расчете на ЭВМ происходит достаточно быстро.

Как указывалось, методу Байеса присущи некоторые недостатки, например погрешности при распознавании редких диагнозов. При практических расчетах целесообразно провести диагностику и для случая равновероятностных диагнозов, положив

P (D ) i =1/ n . (3.22)

Тогда наибольшим значением апостериорной вероятности будет обладать диагноз D , для которого P (D ) i максимальна:

Иными словами, устанавливается диагноз D , если данная совокупность признаков чаще встречается при диагнозе D , чем при других диагнозах. Такое решающее правило соответствует методу максимального правдоподобия . Из предыдущего вытекает, что этот метод является частным случаем метода Байеса при одинаковых априорных вероятностях диагнозов. В методе максимального правдоподобия «частые» и «редкие» диагнозы равноправны.

1. МЕТОД ПОСЛЕДОВАТЕЛЬНОГО АНАЛИЗА

Метод последовательного анализа, предложенный Вальдом, применяется для дифференциальной диагностики (распознавания двух состояний). В отличие от метода Байеса, число обследований заранее не устанавливается, их проводится столько, сколько необходимо для принятия решения с определенной степенью риска.

Основы метода. При использовании метода Байеса для распознавания состояний D 1 и D 2 следует составить отношение (для независимых признаков)

Если

Или

то принимается решение К* Є D 2

В методе последовательного анализа рассматриваемые отношения вероятностей признаков (отношения правдоподобия) составляются не сразу, а в последовательном порядке; поэтому, как правило, требуется меньшее число обследований . Подобная форма применяется при нормальном распределении количественных признаков.

Общая процедура метода. Будем для краткости считать, что признаки являются независимыми. Пусть проведено v — 1 обследований, которые еще не дали возможности принятия решения,

но после v - ro обследования

Тогда принимается решение об отнесении объекта к диагнозу D 2 . К * Є D 2 . Если после v - г o обследования

то объект относится к диагнозу D 1.

Для сокращения объема обследований следует вначале проводить обследование по наиболее информативным признакам.

С вязь границ принятия решения с вероятностями ошибок первого и второго рода.

При распознавании могут быть ошибки двоякого рода.

Ошибка относящаяся к диагнозу D 1 (принимается решение о наличии диагноза D 2 , когда в действительности объект принадлежит диагнозу D 1 ), называется ошибкой первого рода. Ошибка, относящаяся к диагнозу D 2 (принимается решение в пользу диагноза D 1 когда справедлив диагноз D 2 ), называется ошибкой второго рода.

Считая состояние D 1 исправным, а состояние D 2 дефектным, легко понять, что ошибка первого рода является «ложной тревогой», а ошибка второго рода «пропуском дефекта».

Обозначим вероятность ошибки первого рода α, второго рода β . Допустим, что имеются условия и принимается решение в пользу диагноза D 2 . Вероятность того, что это решение будет справедливым, равна 1— β . Вероятность принадлежности объекта с данной реализацией признаков к диагнозу D 1 составляет α . С другой стороны, в силу соотношения вероятность диагноза D 2 , по крайней мере, в А раз больше, чем диагноза D 1 т. е.

(4.11)

Подобным образом можно получить и следующую оценку:

(4.12)

В практических расчетах часто принимают α = β = 0,05 или α = β = 0,10.

Домашнее задание: § конспект.

Закрепление материала:

Ответьте на вопросы:

1. Что позволяет определить формула Байеса?
2. В чем состоят основы метода Байеса? Приведите формулу. Дайте определение точного смысла всех входящих в эту формулу величин.
3. Что означает, что реализация некоторого комплекса признаков K * является детерминирующей?
4. Объясните принцип формирования диагностической матрицы.
5. Что означает решающее правило принятия?
6. Дайте определение методу последовательного анализа.
7. В чем состоит связь границ принятия решения с вероятностями ошибок первого и второго рода?

Литература:

Амренов С. А. «Методы контроля и диагностики систем и сетей связи» КОНСПЕКТ ЛЕКЦИЙ -: Астана, Казахский государственный агротехнический университет, 2005 г.

И.Г. Бакланов Тестирование и диагностика систем связи. - М.: Эко-Трендз, 2001.

Биргер И. А. Техническая диагностика.— М.: «Машиностроение», 1978.—240,с, ил.

АРИПОВ М.Н, ДЖУРАЕВ Р.Х., ДЖАББАРОВ Ш.Ю. «ТЕХНИЧЕСКАЯ ДИАГНОСТИКА ЦИФРОВЫХ СИСТЕМ» -Ташкент, ТЭИС, 2005

Платонов Ю. М., Уткин Ю. Г. Диагностика, ремонт и профилактика персональных компьютеров. -М.: Горячая линия - Телеком, 2003.-312 с: ил.

М.Е.Бушуева, В.В.Беляков Диагностика сложных технических систем Труды 1-го совещания по проекту НАТО SfP-973799 Semiconductors . Нижний Новгород, 2001

Малышенко Ю.В. ТЕХНИЧЕСКАЯ ДИАГНОСТИКА часть I конспект лекций

Платонов Ю. М., Уткин Ю. Г. Диагностика зависания и неисправностей компьютера/Серия «Техномир». Ростов-на-Дону: «Феникс», 2001. — 320 с.

PAGE \* MERGEFORMAT 5

Другие похожие работы, которые могут вас заинтересовать.вшм>
12903.		СТАТИСТИЧЕСКИЕ МЕТОДЫ В АСТРОФИЗИКЕ	56.4 KB
	Космологическая теория Фридмана 1922-1924 гг предсказывала что Вселенная расширяется по закону: где есть лучевая скорость какойто галактики лучевая означает проекцию скорости на луч зрения соединяющий наблюдателя и изучаемый объект на небе расстояние до галактики А – некоторая константа. Здесь важно отметить то что Хаббл повидимому не знал теории Фридмана. Одна из целей курса продемонстрировать что скрыто за термином построение статистической модели или статистическое моделирование 2. зависимость угловой скорости...
2157.		МЕТРИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ	81.48 KB
	Дать понятие о метрических методах распознавания Учебная. Разъяснить суть и практическую направленность метрических методов распознавания. Алгоритм распознавания.
225.		Методы распознавания технических состояний	623.74 KB
	Последовательный метод распознавания технических состояний Распознавание текущих технических состояний объекта производится путем выполнения проверок. В зависимости от последовательности выполнения проверок выделяются методы последовательного и комбинационного распознавания. 1 При комбинационном распознавании решение о текущем техническом состоянии объекта принимается на основе результатов анализа всех проверок из заданного множества которые могут выполняться в произвольном порядке. 5 В выражении 5...
2153.		ЛОГИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ И РАСПОЗНАВАНИЕ КРИВЫХ	61.37 KB
	Логические методы основаны на установлении логических связей между признаками и состояниями объектов, поэтому будут рассмотрены только простые (качественные) признаки, для которых возможны лишь два значения (например 0 и 1). Точно также и состояния технической системы (диагнозы) в рассматриваемых методах могут иметь только два значения
15259.		Методы, применяемые в анализе синтетических аналогов папаверина и многокомпонентных лекарственных форм на их основе 3.1. Хроматографические методы 3.2. Электрохимические методы 3.3. Фотометрические методы Заключение Список л	233.66 KB
	Дротаверина гидрохлорид. Дротаверина гидрохлорид является синтетическим аналогом папаверина гидрохлорида а с точки зрения химического строения является производным бензилизохинолина. Дротаверина гидрохлорид принадлежит к группе лекарственных средств обладающих спазмолитической активностью спазмолитик миотропного действия и является основным действующим веществом препарата но-шпа. Дротаверина гидрохлорид Фармакопейная статья на дротаверина гидрохлорид представлена в Фармакопее издания.
2635.		СТАТИСТИЧЕСКИЕ ОЦЕНКИ	77.14 KB
	Одной из центральных задач математической статистики является задача оценивания теоретического распределения случайной величины на основе выборочных данных. Требуется найти приближенные значения этих параметров то есть получить статистические оценки указанных параметров. Если для оценки взять несколько выборок то получим столько же случайных оценок. Точечные оценки Статистические оценки могут быть точечными и интервальными.
2629.		Статистические игры	186.64 KB
	Отличительная особенность таких игр состоит в том, что в ней сознательно действует только один из участников. Объективно окружающая среда против игрока не действует. Она принимает одно из нескольких возможных состояний.
217.		Контроль и диагностирование как задача распознавания образов	23.59 KB
	Вновь предъявляемый объект будет отнесен к первому или второму классу в зависимости от пола. К какому классу отнести вновь предъявляемый объект зависит от региона его проживания. Чтобы объект классифицировать в обязательном порядке потребуется допустить некоторую нестрогость размытость критерия – отнесение объекта к тому или иному классу или по совпадению регионов проживания или их наиболее близкому их расположению. Объекты относимые к одному классу кластеру обладают общими свойствами.
227.		Оптимальные программы распознавания технических состояний	33.92 KB
	Требования к показателям эффективности процесса распознавания технических состояний 3. Исходные данные для построения произвольной программы распознавания ТС лекция 10. Такие условные единицы и используются при построении программ распознавания ТС.
966.		Основные статистические показатели образования в Российской Федерации в 2013 году	85.45 KB
	Статистика уровня образования населения и развития системы обучения. Общие сведения о статистике образования населения. Система показателей статистики образования. Статистика уровня образования населения...

МЕТОД ПОСЛЕДОВАТЕЛЬНОГО АНАЛИЗА

МЕТОД БАЙЕСА

План лекции

Анализ и проверка домашней работы

Организационный момент.

Ход лекции.

Лекция 9

Тема. СТАТИСТИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ

Цель. Дать понятие распознавания цифрового сигнала.

1. Учебная. Разъяснить процесс распознавания цифрового сигнала.

2. Развивающая. Развивать логическое мышление и естественное - научное мировоззрение.

3. Воспитательная . Воспитывать интерес к научным достижениям и открытиям в отрасли телекоммуникации.

Межпредметные связи:

· Обеспечивающие: информатика, математика, вычислительная техника и МП, системы программирования.

· Обеспечиваемые: Стажерская практика

Методическое обеспечение и оборудование:

1. Методическая разработка к занятию.

2. Учебный план.

3. Учебная программа

4. Рабочая программа.

5. Инструктаж по технике безопасности.

Технические средства обучения: персональный компьютер.

Обеспечение рабочих мест:

· Рабочие тетради

3. Ответьте на вопросы:

1. В чем заключается отличие цифровых сигналов от аналоговых?

2. Какие классы диаграмм используются при проведении измерений?

3. Дайте краткое описание каждому классу.

4. Что используется для построения глазковой диаграммы?

5. Поясните суть глазковой диаграммы.

· Основы метода

• Обобщенная формула Байеса.

· Диагностическая матрица.

· Решающее правило

· Основы метода.

· Общая процедура метода.

· Связь границ принятия решения с вероятностями ошибок пер­вого и второго рода.

Основное преимущество статистических методов распознавания состоит в возможности одновременного учета признаков различной физической природы, так как они характеризуются безразмерными величинами - вероятностями их появления при различных состояниях системы .

Среди методов технической диагностики метод, основанный на обобщенной формуле Байеса (Теорема Байеса (или формула Байеса) - одна из основных теорем теории вероятностей, которая позволяет определить вероятность того, что произошло какое-либо событие(гипотеза) при наличии лишь косвенных тому подтверждений (данных), которые могут быть неточны ), занимает особое место благо­даря простоте и эффективности.

Метод Байеса имеет недостатки: большой объем предварительной информации, «угнетение» редко встречающихся диагнозов и др. Однако в случаях, когда объем статистических данных позволяет применить метод Байеса, его целесообразно использовать как один из наиболее надежных и эффективных методов.

Основы метода. Метод основан на простой формуле Байеса. Если имеется диагноз D i и простой признак ki, встре­чающийся при этом диагнозе, то вероятность совместного появ­ления событий (наличие у объекта состояния Di и признака ki)

Из этого равенства вытекает формула Байеса

(3.2)

Очень важно определить точный смысл всех входящих в эту формулу величин.

P(Di)- априорная вероятность гипотезы D

P(ki/Di) - вероятность гипотезы ki при наступлении события D (апостериорная вероятность - вероятность случайного события при условии того, что известны апостериорные данные, т.е. полученные после опыта.)

P(ki) - полная вероятность наступления события ki

P(Di/ki) - вероятность наступления события Di при истинности гипотезы ki

Р(D)- вероятность диагноза D , определяемая по стати­стическим данным (априорная вероятность диагноза). Так, если предварительно обследовано N объектов и у W,- объектов имелось состояние D, то

P(D i) = N i /N. (3.3)

Р (kj/Di) - вероятность появления признака k j ; у объектов с со­стоянием Di. Если среди Ni, объектов, имеющих диагноз Di, у N ij проявился признак k j то

(3.4)

Р (kj) - вероятность появления признака kj во всех объектах независимо от состояния (диагноза) объекта . Пусть из общего числа N объектов признак к } был обнаружен у Nj объектов, тогда

(3.5)

В равенстве (3.2) Р ( Di/kj) - вероятность диагноза D после того, как стало известно наличие у рассматриваемого объекта признака kj (апостериорная вероятность диагноза ).

Кто такой Байес? и какое отношение он имеет к менеджменту? – может последовать вполне справедливый вопрос. Пока поверьте мне на слово: это очень важно!.. и интересно (по крайней мере, мне).

В какой парадигме действуют большинство менеджеров: если я наблюдаю нечто, какие выводы могу из этого сделать? Чему учит Байес: что должно быть на самом деле, чтобы мне довелось наблюдать это нечто? Именно так развиваются все науки, и об этом пишет (цитирую по памяти): человек, у которого нет в голове теории, будет шарахаться от одной идеи к другой под воздействием различных событий (наблюдений). Не даром говорят: нет ничего более практичного, чем хорошая теория.

Пример из практики. Мой подчиненный совершает ошибку, и мой коллега (руководитель другого отдела) говорит, что надо бы оказать управленческое воздействие на нерадивого сотрудника (проще говоря, наказать/обругать). А я знаю, что этот сотрудник делает 4–5 тысяч однотипных операций в месяц, и совершает за это время не более 10 ошибок. Чувствуете различие в парадигме? Мой коллега реагирует на наблюдение, а я обладаю априорным знанием, что сотрудник допускает некоторое количество ошибок, так что еще одна не повлияла на это знание… Вот если по итогам месяца окажется, что таких ошибок, например, 15!.. Это уже станет поводом для изучения причин несоответствия стандартам.

Убедил в важности Байесовского подхода? Заинтриговал? Надеюсь, что «да». А теперь ложка дегтя. К сожалению, идеи Байеса редко даются с первого захода. Мне откровенно не повезло, так как я знакомился с этими идеями по популярной литературе, после прочтения которой оставалось много вопросов. Планируя написать заметку, я собрал всё, что ранее конспектировал по Байесу, а также изучил, что пишут в Интернете. Предлагаю вашему вниманию мое лучшее предположение на тему Введение в Байесовскую вероятность .

Вывод теоремы Байеса

Рассмотрим следующий эксперимент: мы называем любое число лежащее на отрезке и фиксируем, когда это число будет, например, между 0,1 и 0,4 (рис. 1а). Вероятность этого события равна отношению длины отрезка к общей длине отрезка , при условии, что появления чисел на отрезке равновероятны . Математически это можно записать p (0,1 <= x <= 0,4) = 0,3, или кратко р (X ) = 0,3, где р – вероятность, х – случайная величина в диапазоне , Х – случайная величина в диапазоне . То есть, вероятность попадания в отрезок равна 30%.

Рис. 1. Графическая интерпретация вероятностей

Теперь рассмотрим квадрат x (рис. 1б). Допустим, мы должны называть пары чисел (x , y ), каждое из которых больше нуля и меньше единицы. Вероятность того, что x (первое число) будет в пределах отрезка (синяя область 1), равна отношению площади синей области к площади всего квадрата, то есть (0,4 – 0,1) * (1 – 0) / (1 * 1) = 0,3, то есть те же 30%. Вероятность того, что y находится внутри отрезка (зеленая область 2) равна отношению площади зеленой области к площади всего квадрата p (0,5 <= y <= 0,7) = 0,2, или кратко р (Y ) = 0,2.

Что можно узнать о значениях одновременно x и y . Например, какова вероятность того, что одновременно x и y находятся в соответствующих заданных отрезках? Для этого надо посчитать отношение площади области 3 (пересечения зеленой и синей полос) к площади всего квадрата: p (X , Y ) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.

А теперь допустим мы хотим знать какова вероятность того, что y находится в интервале , если x уже находится в интервале . То есть фактически у нас есть фильтр и когда мы называем пары (x , y ), то мы сразу отбрасывает те пары, которые не удовлетворяют условию нахождения x в заданном интервале, а потом из отфильтрованных пар мы считаем те, для которых y удовлетворяет нашему условию и считаем вероятность как отношение количества пар, для которых y лежит в вышеупомянутом отрезке к общему количеству отфильтрованных пар (то есть для которых x лежит в отрезке ). Мы можем записать эту вероятность как p (Y |X у х попал в диапазоне ». Очевидно, что эта вероятность равна отношению площади области 3 к площади синей области 1. Площадь области 3 равна (0,4 – 0,1) * (0,7 – 0,5) = 0,06, а площадь синей области 1 (0,4 – 0,1) * (1 – 0) = 0,3, тогда их отношение равно 0,06 / 0,3 = 0,2. Другими словами, вероятность нахождения y на отрезке при условии, что x принадлежит отрезку p (Y |X ) = 0,2.

В предыдущем абзаце мы фактически сформулировали тождество: p (Y |X ) = p (X , Y ) / p(X ). Читается: «вероятность попадания у в диапазон , при условии, что х попал в диапазон , равна отношению вероятности одновременного попадания х в диапазон и у в диапазон , к вероятности попадания х в диапазон ».

По аналогии рассмотрим вероятность p (X |Y ). Мы называем пары (x , y ) и фильтруем те, для которых y лежит между 0,5 и 0,7, тогда вероятность того, что x находится в отрезке при условии, что y принадлежит отрезку равна отношению площади области 3 к площади зеленой области 2: p (X |Y ) = p (X , Y ) / p (Y ).

Заметим, что вероятности p (X , Y ) и p (Y, Х ) равны, и обе равны отношению площади зоны 3 к площади всего квадрата, а вот вероятности p (Y |X ) и p (X |Y ) не равны; при этом вероятность p (Y |X ) равна отношению площади области 3 к области 1, а p (X |Y ) – области 3 к области 2. Заметим также, что p (X , Y ) часто обозначают как p (X &Y ).

Итак, мы ввели два определения: p (Y |X ) = p (X , Y ) / p(X ) и p (X |Y ) = p (X , Y ) / p (Y )

Перепишем эти равенства виде: p (X , Y ) = p (Y |X ) * p(X ) и p (X , Y ) = p (X |Y ) * p (Y )

Поскольку левые части равны, равны и правые: p (Y |X ) * p(X ) = p (X |Y ) * p (Y )

Или мы можем переписать последнее равенство в виде:

Это и есть теорема Байеса!

Неужели столь несложные (почти тавтологические) преобразования рождают великую теорему!? Не спешите с выводами. Давайте еще раз проговорим, что же мы получили. Имелась некая исходная (априорная) вероятность р (Х), того, что случайная величина х равномерно распределенная на отрезке попадает в диапазон Х . Произошло некое событие Y , в результате которого мы получили апостериорную вероятность той же самой случайной величины х : р (Х|Y), и эта вероятность отличается от р (Х) на коэффициент . Событие Y называется свидетельством, в большей или меньшей степени подтверждающим или опровергающим Х . Указанный коэффициент иногда называют мощностью свидетельства . Чем мощнее свидетельство, тем больше факт наблюдения Y изменяет априорную вероятность, тем больше апостериорная вероятность отличается от априорной. Если свидетельство слабое, апостериорная вероятность почти равна априорной.

Формула Байеса для дискретных случайных величин

В предыдущем разделе мы вывели формулу Байеса для непрерывных случайных величин х и y, определенных на отрезке . Рассмотрим пример с дискретными случайными величинами, принимающими каждая по два возможных значения. В ходе проведения плановых медицинских осмотров установлено, что в сорокалетнем возрасте 1% женщин болеет раком молочной железы. 80% женщин больных раком получают положительные результаты маммографии. 9,6% здоровых женщин также получают положительные результаты маммографии. В ходе проведения осмотра женщина данной возрастной группы получила положительный результат маммографии. Какова вероятность того, что у неё на самом деле рак молочной железы?

Ход рассуждений/вычислений следующий. Из 1% больных раком маммография даст 80% положительных результатов = 1%*80% = 0,8%. Из 99% здоровых женщин маммография даст 9,6% положительных результатов = 99%*9,6% = 9,504%. Итого из 10,304% (9,504% + 0,8%) с положительными результатами маммографии, только 0,8% больных, а остальные 9,504% здоровых. Таким образом, вероятность того, что при положительном результате маммографии женщина больна раком составляет 0,8%/10,304% = 7,764%. А вы думали, что 80% или около того?

В нашем примере формула Байеса принимает следующий вид:

Давайте еще раз проговорим «физический» смысл этой формулы. Х – случайная величина (диагноз), принимающая значения: Х 1 – болен и Х 2 – здоров; Y – случайная величина (результат измерения –маммографии), принимающая значения: Y 1 – положительный результат и Y 2 – отрицательный результат; р(Х 1) – вероятность болезни до проведения маммографии (априорная вероятность), равная 1%; р(Y 1 |X 1 ) – вероятность положительного результата в случае, если пациентка больна (условная вероятность, так как она должна быть задана в условиях задачи), равная 80%; р(Y 1 |X 2 ) – вероятность положительного результата в случае, если пациентка здорова (также условная вероятность), равная 9,6%; р(Х 2) – вероятность того, что пациентка здорова до проведения маммографии (априорная вероятность), равная 99%; р(Х 1 |Y 1 ) – вероятность того, что пациентка больна, при условии положительного результата маммографии (апостериорная вероятность).

Видно, что апостериорная вероятность (то, что мы ищем) пропорциональна априорной вероятности (исходной) с несколько более сложным коэффициентом . Подчеркну еще раз. На мой взгляд, это фундаментальный аспект Байесовского подхода. Измерение (Y ) добавило некоторое количество информации к первоначально имевшейся (априорной), что уточнило наше знание об объекте.

Примеры

Для закрепления пройденного материала попробуйте решить несколько задач.

Пример 1. Имеется 3 урны; в первой 3 белых шара и 1 черный; во второй - 2 белых шара и 3 черных; в третьей - 3 белых шара. Некто подходит наугад к одной из урн и вынимает из нее 1 шар. Этот шар оказался белым. Найдите апостериорные вероятности того, что шар вынут из 1-й, 2-й, 3-й урны.

Решение. У нас есть три гипотезы: Н 1 = {выбрана первая урна), Н 2 = {выбрана вторая урна}, Н 3 = {выбрана третья урна}. Так как урна выбирается наугад, то априорные вероятности гипотез равны: Р(Н 1) = Р(Н 2) = Р(Н 3) = 1/3.

В результате опыта появилось событие А = {из выбранной урны вынут белый шар}. Условные вероятности события А при гипотезах Н 1 , Н 2 , Н 3: Р(A|Н 1) = 3/4, Р(A|Н 2) = 2/5, Р(A|Н 3) = 1. Например, первое равенство читается так: «вероятность вынуть белый шар, если выбрана первая урна равна 3/4 (так как всего шаров в первой урне 4, а белых из них – 3)».

Применяя формулу Бейеса, находим апостериорные вероятности гипотез:

Таким образом, в свете информации о появлении события А вероятности гипотез изменились: наиболее вероятной стала гипотеза Н 3 , наименее вероятной - гипотеза Н 2 .

Пример 2. Два стрелка независимо друг от друга стреляют по одной и той же мишени, делая каждый по одному выстрелу. Вероятность попадания в мишень для первого стрелка равна 0,8, для второго - 0,4. После стрельбы в мишени обнаружена одна пробоина. Найти вероятность того, что эта пробоина принадлежит первому стрелку (Исход {обе пробоины совпали} отбрасываем, как ничтожно маловероятный).

Решение. До опыта возможны следующие гипотезы: Н 1 = {ни первый, ни второй стрелки не попадут}, Н 2 = {оба стрелка попадут}, H 3 - {первый стрелок попадет, а второй - нет}, H 4 = {первый стрелок не попадет, а второй попадет). Априорные вероятности гипотез:

Р(H 1) = 0,2*0,6 = 0,12; Р(H 2) = 0,8*0,4 = 0,32; Р (H 3) = 0,8*0,6 = 0,48; Р(H 4) = 0,2*0,4 = 0,08.

Условные вероятности наблюденного события А = {в мишени одна пробоина} при этих гипотезах равны: P(A|H 1) = P(A|H 2) = 0; P(A|H 3) = P(A|H 4) = 1

После опыта гипотезы H 1 и H 2 становятся невозможными, а апостериорные вероятности гипотез H 3 , и H 4 по формуле Бейеса будут:

Байес против спама

Формула Байеса нашла широкое применение в разработке спам-фильтров. Предположим, вы хотите обучить компьютер определять, какие из писем являются спамом. Будем исходить из словаря и словосочетаний, используя байесовские оценки. Создадим вначале пространство гипотез. Пусть относительно любого письма у нас есть 2 гипотезы: H A – это спам, H B – это не спам, а нормальное, нужное, письмо.

Вначале «обучим» нашу будущую систему борьбы со спамом. Возьмем все имеющиеся у нас письма и разделим их на две «кучи» по 10 писем. В одну отложим спам-письма и назовем ее кучей H A , в другую – нужную корреспонденцию и назовем ее кучей H B . Теперь посмотрим: какие слова и словосочетания встречаются в спам- и нужных письмах и с какой частотой? Эти слова и словосочетания назовем свидетельствами и обозначим E 1 , E 2 … Выясняется, что общеупотребительные слова (например, слова «как», «твой») в кучах H A и H B встречаются примерно с одинаковой частотой. Таким образом, наличие этих слов в письме ничего не говорит нам о том, к какой куче его отнести (слабое свидетельство). Присвоим этим словам нейтральное значение оценки вероятности «спамности», скажем, 0,5.

Пусть словосочетание «разговорный английский» встречается всего в 10 письмах, причем чаще в спам-письмах (например, в 7 спам-письмах из всех 10), чем в нужных (в 3 из 10). Поставим этому словосочетанию для спама более высокую оценку 7/10, а для нормальных писем более низкую: 3/10. И наоборот, выяснилось, что слово «дружище» чаще встречалось в нормальных письмах (6 из 10). И вот мы получили коротенькое письмо: «Дружище! Как твой разговорный английский?» . Попробуем оценить его «спамность». Общие оценки P(H A), P(H B) принадлежности письма к каждой куче поставим, воспользовавшись несколько упрощенной формулой Байеса и нашими приблизительными оценками:

P(H A) = A/(A+B), где А = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n = (1 – p a1)*(1 – p a2)*… *(1 – p an).

Таблица 1. Упрощенная (и неполная) Байес-оценка письма

Таким образом, наше гипотетическое письмо получило оценку вероятности принадлежности с акцентом в сторону «спамности». Можем ли мы принять решение о том, чтобы бросить письмо в одну из куч? Выставим пороги принятия решений:

• Будем считать, что письмо принадлежит куче H i , если P(H i) ≥ T.
• Письмо не принадлежит куче, если P(H i) ≤ L.
• Если же L ≤ P(H i) ≤ T, то нельзя принять никакого решения.

Можно принять T = 0,95 и L = 0,05. Поскольку для рассматриваемого письма и 0,05 < P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?

Да. Давайте вычислим оценку для каждого свидетельства другим способом, так, как это, собственно, и предложил Байес. Пусть:

F a – это общее количество писем спама;

F ai – это количество писем со свидетельством i в куче спама;

F b – это общее количество нужных писем;

F bi – это количество писем со свидетельством i в куче нужных (релевантных) писем.

Тогда: p ai = F ai /F a , p bi = F bi /F b . P(H A) = A/(A+B), P(H B) = B/(A+B), где А = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n

Обратите внимание – оценки слов-свидетельств p ai и p bi стали объективными и их можно вычислять без участия человека.

Таблица 2. Более точная (но неполная) Байес-оценка по наличным признакам из письма

Мы получили вполне определенный результат – с большим перевесом с вероятностью письмо можно отнести к нужным письмам, поскольку P(H B) = 0,997 > T = 0,95. Почему результат изменился? Потому, что мы использовали больше информации – мы учли количество писем в каждой из куч и, кстати, гораздо более корректно определили оценки p ai и p bi . Определили их так, как это сделано у самого Байеса, вычислив условные вероятности. Другими словами, p a3 – это вероятность появления в письме слова «дружище» при условии того, что это письмо уже принадлежит спам-куче H A . Результат не заставил себя ждать – кажется, мы можем принять решение с большей определенностью.

Байес против корпоративного мошенничества

Любопытное применение Байесовского подхода описал MAGNUS8 .

В моем текущем проекте (ИС для выявления мошенничества на производственном предприятии) используется формула Байеса для определения вероятности фрода (мошенничества) при наличии/отсутствии нескольких фактов, косвенно свидетельствующих в пользу гипотезы о возможности совершения фрода. Алгоритм самообучаем (с обратной связью), т.е. пересчитывает свои коэффициенты (условные вероятности) при фактическом подтверждении или неподтверждении фрода при проверке службой экономической безопасности.

Стоит, наверное, сказать, что подобные методы при проектировании алгоритмов требуют достаточно высокой математической культуры разработчика, т.к. малейшая ошибка в выводе и/или реализации вычислительных формул сведет на нет и дискредитирует весь метод. Вероятностные методы особенно этим грешат, поскольку мышление человека не приспособлено для работы с вероятностными категориями и, соответственно, отсутствует «наглядность» и понимание «физического смысла» промежуточных и итоговых вероятностных параметров. Такое понимание есть лишь для базовых понятий теории вероятностей, а дальше нужно лишь очень аккуратно комбинировать и выводить сложные вещи по законам теории вероятностей - здравый смысл для композитных объектов уже не поможет. С этим, в частности, связаны достаточно серьезные методологические баталии, проходящие на страницах современных книг по философии вероятности, а также большое количество софизмов, парадоксов и задачек-курьезов по этой теме.

Еще один нюанс, с которым пришлось столкнуться - к сожалению, практически все мало-мальски ПОЛЕЗНОЕ НА ПРАКТИКЕ на эту тему написано на английском языке. В русскоязычных источниках в основном только общеизвестная теория с демонстрационными примерами лишь для самых примитивных случаев.

Полностью соглашусь с последним замечанием. Например, Google при попытке найти что-то типа «книги Байесовская вероятность», ничего внятного не выдал. Правда, сообщил, что книгу с байесовской статистикой запретили в Китае . (Профессор статистики Эндрю Гельман сообщил в блоге Колумбийского университета, что его книгу «Анализ данных с помощью регрессии и многоуровневых/иерархических моделей» запретили публиковать в Китае. Тамошнее издательство сообщило, что «книга не получила одобрения властей из-за различных политически чувствительных материалов в тексте».) Интересно, не аналогичная ли причина привела к отсутствию книг по Байесовской вероятности в России?

Консерватизм в процессе обработки информации человеком

Вероятности определяют степень неопределенности. Вероятность, как согласно Байесу, так и нашей интуиции, составляет просто число между нулем и тем, что представляет степень, для которой несколько идеализированный человек считает, что утверждение верно. Причина, по которой человек несколько идеализирован, состоит в том, что сумма его вероятностей для двух взаимно исключающих событий должна равняться его вероятности того, что произойдет любое из этих событий. Свойство аддитивности имеет такие последствия, что мало реальных людей могут соответствовать им всем.

Теорема Байеса – это тривиальное последствие свойства аддитивности, бесспорное и согласованное для всех сторонников вероятностей, как Байеса, так и других. Один их способов написать это следующий. Если Р(H А |D) – последующая вероятность того, что гипотеза А была после того, как данная величина D наблюдалась, Р(H А) – его априорная вероятность до того, как наблюдалась данная величина D, Р(D|H А) – вероятность того, что данная величина D будет наблюдаться, если верно Н А, а Р(D) – безусловная вероятность данной величины D, то

(1) Р(H А |D) = Р(D|H А) * Р(H А) / Р(D)

Р(D) лучше всего рассматривать как нормализующую константу, заставляющую апостериорные вероятности составить в целом единицу по исчерпывающему набору взаимно исключающих гипотез, которые рассматриваются. Если ее необходимо подсчитать, она может быть такой:

Но чаще Р(D) устраняется, а не подсчитывается. Удобный способ устранять ее состоит в том, чтобы преобразовать теорему Байеса в форму отношения вероятность–шансы.

Рассмотрим другую гипотезу, Н B , взаимно исключающую Н А, и изменим мнение о ней на основе той же самой данной величины, которая изменила ваше мнение о Н А. Теорема Байеса говорит, что

(2) Р(H B |D) = Р(D|H B) * Р(H B) / Р(D)

Теперь разделим Уравнение 1 на Уравнение 2; результат будет таким:

где Ω 1 – апостериорные шансы в пользу Н А через H B , Ω 0 – априорные шансы, a L – количество, знакомое статистикам как отношение вероятности. Уравнение 3 – это такая же соответствующая версия теоремы Байеса как и Уравнение 1, и часто значительно более полезная особенно для экспериментов, с участием гипотез. Сторонники Байеса утверждают, что теорема Байеса – формально оптимальное правило о том, как пересматривать мнения в свете новых данных.

Мы интересуемся сравнением идеального поведения, определенного теоремой Байеса, с фактическим поведением людей. Чтобы дать вам некоторое представление о том, что это означает, давайте попробуем провести эксперимент с вами как с испытуемым. Эта сумка содержит 1000 покерных фишек. У меня две такие сумки, причем в одной 700 красных и 300 синих фишек, а в другой 300 красных и 700 синих. Я подбросил монету, чтобы определить, какую использовать. Таким образом, если наши мнения совпадают, ваша вероятность в настоящее время, что выпадет сумка, в которой больше красных фишек – 0,5. Теперь, Вы наугад составляете выборку с возвращением после каждой фишки. В 12 фишках вы получаете 8 красных и 4 синих. Теперь, на основе всего, что вы знаете, какова вероятность того, что выпала сумка, где больше красных? Ясно, что она выше, чем 0,5. Пожалуйста, не продолжайте читать, пока вы не записали вашу оценку.

Если вы похожи на типичного испытуемого, ваша оценка попала в диапазон от 0,7 до 0,8. Если бы мы проделали соответствующее вычисление, тем не менее, ответ был бы 0,97. Действительно очень редко человек, которому предварительно не продемонстрировали влияние консерватизма, приходит к такой высокой оценке, даже если он был знаком с теоремой Байеса.

Если доля красных фишек в сумке – р , то вероятность получения r красных фишек и (n – r ) синих в n выборках с возвращением – p r (1– p) n– r . Так, в типичном эксперименте с сумкой и покерными фишками, если Н A означает, что доля красных фишек составляет р А и Н B – означает, что доля составляет р B , тогда отношение вероятности:

При применении формулы Байеса необходимо учитывать только вероятность фактического наблюдения, а, не вероятности других наблюдений, которые он, возможно, сделал бы, но не сделал. Этот принцип имеет широкое воздействие на все статистические и нестатистические применения теоремы Байеса; это самый важный технический инструмент размышления Байеса.

Байесовская революция

Ваши друзья и коллеги разговаривают о чем-то, под названием «Теорема Байеса» или «Байесовское правило», или о чем-то под названием байесовское мышление. Они действительно заинтересованы в этом, так что вы лезете в интернет и находите страницу о теореме Байеса и… Это уравнение. И все… Почему математическая концепция порождает в умах такой энтузиазм? Что за «байесианская революция» происходит в среде учёных, причем утверждается, что даже сам экспериментальный подход может быть описан, как её частный случай? В чём секрет, который знают последователи Байеса? Что за свет они видят?

Байесовская революция в науке произошла не потому, что все больше и больше когнитивных ученых внезапно начали замечать, что ментальные явления имеют байесовскую структуру; не потому, что ученые в каждой области начали использовать байесовский метод; но потому, что наука сама по себе является частным случаем теоремы Байеса; экспериментальное свидетельство есть байесовское свидетельство. Байесовские революционеры утверждают, что когда вы выполняете эксперимент и получаете свидетельство, которое «подтверждает» или «опровергает» вашу теорию, это подтверждение или опровержение происходит по байесовским правилам. Для примера, вы должны принимать во внимание не только то, что ваша теория может объяснить явление, но и то, что есть другие возможные объяснения, которые также могут предсказать это явление.

Ранее, наиболее популярной философией науки была – старая философия, которая была смещена байесовской революцией. Идея Карла Поппера, что теории могут быть полностью фальсифицированы, однако никогда не могут быть полностью подтверждены, это еще один частный случай байесовских правил; если p(X|A) ≈ 1 – если теория делает верные предсказания, тогда наблюдение ~X очень сильно фальсифицирует А. С другой стороны, если p(X|A) ≈ 1 и мы наблюдаем Х, это не очень сильно подтверждает теорию; возможно какое-то другое условие В, такое что p(X|B) ≈ 1, и при котором наблюдение Х не свидетельствует в пользу А но свидетельствует в пользу В. Для наблюдения Х определенно подтверждающего А, мы должны были бы знать не то, что p(X|A) ≈ 1, а что p(X|~A) ≈ 0, что мы не можем знать, поскольку мы не можем рассматривать все возможные альтернативные объяснения. Например, когда эйнштейновская теория общей относительности превзошла ньютоновскую хорошо подтверждаемую теорию гравитации, это сделало все предсказания ньютоновской теории частным случаем предсказаний эйнштейновской.

Похожим образом, попперовское заявление, что идея должна быть фальсифицируема может быть интерпретировано как манифестация байесовского правила о сохранении вероятности; если результат Х является положительным свидетельством для теории, тогда результат ~Х должен опровергать теорию в каком-то объеме. Если вы пытаетесь интерпретировать оба Х и ~Х как «подтверждающие» теорию, байесовские правила говорят, что это невозможно! Чтобы увеличить вероятность теории вы должны подвергнуть ее тестам, которые потенциально могут снизить ее вероятность; это не просто правило, чтобы выявлять шарлатанов в науке, но следствие из теоремы байесовской вероятности. С другой стороны, идея Поппера, что нужна только фальсификация и не нужно подтверждение является неверной. Теорема Байеса показывает, что фальсификация это очень сильное свидетельство, по сравнению с подтверждением, но фальсификация все еще вероятностна по своей природе; она не управляется фундаментально другими правилами и не отличается в этом от подтверждения, как утверждает Поппер.

Таким образом, мы обнаруживаем, что многие явления в когнитивных науках, плюс статистические методы, используемые учеными, плюс научный метод сам по себе – все они являются частными случаями теоремы Байеса. В этом и состоит Байесовская революция.

Добро пожаловать в Байесовский Заговор!

Литература по Байесовской вероятности

2. Очень много различных применений Байеса описывает нобелевский лауреат по экономике Канеман (со товарищи) в замечательной книге . Только в моем кратком конспекте этой очень большой книги я насчитал 27 упоминаний имени пресвитерианского священника. Минимум формул. (.. Мне очень понравилась. Правда, сложноватая, много математики (а куда без нее), но отдельные главы (например, глава 4. Информация), явно по теме. Советую всем. Даже, если математика для вас сложна, читайте через строку, пропуская математику, и выуживая полезные зерна…

14. (дополнение от 15 января 2017 г. ) , глава из книги Тони Крилли. 50 идей, о которых нужно знать. Математика.

Физик Нобелевский лауреат Ричарда Фейнмана, отзываясь об одном философе с особо большим самомнением, как-то сказал: «Меня раздражает вовсе не философия как наука, а та помпезность, которая создана вокруг нее. Если бы только философы могли сами над собой посмеяться! Если бы только они могли сказать: «Я говорю, что это вот так, а Фон Лейпциг считал, что это по-другому, а ведь он тоже кое-что в этом смыслит». Если бы только они не забывали пояснить, что это всего лишь их .

Среди методов технической диагностики метод, основанный на обобщенной формуле Бaйeca , занимает особое место благодаря простоте и эффективности.

Разумеется, метод Байеса имеет недостатки: большой объем предварительной информации, «угнетение» редко встречающихся диагнозов и др. Однако в случаях, когда объем статистических данных позволяет применить метод Байеса, его целесообразно использовать как один из наиболее надежных и эффективных методов.

Основы метода. Метод основан на простой формуле Байеса. Если имеется диагноз D i и простой признак k j , встречающийся при этом диагнозе, то вероятность совместного появления событий (наличие у объекта состояния D i и признака k j )

P (D i k j) = P (D i) P (k j /D i) = P (k j) P (D i /k j). (5.4)

Из этого равенства вытекает формула Байеса (см. гл. 11)

P(D i /k j) = P(D i) P(k i /D i)/P(k j ) (5.5)

Очень важно определить точный смысл всех входящих в эту формулу величин.

P (D i ) - вероятность диагнозаD i , определяемая по статистическим данным (априорная вероятность диагноза ). Так, если предварительно обследовано N объектов и у N i объектов имелось состояние D i , то

P (D i ) = N i /N . (5.6)

P (k j /D i ) - k j у объектов с состоянием D i . Если среди N i объектов, имеющих диагнозD i , у N ij проявился признак k j , то

P (k j /D i ) = N ij /N i . (5.7)

P (k j ) - вероятность появления признакаk j во всех объектахнезависимо от состояния (диагноза)объекта. Пусть изобщего числа N объектов признакk j был обнаружену N j объектов, тогда

P(k j ) = N j /N . (5.8)

Для установления диагноза специальное вычисление P (kj ) не требуется. Как будет ясно из дальнейшего, значения P (D i )и P (k j / D i ), известные для всех возможных состояний, определяют величину P (k j ).

Вравенстве (3.2) P (D i /k j )- вероятность диагноза D i послетого, как сталоизвестно наличие у рассматриваемого объекта признака k j (апостериорная вероятность диагноза ).

Обобщенная формула Байеса. Эта формула относится к случаю, когда обследование проводится по комплексу признаков К , включающему признаки k 1 , k 2 , ..., k v . Каждый из признаков k j имеет m j разрядов (k j l , k j 2 , ..., k js , ..., ). В результате обследования становитсяизвестной реализация признака

k j * = k js (5.9)

и всего комплекса признаков K *. Индекс *, как и раньше, означаетконкретное значение (реализацию) признака. Формула Байеса для комплексапризнаков имеет вид

P (D i /К * )= P (D i )P (К */D i )/P (К * )(i = 1, 2, ..., n ), (5.10)

где P (D i /К * ) - вероятность диагноза D i после того, какстали известны результаты обследования по комплексу признаков К , P (D i ) - предварительная вероятность диагноза D i (по предшествующей статистике).

Формула (5.10) относится к любому из n возможных состояний (диагнозов) системы. Предполагается, что система находится только в одном из указанных состояний ипотому

В практических задачах нередко допускается возможность существования нескольких состояний А 1 , ..., А r , причем некоторые из них могут встретиться в комбинации друг с другом. Тогда в качестве различных диагнозов D i следует рассматривать отдельные состояния D 1 = А 1 , ..., D r = А r и их комбинации D r +1 = А 1 ^ А 2 , … и т. п.

Перейдем к определению P (К */ D i ). Если комплекс признаков состоит из v признаков, то

P (К */ D i ) = P(k 1 */ D i )P (k 2 */k 1 * D i )...P (k v */k l * ...k* v- 1 D i ), (5.12)

где k j * = k js - разряд признака, выявившийся в результате обследования. Для диагностически независимых признаков

P (К */ D i ) = P (k 1 */ D i ) P (k 2 */ D i )... P (k v * / D i ). (5.13)

В большинстве практических задач, особенно при большом числе признаков, можно принимать условие независимости признаков даже при наличии существенных корреляционных связей между ними.

Вероятность появления комплекса признаковК *

P (К *)= P (D s)P (К */D s) . (5.14)

Обобщенная формула Байеса может быть записана так:

P (D i /K * ) (5.15)

где P (К */ D i )определяется равенством (5.12) или (5.13). Изсоотношения (5.15) вытекает

P (D i /К *)=l, (5.16)

что, разумеется, и должно быть, так как один из диагнозов обязательно реализуется, а реализация одновременно двух диагнозов невозможна.

Следует обратить внимание на то, что знаменатель формулы Байеса для всех диагнозов одинаков. Это позволяет сначала определить вероятности совместного появления i -гo диагноза и данной реализации комплекса признаков

P (D i К *) = P (D i )P (К */D i ) (5.17)

и затем апостериорную вероятность диагноза

P (D i /К *) = P (D i К *)/ P (D s К *). (5.18)

Отметим, что иногда целесообразно использовать предварительное логарифмирование формулы (5.15), так как выражение (5.13) содержит произведения малых величин.

Если реализация некоторого комплекса признаков К * является детерминирующей для диагноза D p , то этот комплекс не встречается при других диагнозах:

Тогда, в силу равенства (5.15)

(5.19)

Таким образом, детерминистская логика установления диагноза является частным случаем вероятностной логики. Формула Байеса может использоваться и в том случае, когда часть признаков имеет дискретное распределение, а другая часть - непрерывное. Для непрерывного распределения используются плотности распределения. Однако в расчетном плане указанное различие признаков несущественно, если задание непрерывной кривой осуществляется с помощью совокупности дискретных значений.

Диагностическая матрица. Для определения вероятности диагнозов по методу Байеса необходимо составить диагностическую матрицу (табл. 5.1), которая формируется на основе предварительного статистического материала. В этой таблице содержатся вероятности разрядов признаков при различных диагнозах.

Таблица 5.1

Диагностическая матрица в методе Байеса

Диагноз D i

Признак k j

P(D i)

k 1

k 2

k 3

P(k 11 /D i)

P(k 12 /D i)

P(k 13 /D i)

P(k 21 /D i)

P(k 22 /D i)

P(k 23 /D i)

P(k 24 /D i)

P(k 31 /D i)

P(k 32 /D i)

D 1

0,8

0,2

0,1

0,1

0,6

0,2

0,2

0,8

0,3

D 2

0,1

0,7

0,2

0,3

0,7

0,1

0,9

0,1

…

…

…

…

…

…

…

…

…

…

…

Если признаки двухразрядные (простые признаки «да - нет»), то в таблице достаточно указать вероятность появления признака Р (k i /D i). Вероятность отсутствия признака Р ( /D,-) = 1 - Р (k i /D i).

Однако более удобно использовать единообразную форму, полагая, например, для двухразрядного признака Р (k j /D i) = Р (k i 1 /D i ); Р ( /D,) = Р (k i 2 /D i).

Отметим, что P(k js /Di) = 1, где т, - число разрядов признака k j . Сумма вероятностей всех возможных реализаций признака равна единице.

В диагностическую матрицу включены априорные вероятности диагнозов. Процесс обучения в методе Байеса состоит в формировании диагностической матрицы. Важно предусмотреть возможность уточнения таблицы в процессе диагностики. Для этого в памяти ЭВМ следует хранить не только значения P(k js /Di), но и следующие величины: N - общее число объектов, использованных для составления диагностической матрицы; N i - число объектов с диагнозом D i ; N ij - число объектов с диагнозом D i , обследованных по признаку k j . Если поступает новый объект с диагнозом D μ , то проводится корректировка прежних априорных вероятностей диагнозов следующим образом:

(5.20)

Далее вводятся поправки к вероятностям признаков. Пусть у нового объекта с диагнозом D μ выявлен разряд r признака k j . Тогда для дальнейшей диагностики принимаются новые значения вероятности интервалов признака k j при диагнозе D μ :

(5.21)

Условные вероятности признаков при других диагнозах корректировки не требуют.

Пример. Поясним метод Байеса. Пусть при наблюдении за газотурбинным двигателем проверяются два признака: k 1 - повышение температуры газа за турбиной более чем на 50 °С и k 2 - увеличение времени выхода на максимальную частоту вращения более чем на 5 с. Предположим, что для данного типа двигателей появление этих признаков связано либо с неисправностью топливного регулятора (состояние D 1 ,), либо с увеличением радиального зазора в турбине (состояние D 2).

При нормальном состоянии двигателя (состояние D 3)признак k 1 не наблюдается, а признак k 2 наблюдается в 5% случаев. На основании статистических данных известно, что 80% двигателей вырабатывают ресурс в нормальном состоянии, 5% двигателей имеют состояние D 1 и 15% - состояние D 2 . Известно также, что признак k 1 встречается при состоянии D 1 в 20% , а при состоянии D 2 в 40% случаев; признак k 2 при состоянии D 1 встречается в 30%, а при состоянии D 2 - в 50% случаев. Сведем эти данные в диагностическую таблицу (табл. 5.2).

Найдем сначала вероятности состояний двигателя, когда обнаружены оба признака k 1 и k 2 . Для этого, считая признаки независимыми, применим формулу (5.15).

Вероятность состояния

Аналогично получим Р (D 2 /k 1 k 2) = 0,91; Р (D 3 /k 1 k 2) = 0.

Определим вероятность состояний двигателя, если обследование показало, что повышение температуры не наблюдается (признак k 1 ), но увеличивается время выхода на максимальную частоту вращения (признак k 2 наблюдается). Отсутствие признака k 1 есть признак наличия (противоположное событие), причем Р ( /Di) = 1 - Р (k 1 /Di).

Для расчета применяют также формулу (5.15), но значение Р (k 1 /Di) в диагностической таблице заменяют на Р ( /Di). В этом случае

и аналогично Р (D 2 / k 2) = 0,46; Р (D 3 / k 2) = 0,41. Вычислим вероятности состояний в том случае, когда оба признака отсутствуют. Аналогично предыдущему получим

Отметим, что вероятности состояний D 1 и D 2 отличны от нуля, так как рассматриваемые признаки не являются для них детерминирующими. Из проведенных расчетов можно установить, что при наличии признаков k 1 и k 2 в двигателе с вероятностью 0,91 имеется состояние D 1 , т.е. увеличение радиального зазора. При отсутствии обоих признаков наиболее вероятно нормальное состояние (вероятность 0,92). При отсутствии признака k 1 и наличии признака k 2 вероятности состояний D 2 и D 3 примерно одинаковы (0,46 и 0,41) и для уточнения состояния двигателя требуется проведение дополнительных обследований.

Таблица 5.2

Вероятности признаков и априорные вероятности состояний

D i	P(k 1 /D i)	P(k 2 /D i)	P(D i)
D 1	0,2	0,3	0,05
D 2	0,4	0,5	0,15
D 3	0,0	0,05	0,80

Решающее правило - правило, в соответствии с которым принимается решение о диагнозе. В методе Байеса объект с комплексом признаков К * относится к диагнозу с наибольшей (апостериорной) вероятностью

K* D i ,если P(D i /K *) > P(D j /K *) (j = 1, 2,..., n ; i ≠ j ). (5.22)

Символ , применяемый в функциональном анализе, означает принадлежность множеству. Условие (5.22) указывает, что объект, обладающий данной реализацией комплекса признаков К * или, короче, реализация К * принадлежит диагнозу (состоянию) D i . Правило (5.22) обычно уточняется введением порогового значения для вероятности диагноза:

P (D i / K *) ≥ P i , (5.23)

где P i . - заранее выбранный уровень распознавания для диагноза D i . При этом вероятность ближайшего конкурирующего диагноза не выше 1 – P i . Обычно принимается P i ≥ 0,9. При условии

P(D i / K *)

(5.24)

решение о диагнозе не принимается (отказ от распознавания) и требуется поступление дополнительной информации.

Процесс принятия решения в методе Байеса при расчете на ЭВМ происходит достаточно быстро. Например, постановка диагноза для 24 состояний при 80 многоразрядных признаках занимает на ЭВМ с быстродействием 10 - 20 тысяч операций в секунду всего несколько минут.

Как указывалось, методу Байеса присущи некоторые недостатки, например погрешности при распознавании редких диагнозов. При практических расчетах целесообразно провести диагностику и для случая равновероятностных диагнозов, положив

P(D i) = l / n (5.25)

Тогда наибольшим значением апостериорной вероятности будет обладать диагноз D i , для которого Р (K* /D i) максимальна:

K* D i ,если P(K* /D i) > P(K* /D j) (j = 1, 2,..., n ; i ≠ j ). (5.26)

Иными словами, устанавливается диагноз D i если данная совокупность признаков чаще встречается при диагнозе D i , чем при других диагнозах. Такое решающее правило соответствует методу максимального правдоподобия. Из предыдущего вытекает, что этот метод является частным случаем метода Байеса при одинаковых априорных вероятностях диагнозов. В методе максимального правдоподобия «частые» и «редкие» диагнозы равноправны.

Для надежности распознавания условие (5.26) должно быть дополнено пороговым значением

P(K */D i) ≥ P i , (5.27)

где P i - заранее выбранный уровень распознавания для диагноза D i .

Метод Байеса является одним из наиболее простых и мощных методов. Этот метод основан на вычислении условной вероятности появления такого события, как диагноз D i при появлении конкретной реализации комплекса признаков K * .

Рассмотрим первоначально основные положения этого метода на простейшем случае, когда имеется диагноз D i и один бинарный признак K j , встречающийся при появлении этого диагноза.

Определим некоторые понятия:

1. P(D i) - априорная (доопытная) вероятность появления диагноза D i . Эту вероятность определяют по статистическим данным на начальном этапе применения метода исходя из следующих соображений. Если при обследовании N объектов диагноза установлено, что из них N i имеют диагноз D i , то вероятность появления этого диагноза определяется соотношением

2. P(K j / D i) - априорная условная вероятность появления признака K j у объектов имеющих техническое состояние (диагноз) D i . Эта вероятность также определяется на начальном этапе по имеющимся статистическим данным. Если из N обследованных объектов N i находилось в диагнозе D i , а из них N ij объектов имели признак K j , то условная вероятность появления признака K j у объектов с диагнозом D i вычисляется следующим образом:
.

4. P(K j) - априорная вероятность появления признака K j у всех объектов независимо от их состояния. То есть, если из N объектов независимо от их технического состояния у N j был обнаружен признак K j , то эта вероятность определяется следующим соотношением:

.

Напомним некоторые положения теории вероятностей. Пусть мы имеем два события А и В. Известны вероятности появления этих событий P(A) и P(B), а также условная вероятность появления события A при уже состоявшемся событии B P(A / B) и условная вероятность появления события B при уже состоявшемся событии A P(B / A). Тогда вероятность одновременного появления событий A и B P(A,B) определяется следующей формулой:

P(A,B) = P(A) P(B / A) = P(B) P(A / B).

Воспользовавшись этой формулой и данными выше понятиями, можно записать вероятность одновременного появления диагноза D i и признака K j следующим образом:

P(D i , K j) = P(D i) P(K j / D i) = P(K j) P(D i / K j).

В этом выражении величина P(D i / K j) - это условная вероятность существования диагноза D i при обнаружении признака K j , то есть это та величина, которая ищется при вероятностном подходе к решению задачи распознавания диагнозов. После соответствующих преобразований из последнего выражения получим формулу Байеса

P(D i / K j) = P(D i) P(K j / D i) / P(K j). (4.1)

Формула (4.1) получена для случая, когда при постановке диагноза используется один простой признак.

Для принятия решения о диагнозе при использовании набора (комплекса) признаков применяется обобщенная формула Байеса , которую можно получить из следующих соображений. Если диагностирование проводится по комплексу признаков, то в результате обследования мы получаем конкретную реализацию каждого j-го признака K * j и, следовательно, конкретную реализацию комплекса признаков K * в целом. В этом случае формула Байеса предстанет в виде

(4.2)

где P(D i / K *) - условная вероятность нахождения объекта диагностики в диагнозе D i при условии, что в ходе обследования была получена реализация K * комплекса признаков K; P(K *) - вероятность появления конкретной реализации K * комплекса признаков K у всех диагностируемых объектов, независимо от их технического состояния; P(K * /D i) - условная вероятность появления конкретной реализации K * комплекса диагностических признаков K для объектов, находящихся в диагнозе D i .

Преобразуем последнее выражение с учетом следующих соображений.

Примем, что система может находиться только в одном из n технических состояний, тогда

.

Будем считать, что отдельные диагностические признаки, входящие в состав комплекса признаков, - независимые. Такое допущение вполне справедливо для реальных условий при большом числе влияющих факторов. Тогда условную вероятность P(K * / D i) в соответствии с известными положениями теории вероятностей можно представить как произведение:

где P(K * j / D i) - условная вероятность появления конкретной реализации K * j j-го признака при нахождении объекта диагностики в диагнозе D i ; j = 1... L.

Вероятность же появления конкретной реализации комплекса признаков при нахождении объекта во всех диагнозах P(K *) можно представить следующим образом:

С учетом последних соотношений уравнение (4.2) перепишем в окончательном виде:

. (4.3)

Полученное уравнение называется обобщенной формулой Байеса .

Сделаем некоторые замечания к полученным соотношениям.

1.Поскольку проверяемый объект обязательно будет находиться в одном из диагнозов D i , то с учетом соотношения (4.3) можно записать:

.

2.Если реализация некоторого комплекса признаков K * встречается только для одного диагноза D S , а для остальных диагнозов не встречается, то такая реализация комплекса признаков называется детерминирующей для диагноза D S . Для этой реализации комплекса признаков справедливо соотношение

Тогда из обобщенной формулы Байеса следует, что

Анализ этих замечаний свидетельствует о том, что детерминистский подход является частным случаем вероятности.

Для практического использования метода Байеса на первоначальном этапе необходимо произвести расчет априорных вероятностей появления i-х диагнозов и условных априорных вероятностей появления m-го разряда j-го признака при нахождении объекта диагностики в D i -м диагнозе. Расчет этих вероятностей производится на основе статистического материала, полученного из эксплуатации. Результаты этих расчетов и результаты окончательных расчетов вероятностей появления диагнозов при полученном комплексе признаков удобно представлять в табличном виде.

Рассмотрим порядок диагностирования с помощью метода Байеса.

На первоначальном этапе на основе собранного статистического материала определяют:

Набор диагнозов D i , подлежащих распознаванию;

Априорные вероятности появления этих диагнозов P(D i).

Априорные вероятности появления m-го разряда j-го признака K jm при нахождении объекта в диагнозе D i , то есть P(K jm / D i) .

Для удобства работы эти данные представляются в виде табл.4.1, которая называется диагностической матрицей в методе Байеса .

Таблица 4.1

Диагностическая матрица в методе Байеса

\ D i

Составление этой таблицы является важнейшим моментом при диагностировании с использованием метода Байеса. Поскольку эксплуатация ведется непрерывно, то исходные данные постоянно пополняются и элементы диагностической матрицы должны постоянно уточняться.

Пользуясь данными, представленным в диагностической матрице, для каждого из диагнозов D i с использованием обобщенной формулы Байеса (4.3) рассчитываются послеопытные (апостериорные) вероятности появления диагноза D i при условии, что в ходе измерений получена конкретная реализация комплексах признаков K * s , то есть P(D i / K * s). Для удобства пользования результаты расчета заносятся в табл. 4.2 следующего вида:

Таблица 4.2

Di\P(D i / K * S)

Решающим правилом является выбор, диагноза имеющего максимальную рассчитанную вероятность при данном наборе признаков, то есть при использовании метода Байеса объект с комплексом признаков K * s относится к диагнозу c наибольшей рассчитанной (апостериорной) вероятностью P(D i / K * s).

Следует отметить, что метод Байеса обладает рядом недостатков:

1. Для реализации данного метода необходим большой объем экспериментальных начальных данных, которые можно получить только из эксплуатации.

2. Для метода характерны большие погрешности при распознавании редких диагнозов из-за грубости оценок вероятности появления этих диагнозов.

3. Отсутствует однозначный критерий для выбора порогового значения вероятности P(D i /K * s), по которому принимается решение по диагнозу.

Несмотря на имеющиеся недостатки, метод Байеса достаточно эффективен и прост в реализации, в том числе и при использовании вычислительной техники.

Поясним метод Байеса на примере. Пусть при эксплуатации авиационного ГТД контролируются время выбега ротора при останове t и вибрация корпуса двигателя V. В качестве диагностических признаков принимаются: K 1 - время выбега ротора меньше требуемого по техническим условиям; K 2 - повышенная вибрация. Для данного типа ГТД появление этих признаков связано со следующими диагнозами: D 1 - увеличенный зазор по бандажным полкам рабочих лопаток турбины; D 2 - износ беговых дорожек подшипника ротора. Исправное состояние будем обозначать D 3 .

В ходе эксплуатации было установлено, что для двигателей, находящихся в исправном состоянии, признак K 1 не встречается, а признак K 2 встречается у 10% двигателей. То есть P(K 1 / D 3) = 0, а P(K 2 / D 3) = 0,1.

Известно, что 85% двигателей отрабатывают свой ресурс без дефектов, для 10% двигателей наблюдается диагноз D 1 , а для 5% - диагноз D 2 . Поэтому принимаем P(D 1) = 0,1; P(D 2) = 0,05; P(D 3) = 0,85.

Далее, в ходе сбора статистики определено, что признак K 1 встречается у 15% двигателей, находящихся в диагнозе D 1 , и у 55% двигателей, находящихся в диагнозе D 2 . Следовательно P(K 1 / D 1) = 0,15 и P(K 1 / D 2) = 0,55. Признак K 2 встречается у 10% двигателей, находящихся в диагнозе D 1 , и у 50% двигателей, находящихся в диагнозе D 2 , то есть P(K 2 / D 1) = 0,1 и P(K 2 / D 2) = 0,50.

Составим диагностическую матрицу. При этом будем считать, что признаки K 1 и K 2 бинарные и обозначим: K 1 - отсутствие первого признака и K 2 - отсутствие второго признака. Тогда вероятности непоявления первого и второго признаков соответственно определятся соотношениями

P(K 1 / D i) = 1 - P(K 1 / D i) и P(K 2 / D i) = 1 - P(K 2 / D i) .

Таблица 4.3

Диагностическая матрица

P(K j / D i)\ D i
P(K 1 / D i)
P(K 2 / D i)

Пользуясь формулой Байеса, определим вероятность появления каждого из диагнозов при различных сочетаниях признаков. Например, в соответствии с формулой (4.3), вероятность нахождения двигателя в диагнозе D 1 при наблюдении обоих признаков определится из соотношения

Результаты расчетов сведем в табл. 4.4, подобную табл. 4.2

Таблица 4.4

	P(D i / K 1 , K 2)	P(D i / K 1 , K 2)	P(D i / K 1 , K 2)	P(D i / K 1 , K 2 )

В соответствии с полученными результатами можно сделать следующее заключение:

1. Если при диагностировании были обнаружены оба признака (повышенная вибрация и малое время выбега ротора), то можно достаточно уверенно предположить, что у подшипника ротора появился износ беговых дорожек.

2. Если при диагностировании оба признака отсутствуют, то наиболее вероятно исправное состояние двигателя.

3. Если при диагностировании обнаружен только первый признак (увеличение времени выбега), то уверенно можно сказать, что двигатель неисправен, но для разделения неисправных состояний необходимы дополнительные исследования.

4. Если при диагностировании обнаружен только второй признак (повышенная вибрация), то с большой степенью вероятности можно предположить, что двигатель находится в исправном состоянии.