Пусть имеется система S c дискретными состояниями, в которой протекает марковский процесс с непрерывным временем.

Что будет с системой S при t ® ¥ ? Будут ли функции p 1 (t), p 2 (t), ..., p n (t) стремиться к каким-то пределам? Эти пределы, если они существуют, называются предельными (или "финальными") вероятностями состояний.

Можно доказать следующее общее положение :

Если число состояний системы S конечно и из каждого состояния можно перейти (за то или иное число шагов) в каждое другое, то предельные вероятности состояний существуют и не зависят от начального состояния системы.

Предположим, что поставленное условие выполнено, и предельные вероятности существуют:

Очевидно, предельные вероятности состояний, также, как и допредельные, в сумме должны давать единицу:

Таким образом, при t®¥ в системе S устанавливается некоторый предельный стационарный режим : он состоит в том, что система случайным образом меняет свои состояния, но вероятность каждого из них уже не зависит от времени. Каков смысл вероятности? Она представляет собой среднее относительное время пребывания системы в данном состоянии .

Как вычислить предельные вероятности? В системе уравнений Колмогорова надо положить все производные равными нулю.

Пример 1 . Вычислить предельные вероятности для системы:

Пример 2 . Написать уравнения для предельных вероятностей.

Пример 3. Найти предельные вероятности для системы.

9. Процесс "гибели и размножения".

Марковский поцесс называется "процессом гибели и размножения", если его граф состояний вытянут в цепочку, т.е. только l n,n+1 и. l n,n-1 не равны нулю, т.е. не равны нулю только плотности вероятностей перехода в соседнее состояние.

Пример 1 . Техническое устройство состоит из трех одинаковых узлов; каждый из них может выходить из строя (отказывать); отказавшее устройство немедленно начинает восстанавливаться. Состояние системы нумеруем по числу неисправных узлов.

В дальнейшем для процесса гибели и размножения будем обозначать l n,n+1 =l n , l n,n-1 =m n .

Определим общую схему решения для процессов гибели и размножения. Напишем алгебраические уравнения для вероятностей состояний

Для первого состояния S 1 имеем:

l 1 p 1 =m 2 p 2

Для второго состояния имеем:

l 2 p 2 +m 2 p 2 =l 1 p 1 +m 3 p 3

Но в силу (9.1) можно сократить справа и слева равные друг другу члены l 1 p 1 и m 2 p 2 , получим

l 3 p 3 =m 4 p 4

и вообще для всех k

l k p k =m k+1 p k+1 для k=1,2,..., n-1

Решение этой системы есть:

p 1 +p 2 +....+p n = 1

Пример 2 . Найти предельные вероятности состояний для процесса гибели и размножения с графом

Пример 3 . Прибор состоит из трех узлов; поток отказов - простейший, среднее время безотказной работы каждого узла равно Т в. Отказавший узел сразу же начинает ремонтироваться; среднее время ремонта (восстановления) узла равно t p ; закон распределения этого вемени показательный (поток восстановлений - простейший). Найти среднюю производительность прибора, если при трех работающих узлах она равна 100%, при двух - 50%, а при одном и менее - прибор вообще не работает.

Пусть имеется физическая система S с дискретными состояниями:

в которой протекает марковский случайный процесс с непрерывным временем (непрерывная цепь Маркова). Граф состояний показан на рис. 4.32.

Предположим, что все интенсивности потоков событий, переводящих систему из состояния в состояние, постоянны:

другими словами, все потоки событий - простейшие (стационарные пуассоновские) потоки.

Записав систему дифференциальных уравнений Колмогорова для вероятностей состояний и проинтегрировав эти уравнения при заданных начальных условиях, мы получим вероятности состояний, как функции времени, т. е. функций:

при любом t дающих в сумме единицу:

Поставим теперь следующий вопрос: что будет происходить с системой S при Будут ли функции стремиться к каким-то пределам? Эти пределы, если они существуют, называются предельными (или «финальными») вероятностями состояний.

Можно доказать следующее общее положение. Если число состояний системы S конечно и из каждого состояния можно перейти (за то или иное число шагов) в каждое другое, то предельные вероятности состояний существуют и не зависят от начального состояния системы.

На рис. 4.33 показан граф состояний, удовлетворяющий поставленному условию: из любого состояния система может рано или поздно перейти в любое другое. Напротив, для системы, граф состояний которой показан на рис. 4.34, условие не выполнено. Очевидно, что если начальное состояние такой системы то, например, состояние при может быть достигнуто, а если начальное состояние - не может.

Предположим, что поставленное условие выполнено, и предельные вероятности существуют:

Предельные вероятности мы будем обозначать теми же буквами что и сами вероятности состояний, разумея подними на этот раз не переменные величины (функций времени), а постоянные числа.

Очевидно, предельные вероятности состояний, так же как и допредельные, в сумме должны давать единицу:

Таким образом, при в системе S устанавливается некоторый предельный стационарный режим: он состоит в том, что система случайным образом меняет свои состояния, но вероятность каждого из них уже не зависит от времени: каждое из состояний осуществляется с некоторой постоянной вероятностью. Каков смысл этой вероятности? Она представляет собой не что иное, как среднее относительное время пребывания системы в данном состоянии. Например, если у системы S три возможных состояния: причем их предельные вероятности равны 0,2, 0,3 и 0,5, это означает, что после перехода к установившемуся режиму система S в среднем две десятых времени будет находиться в состоянии три десятых - в состоянии и половину времени в состоянии Возникает вопрос: как вычислить предельные вероятности состояний

Оказывается, для этого в системе уравнений Колмогорова, описывающих вероятности состояний, нужно положить все левые части (производные) равными нулю.

Действительно, в предельном (установившемся) режиме все вероятности состояний постоянны, значит, их производные равны нулю.

Если все левые части уравнений Колмогорова для вероятностей состояний положить равными нулю, то система дифференциальных уравнений превратится в систему линейных алгебраических уравнений. Совместно с условием

(так называемым «нормировочным условием») эти уравнения дают возможность вычислить все предельные вероятности

Пример 1. Физическая система 5 имеет возможные состояния: размеченный граф которых дан на рис. 4.35 (у каждой стрелки поставлено численное значение соответствующей интенсивности). Вычислить предельные вероятности состояний:

Решение. Пишем уравнения Колмогорова для вероятностей состояний:

Полагая левые части равными нулю, получим систему алгебраических уравнений для предельных вероятностей состояний:

Уравнения (7.4) - так называемые однородные уравнения (без свободного члена). Как известно из алгебры, эти уравнения определяют величины только с точностью до постоянного множителя. К счастью, у нас есть нормировочное условие:

которое, совместно о уравнениями (7.4), дает возможность найти все неизвестные вероятности.

Действительно, выразим из (7.4) все неизвестные вероятности через одиу из них, например, через Из первого уравнения:

Подставляя во второе уравнение, получим:

Четвертое уравнение дает:

Подставляя все эти выражения вместо в нормировочное условие (7.5), получим

Таким образом, предельные вероятности состояний получены, они равиы:

Это значит, что в предельном, установившемся режиме система S будет проводить в состоянии в среднем одну двадцать четвертую часть времени, в состоянии - половину времени, в состоянии - пять двадцать четвертых и в состоянии - одну четверть времени.

Заметим, что решая эту задачу, мы совсем не пользовались одним из уравнений (7 4) - третьим Нетрудно убедиться, что оно является следствием трех остальных: складывая все четыре уравнения, мы получим тождественный нуль. С равным успехом, решая систему, мы могли бы отбросить любое из четырех уравнений (7.4).

Примененный нами способ составления алгебраических уравнений для предельных вероятностей состояний сводился к следующему: сперва написать дифференциальные уравнения, а затем положить в них левые части равными нулю. Однако можио записать алгебраические уравнения для предельных вероятностей и непосредственно, не проходя через этап дифференциальных. Проиллюстрируем это на примере.

Пусть имеется физическая система S={S 1 ,S 2 ,…S n } , в которой протекает марковский случайный процесс с непрерывным временем (непрерывная цепь Маркова). Предположим, что l ij =const , т.е. все потоки событий простейшие (стационарные пуассоновские). Записав систему дифференциальных уравнений Колмогорова для вероятностей состояний и проинтегрировав эти уравненияпри заданных начальных условиях, мы получим p 1 (t), p 2 (t),… p n (t), при любом t . Поставим следующий вопрос, что будет происходить с системой S при t®¥. Будут ли функции p i (t ) стремиться к каким-то пределам? Эти пределы, если они существуют, называются предельными вероятностями состояний. Можно доказать теорему: если число состояний S конечно и из каждого состояния можно перейти (за то или иное число шагов) в каждое другое, то предельные вероятности состояний существуют и не зависят от начального состояния системы. Предположим, что поставленное условие выполнено и предельные вероятности существуют (i=1,2,…n), .

Таким образом, при t®¥ в системе S устанавливается некоторый предельный стационарный режим. Смысл этой вероятности: она представляет собой не что иное, как среднее относительное время пребывания системы в данном состоянии. Для вычисления p i в системе уравнений Колмогорова, описывающих вероятности состояний, нужно положить все левые части (производные) равными 0. Систему получающихся линейных алгебраических уравнений надо решать совместно с уравнением .

Основные формулы для вычисления финальных вероятностей состояний СМО. Пример использования формул.

Что будет происходить с вероятностями состояний при ? Будут ли стремиться к каким-либо пределам? Если эти пределы существуют и не зависят от начального состояния системы, то они называются финальными вероятностями состояний .

где - конечное число состояний системы.

Финальные вероятности состояний – это уже не переменные величины (функции времени), а постоянные числа. Очевидно, что:

Финальная вероятность состояния – это по–существу среднее относительное время пребывания системы в этом состоянии.

Например, система S имеет три состояния S1, S2 и S3. Их финальные вероятности равны соответственно 0,2; 0,3 и 0,5. Это значит, что система в предельном стационарном состоянии в среднем 2/10 времени проводит в состоянии S1, 3/10 – в состоянии S2 и 5/10 – в состоянии S3.

Вопрос 8

p S - 1 λ S - 1, S + p S+1 λ S + 1, S - p S (λ S - 1, S + λ S + 1, S) = 0, s = 0, R

s = 0 – p 1 λ 10 – p 0 λ 01 = 0

s = 1 - p 0 λ 01 + p 2 λ 21 - p 1 (λ 10 + λ 12) = 0

s = 3 - p 1 λ 12 + p 3 λ 32 - p 2 (λ 21 + λ 23) = 0

Вопрос 9

Многоканальная СМО с ограниченной длиной очереди.

Система может находиться в одном из состояний S0, S1, S2,…, Sk,…, Sn,…, - нумеруемых по числу заявок, находящихся в СМО: S0 - в системе нет заявок (все каналы свободны); S1 - занят один канал, остальные свободны; S2 - заняты два канала, остальные свободны;..., Sk - занято k каналов, остальные свободны;..., Sn - заняты все n каналов (очереди нет); Sn+1 - заняты все n каналов, в очереди одна заявка;..., Sn+r - заняты все n каналов, r заявок стоит в очереди.

Вопрос 10

λ - интенсивность поступления заявок в систему (среднее число заявок, поступающих в систему за единицу времени).

– интенсивность обслуживания, t об – среднее время обслуживания одного клиента

Средняя продолжительность обслуживания одной заявки равняется 1/μ

число каналов обслуживания n

Вероятности свободного состояния СМО:

Многоканальная с отказами

Или как давал препод: i=1,R

Построить граф состояний следующего случайного процесса: система состоит из двух аппаратов по продаже билетов, каждый из которых в случайный момент времени может быть либо занятым, либо свободным.

Решение:

Система может находиться в четырех состояниях, так как у каждого аппарата по продаже билетов есть два состояния (быть занятым или свободным). Пусть S 0 - оба аппарата заняты; S 1 - 1-ый занят, 2-ой свободен; S 2 - 1-ый свободен, 2-ой занят; S 3 - оба аппарата свободны. Построим граф состояний, отметив на нем все возможные состояния кругами, а возможные переходы из состояния в состояние обозначим стрелками. Получаем, что переход из S 0 в S 3 возможен либо через S 1 , либо через S 2 , либо напрямик, как показано на рисунке 4.

Рисунок 4 - Граф состояний аппаратов по продаже билетов

Найти предельные вероятности для системы S, граф которой изображен на рисунке.

Решение:

В теории случайных процессов доказывается, что если число состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое состояние, то предельные вероятности существуют. Их можно найти из уравнений Колмогорова, составив систему по данному размеченному графу состояний, по следующему правилу:

Слева в уравнении стоит предельная вероятность данного состояния p i , умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а справа - сумма произведений интенсивностей всех потоков, входящих в данное состояние, на вероятности тех состояний, из которых эти состояния выходят.

Кроме этого надо учитывать, что сумма всех вероятностей данной конечной системы равна единице. Составим уравнения для состояний S 1 и S 2 (уравнение для состояния S 0 - «лишнее»):

Ответ: Система примерно 66,67% времени пребывает в состоянии S 0 , 25% - в состоянии S 1 и 8,33% времени находится в состоянии S 2 .

Найти валовой выпуск для сбалансированной многоотраслевой экономики в модели Леонтьева, если дана матрица прямых затрат А и вектор конечного потребления У:

Решение:

Для сбалансированной многоотраслевой экономики выполняется следующее соотношение:

Выразим валовой выпуск через конечное потребление и матрицу затрат:

Находим матрицу, обратную к (Е - А):

Найдем валовой выпуск:

Ответ: Валовой выпуск равен (811,3; 660,4).

*При решении задач использовался

Рассмотрим математическое описание марковского процесса с дискретными состояниями и непрерывным временем

на примере случайного процесса из задачи 15.1, граф которого изображен на рис. 15.1. Будем полагать, что все переходы системы из состояния 5 в 5 происходят под воздействием простейших потоков событий с интенсивностями λ . (i, j = = 0, 1,2, 3); так, переход системы из состояния S 0 в 5, будет происходить под воздействием потока отказов первого узла, а обратный переход из состояния в S 0 – под воздействием потока "окончаний ремонтов" первого узла и т.п.

Граф состояния системы с проставленными у стрелок интенсивностями будем называть размеченным (см. рис. 15.1). Рассматриваемая система S имеет четыре возможных состояния. 5q, iSj, S 2, 5"->-

Вероятностью i-го состояния называется вероятность pit) того, что в момент t система будет находиться в состоянии 5(.. Очевидно, что для любого момента t сумма вероятностей всех состояний равна единице:

Рассмотрим систему в момент t и, задав малый промежуток At, найдем вероятность p 0(t + At) того, что система в момент (ί + Δί) будет находиться в состоянии 50. Это достигается разными способами.

1. Система в момент t с вероятностью p Q(t) находилась в состоянии 50, а за время At не вышла из него.

Вывести систему из этого состояния (см. граф на рис. 15.1) можно суммарным простейшим потоком с интенсивностью (λ01 + λ02), т.е. в соответствии с (15.7) с вероятностью, приближенно равной (λ01 + λ0.,)Δί. Л вероятность того, что система не выйдет из состояния 50, равна [ΐ-(λοι + λ0.,)Δί]. Вероятность того, что система будет находиться в состоянии 50 по первому способу (т.е. того, что находилась в состоянии 50 и не выйдет из него за время Δί), равна по теореме умножения вероятностей

2. Система в момент t с вероятностью p^t) (или p 2(t)) находилась в состоянии 5) или S2 и за время At перешла в состояние 50.

Потоком интенсивностью λ10 (или λ20 – см. рис. 15.1) система перейдет в состояние 50 с вероятностью, приближенно

равной λ,0Δί (или λ20Δί) Вероятность того, что система будет находиться в состоянии 50 по этому способу, равна Ρι(ί)10Δί (или ρ2(ί)λ20Δί).

Применяя теорему сложения вероятностей, получим откуда

Переходя к пределу при At → 0 (приближенные равенства, связанные с применением формулы (15.7), перейдут в точные), получим в левой части уравнения производную р" 0 (ί) (обозначим ее для простоты р "0):

Получили дифференциальное уравнение первого порядка, т.е. уравнение, содержащее как саму неизвестную функцию, так и ее производную первого порядка.

Рассуждая аналогично для других состояний системы 5, можно получить систему дифференциальных уравнений Колмогорова для вероятностей состояний:

(15.9)

Сформулируем правило составления уравнений Колмогорова. В левой части каждого из них стоит производная вероятности i-го состояния. В правой части – сумма произведений вероятностей всех состояний (из которых идут стрелки в данное состояние) на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность данного (i-го состояния).

В системе (15.9) независимых уравнений на единицу меньше общего числа уравнений. Поэтому для решения системы необходимо добавить уравнение (15.8).

Особенность решения дифференциальных уравнений вообще состоит в том, что требуется задать так называемые начальные условия, т.е. в данном случае вероятности состояний системы в начальный момент t = 0. Так, например, систему уравнений (15.9) естественно решать при условии, что в начальный момент оба узла исправны и система находилась в состоянии 50, т.е. при начальных условиях р 0 (0) = 1, р х (о) = р 2 (О) = р 3 (О) = 0.

Уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени. Особый интерес представляют вероятности системы р-(!) в предельном, стационарном режиме, т.е. при t → ∞, которые называются предельными (или финальными) вероятностями состояний.

В теории случайных процессов доказывается, что если число состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое состояние, то предельные вероятности существуют.

Предельная вероятность состояния S j имеет четкий смысл: она показывает среднее относительное время пребывания системы в этом состоянии. Например, если предельная вероятность состояния 50, т.е. р 0 = 0,5, то это означает, что в среднем половину времени система находится в состоянии 50.

Так как предельные вероятности постоянны, то, заменяя в уравнениях Колмогорова их производные нулевыми значениями, получим систему линейных алгебраических уравнений, описывающих стационарный режим. Для системы S с графом состояний, изображенном на рис. 15.1, такая система уравнений имеет вид:

(15.10)

Систему (15.10) можно составить непосредственно по размеченному графу состояний, если руководствоваться правилом, согласно которому слева в уравнениях стоит предельная вероятность данного состояния р г умноженная на суммарную интенсивность всех потоков, ведущих из данного

состояния, а справа – сумма произведений интенсивностей всех потоков, входящих в i-е состояние, на вероятности тех состояний, из которых эти потоки исходят.

15.2. Найти предельные вероятности для системы S из задачи 15.1, граф состояний которой приведен на рис. 15.1, при

Решение. Система алгебраических уравнений, описывающих стационарный режим для данной системы, имеет вид (15.10) или

(15.11)

Здесь мы вместо одного "лишнего" уравнения системы (15.10) записали нормировочное условие (15.8).

Решив систему (15.11), получим р () = 0,40, p i = 0,20, р 2 = 0,27, р 3 = 0,13, т.е. в предельном, стационарном режиме система S в среднем 40% времени будет находиться в состоянии 5Н (оба узла исправны), 20% – в состоянии 5, (первый узел ремонтируется, второй работает), 27% – в состоянии S 2 (второй узел ремонтируется, первый работает) и 13% времени – в состоянии 53 (оба узла ремонтируются).

15.3. Найти средний чистый доход от эксплуатации в стационарном режиме системы 5 в условиях задач 15.1 и 15.2, если известно, что в единицу времени исправная работа первого и второго узлов приносит доход соответственно в 10 и 6 ден. ед., а их ремонт требует затрат соответственно в 4 и 2 ден. ед. Оценить экономическую эффективность имеющейся возможности уменьшения вдвое среднего времени ремонта каждого из двух узлов, если при этом придется вдвое увеличить затраты на ремонт каждого узла (в единицу времени).

Решение. Из задачи 15.2 следует, что в среднем первый узел исправно работает долю времени, равную р {) + р 2 = = 0,40 + 0,27 = 0,67, а второй узел – р 0 + p = 0,40 + 0,20 = = 0,60. В то же время первый узел находится в ремонте в среднем долю времени, равную р { + р3 = 0,20 + 0,13 = 0,33, а второй узел – р 2 + р 3 = 0,27 + 0,13 = 0,40. Поэтому средний чистый доход в единицу времени от эксплуатации системы, т.е. разность между доходами и затратами, равен

Уменьшение вдвое среднего времени ремонта каждого из узлов в соответствии с (15.6) будет означать увеличение вдвое интенсивностей потока "окончаний ремонтов" каждого узла, т.е. теперь, и система линейных алгебраических уравнений (15.10), описывающая стационарный режим системы У, вместе с нормировочным условием (15.8) примет вид :

Решив систему, получим р 0 = 0,60, р, = 0,15, р 2 = 0,20, р 3 = 0,05.

Учитывая, что р 0 + р 2 = 0,60 + 0,20 = 0,80, р 0 + р { = 0,60 + + 0,15 = 0,75, р { + р 3 = 0,15 + 0,05 = 0,20, р 2 + р 3 = 0,20 + + 0,05 = 0,25, а затраты на ремонт первого и второго узла составляют теперь соответственно 8 и 4 ден. ед., вычислим средний чистый доход в единицу времени:

Так как Д1 больше Д (примерно на 20%), то экономическая целесообразность ускорения ремонтов узлов очевидна.

• При записи системы (15.10) одно "лишнее" уравнение мы исключили.