Discrete-Time Markov Jump Linear Systems

1 Markov Jump Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Some Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Problems Considered in this Book . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Some Motivating Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.5 A Few Words On Our Approach. . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.6 Historical Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2 Background Material . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.1 Some Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 Auxiliary Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3 Probabilistic Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4 Linear System Theory. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.4.1 Stability and the Lyapunov Equation . . . . . . . . . . . . . . . . 21
2.4.2 Controllability and Observability . . . . . . . . . . . . . . . . . . . . 23
2.4.3 The Algebraic Riccati Equation and the Linear-
Quadratic Regulator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.5 Linear Matrix Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3 On Stability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.1 Outline of the Chapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Main Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3 MSS: The Homogeneous Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3.1 Main Result . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.3.3 Proof of Theorem 3.9 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3.4 Easy to Check Conditions for Mean Square Stability . . . 45
3.4 MSS: The Non-homogeneous Case . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.1 Main Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2 Wide Sense Stationary Input Sequence . . . . . . . . . . . . . . . 49
3.4.3 The 2-disturbance Case . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5 Mean Square Stabilizability and Detectability . . . . . . . . . . . . . . . 57
3.5.1 Definitions and Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.5.2 Stabilizability with Markov Parameter
Partially Known . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.6 Stability With Probability One . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.6.1 Main Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.6.2 An Application of Almost Sure Convergence Results . . . 66
3.7 Historical Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4 Optimal Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.1 Outline of the Chapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.2 The Finite Horizon Quadratic Optimal Control Problem. . . . . . 72
4.2.1 Problem Statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.2.2 The Optimal Control Law . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3 Infinite Horizon Quadratic Optimal Control Problems . . . . . . . . 78
4.3.1 Definition of the Problems . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.3.2 The Markov Jump Linear Quadratic
Regulator Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.3.3 The Long Run Average Cost . . . . . . . . . . . . . . . . . . . . . . . . 81
4.4 The H2-control Problem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.4.1 Preliminaries and the H2-norm. . . . . . . . . . . . . . . . . . . . . . 82
4.4.2 The H2-norm and the Grammians . . . . . . . . . . . . . . . . . . . 83
4.4.3 An Alternative Definition for the
H2-control Problem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.4.4 Connection Between the CARE and the H2-control
Problem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.5 Quadratic Control with Stochastic 2-input . . . . . . . . . . . . . . . . . 90
4.5.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.5.2 Auxiliary Result . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.5.3 The Optimal Control Law . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.5.4 An Application to a Failure Prone Manufacturing
System. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.6 Historical Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5 Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.1 Outline of the Chapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.2 Finite Horizon Filtering with ?(k) Known . . . . . . . . . . . . . . . . . . 102
5.3 Infinite Horizon Filtering with ?(k) Known . . . . . . . . . . . . . . . . . 109
5.4 Optimal Linear Filter with ?(k) Unknown . . . . . . . . . . . . . . . . . . 113
5.4.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.4.2 Optimal Linear Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.4.3 Stationary Linear Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.5 Robust Linear Filter with ?(k) Unknown . . . . . . . . . . . . . . . . . . . 119
5.5.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.5.2 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.5.3 LMI Formulation of the Filtering Problem . . . . . . . . . . . . 124
5.5.4 Robust Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
5.6 Historical Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6 Quadratic Optimal Control with Partial Information . . . . . . 131
6.1 Outline of the Chapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.2 Finite Horizon Case. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.2.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.2.2 A Separation Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.3 Infinite Horizon Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6.3.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6.3.2 Definition of the H2-control Problem. . . . . . . . . . . . . . . . . 137
6.3.3 A Separation Principle for the H2-control of MJLS . . . . 139
6.4 Historical Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
7 H8-Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.1 Outline of the Chapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.2 The MJLS H8-like Control Problem. . . . . . . . . . . . . . . . . . . . . . . 144
7.2.1 The General Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.2.2 H8 Main Result . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.3 Proof of Theorem 7.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7.3.1 Sufficient Condition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7.3.2 Necessary Condition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.4 Recursive Algorithm for the H8-control CARE . . . . . . . . . . . . . 162
7.5 Historical Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
8 Design Techniques and Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 167
8.1 Some Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
8.1.1 Optimal Control for a Solar Thermal Receiver . . . . . . . . 167
8.1.2 Optimal Policy for the National Income with a
Multiplier-Accelerator Model . . . . . . . . . . . . . . . . . . . . . . . 169
8.1.3 Adding Noise to the Solar Thermal
Receiver problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
8.2 Robust Control via LMI Approximations . . . . . . . . . . . . . . . . . . . 173
8.2.1 Robust H2-control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
8.2.2 Robust Mixed H2/H8-control . . . . . . . . . . . . . . . . . . . . . . 182
8.2.3 Robust H8-control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
8.3 Achieving Optimal H8-control . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
8.3.1 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
8.3.2 H8-control for the UarmII Manipulator . . . . . . . . . . . . . . 189
8.4 Examples of Linear Filtering with ?(k) Unknown . . . . . . . . . . . . 197
8.4.1 Stationary LMMSE Filter . . . . . . . . . . . . . . . . . . . . . . . . . . 198
8.4.2 Robust LMMSE Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
8.5 Historical Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

A Coupled Algebraic Riccati Equations . . . . . . . . . . . . . . . . . . . . . . 203
A.1 Duality Between the Control and Filtering CARE . . . . . . . . . . . 203
A.2 Maximal Solution for the CARE . . . . . . . . . . . . . . . . . . . . . . . . . . 208
A.3 Stabilizing Solution for the CARE . . . . . . . . . . . . . . . . . . . . . . . . . 216
A.3.1 Connection Between Maximal and
Stabilizing Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
A.3.2 Conditions for the Existence of a
Stabilizing Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
A.4 Asymptotic Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
B Auxiliary Results for the Linear Filtering Problem with
?(k) Unknown . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
B.1 Optimal Linear Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
B.1.1 Proof of Theorem 5.9 and Lemma 5.11 . . . . . . . . . . . . . . . 229
B.1.2 Stationary Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
B.2 Robust Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
C Auxiliary Results for the H2-control Problem . . . . . . . . . . . . . 249
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
Notation and Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277