Chapter 3 Interpolation and Polynomial Approximation

802 Pages·2008·8.34 MB·English

(cid:1)(cid:2)(cid:3)(cid:4)(cid:5)(cid:6)(cid:7)(cid:8)(cid:9)(cid:10)(cid:11)(cid:6)(cid:2)(cid:12)(cid:13)(cid:7)(cid:12)(cid:3)(cid:14)(cid:1)
(cid:2)(cid:3)(cid:4)(cid:5)(cid:1)(cid:6)(cid:7)(cid:7)(cid:8)(cid:1)(cid:9)(cid:10)(cid:11)(cid:3)(cid:12)(cid:5)(cid:4)(cid:13)(cid:9)(cid:5)(cid:1)(cid:14)(cid:3)(cid:9)(cid:1)(cid:4)(cid:15)(cid:14)(cid:9)(cid:16)(cid:16)(cid:4)(cid:17)(cid:9)(cid:15)(cid:14)(cid:1)(cid:12)(cid:11)(cid:11)(cid:16)(cid:4)(cid:18)(cid:12)(cid:14)(cid:4)(cid:7)(cid:15)(cid:1)(cid:7)(cid:19)(cid:1)(cid:12)(cid:11)(cid:11)(cid:20)(cid:7)(cid:21)(cid:4)(cid:10)(cid:12)(cid:14)(cid:4)(cid:7)(cid:15)(cid:1)
(cid:14)(cid:9)(cid:18)(cid:3)(cid:15)(cid:4)(cid:22)(cid:23)(cid:9)(cid:5)(cid:1)(cid:14)(cid:7)(cid:1)(cid:14)(cid:3)(cid:9)(cid:1)(cid:14)(cid:24)(cid:11)(cid:9)(cid:1)(cid:7)(cid:19)(cid:1)(cid:11)(cid:20)(cid:7)(cid:6)(cid:16)(cid:9)(cid:10)(cid:5)(cid:1)(cid:14)(cid:3)(cid:12)(cid:14)(cid:1)(cid:18)(cid:7)(cid:10)(cid:10)(cid:7)(cid:15)(cid:16)(cid:24)(cid:1)(cid:7)(cid:18)(cid:18)(cid:23)(cid:20)(cid:1)(cid:4)(cid:15)(cid:1)
(cid:9)(cid:15)(cid:17)(cid:4)(cid:15)(cid:9)(cid:9)(cid:20)(cid:4)(cid:15)(cid:17)(cid:1)(cid:12)(cid:15)(cid:25)(cid:1)(cid:14)(cid:3)(cid:9)(cid:1)(cid:11)(cid:3)(cid:24)(cid:5)(cid:4)(cid:18)(cid:12)(cid:16)(cid:1)(cid:5)(cid:18)(cid:4)(cid:9)(cid:15)(cid:18)(cid:9)(cid:5)(cid:26)(cid:1)(cid:27)(cid:9)(cid:12)(cid:25)(cid:9)(cid:20)(cid:5)(cid:1)(cid:16)(cid:9)(cid:12)(cid:20)(cid:15)(cid:1)(cid:28)(cid:3)(cid:24)(cid:1)(cid:14)(cid:3)(cid:9)(cid:1)
(cid:15)(cid:23)(cid:10)(cid:9)(cid:20)(cid:4)(cid:18)(cid:12)(cid:16)(cid:1)(cid:10)(cid:9)(cid:14)(cid:3)(cid:7)(cid:25)(cid:5)(cid:1)(cid:28)(cid:7)(cid:20)(cid:8)(cid:29)(cid:1)(cid:28)(cid:3)(cid:12)(cid:14)(cid:1)(cid:14)(cid:24)(cid:11)(cid:9)(cid:1)(cid:7)(cid:19)(cid:1)(cid:9)(cid:20)(cid:20)(cid:7)(cid:20)(cid:5)(cid:1)(cid:14)(cid:7)(cid:1)(cid:9)(cid:21)(cid:11)(cid:9)(cid:18)(cid:14)(cid:29)(cid:1)(cid:12)(cid:15)(cid:25)(cid:1)(cid:28)(cid:3)(cid:9)(cid:15)(cid:1)(cid:12)(cid:15)(cid:1)
(cid:12)(cid:11)(cid:11)(cid:16)(cid:4)(cid:18)(cid:12)(cid:14)(cid:4)(cid:7)(cid:15)(cid:1)(cid:10)(cid:4)(cid:17)(cid:3)(cid:14)(cid:1)(cid:16)(cid:9)(cid:12)(cid:25)(cid:1)(cid:14)(cid:7)(cid:1)(cid:25)(cid:4)(cid:19)(cid:19)(cid:4)(cid:18)(cid:23)(cid:16)(cid:14)(cid:4)(cid:9)(cid:5)(cid:26)(cid:1)(cid:2)(cid:3)(cid:9)(cid:1)(cid:12)(cid:23)(cid:14)(cid:3)(cid:7)(cid:20)(cid:5)(cid:1)(cid:12)(cid:16)(cid:5)(cid:7)(cid:1)(cid:11)(cid:20)(cid:7)(cid:30)(cid:4)(cid:25)(cid:9)(cid:1)
(cid:4)(cid:15)(cid:19)(cid:7)(cid:20)(cid:10)(cid:12)(cid:14)(cid:4)(cid:7)(cid:15)(cid:1)(cid:12)(cid:6)(cid:7)(cid:23)(cid:14)(cid:1)(cid:14)(cid:3)(cid:9)(cid:1)(cid:12)(cid:30)(cid:12)(cid:4)(cid:16)(cid:12)(cid:6)(cid:4)(cid:16)(cid:4)(cid:14)(cid:24)(cid:1)(cid:7)(cid:19)(cid:1)(cid:3)(cid:4)(cid:17)(cid:3)(cid:31)(cid:22)(cid:23)(cid:12)(cid:16)(cid:4)(cid:14)(cid:24)(cid:1)(cid:5)(cid:7)(cid:19)(cid:14)(cid:28)(cid:12)(cid:20)(cid:9)(cid:1)(cid:19)(cid:7)(cid:20)(cid:1)
(cid:15)(cid:23)(cid:10)(cid:9)(cid:20)(cid:4)(cid:18)(cid:12)(cid:16)(cid:1)(cid:12)(cid:11)(cid:11)(cid:20)(cid:7)(cid:21)(cid:4)(cid:10)(cid:12)(cid:14)(cid:4)(cid:7)(cid:15)(cid:1)(cid:20)(cid:7)(cid:23)(cid:14)(cid:4)(cid:15)(cid:9)(cid:5)(cid:26)(cid:1) (cid:15)(cid:1)(cid:14)(cid:3)(cid:4)(cid:5)(cid:1)(cid:6)(cid:7)(cid:7)(cid:8)(cid:29)(cid:1)(cid:19)(cid:23)(cid:16)(cid:16)(cid:1)(cid:10)(cid:12)(cid:14)(cid:3)(cid:9)(cid:10)(cid:12)(cid:14)(cid:4)(cid:18)(cid:12)(cid:16)(cid:1)
!(cid:23)(cid:5)(cid:14)(cid:4)(cid:19)(cid:4)(cid:18)(cid:12)(cid:14)(cid:4)(cid:7)(cid:15)(cid:5)(cid:1)(cid:12)(cid:20)(cid:9)(cid:1)(cid:11)(cid:20)(cid:7)(cid:30)(cid:4)(cid:25)(cid:9)(cid:25)(cid:1)(cid:7)(cid:15)(cid:16)(cid:24)(cid:1)(cid:4)(cid:19)(cid:1)(cid:14)(cid:3)(cid:9)(cid:24)(cid:1)(cid:12)(cid:20)(cid:9)(cid:1)(cid:18)(cid:7)(cid:15)(cid:18)(cid:4)(cid:5)(cid:9)(cid:1)(cid:12)(cid:15)(cid:25)(cid:1)(cid:12)(cid:25)(cid:25)(cid:1)(cid:14)(cid:7)(cid:1)(cid:14)(cid:3)(cid:9)(cid:1)
(cid:23)(cid:15)(cid:25)(cid:9)(cid:20)(cid:5)(cid:14)(cid:12)(cid:15)(cid:25)(cid:4)(cid:15)(cid:17)(cid:1)(cid:7)(cid:19)(cid:1)(cid:14)(cid:3)(cid:9)(cid:1)(cid:10)(cid:9)(cid:14)(cid:3)(cid:7)(cid:25)(cid:5)(cid:26)(cid:1)(cid:2)(cid:3)(cid:9)(cid:1)(cid:9)(cid:10)(cid:11)(cid:3)(cid:12)(cid:5)(cid:4)(cid:5)(cid:1)(cid:4)(cid:5)(cid:1)(cid:11)(cid:16)(cid:12)(cid:18)(cid:9)(cid:25)(cid:1)(cid:7)(cid:15)(cid:1)(cid:25)(cid:9)(cid:5)(cid:18)(cid:20)(cid:4)(cid:6)(cid:4)(cid:15)(cid:17)(cid:1)
(cid:9)(cid:12)(cid:18)(cid:3)(cid:1)(cid:14)(cid:9)(cid:18)(cid:3)(cid:15)(cid:4)(cid:22)(cid:23)(cid:9)(cid:1)(cid:19)(cid:20)(cid:7)(cid:10)(cid:1)(cid:12)(cid:15)(cid:1)(cid:4)(cid:10)(cid:11)(cid:16)(cid:9)(cid:10)(cid:9)(cid:15)(cid:14)(cid:12)(cid:14)(cid:4)(cid:7)(cid:15)(cid:1)(cid:5)(cid:14)(cid:12)(cid:15)(cid:25)(cid:11)(cid:7)(cid:4)(cid:15)(cid:14)(cid:29)(cid:1)(cid:12)(cid:15)(cid:25)(cid:1)(cid:7)(cid:15)(cid:1)(cid:18)(cid:7)(cid:15)(cid:30)(cid:4)(cid:15)(cid:18)(cid:4)(cid:15)(cid:17)(cid:1)
(cid:14)(cid:3)(cid:9)(cid:1)(cid:20)(cid:9)(cid:12)(cid:25)(cid:9)(cid:20)(cid:1)(cid:14)(cid:3)(cid:12)(cid:14)(cid:1)(cid:14)(cid:3)(cid:9)(cid:1)(cid:10)(cid:9)(cid:14)(cid:3)(cid:7)(cid:25)(cid:1)(cid:4)(cid:5)(cid:1)(cid:20)(cid:9)(cid:12)(cid:5)(cid:7)(cid:15)(cid:12)(cid:6)(cid:16)(cid:9)(cid:1)(cid:6)(cid:7)(cid:14)(cid:3)(cid:1)(cid:10)(cid:12)(cid:14)(cid:3)(cid:9)(cid:10)(cid:12)(cid:14)(cid:4)(cid:18)(cid:12)(cid:16)(cid:16)(cid:24)(cid:1)(cid:12)(cid:15)(cid:25)(cid:1)
(cid:18)(cid:7)(cid:10)(cid:11)(cid:23)(cid:14)(cid:12)(cid:14)(cid:4)(cid:7)(cid:15)(cid:12)(cid:16)(cid:16)(cid:24)(cid:26)(cid:1)(cid:1)
(cid:1)
(cid:15)(cid:16)(cid:3)(cid:5)(cid:7)(cid:8)(cid:7)(cid:17)(cid:10)(cid:8)(cid:15)(cid:5)(cid:7)(cid:17)(cid:3)(cid:2)(cid:1)
"(cid:26)(cid:1)#(cid:7)(cid:23)(cid:17)(cid:16)(cid:12)(cid:5)(cid:1)$(cid:12)(cid:4)(cid:20)(cid:9)(cid:5)(cid:1)(cid:4)(cid:5)(cid:1)(cid:12)(cid:1)%(cid:20)(cid:7)(cid:19)(cid:9)(cid:5)(cid:5)(cid:7)(cid:20)(cid:1)(cid:7)(cid:19)(cid:1)&(cid:12)(cid:14)(cid:3)(cid:9)(cid:10)(cid:12)(cid:14)(cid:4)(cid:18)(cid:5)(cid:1)(cid:12)(cid:14)(cid:1)’(cid:7)(cid:23)(cid:15)(cid:17)(cid:5)(cid:14)(cid:7)(cid:28)(cid:15)(cid:1)((cid:14)(cid:12)(cid:14)(cid:9)(cid:1)
)(cid:15)(cid:4)(cid:30)(cid:9)(cid:20)(cid:5)(cid:4)(cid:14)(cid:24)(cid:26)(cid:1)*(cid:4)(cid:5)(cid:1)(cid:20)(cid:9)(cid:5)(cid:9)(cid:12)(cid:20)(cid:18)(cid:3)(cid:1)(cid:4)(cid:15)(cid:14)(cid:9)(cid:20)(cid:9)(cid:5)(cid:14)(cid:5)(cid:1)(cid:4)(cid:15)(cid:18)(cid:16)(cid:23)(cid:25)(cid:9)(cid:1)(cid:12)(cid:15)(cid:12)(cid:16)(cid:24)(cid:5)(cid:4)(cid:5)(cid:29)(cid:1)(cid:15)(cid:23)(cid:10)(cid:9)(cid:20)(cid:4)(cid:18)(cid:12)(cid:16)(cid:1)(cid:12)(cid:15)(cid:12)(cid:16)(cid:24)(cid:5)(cid:4)(cid:5)(cid:29)(cid:1)
(cid:12)(cid:15)(cid:25)(cid:1)(cid:10)(cid:12)(cid:14)(cid:3)(cid:9)(cid:10)(cid:12)(cid:14)(cid:4)(cid:18)(cid:5)(cid:1)(cid:3)(cid:4)(cid:5)(cid:14)(cid:7)(cid:20)(cid:24)(cid:26)(cid:1)#(cid:20)(cid:26)(cid:1)$(cid:12)(cid:4)(cid:20)(cid:9)(cid:5)(cid:1)(cid:3)(cid:12)(cid:5)(cid:1)(cid:28)(cid:7)(cid:15)(cid:1)(cid:10)(cid:12)(cid:15)(cid:24)(cid:1)(cid:12)(cid:28)(cid:12)(cid:20)(cid:25)(cid:5)(cid:29)(cid:1)(cid:4)(cid:15)(cid:18)(cid:16)(cid:23)(cid:25)(cid:4)(cid:15)(cid:17)(cid:1)
+(cid:23)(cid:14)(cid:5)(cid:14)(cid:12)(cid:15)(cid:25)(cid:4)(cid:15)(cid:17)(cid:1),(cid:7)(cid:16)(cid:16)(cid:9)(cid:17)(cid:9)(cid:31))(cid:15)(cid:4)(cid:30)(cid:9)(cid:20)(cid:5)(cid:4)(cid:14)(cid:24)(cid:1)(cid:2)(cid:9)(cid:12)(cid:18)(cid:3)(cid:9)(cid:20)(cid:1)(cid:7)(cid:19)(cid:1)&(cid:12)(cid:14)(cid:3)(cid:9)(cid:10)(cid:12)(cid:14)(cid:4)(cid:18)(cid:5)(cid:29)(cid:1)+(cid:3)(cid:4)(cid:7)(cid:1)((cid:9)(cid:18)(cid:14)(cid:4)(cid:7)(cid:15)(cid:1)
(cid:7)(cid:19)(cid:1)&--(cid:1)./0012(cid:1)(cid:12)(cid:15)(cid:25)(cid:1)’(cid:7)(cid:23)(cid:15)(cid:17)(cid:5)(cid:14)(cid:7)(cid:28)(cid:15)(cid:1)((cid:14)(cid:12)(cid:14)(cid:9)(cid:1))(cid:15)(cid:4)(cid:30)(cid:9)(cid:20)(cid:5)(cid:4)(cid:14)(cid:24)(cid:29)(cid:1)#(cid:4)(cid:5)(cid:14)(cid:4)(cid:15)(cid:17)(cid:23)(cid:4)(cid:5)(cid:3)(cid:9)(cid:25)(cid:1)
%(cid:20)(cid:7)(cid:19)(cid:9)(cid:5)(cid:5)(cid:7)(cid:20)(cid:1)(cid:19)(cid:7)(cid:20)(cid:1)(cid:2)(cid:9)(cid:12)(cid:18)(cid:3)(cid:4)(cid:15)(cid:17)(cid:1)./003(cid:31)/0012(cid:26)(cid:1)
(cid:1)
(cid:27)(cid:4)(cid:18)(cid:3)(cid:12)(cid:20)(cid:25)(cid:1)4(cid:26)(cid:1)5(cid:23)(cid:20)(cid:25)(cid:9)(cid:15)(cid:1)(cid:4)(cid:5)(cid:1)(cid:12)(cid:1)%(cid:20)(cid:7)(cid:19)(cid:9)(cid:5)(cid:5)(cid:7)(cid:20)(cid:1)(cid:7)(cid:19)(cid:1)&(cid:12)(cid:14)(cid:3)(cid:9)(cid:10)(cid:12)(cid:14)(cid:4)(cid:18)(cid:5)(cid:1)(cid:12)(cid:14)(cid:1)’(cid:7)(cid:23)(cid:15)(cid:17)(cid:5)(cid:14)(cid:7)(cid:28)(cid:15)(cid:1)((cid:14)(cid:12)(cid:14)(cid:9)(cid:1)
)(cid:15)(cid:4)(cid:30)(cid:9)(cid:20)(cid:5)(cid:4)(cid:14)(cid:24)(cid:26)(cid:1)*(cid:4)(cid:5)(cid:1)(cid:20)(cid:9)(cid:5)(cid:9)(cid:12)(cid:20)(cid:18)(cid:3)(cid:1)(cid:4)(cid:15)(cid:14)(cid:9)(cid:20)(cid:9)(cid:5)(cid:14)(cid:5)(cid:1)(cid:4)(cid:15)(cid:18)(cid:16)(cid:23)(cid:25)(cid:9)(cid:1)(cid:15)(cid:23)(cid:10)(cid:9)(cid:20)(cid:4)(cid:18)(cid:12)(cid:16)(cid:1)(cid:16)(cid:4)(cid:15)(cid:9)(cid:12)(cid:20)(cid:1)(cid:12)(cid:16)(cid:17)(cid:9)(cid:6)(cid:20)(cid:12)(cid:1)(cid:12)(cid:15)(cid:25)(cid:1)
(cid:15)(cid:23)(cid:10)(cid:9)(cid:20)(cid:4)(cid:18)(cid:12)(cid:16)(cid:1)(cid:5)(cid:7)(cid:16)(cid:23)(cid:14)(cid:4)(cid:7)(cid:15)(cid:1)(cid:7)(cid:19)(cid:1)(cid:11)(cid:12)(cid:20)(cid:14)(cid:4)(cid:12)(cid:16)(cid:1)(cid:25)(cid:4)(cid:19)(cid:19)(cid:9)(cid:20)(cid:9)(cid:15)(cid:14)(cid:4)(cid:12)(cid:16)(cid:1)(cid:9)(cid:22)(cid:23)(cid:12)(cid:14)(cid:4)(cid:7)(cid:15)(cid:5)(cid:26)(cid:1)(cid:1)

• (cid:18)(cid:19)(cid:2)(cid:4)(cid:6)(cid:3)(cid:20)(cid:10)(cid:2)(cid:21)(cid:1)167(cid:1)(cid:11)(cid:12)(cid:17)(cid:9)(cid:5)(cid:1)(cid:1)
• (cid:1)(cid:5)(cid:16)(cid:22)(cid:12)(cid:11)(cid:17)(cid:10)(cid:2)(cid:21)(cid:1)5(cid:20)(cid:7)(cid:7)(cid:8)(cid:5)(cid:1),(cid:7)(cid:16)(cid:9)8(cid:1)9(cid:1)(cid:9)(cid:25)(cid:4)(cid:14)(cid:4)(cid:7)(cid:15)(cid:1)."(cid:23)(cid:15)(cid:9)(cid:1)/:(cid:29)(cid:1);77;2(cid:1)(cid:1)
• (cid:23)(cid:19)(cid:14)(cid:24)(cid:5)(cid:19)(cid:24)(cid:10)(cid:21)(cid:1)<(cid:15)(cid:17)(cid:16)(cid:4)(cid:5)(cid:3)(cid:1)(cid:1)
• (cid:25)(cid:26)(cid:27)(cid:28)(cid:29)(cid:30)(cid:31)(cid:21)(cid:1)739667=1/=(cid:1)(cid:1)
• (cid:25)(cid:26)(cid:27)(cid:28)(cid:29)(cid:30) (cid:21)(cid:1)0=:(cid:31)739667=1/;(cid:1)(cid:1)

Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix
1 Mathematical Preliminaries and Error Analysis 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Review of Calculus . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 Round-off Error and Computer Arithmetic . . . . . . . . . . . . . . 17
1.4 Errors in Scientific Computation . . . . . . . . . . . . . . . . . . . . 25
1.5 Computer Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2 Solutions of Equations of One Variable 39
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2 The Bisection Method . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.3 The Secant Method. . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.4 Newton’s Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
2.5 Error Analysis and Accelerating Convergence . . . . . . . . . . . . . 64
2.6 Mu¨ller’s Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
2.7 Survey of Methods and Software . . . . . . . . . . . . . . . . . . . . 77
3 Interpolation and Polynomial Approximation 79
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.2 Lagrange Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.3 Divided Differences . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.4 Hermite Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . 104
3.5 Spline Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
3.6 Parametric Curves . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
3.7 Survey of Methods and Software . . . . . . . . . . . . . . . . . . . . 131
4 Numerical Integration and Differentiation 133
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
4.2 Basic Quadrature Rules . . . . . . . . . . . . . . . . . . . . . . . . . 134
4.3 Composite Quadrature Rules . . . . . . . . . . . . . . . . . . . . . . 144
4.4 Romberg Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
4.5 Gaussian Quadrature . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
4.6 Adaptive Quadrature . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
i
ii CONTENTS
4.7 Multiple Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
4.8 Improper Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
4.9 Numerical Differentiation . . . . . . . . . . . . . . . . . . . . . . . . 198
4.10 Survey of Methods and Software . . . . . . . . . . . . . . . . . . . . 210
5 Numerical Solution of Initial-Value Problems 213
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
5.2 Taylor Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
5.3 Runge-Kutta Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 229
5.4 Predictor-Corrector Methods . . . . . . . . . . . . . . . . . . . . . . 239
5.5 Extrapolation Methods. . . . . . . . . . . . . . . . . . . . . . . . . . 248
5.6 Adaptive Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
5.7 Methods for Systems of Equations . . . . . . . . . . . . . . . . . . . 265
5.8 Stiff Differential Equations. . . . . . . . . . . . . . . . . . . . . . . . 277
5.9 Survey of Methods and Software . . . . . . . . . . . . . . . . . . . . 283
6 Direct Methods for Solving Linear Systems 285
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
6.2 Gaussian Elimination. . . . . . . . . . . . . . . . . . . . . . . . . . . 285
6.3 Pivoting Strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
6.4 Linear Algebra and Matrix Inversion . . . . . . . . . . . . . . . . . . 307
6.5 Matrix Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
6.6 Techniques for Special Matrices . . . . . . . . . . . . . . . . . . . . . 327
6.7 Survey of Methods and Software . . . . . . . . . . . . . . . . . . . . 337
7 Iterative Methods for Solving Linear Systems 339
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
7.2 Convergence of Vectors. . . . . . . . . . . . . . . . . . . . . . . . . . 340
7.3 Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . 350
7.4 The Jacobi and Gauss-Seidel Methods . . . . . . . . . . . . . . . . . 358
7.5 The SOR Method. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
7.6 Error Bounds and Iterative Refinement. . . . . . . . . . . . . . . . . 371
7.7 The Conjugate Gradient Method . . . . . . . . . . . . . . . . . . . . 379
7.8 Survey of Methods and Software . . . . . . . . . . . . . . . . . . . . 394
8 Approximation Theory 397
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
8.2 Discrete Least Squares Approximation . . . . . . . . . . . . . . . . . 397
8.3 Continuous Least Squares Approximation . . . . . . . . . . . . . . . 408
8.4 Chebyshev Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . 417
8.5 Rational Function Approximation. . . . . . . . . . . . . . . . . . . . 424
8.6 Trigonometric Polynomial Approximation . . . . . . . . . . . . . . . 431
8.7 Fast Fourier Transforms . . . . . . . . . . . . . . . . . . . . . . . . . 438
8.8 Survey of Methods and Software . . . . . . . . . . . . . . . . . . . . 444
CONTENTS iii
9 Approximating Eigenvalues 445
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
9.2 Isolating Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
9.3 The Power Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453
9.4 Householder’s Method . . . . . . . . . . . . . . . . . . . . . . . . . . 467
9.5 The QR Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473
9.6 Survey of Methods and Software . . . . . . . . . . . . . . . . . . . . 481
10 Solutions of Systems of Nonlinear Equations 483
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483
10.2 Newton’s Method for Systems . . . . . . . . . . . . . . . . . . . . . . 486
10.3 Quasi-Newton Methods . . . . . . . . . . . . . . . . . . . . . . . . . 497
10.4 The Steepest Descent Method . . . . . . . . . . . . . . . . . . . . . . 505
10.5 Homotopy and Continuation Methods . . . . . . . . . . . . . . . . . 512
10.6 Survey of Methods and Software . . . . . . . . . . . . . . . . . . . . 521
11 Boundary-Value Problems for Ordinary Differential Equations 523
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523
11.2 The Linear Shooting Method . . . . . . . . . . . . . . . . . . . . . . 524
11.3 Linear Finite Difference Methods . . . . . . . . . . . . . . . . . . . . 531
11.4 The Nonlinear Shooting Method . . . . . . . . . . . . . . . . . . . . 540
11.5 Nonlinear Finite-Difference Methods . . . . . . . . . . . . . . . . . . 547
11.6 Variational Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . 552
11.7 Survey of Methods and Software . . . . . . . . . . . . . . . . . . . . 568
12 Numerical Methods for Partial-Differential Equations 571
12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 571
12.2 Finite-Difference Methods for Elliptic Problems . . . . . . . . . . . . 573
12.3 Finite-Difference Methods for Parabolic Problems . . . . . . . . . . . 583
12.4 Finite-Difference Methods for Hyperbolic Problems . . . . . . . . . . 598
12.5 Introduction to the Finite-Element Method . . . . . . . . . . . . . . 607
12.6 Survey of Methods and Software . . . . . . . . . . . . . . . . . . . . 623
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627
Answers for Numerical Methods. . . . . . . . . . . . . . . . . . . . . 633
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755
NUMERICAL METHODS
THIRD EDITION
Doug Faires and Dick Burden
PREFACE
The teaching of numerical approximation techniques to undergraduates is done in a
variety of ways. The traditional Numerical Analysis course emphasizes both the approxi-
mationmethodsandthemathematicalanalysisthatproducesthem. ANumericalMethods
course is more concerned with the choice and application of techniques to solve problems
in engineering and the physical sciences than with the derivation of the methods.
The books used in the Numerical Methods courses differ widely in both intent and
content. Sometimes a book written for Numerical Analysis is adapted for a Numerical
Methods course by deleting the more theoretical topics and derivations. The advantage
of this approach is that the leading Numerical Analysis books are mature; they have been
through a number of editions, and they have a wealth of proven examples and exercises.
They are also written for a full year coverage of the subject, so they have methods that
can be used for reference, even when there is not sufficient time for discussing them in
the course. The weakness of using a Numerical Analysis book for a Numerical Methods
course is that material will need to be omitted, and students might then have difficulty
distinguishing what is important from what is tangential.
The second type of book used for a Numerical Methods course is one that is specifi-
callywrittenforaservicecourse. Thesebooksfollowtheestablishedlineofservice-oriented
mathematics books, similar to the technical calculus books written for students in busi-
ness and the life sciences, and the statistics books designed for students in economics,
psychology, and business. However, the engineering and science students for whom the
Numerical Methods course is designed have a much stronger mathematical background
than students in other disciplines. They are quite capable of mastering the material in a
Numerical Analysis course, but they do not have the time for, nor, often, the interest in,
i
the theoretical aspects of such a course. What they need is a sophisticated introduction
to the approximation techniques that are used to solve the problems that arise in science
and engineering. They also need to know why the methods work, what type of error to
expect, and when a method might lead to difficulties. Finally, they need information,
with recommendations, regarding the availability of high quality software for numerical
approximation routines. In such a course the mathematical analysis is reduced due to a
lack of time, not because of the mathematical abilities of the students.
The emphasis in this Numerical Methods book is on the intelligent application of ap-
proximation techniques to the type of problems that commonly occur in engineering and
the physical sciences. The book is designed for a one semester course, but contains at
least 50% additional material, so instructors have flexibility in topic coverage and students
have a reference for future work. The techniques covered are essentially the same as those
included in our book designed for the Numerical Analysis course (See [BF], Burden and
Faires, Numerical Analysis, Seventh Edition, 2001, Brooks/Cole Publishing.) However,
the emphasis in the two books is quite different. In Numerical Analysis, a book with
about 800 text pages, each technique is given a mathematical justification before the im-
plementation of the method is discussed. If some portion of the justification is beyond
the mathematical level of the book, then it is referenced, but the book is, for the most
part, mathematically self-contained. In this Numerical Methods book, each technique is
motivated and described from an implementation standpoint. The aim of the motivation
is to convince the student that the method is reasonable both mathematically and com-
putationally. A full mathematical justification is included only if it is concise and adds to
the understanding of the method.
In the past decade a number of software packages have been developed to produce
symbolic mathematical computations. Predominant among them are DERIVE, Maple,
Mathematica and Matlab. There are versions of the software packages for most common
computer systems and student versions are available at reasonable prices. Although there
are significant differences among the packages, both in performance and price, they all can
performstandardalgebraandcalculusoperations. Havingasymboliccomputationpackage
available can be very useful in the study of approximation techniques. The results in most
ii
of our examples and exercises have been generated using problems for which exact values
can be determined, since this permits the performance of the approximation method to be
monitored. Exact solutions can often be obtained quite easily using symbolic computation.
We have chosen Maple as our standard package, and have added examples and ex-
ercises whenever we felt that a computer algebra system would be of significant benefit.
In addition, we have discussed the approximation methods that Maple employs when it is
unable to solve a problem exactly. The Maple approximation methods generally parallel
the methods that are described in the text.
Software is included with and is an integral part of this Numerical Methods book, and
a program disk is included with the book. For each method discussed in the text the disk
contains a program in C, FORTRAN, and Pascal, and a worksheet in Maple, Mathematica,
and Matlab. The programs permit students to generate all the results that are included
in the examples and to modify the programs to generate solutions to problems of their
choice. The intent of the software is to provide students with programs that will solve
most of the problems that they are likely to encounter in their studies.
Occasionally, exercises in the text contain problems for which the programs do not
give satisfactory solutions. These are included to illustrate the difficulties that can arise
in the application of approximation techniques and to show the need for the flexibility
provided by the standard general purpose software packages that are available for sci-
entific computation. Information about the standard general purpose software packages
is discussed in the text. Included are those in packages distributed by the International
Mathematical and Statistical Library (IMSL), those produced by the National Algorithms
Group (NAG), the specialized techniques in EISPACK and LINPACK, and the routines
in Matlab.
New for this Edition
This edition includes two new major additions. The Preconditioned Conjugate Gra-
dient method has been added to Chapter 7 to provide a more complete treatment of the
iii