Table Of ContentECONOMETRICS
Bruce E. Hansen
c 2000, 20121
(cid:13)
University of Wisconsin
www.ssc.wisc.edu/~bhansen
This Revision: January 18, 2012
Comments Welcome
1This manuscript may be printed and reproduced for individual or instructional use, but may not be
printed for commercial purposes.
Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii
1 Introduction 1
1.1 What is Econometrics? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 The Probability Approach to Econometrics . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 Econometric Terms and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4 Observational Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.5 Standard Data Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.6 Sources for Economic Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.7 Econometric Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.8 Reading the Manuscript . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 Moment Estimation 8
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2 Population and Sample Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.3 Sample Mean is Unbiased . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.4 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.5 Convergence in Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.6 Weak Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.7 Vector-Valued Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.8 Convergence in Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.9 Functions of Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.10 Delta Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.11 Stochastic Order Symbols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.12 Uniform Stochastic Bounds* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.13 Semiparametric E¢ ciency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.14 Expectation* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.15 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3 Conditional Expectation and Projection 29
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 The Distribution of Wages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Conditional Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4 Conditional Expectation Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.5 Continuous Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.6 Law of Iterated Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.7 Monotonicity of Conditioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.8 CEF Error. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.9 Best Predictor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.10 Conditional Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.11 Homoskedasticity and Heteroskedasticity . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.12 Regression Derivative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
i
CONTENTS ii
3.13 Linear CEF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.14 Linear CEF with Nonlinear E⁄ects . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.15 Linear CEF with Dummy Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.16 Best Linear Predictor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.17 Linear Predictor Error Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.18 Regression Coe¢ cients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.19 Regression Sub-Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.20 Coe¢ cient Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.21 Omitted Variable Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.22 Best Linear Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.23 Normal Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.24 Regression to the Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.25 Reverse Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.26 Limitations of the Best Linear Predictor . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.27 Random Coe¢ cient Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.28 Causal E⁄ects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.29 Existence and Uniqueness of the Conditional Expectation* . . . . . . . . . . . . . . 66
3.30 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4 The Algebra of Least Squares 72
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.2 Least Squares Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 Solving for Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.4 Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.5 Least Squares Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.6 Model in Matrix Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.7 Projection Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.8 Orthogonal Projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.9 Analysis of Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.10 Regression Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.11 Residual Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.12 Prediction Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.13 In(cid:135)uential Observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.14 Normal Regression Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.15 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5 Least Squares Regression 92
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.2 Mean of Least-Squares Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.3 Variance of Least Squares Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.4 Gauss-Markov Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.5 Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.6 Estimation of Error Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.7 Mean-Square Forecast Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.8 Covariance Matrix Estimation Under Homoskedasticity . . . . . . . . . . . . . . . . 101
5.9 Covariance Matrix Estimation Under Heteroskedasticity . . . . . . . . . . . . . . . . 101
5.10 Standard Errors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.11 Measures of Fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.12 Empirical Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.13 Multicollinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
CONTENTS iii
5.14 Normal Regression Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
6 Asymptotic Theory for Least Squares 113
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.2 Consistency of Least-Squares Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.3 Asymptotic Normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.4 Joint Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6.5 Consistency of Error Variance Estimators . . . . . . . . . . . . . . . . . . . . . . . . 122
6.6 Homoskedastic Covariance Matrix Estimation . . . . . . . . . . . . . . . . . . . . . . 123
6.7 Asymptotic Covariance Matrix Estimation . . . . . . . . . . . . . . . . . . . . . . . . 123
6.8 Alternative Covariance Matrix Estimation* . . . . . . . . . . . . . . . . . . . . . . . 125
6.9 Functions of Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.10 Asymptotic Standard Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.11 t statistic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.12 Con(cid:133)dence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.13 Regression Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6.14 Forecast Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.15 Wald Statistic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.16 Con(cid:133)dence Regions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.17 Semiparametric E¢ ciency in the Projection Model . . . . . . . . . . . . . . . . . . . 136
6.18 Semiparametric E¢ ciency in the Homoskedastic Regression Model* . . . . . . . . . . 137
6.19 Uniformly Consistent Residuals* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
6.20 Asymptotic Leverage* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
7 Restricted Estimation 143
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.2 Constrained Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.3 Exclusion Restriction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.4 Minimum Distance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.5 Asymptotic Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
7.6 E¢ cient Minimum Distance Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.7 Exclusion Restriction Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7.8 Variance and Standard Error Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 150
7.9 Misspeci(cid:133)cation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
7.10 Nonlinear Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
7.11 Inequality Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
7.12 Constrained MLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
7.13 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
8 Hypothesis Testing 157
8.1 Hypotheses and Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
8.2 t tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
8.3 t-ratios and the Abuse of Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
8.4 Wald Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
8.5 Minimum Distance Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
8.6 F Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
8.7 Likelihood Ratio Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
8.8 Problems with Tests of NonLinear Hypotheses . . . . . . . . . . . . . . . . . . . . . 167
8.9 Monte Carlo Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
CONTENTS iv
8.10 Con(cid:133)dence Intervals by Test Inversion . . . . . . . . . . . . . . . . . . . . . . . . . . 172
8.11 Asymptotic Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
9 Regression Extensions 178
9.1 Generalized Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
9.2 Testing for Heteroskedasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
9.3 NonLinear Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
9.4 Testing for Omitted NonLinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
10 The Bootstrap 186
10.1 De(cid:133)nition of the Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
10.2 The Empirical Distribution Function . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
10.3 Nonparametric Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
10.4 Bootstrap Estimation of Bias and Variance . . . . . . . . . . . . . . . . . . . . . . . 188
10.5 Percentile Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
10.6 Percentile-t Equal-Tailed Interval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
10.7 Symmetric Percentile-t Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
10.8 Asymptotic Expansions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
10.9 One-Sided Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
10.10Symmetric Two-Sided Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
10.11Percentile Con(cid:133)dence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
10.12Bootstrap Methods for Regression Models . . . . . . . . . . . . . . . . . . . . . . . . 197
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
11 NonParametric Regression 200
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
11.2 Binned Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
11.3 Kernel Regression. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
11.4 Local Linear Estimator. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
11.5 Nonparametric Residuals and Regression Fit . . . . . . . . . . . . . . . . . . . . . . 205
11.6 Cross-Validation Bandwidth Selection . . . . . . . . . . . . . . . . . . . . . . . . . . 206
11.7 Asymptotic Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
11.8 Conditional Variance Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
11.9 Standard Errors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
11.10Multiple Regressors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
12 Series Estimation 215
12.1 Approximation by Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
12.2 Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
12.3 Partially Linear Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
12.4 Additively Separable Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
12.5 Uniform Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
12.6 Runge(cid:146)s Phenonmenon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
12.7 Approximating Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
12.8 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
12.9 Residuals and Regression Fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
12.10Cross-Validation Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
12.11Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
12.12Uniform Convergence. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
12.13Asymptotic Normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
CONTENTS v
12.14Regression Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
12.15Kernel Versus Series Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
12.16Technical Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
13 Quantile Regression 231
13.1 Least Absolute Deviations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
13.2 Quantile Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
14 Generalized Method of Moments 237
14.1 Overidenti(cid:133)ed Linear Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
14.2 GMM Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
14.3 Distribution of GMM Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
14.4 Estimation of the E¢ cient Weight Matrix . . . . . . . . . . . . . . . . . . . . . . . . 240
14.5 GMM: The General Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
14.6 Over-Identi(cid:133)cation Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
14.7 Hypothesis Testing: The Distance Statistic . . . . . . . . . . . . . . . . . . . . . . . 242
14.8 Conditional Moment Restrictions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
14.9 Bootstrap GMM Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
15 Empirical Likelihood 248
15.1 Non-Parametric Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
15.2 Asymptotic Distribution of EL Estimator . . . . . . . . . . . . . . . . . . . . . . . . 250
15.3 Overidentifying Restrictions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
15.4 Testing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
15.5 Numerical Computation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
16 Endogeneity 255
16.1 Instrumental Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
16.2 Reduced Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
16.3 Identi(cid:133)cation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
16.4 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
16.5 Special Cases: IV and 2SLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
16.6 Bekker Asymptotics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
16.7 Identi(cid:133)cation Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
17 Univariate Time Series 265
17.1 Stationarity and Ergodicity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
17.2 Autoregressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
17.3 Stationarity of AR(1) Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
17.4 Lag Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
17.5 Stationarity of AR(k) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
17.6 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
17.7 Asymptotic Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
17.8 Bootstrap for Autoregressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
17.9 Trend Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
17.10Testing for Omitted Serial Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . 272
17.11Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
17.12Autoregressive Unit Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
CONTENTS vi
18 Multivariate Time Series 275
18.1 Vector Autoregressions (VARs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
18.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
18.3 Restricted VARs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
18.4 Single Equation from a VAR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
18.5 Testing for Omitted Serial Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . 277
18.6 Selection of Lag Length in an VAR . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
18.7 Granger Causality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
18.8 Cointegration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
18.9 Cointegrated VARs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
19 Limited Dependent Variables 281
19.1 Binary Choice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
19.2 Count Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
19.3 Censored Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
19.4 Sample Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
20 Panel Data 286
20.1 Individual-E⁄ects Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
20.2 Fixed E⁄ects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
20.3 Dynamic Panel Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
21 Nonparametric Density Estimation 289
21.1 Kernel Density Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
21.2 Asymptotic MSE for Kernel Estimates . . . . . . . . . . . . . . . . . . . . . . . . . . 291
A Matrix Algebra 294
A.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
A.2 Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
A.3 Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
A.4 Trace. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
A.5 Rank and Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
A.6 Determinant. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
A.7 Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
A.8 Positive De(cid:133)niteness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
A.9 Matrix Calculus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
A.10Kronecker Products and the Vec Operator . . . . . . . . . . . . . . . . . . . . . . . . 301
A.11Vector and Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
A.12Matrix Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
B Probability 306
B.1 Foundations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
B.2 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
B.3 Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
B.4 Gamma Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
B.5 Common Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
B.6 Multivariate Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
B.7 Conditional Distributions and Expectation. . . . . . . . . . . . . . . . . . . . . . . . 314
B.8 Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
B.9 Normal and Related Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
B.10 Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
B.11 Maximum Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
CONTENTS vii
C Numerical Optimization 327
C.1 Grid Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
C.2 Gradient Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
C.3 Derivative-Free Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
Preface
This book is intended to serve as the textbook for a (cid:133)rst-year graduate course in econometrics.
It can be used as a stand-alone text, or be used as a supplement to another text.
Students are assumed to have an understanding of multivariate calculus, probability theory,
linear algebra, and mathematical statistics. A prior course in undergraduate econometrics would
be helpful, but not required.
For reference, some of the basic tools of matrix algebra, probability, and statistics are reviewed
in the Appendix.
For students wishing to deepen their knowledge of matrix algebra in relation to their study of
econometrics, I recommend Matrix Algebra by Abadir and Magnus (2005).
An excellent introduction to probability and statistics is Statistical Inference by Casella and
Berger (2002). For those wanting a deeper foundation in probability, I recommend Ash (1972)
or Billingsley (1995). For more advanced statistical theory, I recommend Lehmann and Casella
(1998), van der Vaart (1998), Shao (2003), and Lehmann and Romano (2005).
For further study in econometrics beyond this text, I recommend Davidson (1994) for asymp-
totictheory,Hamilton(1994)fortime-seriesmethods,Wooldridge(2002)forpaneldataanddiscrete
response models, and Li and Racine (2007) for nonparametrics and semiparametric econometrics.
Beyond these texts, the Handbook of Econometrics series provides advanced summaries of contem-
porary econometric methods and theory.
Theend-of-chapterexercisesareimportantpartsofthetextandaremeanttohelpteachstudents
of econometrics. Answers are not provided, and this is intentional.
I would like to thank Ying-Ying Lee for providing research assistance in preparing some of the
empirical examples presented in the text.
As this is a manuscript in progress, some parts are quite incomplete, and there are many topics
which I plan to add. In general chapters 1-8 are the most complete, the remaining need signi(cid:133)cant
work and revision.
viii
Chapter 1
Introduction
1.1 What is Econometrics?
The term (cid:147)econometrics(cid:148)is believed to have been crafted by Ragnar Frisch (1895-1973) of
Norway, one of the three principle founders of the Econometric Society, (cid:133)rst editor of the journal
Econometrica, and co-winner of the (cid:133)rst Nobel Memorial Prize in Economic Sciences in 1969. It
is therefore (cid:133)tting that we turn to Frisch(cid:146)s own words in the introduction to the (cid:133)rst issue of
Econometrica for an explanation of the discipline.
A word of explanation regarding the term econometrics may be in order. Its de(cid:133)ni-
tion is implied in the statement of the scope of the [Econometric] Society, in Section I
of the Constitution, which reads: (cid:147)The Econometric Society is an international society
for the advancement of economic theory in its relation to statistics and mathematics....
Its main object shall be to promote studies that aim at a uni(cid:133)cation of the theoretical-
quantitative and the empirical-quantitative approach to economic problems....(cid:148)
Butthereareseveralaspectsofthequantitativeapproachtoeconomics,andnosingle
one of these aspects, taken by itself, should be confounded with econometrics. Thus,
econometrics is by no means the same as economic statistics. Nor is it identical with
whatwecallgeneraleconomictheory, althoughaconsiderableportionofthistheoryhas
a de(cid:133)ninitely quantitative character. Nor should econometrics be taken as synonomous
with the application of mathematics to economics. Experience has shown that each
of these three view-points, that of statistics, economic theory, and mathematics, is
a necessary, but not by itself a su¢ cient, condition for a real understanding of the
quantitative relations in modern economic life. It is the uni(cid:133)cation of all three that is
powerful. And it is this uni(cid:133)cation that constitutes econometrics.
Ragnar Frisch, Econometrica, (1933), 1, pp. 1-2.
This de(cid:133)nition remains valid today, although some terms have evolved somewhat in their usage.
Today, we would say that econometrics is the uni(cid:133)ed study of economic models, mathematical
statistics, and economic data.
Withinthe(cid:133)eldofeconometricstherearesub-divisionsandspecializations. Econometrictheory
concerns the development of tools and methods, and the study of the properties of econometric
methods. Applied econometrics is a term describing the development of quantitative economic
models and the application of econometric methods to these models using economic data.
1.2 The Probability Approach to Econometrics
The unifying methodology of modern econometrics was articulated by Trygve Haavelmo (1911-
1999) of Norway, winner of the 1989 Nobel Memorial Prize in Economic Sciences, in his seminal
1
