funktionieren im allgemeinen die populären Bootstrap-Verfahren, welche die Rei- henfolge ... funktioniert. Der Frage, bei welcher Art von Abhängigkeit und bei.
Diss. ETH No. 10354
The Blockwise Bootstrap in Time Series and Empirical Processes
A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY ZURICH for the degree of Doctor of Mathematics
presented by Peter Lukas Bühlmann Dip!. Math. ETH born on April 12, 1965 citizen of Sempach, LU
accepted on the recommendation of Prof. Dr. H.R. Künsch, examiner Prof. Dr. E. Bolthausen, co-examiner
1993
Vll
Zusammenfassung Ein typisches Problem in der angewandten Statistik ist die Schätzung eines unbekannten Parameters 8. Nach der Wahl eines bestimmten Schätzers Tn für 8, lautet nun die Hauptfrage: Wie genau ist dieser Schätzer T n für den unbekannten Parameter 8? In statistischer Terminologie: Wie gross ist zum Beispiel die Varianz von Tn , oder wie ist die Verteilung von T n ? Der Bootstrap und andere Resampling-Verfahren liefern oft eine generelle Methode für die Approximation der Verteilung von Tn • Insbesondere bei Problemen, die analytisch nicht ~ehr behandelt werden können, sind diese Techniken attraktiv. Uberdies, selbst wenn ein Problem asymptotisch analysiert werden kann, liefern diese meist eine bessere Approximation für endliche Stichprobengrössen als asymptotische Verfahren. Die Methoden sind für den Anwender sehr einfach zu benützen, da sie 'automatisch' sind, d.h. der Anwender erhält mit einfachen Monte-Carlo Simulationen auf dem Computer eine Antwort auf obige Hauptfrage. Für unabhängige Daten sind Bootstrap-Verfahren weit verbreitet und erfolgreich in vielen Anwendungen. Für Zeitreihen, wo Beobachtungen abhängig sind.: funktionieren im allgemeinen die populären Bootstrap-Verfahren, welche die Reihenfolge der Beobachtungen ignorieren, nicht mehr. Ein anderes Verfahren, der sogenannte Blockwise Bootstrap, wurde von Künsch (1989) als generelle Resampling Methode in der Zeitreihenanalyse vorgeschlagen. Für das arithmetische Mittel, dem wohl einfachsten Schätzer in der Statistik, wurde gezeigt, dass der Blockwise Bootstrap für stationäre Zeitreihen mit kurzfristiger Abhängigkeit funktioniert. Der Frage, bei welcher Art von Abhängigkeit und bei welchen komplizierteren Schätzverfahren der Blockwise Bootstrap noch funktioniert, wird in dieser Arbeit nachgegangen. Wir analysieren die Fragestellung mittels einer Separation dieses Problems in einen probabilistischen Teil, wo wir empirische Prozesse untersuchen, und in einen analytischen Teil, wo wir Differenzierbarkeitseigenschaften von Funktionalen studieren. Dabei betrachten wir Schätzer Tn , welche als Funktional T an einer empirischen Verteilung dargestellt werden können. Es ist bekannt, dass die Klasse
Vlll
dieser Schätzer sehr gross ist. Beispiele sind M, L und R Schätzer für Lokation und Skala, Versionen der Stichproben-Korrelationen, Kleinste-Quadrate und robuste Schätzer im AR Modell und Bedingte Kleinste-Quadrate Schätzungen in Markov-Prozessen. Bezüglich der Abhängigkeit, beschränken wir uns auf stationäre, mischende Prozesse, d.h. wir betrachten eine Klasse von kurzfristig abhängigen Prozessen. Beispiele dafür sind stationäre Markov- oder ARMA-Prozesse. Insbesondere der probabilistische Teil ist grundlegend verschieden von der Situation mit unabhängigen Beobachtungen, unsere Hauptresultate betreffen vor allem diesen Teil. Wir zeigen schwache Konvergenz des Blockwise Bootstrap für Empirische Prozesse gegen die richtigen Gauss'schen Grenzprozesse. Dabei betrachten wir Empirische Prozesse indiziert mit Indikatorfunktionen von Intervallen auf R, von Rechtecken auf RP oder indiziert mit allgemeineren Funktionsklassen, sogenannten Vapnik-Öervonenkis Graph Klassen. Resultate dieser Art implizieren gewöhnlicherweise, dass der Blockwise Bootstrap für viele Schätzer der obigen Klasse funktioniert. In Kapitel 3 betrachten wir Beobachtungen von einem stationären, stark mischenden (o-mischenden) Prozess. Unter einer Bedingung für den Abfall der Mischungskoeffizienten zeigen wir schwache Konvergenz im p-dimensionalen cadlag-Raum VP(R) für den Blockwise Bootstrap des Empirischen Prozesses indiziert mit Indikatorfunktionen von Rechtecken in RP (p > 1). Der multivariate Fall mit p > 1 ist von grossem Interesse, da in der Zeitreihenanalyse oft Schätzer betrachtet werden, die von der p-dimensionalen Randverteilung des Prozesses abhängen. Die Klasse der Statistiken Tn = T(F:), mit gleich der p-dimensionalen empirischen Randverteilung, ist bereits gross. Mit noch allgemeineren empirischen Prozessen kann diese Funktionsklasse erweitert werden. Mit Statistiken Tn = T(Pn ) , mit Pn gleich dem empirischen Mass für eine Vapnik-Cervonenkis Graph Klasse, decken wir im wesentlichen alle praktischen Anwendungen ab. In Kapitel 4 zeigen wir schwache Konvergenz im Raum der beschränkten, reellwertigen Funktionen für den Blockwise Bootstrap angewandt auf den Empirischen Prozess indiziert mit einer Vapnik-Cervonenkis Graph Klasse. Dabei machen wir die Annahme, dass die Beobachtungen stationär und
F:
IX
ß-mischend, mit exponentiellem Abfall der Mischungskoeffizienten, sind. Eine Verallgemeinerung des Blockwise Bootstrap erhält man, indem das Resampling mit allgemeineren, zufälligen Gewichten generiert wird. Diese Version sollte im allgemeinen den Bias der Varianzschätzung verkleinern. Ähnliche Resultate für empirische Prozesse dieses 'Bootstrap with general resampling weights' liefern wiederum die Konsistenz des Verfahrens für glatte Funktionale T. Für den analytischen Teil betrachten wir die Glattheit des zum Schätzer gehörenden Funktionals T. Hinreichende Bedingungen für die Konsistenz des Blockwise Bootstrap werden in Kapitel 5 gegeben. Zusammen mit den Reultaten vom probabilistischen Teil erhalten wir als Hauptresultat: Falls die Beobachtungen Realisationen eines stationären, mischenden Prozesses sind, und falls das zum Schätzer T n gehörende Funktional T kompakt differenzierbar ('genügend glatt') ist, so funktioniert der Blockwise Bootstrap für den Schätzer Tn • Dieses schöne und allgemeine Resultat ist eine Rechtfertigung, um den Blockwise Bootstrap als generelles Verfahren in der Zeitreihenanalyse zu betrachten. In einer Simulationsstudie untersuchen wir das Verhalten des Blockwise Bootstrap und des 'Bootstrap with general resampling weights' für endliche Stichproben. Dabei betrachten wir sowohl das arithmetische Mittel und den Median für den Lageparameter, als auch robuste GM-Schätzer und Kleinste Quadrate-Schätzer für die Koeffizienten eines autoregressiven Modells. Im allgemeinen liefert der Bootstrap with general resampling weights bessere Varianzschätzungen als der Blockwise Bootstrap. Beide Verfahren liefern zudem in einigen Fällen brauchbare Schätzungen für die Schiefe der wahren Verteilung. In einigen Situationen sind auch Varianzschätzungen, basierend auf asymptotischer Normalität, denkbar. Beide Bootstrap-Verfahren schneiden jedoch klar besser ab. Theoretische Resultate, ergänzt durch Simulationsergebnisse, etablieren den Blockwise Bootstrap und den 'Bootstrap with general resampling weights' als attraktive Methoden im Gebiet der Zeitreihenanalyse.
x
Abstract A typical problem in applied statistics is the estimation of an unknown parameter 8. Having chosen an estimator T n for 8, a main question is: How accurate is this estimator for the unknown parameter 8? Statistically speaking: what is (for example) the variance of T n or more generally, what is the distribution of T n ? Bootstrap and other resampling methods are general methodologies to approximate the distribution of Tn • Particularly, for problems that are not analytically tractable, these techniques are attractive tools. Moreover, even if a problem is asymptotically tractable, they often yield better approximations for finite sampie sizes than some asymptotic methods. For the practitioner, the procedures are easy to use since they are 'automatie', that is the practitioner gets an answer for the latter main question by running some simple MonteCarlo simulations on a computer. For independent data, bootstrap methods are widely used and successfully applied in many situations. In time series, where the observations are dependent, these popular bootstrap methods generally do not work since they ignore the order of the observations. Another procedure, the so called blockwise bootstrap, has been given by Künsch (1989) as a general resampling method in time series analysis. For the arithmetic mean, probably the simplest estimator in statistics, he has shown that the blockwise bootstrap works for stationary short range dependent time series. In this thesis we study the following question. For what kinds of dependence and for what kinds of more complicated estimators does the blockwise bootstrap still work? We analyse this question by separation of the problem into a probabilistic part, where we deal with empirical processes and an analytical part, where we consider differentiability properties of functionals. For this, we consider estimators T n that can be written as a functional T at an empirical distribution. It is known that the dass encompassed by such estimators is very broad. Examples are M, L and R estimators of location and scale, versions of the sample correlations, least squares and robust estimators for the AR model and conditional least squares in Markov processes. Considering dependence we restriet ourselves to stationary, mixing processes, that is,
Xl
we consider a dass of short range dependent series. Examples are stationary Markov- or ARMA-processes. In particular, the probabilistic part is basically different from the independent setup; our main results are in this part. We show weak convergence of blockwise bootstrapped empirical processes to the proper Gaussian processes. In doing so, we consider empirical processes indexed with indicator functions of intervals on R, of rectangles on RP or indexed with more general function classes, the so called Vapnik-Cervonenkis graph classes, Results of this kind usually imply that the blockwise bootstrap works for many estimators in the former dass. In Chapter 3 we consider observations as realizations from a stationary strong-mixing (o-mixing) process. Under a condition on the decay of the mixing coefficients we show weak convergence in the pdimensional cadlag space VP(R) of the blockwise bootstrapped empirical process indexed with indicator functions of rectangles in RP (p > 1). The multivariate case (p > 1) is of considerable interest, because with time series data one often uses statistics that depend on some p-dimensional marginal of the process. The dass of statistics Tn = T(FC) with FC being the p-dimensional empirical marginal, is already large. By considering even more general empirical processes, the function dass can be extended. With statistics of the form T n = T(Pn ) , where Pn is the empirical measure for a Vapnik-Cervonenkis graph dass, we essentially cover all situations for practical use. In Chapter 4 we show weak convergence in the space of bounded real valued functions of the blockwise bootstrapped empirical process indexed by a Vapnik-Cervonenkis graph dass. This is done under the assumption, that the observations are stationary ß-mixing with exponentially decreasing mixing coefficients. A generalization of the blockwise bootstrap can be obtained by using more general resampling weights, its purpose being to eventually reduce the bias of the bootstrap variance. Similar results for empirical processes of this bootstrap with general resampling weights again yield consistency for smooth functionals T. For the analytical part we consider the smoothness of the functional T that corresponds to the estimator. In Chapter 5 sufficient
Xll
eonditions are given for the eonsisteney of the bloekwise bootstrap. Together with the results from the probabilistic part, we get the following main result. If the observations are realizations of a stationary, mixing proeess and if the funetional T, eorresponding to the estimator T n , is eompaetly differentiable ('sufficiently smooth'), then the bloekwise bootstrap works for the statistie T n • This beautiful and general result is a justifieation to eonsider the bloekwise bootstrap as a general method in time series analysis. In a simulation study we analyse the finite sample behavior of the bloekwise bootstrap and of the bootstrap with general resampling weights. In doing so we eonsider the mean and the median for the loeation parameter as weIl as the robust GM estimator and the least squares estimator for the parameters of an autoregressive model. In general the bootstrap with general resampling weights yields better varianee estimates than the bloekwise bootstrap. Furthermore, both methods yield in some eases useful estimates for the skewness of the true distribution. In some eases we ean also use varianee estimates based on asymptotic normality, but both bootstrap methods clearly perform better. Theoretical results together with simulation results eombine to establish the bloekwise bootstrap and the bootstrap with general resampling weights as attraetive tools in time series analysis.
