В чем заключается центральная предельная теорема. Закон больших чисел

Чарльз Уилан Глава из книги
Издательство «Манн, Иванов и Фербер»

Наконец, настало время подвести итог сказанному. Поскольку средние значения выборок распределены по нормальному закону (благодаря центральной предельной теореме), мы можем воспользоваться богатым потенциалом кривой нормального распределения. Мы рассчитываем, что примерно 68% средних значений всех выборок будут отстоять от среднего значения совокупности на расстоянии, не превышающем одной стандартной ошибки; 95% - на расстоянии, не превышающем двух стандартных ошибок; и 99,7% - на расстоянии, не превышающем трех стандартных ошибок.

Теперь вернемся к отклонению (разбросу) в примере с пропавшим автобусом - правда, на этот раз призовем на помощь не интуицию, а числа. (Сам по себе этот пример остается абсурдным; в следующей главе мы рассмотрим множество более близких к реальности случаев.) Допустим, что организаторы исследования Americans" Changing Lives пригласили всех его участников на выходные в Бостон, чтобы весело провести время и заодно предоставить кое-какие недостающие данные. Участников распределяют произвольным образом по автобусам и отвозят в тестовый центр, где их взвесят, определят рост и т. п. К ужасу организаторов мероприятия, один из автобусов пропадает где-то по пути в тестовый центр. Об этом событии оповещают в программе новостей местного радио и телевидения. Возвращаясь примерно в то же время в своем автомобиле с Фестиваля любителей сосисок, вы замечаете на обочине дороги сломавшийся автобус. Похоже, его водитель был вынужден резко свернуть в сторону, пытаясь уклониться от столкновения с лосем, неожиданно появившимся на дороге. От столь резкого маневра все пассажиры потеряли сознание или лишились дара речи, хотя никто из них, к счастью, не получил серьезных травм. (Такое предположение понадобилось мне исключительно для чистоты приведенного здесь примера, а надежда на отсутствие у пассажиров серьезных травм объясняется моим врожденным человеколюбием.) Врачи кареты скорой помощи, оперативно прибывшие на место происшествия, сообщили вам, что средний вес 62 пассажиров автобуса составляет 194 фунта. Кроме того, оказалось (к огромному облегчению всех любителей животных), что лось, от столкновения с которым пытался увернуться водитель автобуса, практически не пострадал (если не считать легкого ушиба задней ноги), но от сильного испуга тоже потерял сознание и лежит рядом с автобусом.

К счастью, вам известен средний вес пассажиров автобуса, а также сред-неквадратическое отклонение для всей совокупности Americans" Changing Lives. Кроме того, мы имеем общее представление о центральной предельной теореме и знаем, как оказать первую помощь пострадавшему животному. Средний вес участников исследования Americans" Changing Lives составляет 162 фунта; среднеквадратическое отклонение равняется 36. На основе этой информации вы можете вычислить стандартную ошибку для выборки из 62 человек (количество пассажиров автобуса, потерявших сознание): .

Разница между средним значением этой выборки (194 фунта) и средним значением совокупности (162 фунта) равна 32 фунта, то есть значительно больше трех стандартных ошибок. Из центральной предельной теоремы вам известно, что 99,7% средних значений всех выборок будут отстоять от среднего значения совокупности на расстоянии, не превышающем трех стандартных ошибок. Таким образом, крайне маловероятно, что встретившийся вам автобус перевозит группу участников исследования Americans" Changing Lives. Будучи видным общественным активистом города, вы звоните организаторам мероприятия, чтобы сообщить, что в повстречавшемся вам автобусе, скорее всего, находится какая-то другая группа людей. Правда, в этом случае вы можете опираться на статистические результаты, а не свои «интуитивные догадки». Вы сообщаете организаторам, что отрицаете вероятность того, что найденный вами автобус именно тот, который они разыскивают, с 99,7% доверительным уровнем. А поскольку в данном случае вы разговариваете с людьми, знакомыми со статистикой, то можете не сомневаться, они понимают, что вы правы. (Всегда приятно иметь дело с умными людьми!)

Сделанные вами выводы находят дальнейшее подтверждение, когда врачи скорой помощи берут пробы крови у пассажиров автобуса и обнаруживают, что средний уровень холестерина в их крови превышает средний уровень холестерина в крови участников исследования Americans" Changing Lives на пять стандартных ошибок. Из этого следует, что впавшие в бессознательное состояние пассажиры - участники Фестиваля любителей сосисок. (Впоследствии это было неопровержимо доказано.)

[У этой истории оказался счастливый конец. Когда к пассажирам автобуса вернулось сознание, организаторы исследования Americans" Changing Lives посоветовали им проконсультироваться у специалистов-диетологов относительно опасности употребления в пищу продуктов с высоким содержанием насыщенных жиров. После таких консультаций многие из любителей сосисок решили порвать со своим позорным прошлым и вернуться к более здоровому рациону питания. Пострадавшего лося выходили в местной ветеринарной клинике и выпустили на свободу под одобрительные возгласы членов местного Общества защиты животных. Да, история почему-то умалчивает о судьбе водителя автобуса. Возможно, потому, что статистика не занимается судьбами отдельно взятых людей. Лось - совсем другое дело, замолчать его судьбу не удастся! В случае чего за него может вступиться Общество защиты животных.]

В этой главе я пытался говорить только об основах. Вы, наверное, обратили внимание, что центральная предельная теорема применима лишь в случаях, когда размер выборки достаточно велик (как правило, не менее 30). Кроме того, нам требуется относительно большая выборка, если мы намерены предположить, что ее среднеквадратическое отклонение будет примерно таким же, как и среднеквадратическое отклонение генеральной совокупности.

Существует немало статистических поправок, которые можно применять в случае несоблюдения указанных условий, но все это похоже на сахарную глазурь на торте (и, возможно, даже на шоколадные крошки, которыми присыпают эту глазурь сверху). «Общая картина» здесь проста и чрезвычайно эффективна.

1. Если вы формируете на основе какой-либо совокупности большие (по объему) случайные выборки, то их средние значения будут распределены по нормальному закону вблизи среднего значения соответствующей совокупности (какой бы вид ни имело распределение исходной совокупности).
2. Большинство средних значений выборок будет расположено достаточно близко к среднему значению совокупности (что именно следует в том или ином случае считать «достаточно близким», определяется стандартной ошибкой).
3. Центральная предельная теорема говорит нам о вероятности того, что среднее значение выборки будет находиться не дальше определенного расстояния от среднего значения совокупности. Относительно маловероятно, что среднее значение выборки будет отстоять от среднего значения совокупности дальше, чем на расстояние двух стандартных ошибок, и крайне маловероятно, что среднее значение выборки будет отстоять от среднего значения совокупности дальше, чем на расстояние трех и более стандартных ошибок.
4. Чем меньше вероятность того, что какой-то исход оказался чисто случайным, тем больше мы можем быть уверены в том, что здесь не обошлось без воздействия какого-то другого фактора.

В этом по большому счету и заключается сущность статистического вывода. Центральная предельная теорема главным образом делает все это возможным. И до тех пор, пока Леброн Джеймс не станет столько раз чемпионом НБА, сколько Майкл Джордан (шесть), центральная предельная теорема будет производить на нас гораздо большее впечатление, чем знаменитый баскетболист.

Леброн Рэймон Джеймс (LeBron Raymone James) - американский профессиональный баскетболист, играющий на позиции легкого и тяжелого форварда за команду НБА «Кливленд Кавальерс». Прим. перев.

Обратите внимание на весьма остроумное использование в данном случае ложной точности.

Когда среднеквадратическое отклонение соответствующей совокупности вычисляется на основании меньшей выборки, приведенная нами формула несколько видоизменяется: Это помогает учесть то обстоятельство, что дисперсия в малой выборке может «недооценивать» дисперсию всей совокупности. Это не имеет особого отношения к более универсальным положениям, о которых идет речь в данной главе.

Мой коллега из Чикагского университета, Джим Сэлли, сделал очень важное критическое замечание по поводу примеров с пропавшим автобусом. Он указал, что пропавший автобус - чрезвычайно большая редкость в наше время. Поэтому если нам придется искать какой-нибудь пропавший автобус, то любой встретившийся нам автобус, который окажется пропавшим или поломавшимся, наверняка будет именно тем автобусом, который нас интересует, каким бы ни был вес пассажиров в этом автобусе. Пожалуй, Джим прав. (Воспользуюсь такой аналогией: если вы потеряли в супермаркете своего ребенка и дирекция этого магазина сообщает по радио, что возле кассы номер шесть стоит чей-то потерявшийся ребенок, то вы наверняка сразу же решите, что речь идет именно о вашем ребенке.) Следовательно, нам не остается ничего другого, как дополнить наши примеры еще одним элементом абсурда, полагая, что пропажа автобуса является вполне рядовым событием.

Каков средний вес человека?

Основная идея статистики заключается в том, что о населении в целом можно сказать что-то, выяснив это для меньшей группы людей. Без этой идеи не было бы опросов общественного мнения или предвыборных прогнозов, не было бы возможности испытать новые медицинские препараты или исследовать безопасность мостов и т. д. В значительной степени за факт, что мы можем делать все это и уменьшать неопределенности прогнозов, отвечает центральная предельная теорема.

Чтобы понять, как работает теорема, представим, что нужно узнать средний вес жителя Великобритании. Вы выходите и измеряете вес, скажем, ста случайно выбранных людей, и находите средний вес человека для этой группы — назовем это выборочным средним. Теперь выборочное среднее должно дать достаточно точное представление о среднем по стране. Но что, если вам в выборке попались только полные люди или, наоборот, только очень худые?

Чтобы получить представление о том, насколько типичным будет полученное среднее значение, нужно знать, как средний вес выборки из 100 человек варьируется в зависимости от населения: если вы взяли очень много групп из 100 человек и нашли средний вес для каждой группы, то насколько будут различаться найденные числа? И насколько его среднее (среднее средних) будет совпадать с истинным средним весом человека в популяции?

Например, предположим, что если выбрать очень много групп из 100 человек и записать средний вес каждой группы, получатся бы все значения от 10 кг до 300 кг в равных количествах. Тогда ваш метод оценки общего среднего по одной выборке из 100 человек не очень хороший, потому что слишком большой разброс значений — вы можете получить любое из возможных значений, поэтому нельзя сказать, какое из них ближе всего к истинному среднему весу в популяции.

Примеры нормального распределения с различными средними значениями и дисперсиями.

Итак, как мы можем говорить что-либо о распределении средних значений масс 100 человек — называемом распределением выборки — когда мы ничего не знаем о распределении масс всего населения? В этом и заключается центральная предельная теорема: в ней говорится, что для достаточно большой выборки распределение выборки аппроксимируется нормальным распределением — это распределение, имеющее известную форму колокола. (Обычно считается, что размер выборки 30 достаточно хорош.)

Среднее этого нормального распределения (среднее из средних значений, соответствующих вершине колокола) такое же, как среднее по всему населению (средний вес популяции). Дисперсия этого нормального распределения, то есть насколько вес отклоняется от среднего (определяется шириной колокола), зависит от размера выборки: чем больше выборка, тем меньше дисперсия. Существует уравнение, которое дает точное соотношение.

Поэтому, если ваш размер выборки достаточно велик (100, конечно, подойдет, так как это больше 30), то относительно небольшая дисперсия нормального распределения выборки означает, что средний вес, который вы наблюдаете, близок к среднему значению этого нормального распределения (поскольку колокол довольно узкий). И так как среднее этого нормального распределения равно истинному среднему весу во всей популяции, наблюдаемый средний показатель является хорошим приближением к истинному среднему.
Вы можете сделать все это точно, например, вы можете сказать, насколько вы уверены в том, что истинное среднее значение удалено от выборочного среднего, и вы также можете использовать результат для расчета того, насколько большой образец вам нужен, чтобы получить оценку с определенной степенью точности. Именно центральная предельная теорема отвечает за точность статистического вывода, и именно она стоит за широкой распространенностью нормального распределения.
На самом деле, центральная предельная теорема немного более общая, чем здесь представлено. Вот ее точная формулировка.

Теорема. Пусть — бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математическое ожидание и дисперсию . Пусть . Тогда

по распределению при .

Обозначив символом выборочное среднее первых величин, то есть , мы можем переписать результат центральной предельной теоремы в следующем виде.

Предельные теоремы теории вероятностей

Неравенство Чебышева

Рассмотрим ряд утверждений и теорем из большой группы так называемых предельных теорем теории вероятностей, устанавливающих связь между теоретическими и экспериментальными характеристиками случайных величин при большом числе испытаний над ними. Они составляют основу математической статистики. Предельные теоремы условно делят на две группы. Первая группа теорем, называемая законом больших чисел , устанавливает устойчивость средних значений, т.е. при большом числе испытаний их средний результат перестает быть случайным и может быть предсказан с достаточной точностью. Вторая группа теорем, называемая центральной предельной , устанавливает условия, при которых закон распределения суммы большого числа случайных величин неограниченно приближается к нормальному.

В начале рассмотрим неравенство Чебышева, которое можно использовать для: а) грубой оценки вероятностей событий, связанных со случайными величинами, распределение которых неизвестно; б) доказательства ряда теорем закона больших чисел.

Теорема 7.1 . Если случайная величина X имеет математическое ожидание и дисперсию DX , то для любого справедливо неравенство Чебышева

.

(7.1)

Отметим, что неравенство Чебышева можно записать в другой форме:

для частости или события в n независимых испытаниях, в каждом из которых оно может произойти с вероятностью , дисперсия которых , неравенство Чебышева имеет вид

Неравенство (7.5) можно переписать в виде

.

(7.6)

Пример 7.1. Оценить с помощью неравенства Чебышева вероятность того, что отклонение случайной величины Х от своего математического ожидания будет меньше трех средне квадратических отклонений, т.е. меньше .

Решение :

Полагая в формуле (7.2), получаем

Эта оценка называется правилом трех сигм .

Теорема Чебышева

Основное утверждение закона больших чисел содержится в теореме Чебышева. В ней и других теоремах закона больших чисел используется понятие «сходимости случайных величин по вероятности».

Случайные величины сходятся по вероятности к величине А (случайной или неслучайной), если для любого вероятность события при стремится к единице, т.е.

(или ). Сходимость по вероятности символически записывают так:

Следует отметить, что сходимость по вероятности требует, чтобы неравенство выполнялось для подавляющего числа членов последовательности (в математическом анализе - для всех n > N , где N - некоторое число), а при практически все члены последовательности должны попасть в ε- окрестность А .

Теорема 7.3 (Закон больших чисел в форме П.Л. Чебышева) . Если случайные величины независимы и существует такое число С> 0, что , то для любого

,

(7.7)

т.е. среднее арифметическое этих случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий:

.

Доказательство . Так как , то

.

Тогда, применяя к случайной величине неравенство Чебышева (7.2) имеем

т.е. среднее арифметическое случайных величин сходится по вероятности к математическому ожиданию а :

Доказательство . Так как

а дисперсии случайных величин , т.е ограничены, то применив теорему Чебышева (7.7), получим утверждение (7.9).

Следствие теоремы Чебышева обосновывает принцип «среднего арифметического» случайных величин Х i , постоянно используемый на практике. Так, пусть произведено n независимых измерений некоторой величины, истинное значение которой а (оно неизвестно). Результат каждого измерения есть случайная величина Х i . Согласно следствию, в качестве приближенного значения величины а можно взять среднее арифметическое результатов измерений:

.

Равенство тем точнее, чем больше n .

На теореме Чебышева основан также широко применяемый в статистике выборочный метод , суть которого в том, что о качестве большого количества однородного материала можно судить по небольшой его пробе.

Теорема Чебышева подтверждает связь между случайностью и необходимостью: среднее значение случайной величины практически не отличается от неслучайной величины .

Теорема Бернулли

Теорема Бернулли исторически является первой и наиболее простой формой закона больших чисел. Она теоретически обосновывает свойство устойчивости относительной частоты.

Теорема 7.4 (Закон больших чисел в форме Я. Бернулли) . Если вероятность появления события А в одном испытании равна р , число наступления этого события при n независимых испытаниях равно , то для любого числа имеет место равенство

,

(7.10)

т.е относительная частота события А сходится по вероятности к вероятности р события А : .

Доказательство . Введем случайные величины следующим образом: , если в i -м испытании появилось событие А , а если не появилось, то . Тогда число А (число успехов) можно представить в виде

Математическое ожидание и дисперсия случайных величин равны: , . Закон распределения случайных величин X i имеет вид

при любом i . Таким образом, случайные величины X i независимы, их дисперсии ограничены одним и тем же числом , так как

.

Поэтому к этим случайным величинам можно применить теорему Чебышева

.

,

Следовательно, .

Теорема Бернулли теоретически обосновывает возможность приближенного вычисления вероятности события с помощью его относительной частоты. Так, например, за вероятность рождения девочки можно взять относительную частоту этого события, которая, согласно статистическим данным, приближенно равна 0,485.

Неравенство Чебышева (7.2) для случайных величин

принимает вид

где p i - вероятность события А в i- м испытании.

Пример 7.2. Вероятность наличия опечатки на одной странице рукописи равна 0,2. Оценить вероятность того, что в рукописи, содержащей 400 страниц, частость появления опечатки отличается от соответствующей вероятности по модулю меньше, чем 0,05.

Решение :

Воспользуемся формулой (7.11). В данном случае , , , . Имеем , т.е. .

Центральная предельная теорема

Центральная предельная теорема представляет собой вторую группу предельных теорем, которые устанавливают связь между законом распределения суммы случайной величины и его предельной формой - нормальным законом распределения.

Сформулируем центральную предельную теорему для случая, когда члены суммы имеют одинаковое распределение. Эта теорема чаще других используется на практике. В математической статистике выборочные случайные величины имеют одинаковые распределения, так как получены из одной и той же генеральной совокупности.

Теорема 7.5 . Пусть случайные величины независимы, одинаково распределены, имеют конечные математическое ожидание и дисперсию , . Тогда функция распределения центрированной и нормированной суммы этих случайных величин стремится при к функции распределения стандартной нормальной случайной величины.

Практика изучения случайных явлений показывает, что хотя результаты отдельных наблюдений, даже проведенных в одинаковых условиях, могут сильно отличаться, в то же время средние результаты для достаточно большого числа наблюдений устойчивы и слабо зависят от результатов отдельных наблюдений. Теоретическим обоснованием этого замечательного свойства случайных явлений является закон больших чисел . Общий смысл закона больших чисел — совместное действие большого числа случайных факторов приводит к результату, почти не зависящему от случая.

Центральная предельная теорема

Теорема Ляпунова объясняет широкое распространение нормального закона распределения и поясняет механизм его образования. Теорема позволяет утверждать, что всегда, когда случайная величина образуется в результате сложения большого числа независимых случайных величин, дисперсии которых малы по сравнению с дисперсией суммы, закон распределения этой случайной величины оказывается практически нормальным законом. А поскольку случайные величины всегда порождаются бесконечным количеством причин и чаще всего ни одна из них не имеет дисперсии, сравнимой с дисперсией самой случайной величины, то большинство встречающихся в практике случайных величин подчинено нормальному закону распределения. ()

Итак, — наиболее распространенное в природе распределение непрерывных величин. Математическим обоснованием этого факта служит центральная предельная теорема:

Сумма большого числа как угодно распределенных независимых случайных величин распределена асимптотически нормально, если только слагаемые вносят равномерно малый вклад в сумму.

Это значит, что чем больше независимых слагаемых в сумме, тем ближе закон ее распределения к нормальному. Вместо суммы часто рассматривают среднее арифметическое большого числа случайных величин, оно отличается от суммы только множителем (1/n) , поэтому его распределение также стремится к нормальному с ростом числа n суммируемых величин. Поскольку случайные величины, с которыми мы сталкиваемся, например, при измерениях, есть результат действия множества независимых факторов, понятно, почему измеряемые значения, как правило, распределены нормально.

Следствием центральной предельной теоремы является широко применяемая при решении задач теорема Муавра-Лапласа.

Дополнительные тезисы:

• Следует отметить, что центральная предельная теорема справедлива не только для непрерывных, но и для дискретных случайных величин. Практическое значение теоремы Ляпунова огромно. Опыт показывает, что закон распределения суммы независимых случайных величин, сравнимых по своему рассеиванию, достаточно быстро приближается к нормальному. Уже при числе слагаемых порядка десяти закон распределения суммы можно заменить на нормальный. Но в среднем при грубом предположении распределение считают нормальным при n>=30.

• Закон больших чисел лежит в основе различных видов страхования (страхование жизни человека на всевозможные сроки, имущества, скота, посевов и др.).

• При планировании ассортимента товаров широкого потребления учитывается спрос на них населения. В этом спросе проявляется действие закона больших чисел.

• Широко применяемый в статистике выборочный метод находит свое научное обоснование в законе больших чисел. Например, о качестве привезенной из колхоза на заготовительный пункт пшеницы судят по качеству зерен, случайно захваченных в небольшую мерку. Зерна в мерке немного по сравнению со всей партией, но во всяком случае мерку выбирают такой, чтобы зерен в ней было вполне достаточно для проявления закона больших чисел с точностью, удовлетворяющей потребности. Мы вправе принять за показатели засоренности, влажности и среднего веса зерен всей партии поступившего зерна соответствующие показатели в выборке. (

Простейший вариант Центральной предельной теоремы (ЦПТ) теории вероятностей таков.

(для одинаково распределенных слагаемых). Пусть X 1 , X 2 ,…, X n , …– независимые одинаково распределенные случайные величины с математическими ожиданиями M (X i ) = m и дисперсиями D (X i ) = , i = 1, 2,…, n ,… Тогда для любого действительного числа х существует предел

где Ф(х) – функция стандартного нормального распределения.

Эту теорему иногда называют теоремой Линдеберга-Леви .

В ряде прикладных задач не выполнено условие одинаковой распределенности. В таких случаях центральная предельная теорема обычно остается справедливой, однако на последовательность случайных величин приходится накладывать те или иные условия. Суть этих условий состоит в том, что ни одно слагаемое не должно быть доминирующим, вклад каждого слагаемого в среднее арифметическое должен быть пренебрежимо мал по сравнению с итоговой суммой. Наиболее часто используется теорема Ляпунова.

Центральная предельная теорема (для разнораспределенных слагаемых) – теорема Ляпунова . Пусть X 1 , X 2 ,…, X n , …– независимые случайные величины с математическими ожиданиями M (X i ) = m i и дисперсиями D (X i ) = , i = 1, 2,…, n ,… Пусть при некотором δ>0 у всех рассматриваемых случайных величин существуют центральные моменты порядка 2+δ и безгранично убывает «дробь Ляпунова»:

Тогда для любого действительного числа х существует предел

где Ф(х) – функция стандартного нормального распределения.

В случае одинаково распределенных случайных слагаемых

и теорема Ляпунова переходит в теорему Линдеберга-Леви.

История получения центральных предельных теорем для случайных величин растянулась на два века – от первых работ Муавра в 30-х годах 18-го века для необходимых и достаточных условий, полученных Линдебергом и Феллером в 30-х годах 20-го века.

Теорема Линдеберга-Феллера. Пусть X 1 , X 2 ,…, X n , …, – независимые случайные величины с математическими ожиданиями M (X i ) = m i и дисперсиями D (X i ) = , i = 1, 2,…, n ,… Предельное соотношение (1), т.е. центральная предельная теорема, выполнено тогда и только тогда, когда при любом τ>0

где F k (x ) обозначает функцию распределения случайной величины X k .

Доказательства перечисленных вариантов центральной предельной теоремы для случайных величин можно найти в классическом курсе теории вероятностей .

Для прикладной статистики и, в частности, для нечисловой статистики большое значение имеет многомерная центральная предельная теорема. В ней речь идет не о сумме случайных величин, а о сумме случайных векторов.

Необходимое и достаточное условие многомерной сходимости . Пусть F n обозначает совместную функцию распределения k -мерного случайного вектора , n = 1,2,…, и F λn . Необходимое и достаточное условие для сходимости F n к некоторой k -мерной функции распределения F состоит в том, что F λn имеет предел для любого вектора λ.

Приведенная теорема ценна тем, что сходимость векторов сводит к сходимости линейных комбинаций их координат, т.е. к сходимости обычных случайных величин, рассмотренных ранее. Однако она не дает возможности непосредственно указать предельное распределение. Это можно сделать с помощью следующей теоремы.

Теорема о многомерной сходимости. Пусть F n и F λn – те же, что в предыдущей теореме. Пусть F - совместная функция распределения k -мерного случайного вектора . Если функция распределения F λn сходится при росте объема выборки к функции распределения F λ для любого вектора λ, где F λ – функция распределения линейной комбинации , то F n сходится к F .

Здесь сходимость F n к F означает, что для любого k -мерного вектора такого, что функция распределения F непрерывна в , числовая последовательность F n сходится при росте n к числу F . Другими словами, сходимость функций распределения понимается ровно также, как при обсуждении предельных теорем для случайных величин выше. Приведем многомерный аналог этих теорем.

Многомерная центральная предельная теорема . Рассмотрим независимые одинаково распределенные k -мерные случайные вектора

где штрих обозначает операцию транспонирования вектора. Предположим, что случайные вектора U n имеют моменты первого и второго порядка, т.е.

М (U n ) = μ, D (U n ) = Σ,

где μ – вектор математических ожиданий координат случайного вектора, Σ – его ковариационная матрица. Введем последовательность средних арифметических случайных векторов:

Тогда случайный вектор имеет асимптотическое k -мерное нормальное распределение , т.е. он асимптотически распределен так же, как k -мерная нормальная величина с нулевым математическим ожиданием, ковариационной Σ и плотностью

Здесь |Σ| - определитель матрицы Σ. Другими словами, распределение случайного вектора сходится к k -мерному нормальному распределению с нулевым математическим ожиданием и ковариационной матрицей Σ.

Напомним, что многомерным нормальным распределением с математическим ожиданием μ и ковариационной матрицей Σ называется распределение, имеющее плотность

Многомерная центральная предельная теорема показывает, что распределения сумм независимых одинаково распределенных случайных векторов при большом числе слагаемых хорошо приближаются с помощью нормальных распределений, имеющих такие же первые два момента (вектор математических ожиданий координат случайного вектора и его корреляционную матрицу), как и исходные вектора. От одинаковой распределенности можно отказаться, но это потребует некоторого усложнения символики. В целом из теоремы о многомерной сходимости вытекает, что многомерный случай ничем принципиально не отличается от одномерного.

Пример. Пусть X 1 , … X n ,…– независимые одинаково распределенные случайные величины. Рассмотрим k -мерные независимые одинаково распределенные случайные вектора

Их математическое ожидание – вектор теоретических начальных моментов, а ковариационная матрица составлена из соответствующих центральных моментов. Тогда - вектор выборочных центральных моментов. Многомерная центральная предельная теорема утверждает, что имеет асимптотически нормальное распределение. Как вытекает из теорем о наследовании сходимости и о линеаризации (см. ниже), из распределения можно вывести распределения различных функций от выборочных начальных моментов. А поскольку центральные моменты выражаются через начальные моменты, то аналогичное утверждение верно и для них.