Метод максимального правдоподобия точечной оценки неизвестных параметров вероятностных распределений

Метод максимального или наибольшего правдоподобия предложен Р. Фишером [6, 13]. С помощью этого метода производится точечная оценка неизвестных параметров априорно известного закона распределения случайной величины.

Рассмотрим сначала суть метода при оценке параметров дискретного распределения случайной величины [6].

Обозначим вероятность того, что в результате испытания величина примет значение , через .

Определение. Функцией правдоподобия случайной дискретной величины называют функцию аргумента :

где — фиксированные числа, полученные при измерении случайной величины .

В качестве точечной оценки параметра принимают такое его значение , при котором функция правдоподобия достигает максимума. Оценку называют оценкой максимального правдоподобия .

Для упрощения расчетов в рассмотрение вводится логарифм функции правдоподобия , которую называют логарифмической функцией правдоподобия . Функции и достигают максимума при одном и том же значении своего аргумента, поэтому вместо отыскания максимума функции ищут максимум функции . Записывая необходимое условие экстремума функции правдоподобия в случае скалярного параметра, получаем уравнения правдоподобия

где — заданная выборка случайных величин.

Уравнение правдоподобия (7.3) с логарифмической функцией, как правило, более простое относительно функции правдоподобия (7.2).

Если распределение случайной величины зависит от вектора параметров , то уравнение (7.3) заменяется системой уравнений

Именно уравнения (7.3) и (7.4) принято называть уравнениями правдоподобия [13]. Во многих случаях решение системы (7.4), являющейся, как правило, нелинейной, приходится искать численными методами.

Рассмотрим применение метода максимального правдоподобия для оценки параметров непрерывного распределения случайных величин генеральной совокупности .

Пусть — непрерывная случайная величина , которая в результате испытаний приняла значения . Предполагается, что вид плотности распределения задан, но неизвестен параметр , которым определяется эта функция .

Определение. Функцией правдоподобия непрерывной случайной величины называют функцию аргумента

где — фиксированные числа.

Оценку максимального правдоподобия неизвестного параметра распределения непрерывной случайной величины ищут так же, как в случае дискретной величины.

Замечание. Если плотность распределения непрерывной случайной величины определяется двумя неизвестными параметрами и , то функция правдоподобия является функцией двух независимых аргументов и :

Как для дискретных распределений, так и для непрерывных точку максимума логарифмической функции распределения аргумента можно искать через необходимое условие экстремума :

1. найти производную ;
2. приравнять производную нулю и найти критическую точку — корень полученного уравнения (его называют уравнением правдоподобия);
3. найти вторую производную ; если вторая производная при отрицательна, то – точка максимума [6].

Найденную точку максимума принимают в качестве оценки максимального правдоподобия параметра .

Метод максимального правдоподобия имеет ряд достоинств: его оценки, вообще говоря, состоятельны (но они могут быть смещенными), распределены асимптотически нормально (при больших значениях приближенно нормально) и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра существует эффективная оценка , то уравнение правдоподобия имеет единственное решение ; этот метод наиболее полно использует данные выборки об оцениваемом параметре, поэтому он особенно полезен в случае малых выборок. Недостаток метода состоит в том, что он часто требует сложных вычислений.

Рассматривается пример поиска методом максимального правдоподобия оценки параметра экспоненциального распределения случайной величины, для которой функция плотности имеет вид

К характеристикам экспоненциального распределения относятся математическое ожидание и дисперсия :

Замечание. Во встроенных функциях MATLAB параметром экспоненциального распределения является математическое ожидание случайной величины.

Возможная программная реализация точечной оценки параметра экспоненциального распределения:

1. Видоизмените программу так, чтобы параметры задачи вводились в одном диалоговом окне .
2. В соответствии с номером компьютера задайте следующие значения параметра:

№ 1: ; № 2: ; № 3: ; № 4: ; № 5: ;

№ 6: ; № 7: ; № 8: ; № 9: ; № 10: .

Число прогонов программы выберите по равномерному закону из следующих интервалов (в соответствии с номером компьютера):