Ім'я файлу: Реф_складний_ніж_КН-4-5_Кіриченко.doc
Розширення: doc
Розмір: 1355кб.
Дата: 17.04.2020
скачати

МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ

НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ ХАРЧОВИХ ТЕХНОЛОГІЙ

Кафедра інформаційних систем

Реферат

з дисципліни «Управління ІТ проектами»

Метод складного ножа(Складано-ножева перевибірка)

тема до карантину

Виконав студент 4 курсу

групи КН-4-5

Кіриченко О.О.

Київ – 2020

Складано-ножева вибірка

Загальні відомості


Обчислювальна техніка дозволяє здійснити процедуру, пов'язану з незначною втратою ефективності, але значно знизити вибіркове зміщення. Таку процедуру в 1949 році запропонував М. Кенуй. Ідея полягала в тому, щоб послідовно враховувати при розгляді по одному спостереженню, обробляти всю інформацію, що залишилась, і передбачати результат в ключовій точці. Сукупність отриманих таким чином по всіх точках розбіжностей несе в собі інформацію про зсунення, якою можна скористатися. Більш того, в цих даних є ще й інформація про дисперсії, що відкриває перед процедурою нові перспективи. Дж. Тьюки, який брав активну участь у вдосконаленні цього методу, назвав його методом складного ножа. Поняття «складаний ніж» відноситься до універсального методу, покликаного замінити частні методики, які не завжди придатні, подібно до бойскаутського ножа, що «годиться на всі випадки життя ».

Нехай дана вибірка. У ймовірносно-статистичній теорії припускаємо, що це - набір незалежних однаково розподілених випадкових величин. Нехай економетрика цікавить деяка статистика Як вивчити її властивості? Ідея, яку запропонував в 1949 р М. Кенуй (це і є "метод складного ножа") полягає в тому, щоб з однієї вибірки зробити багато, виключаючи по одному спостереженню (і повертаючи раніше виключені).

У 1959 р Дж. Дарбін поширив цей метод на кінцеві вибірки. У 1972 р X. Грей і У. Шукані узагальнили його, а в 1974 р Р. Міллер систематизував накопичені на той час результати.

У перекладах цей метод називали по-різному: метод Кену, поправка на зміщення, метод розщеплення і т.п ..

Фахівці з розпізнавання образів незалежно від досліджень статистиків, що призвели до методу складного ножа (правда, пізніше, ніж вони), прийшли до тих же результатів. Адже і в розпізнаванні шкода використовувати експериментальні точки занадто марнотратно. Одне з перших таких пропозицій зробив М.Н. Вайнцвайг в 1968 р .. Воно отримало назву «ковзний контроль». У 1969 р була доведена Незміщеність одержуваних таким чином оцінок.

Оцінка


Складано-ножеву оцінку параметру для знаходження його попередньо невідомого значення можна знаходити оцінкою цього параметру для кожної з підвибірок за винятком i-того спостереження.

Оцінка дисперсії


Із застосуванням складано-ножевої методики можна обчислювати оцінку дисперсії оцінки параметру.




- є оцінкою параметру на основі виключення i-того спостереження.

Оцінка та виправлення зсуву


Складано-ножеву методику можна застосовувати для оцінювання зсуву оцінки, розрахованої над усією вибіркою.

Скажімо,θ^ є обчисленою оцінкою досліджуваного параметру на основі всіх n {\displaystyle {n}}спостережень. Нехай



де θ^(i) {\displaystyle {\hat {\theta }}_{\mathrm {(i)} }} є досліджуваною оцінкою на основі вибірки з усуненим i-тим спостереженням, а {\displaystyle {\hat {\theta }}_{\mathrm {(.)} }} θ^(.) є усередненням цих оцінок «за виключенням одного». Складано-ножева оцінка зсуву оцінки {\displaystyle {\hat {\theta }}} θ^ задається як



а результатна складано-ножева оцінка  θ {\displaystyle \theta }з виправленим зсувом задається як



Це усуває зсув в особливому випадку, коли зсув є O(N-1{\displaystyle O(N^{-1})} , і до {\displaystyle O(N^{-2})}O(N-2) в інших випадках.

Це забезпечує оцінку виправлення зсуву, спричиненого методом оцінки. Зсунуту вибірку складано-ножева методика не виправляє.


Приклади


Приклад 1.

jackknife

Выборка складного ножа
Синтаксис

jackstat = jackknife(jackfun,X)

jackstat = jackknife(jackfun,X,Y,...)

jackstat = jackknife(jackfun,...,'Options',option)
Описание

jackstat = jackknife(jackfun,X) чертит выборки данных о складном ноже от n- p массив данных X, вычисляет статистику по каждой выборке с помощью функционального jackfun, и возвращает результаты в матричном jackstat. jackknife отношения каждая строка X как одна выборка данных, таким образом, существует n выборки данных. Каждый n строки jackstat содержит результаты применения jackfun к одной выборке складного ножа. jackfun указатель на функцию, заданный с @. Строка i из jackstat содержит результаты для выборки, состоящей из X с iстрока th не использовала:
s = x;

s(i,:) = [];

jackstat(i,:) = jackfun(s);
Если jackfun возвращает матрицу или массив, затем этот выход преобразован в вектор-строку для устройства хранения данных в jackstat. Если X вектор-строка, он преобразован в вектор-столбец.

jackstat = jackknife(jackfun,X,Y,...) принимает, что дополнительные аргументы предоставляются как входные параметры jackfun. Они могут быть скалярами, вектор-столбцами или матрицами. jackknife создает каждую выборку складного ножа путем выборки с заменой из строк нескалярных аргументов данных (они должны иметь одинаковое число строк). Скалярные данные передаются jackfun неизменный. Нескалярные аргументы должны иметь одинаковое число строк, и каждая выборка складного ножа не использует ту же строку от этих аргументов.
jackstat = jackknife(jackfun,...,'Options',option) предоставляет возможность выполнять итерации складного ножа параллельно, если Parallel Computing Toolbox™ доступен. Установка опций как структура вы создаете с statset. jackknife использует следующее поле в структуре:
'UseParallel'

Если true, используйте несколько процессоров, чтобы вычислить итерации складного ножа. Если Parallel Computing Toolbox не установлен, то вычисление происходит в последовательном режиме. Значением по умолчанию является false, значение последовательного вычисления.
Примеры

Оцените смещение средства оценки отклонения MLE случайных выборок, взятых из векторного y использование jackknife. Смещение имеет известную формулу в этой проблеме, таким образом, можно сравнить jackknife значение к этой формуле.
sigma = 5;

y = normrnd(0,sigma,100,1);

m = jackknife(@var,y,1);

n = length(y);

bias = -sigma^2/n % known bias formula

jbias = (n-1)*(mean(m)-var(y,1)) % jackknife bias estimate
bias =

-0.2500
jbias =

-0.3378

Приклад 2.

jackstat(i) = E(x(1 : i - 1, i + 1 : length(x)))

Depending on the number of samples to be used, the estimator must have the appropriate form: If only one sample is used, then the estimator need not be concerned with cell arrays, for example jackknifing the standard deviation of a sample can be performed with jackstat = jackknife (@std, rand (100, 1)). If, however, more than one sample is to be used, the samples must all be of equal size, and the estimator must address them as elements of a cell-array, in which they are aggregated in their order of appearance:

jackstat = jackknife(@(x) std(x{1})/var(x{2}), rand (100, 1), randn (100, 1)

If all goes well, a theoretical value P for the parameter is already known, n is the sample size, t = n * E(x) - (n - 1) * mean(jackstat), and v = sumsq(n * E(x) - (n - 1) * jackstat - t) / (n * (n - 1)), then (t-P)/sqrt(v) should follow a t-distribution with n-1 degrees of freedom.

for k = 1:1000

x=rand(10,1);

s(k)=std(x);

jackstat=jackknife(@std,x);

j(k)=10*std(x) - 9*mean(jackstat);

end

figure();hist([s',j'], 0:sqrt(1/12)/10:2*sqrt(1/12))



for k = 1:1000

x=randn(1,50);

y=rand(1,50);

jackstat=jackknife(@(x) std(x{1})/std(x{2}),y,x);

j(k)=50*std(y)/std(x) - 49*mean(jackstat);

v(k)=sumsq((50*std(y)/std(x) - 49*jackstat) - j(k)) / (50 * 49);

end

t=(j-sqrt(1/12))./sqrt(v);

figure();plot(sort(tcdf(t,49)),"-;Almost linear mapping indicates good fit with t-distribution.;")



Приклад 3.

def jackknife(x, func):

"""Jackknife estimate of the estimator func"""

n = len(x)

idx = np.arange(n)

return np.sum(func(x[idx!=i]) for i in range(n))/float(n)

# Jackknife estimate of standard deviation

x = np.random.normal(0, 2, 100)

jackknife(x, np.std)

1.9223

def jackknife_var(x, func):

"""Jackknife estiamte of the variance of the estimator func."""

n = len(x)

idx = np.arange(n)

j_est = jackknife(x, func)

return (n-1)/(n + 0.0) * np.sum((func(x[idx!=i]) - j_est)**2.0

for i in range(n))

# estimate of the variance of an estimator

jackknife_var(x, np.std)

0.0254

Джерела


  1. «Разработка проекта методики оценки показателей надежности ИРЭ на основе метода бутсреп» (https://studbooks.net/773961/ekonomika/metod_ckladnogo_nozh)

  2. https://uk.wikipedia.org/wiki/Складано-ножева_перевибірка

  3. https://docs.exponenta.ru/stats/jackknife.html

скачати

© Усі права захищені
написати до нас