Lecture
Это окончание невероятной информации про дисперсионный анализ.
...
Winer, 1962), and here they will not be discussed in detail. Note that Latin squares are non-complete plans, in which not all combinations of levels of factors are involved. For example, driver 1 drives a car 1 only with additive A, driver 3 drives a car 1 only with additive C. The additive factor levels (A, B, C and D) are inserted into the cells of the car table x driver like eggs in the slots. This mnemonic rule is useful for understanding the nature of cluster plans. The Dispersion Analysis module provides simple ways to analyze plans of this type.
Note that the analysis of plans of this type is possible in some other modules of the STATISTICA system. For details, see the section Analysis Analysis Method. In particular, the module Dispersion Components and Mixed Models ANOVA / ANCOVA It is very effective when analyzing plans with unbalanced nesting (i.e., when nested factors have a different number of levels with different levels of factors in which they are nested), very large nested plans (for example, with a total number of levels over 200) or hierarchically nested plans ( containing or not containing random factors).
| To the begining |
Covariance analysis (ANCOVA)
main idea
In the Basic Ideas section, the idea of managing factors was briefly discussed, and how the inclusion of additive factors reduces the residual sum of squares and increases the statistical power of the plan. All this can be extended to variables with a continuous set of values. When such continuous variables are included in the plan as factors, they are called covariates .
To view other sections of the Introductory Overview, select the appropriate title below.
See also analysis of variance , dispersion components and mixed models ANOVA / ANCOVA and Experiment Planning .
Fixed covariates
Suppose we compare the mathematical skills of two groups of students who were trained in two different textbooks. Suppose also that there is additional data on the IQ of each student. It can be assumed that IQ is related to math skills, and use this information. For each of the two groups of students, it is possible to calculate the correlation coefficient between IQ and math skills (see Basic Statistics and Tables). Using this correlation coefficient, it is possible to distinguish the proportion of dispersion in groups, explained by IQ and the unexplained share of dispersion (see also Elementary Concepts of Statistics and Basic Statistics and Tables). The remaining proportion of the variance is used in the analysis as the variance of the error. If there is a correlation between IQ and math skills, then the variance of SS / (n-1) error can be significantly reduced.
The influence of covariates on the F criterion. F criterion assesses the statistical significance of the difference between the means in groups, and the ratio of intergroup variance ( MS error ) to error variance ( MS error ) is calculated. If the MS error decreases, for example, when factor IQ is taken into account, the value of F increases.
Many covariates. The arguments used above for one covariates (IQ) easily apply to several covariates. For example, besides IQ, you can include the measurement of motivation, spatial thinking, etc. Instead of the usual correlation coefficient, the multiple correlation coefficient is used (see the Multiple Regression section).
When the value of the F- criterion decreases. Sometimes the introduction of covariates into an experimental design reduces the value of the F- criterion . This usually indicates that covariates are correlated not only with the dependent variable (for example, mathematical skills), but also with factors (for example, with different textbooks). Suppose that IQ is measured at the end of a semester, after almost a year of training for two groups of students in two different textbooks. Although students were divided into groups at random, it may turn out that the difference in textbooks is so great that both IQ and math skills in different groups will vary greatly. In this case, covariates not only reduce the variance of errors, but also the intergroup variance. In other words, after controlling the difference in IQ in different groups, the difference in mathematical skills will already be insignificant. The same idea can be expressed in a different way: after the "exclusion" of the influence of IQ, the influence of a textbook on the development of mathematical skills is unintentionally excluded.
Adjusted averages. When the covariate affects the intergroup factor, the adjusted averages should be calculated, i.e. such averages, which are obtained after removing all the covariate estimates.
The interaction between covariates and factors. Just as the interaction between factors is investigated, interactions between covariates and groups of factors can be investigated. Suppose that one of the textbooks is particularly suitable for smart students. The second textbook for smart students is bored, and for less intelligent students the same textbook is difficult. As a result, there is a positive correlation between IQ and the result of training in the first group (smarter students, better result) and zero or small negative correlation in the second group (the smarter the student, the less likely the acquisition of mathematical skills from the second textbook). In some studies, this situation is discussed as an example of a violation of the assumptions of covariance analysis (see Assumptions and the consequences of their violation). However, since the dispersion analysis module uses the most common methods of covariance analysis, it is possible in particular to estimate the statistical significance of the interaction between factors and covariates.
Variable covariates
While fixed covariates are often discussed in textbooks, variable covariates are mentioned much less frequently. Usually, when conducting experiments with repeated measurements, we are interested in the differences in measurements of the same quantities at different points in time. Namely, we are interested in the significance of these differences. If covariates are measured simultaneously with measurements of dependent variables, the correlation between the covariate and the dependent variable can be calculated. For example, you can study mathematics interest and math skills at the beginning and end of a semester. It would be interesting to check whether the changes in the interest in mathematics correlated with the change in mathematical skills. The Variance Analysis module in STATISTICA automatically assesses the statistical significance of the change in covariates in those plans where this is possible.
| To the begining |
Multidimensional plans: Multidimensional variance and covariance analysis
To view other overview sections, select the appropriate title below.
See also analysis of variance, dispersion components and mixed models ANOVA / ANCOVA and Experiment Planning.
Intergroup plans
All examples considered earlier included only one dependent variable. When there are several dependent variables at the same time, only the complexity of the calculations increases, and the content and basic principles do not change. For example, two different textbooks are being studied. At the same time, students' success in studying physics and mathematics is being studied. In this case, there are two dependent variables and you need to find out how two different textbooks affect them simultaneously. To do this, you can use multidimensional analysis of variance (MANOVA). Instead of a one-dimensional F criterion, a multi-dimensional F criterion ( Wilks lambda criterion ) is used, based on a comparison of the error covariance matrix and the intergroup covariance matrix. If the dependent variables are correlated with each other, then this correlation should be taken into account when calculating the significance criterion. Obviously, if the same measurement is repeated twice, then nothing new can be obtained. If a dimension correlated with it is added to an existing measurement, then some new information is obtained, but the new variable contains redundant information, which is reflected in the covariance between the variables.
Interpretation of results. If the general multidimensional criterion is significant, we can conclude that the corresponding effect (for example, the type of textbook) is significant. However, the following questions arise. Does the type of textbook affect the improvement of only mathematical skills, only physical skills, or at the same time the improvement of those and other skills. In fact, after obtaining a meaningful multidimensional criterion, one-dimensional F-criteria are investigated for an individual main effect or interaction. In other words, the dependent variables that contribute to the significance of the multi-dimensional criterion are examined separately.
Re-measurement plans
Если измеряются математические и физические навыки студентов в начале семестра и в конце семестра, то это и есть повторные измерения. Изучение критерия значимости в таких планах это логическое развитие одномерного случая. Заметим, что методы многомерного дисперсионного анализа обычно также используются для исследования значимости одномерных факторов повторных измерений, имеющих более чем два уровня. Соответствующие применения будут рассмотрены позднее в этой части.
Суммы значений переменной и дисперсионный анализ
Даже опытные пользователи одномерного и многомерного дисперсионного анализа часто приходят в затруднение, получая разные результаты при применении многомерного дисперсионного анализа, например, для трех переменных, и при применении одномерного дисперсионного анализа к сумме этих трех переменных, как к одной переменной. Идея суммирования переменных состоит в том, что каждая переменная содержит в себе некоторую истинную переменную, которая и исследуется, а также случайную ошибку измерения. Поэтому при усреднении значений переменных, ошибка измерения будет ближе к 0 для всех измерений и усредненное значений будет более надежным. На самом деле, в этом случае применение дисперсионного анализа к сумме переменных разумно и является мощным методом. Однако, если зависимые переменные по своей природе многомерны, то суммирование неуместно. Например, пусть зависимые переменные состоят из четырех показателей успеха в обществе . Каждый показатель характеризует совершенно независимую сторону человеческой деятельности (например, профессиональный успех, преуспевание в бизнесе, семейное благополучие и т.д.). Сложение этих переменных подобно сложению яблока и апельсина. Сумма этих переменных не будет подходящим одномерным показателем. Поэтому с такими данными нужно обходится как с многомерными показателями в многомерном дисперсионном анализе .
| To the begining |
Анализ контрастов и апостериорные критерии
Для просмотра других обзорных разделов выберите соответствующее название ниже.
См. также Методы дисперсионного анализа, Компоненты дисперсии и смешанные модели ANOVA/ANCOVA и Планирование эксперимента.
Почему сравниваются отдельные множества средних?
Обычно гипотезы относительно экспериментальных данных формулируются не просто в терминах главных эффектов или взаимодействий. Примером может служить такая гипотеза: некоторый учебник повышает математические навыки только у студентов мужского пола, в то время как другой учебник примерно одинаково эффективен для обоих полов, но все же менее эффективен для мужчин. Можно предсказать, что эффективность учебника взаимодействует с полом студента. Однако этот прогноз касается также природы взаимодействия. Ожидается значительное различие между полами, обучающимися по одной книге, и практически не зависимые от пола результаты для обучающихся по другой книге. Такой тип гипотез обычно исследуется с помощью анализа контрастов.
Анализ контрастов
Если говорить коротко, то анализ контрастов позволяет оценивать статистическую значимость некоторых линейных комбинаций факторов сложного плана. Анализ контрастов главный и обязательный элемент любого сложного плана дисперсионного анализа. Модуль Дисперсионный анализ имеет достаточно разнообразные возможности анализа контрастов, которые позволяют выделять и анализировать любые типы сравнений средних (способы задания контрастов описаны в разделе Примечания).
Апостериорные критерии
Иногда в результате обработки эксперимента обнаруживаются неожиданные различия в средних. Хотя в большинстве случаев творческий исследователь сможет объяснить эти различия, ему сложно провести дальнейший анализ. Эта проблема является одной из тех, для которых используются апостериорные критерии , то есть критерии, не использующие априорные гипотезы. Для иллюстрации рассмотрим следующий эксперимент. Предположим, что на 100 карточках записаны числа от 1 до 10. Опустив все эти карточки в шапку, мы случайным образом выбираем 20 раз по 5 карточек, и вычисляем для каждой выборки среднее значение (среднее чисел, записанных на карточки). Можно ли ожидать, что найдется две выборки, у которых средние значения значимо отличаются? Это очень правдоподобно! Выбирая две выборки с максимальным и минимальным средним, можно получить разность средних значений, сильно отличающуюся от разности средних значений, например, первых двух выборок. Эту разность можно исследовать, например, с помощью анализа контрастов. Если не вдаваться в детали, то существует несколько, так называемых апостериорных критериев, которые основаны в точности на первом сценарии (взятие экстремальных средних из 20 выборок), т. е. эти критерии основаны на выборе наиболее отличающихся средних для сравнения всех средних значений в плане. Модуль Дисперсионный анализ предлагает широкий выбор таких критериев. Когда в эксперименте встречаются неожиданные результаты, то используются апостериорные процедуры для исследования их статистической значимости.
| To the begining |
Предположения и последствия их нарушения
Для просмотра других обзорных разделов выберите соответствующее название ниже.
См. также Методы дисперсионного анализа, Компоненты дисперсии и смешанные модели ANOVA/ANCOVA и Планирование эксперимента.
Нормальность распределения
Предположения. Имеются следующие предположения дисперсионного анализа: зависимая переменная измерена в интервальной шкале (см. раздел Элементарные понятия статистики ); зависимая переменная имеет нормальное распределение внутри каждой группы. Модуль Дисперсионный анализ содержит широкий набор графиков и статистик для проверки этих предположений.
Эффекты нарушения. Вообще F -критерий очень устойчив к отклонению от нормальности (подробнее см. Lindman, 1974). Если эксцесс (см. Основные статистики и таблицы ) больше 0, то значение статистики F может стать очень маленьким. Нулевая гипотеза при этом не может быть отвергнута, хотя она и не верна. Ситуация меняется на противоположную, если эксцесс меньше 0. Асимметрия распределения обычно незначительно влияет на F статистику. Если число наблюдений в ячейке достаточно большое, то отклонение от нормальности не имеет особого значения в силу центральной предельной теоремы , в соответствии с которой, распределение среднего значения при большом объеме выборки близко к нормальному, независимо от начального распределения. Подробное обсуждение устойчивости F статистики можно найти в Box and Anderson (1955) или Lindman (1974).
Однородность дисперсии
Предположения. Предполагается, что дисперсии в разных группах одинаковы. Это предположение называется предположением об однородности дисперсии. Напомним, что в предыдущих разделах описывая вычисление суммы квадратов ошибок мы производили суммирование внутри каждой группы. Если дисперсии в двух группах отличаются друг от друга, то сложение их не естественно и не дает верной оценки общей внутригрупповой дисперсии (так как в этом случае общей дисперсии вообще не существует). Модуль Дисперсионный анализ -ANOVA/MANOVA содержит большой набор статистических критериев, позволяющих обнаружить неоднородность дисперсии.
Эффекты нарушения. Линдман (Lindman 1974, стр. 33) показывает, что F критерий вполне устойчив относительно нарушения предположений однородности дисперсии (см. также Box, 1954a, 1954b; Hsu, 1938).
Специальный случай: коррелированность средних и дисперсий. Бывают случаи, когда F статистика может вводить в заблуждение. Это бывает, когда в ячейках плана средние значения коррелированы с дисперсией. Модуль Дисперсионный анализ позволяет строить диаграммы рассеяния дисперсии или стандартного отклонения относительно средних для обнаружения такой корреляции. Причина, по которой такая корреляция опасна, состоит в следующем. Представим себе, что имеется 8 ячеек в плане, 7 из которых имеют почти одинаковое среднее, а в одной ячейке среднее намного больше остальных. Тогда F критерий может обнаружить статистически значимый эффект. Но предположим, что в ячейке с большим средним значением и дисперсия значительно больше остальных, т.е. среднее значение и дисперсия в ячейках зависимы (чем больше среднее, тем больше дисперсия). В этом случае большое среднее значение ненадежно, так как оно может быть вызвано большой дисперсией данных. Однако F статистика, основанная на объединенной дисперсии внутри ячеек, будет фиксировать большое среднее, хотя критерии, основанные на дисперсии в каждой ячейке не все различия в средних будут считать значимыми.
Такой характер данных (большое среднее и большая дисперсия) часто встречается, когда имеются резко выделяющиеся наблюдения. Одно или два резко выделяющихся наблюдений сильно смещают среднее значение и очень увеличивают дисперсию.
Однородность дисперсии и ковариаций
Предположения. В многомерных планах, с многомерными зависимыми измерениями, также применяются предположение об однородности дисперсии, описанные ранее. Однако так как существуют многомерные зависимые переменные, то требуется так же чтобы их взаимные корреляции (ковариации) были однородны по всем ячейкам плана. Модуль Дисперсионный анализ предлагает разные способы проверки этих предположений.
Эффекты нарушения. Многомерным аналогом F- критерия является лямбда-критерий Уилкса. Не так много известно об устойчивости (робастности) лямбда-критерия Уилкса относительно нарушения указанных выше предположений. Тем не менее, так как интерпретация результатов модуля Дисперсионный анализ основывается обычно на значимости одномерных эффектов (после установления значимости общего критерия), обсуждение робастности касается, в основном, одномерного дисперсионного анализа. Поэтому должна быть внимательно исследована значимость одномерных эффектов.
Специальный случай:ковариационный анализ. Особенно серьезные нарушения однородности дисперсии/ковариаций могут происходить, когда в план включаются ковариаты. В частности, если корреляция между ковариатами и зависимыми измерениями различна в разных ячейках плана, может последовать неверное истолкование результатов. Следует помнить, что в ковариационном анализе, в сущности, проводится регрессионный анализ внутри каждой ячейки для того, чтобы выделить ту часть дисперсии, которая соответствует ковариате. Предположение об однородности дисперсии/ковариации предполагает, что этот регрессионный анализ проводится при следующем ограничении: все регрессионные уравнения (наклоны) для всех ячеек одинаковы. Если это не выполняется, могут появиться большие ошибки. Модуль Дисперсионный анализ имеет несколько специальных критериев для проверки этого предположения. Можно посоветовать использовать эти критерии, для того, чтобы убедиться, что регрессионные уравнения для различных ячеек примерно одинаковы.
Сферичность и сложная симметрия
Причины использования многомерного подхода к повторным измерениям в дисперсионном анализе. В планах, содержащих факторы повторных измерений с более чем двумя уровнями, применение одномерного дисперсионного анализа требует дополнительных предположений: предположения о сложной симметрии и о сферичности . Эти предположения редко выполняются (см. ниже). Поэтому в последние годы многомерный дисперсионный анализ завоевал популярность в таких планах (оба подхода совмещены в модуле Дисперсионный анализ ). Предположение о сложной симметрии состоит в том, что дисперсии (общие внутригрупповые) и ковариации (внутри групп) для различных повторных измерений однородны (одинаковы). Это достаточное условие для того, чтобы одномерный F критерий для повторных измерений был обоснованным (т.е. выданные F-значения в среднем соответствовали F -распределению). Однако, в данном случае, это не условие не является необходимым. Условие сферичности является необходимым и достаточным условием для обоснованного применения F-критерия. Смысл условия состоит в том, что внутри групп все наблюдения должны быть независимы и одинаково распределены. Природа этих предположений, а также влияние их нарушений обычно не очень хорошо описаны в книгах по дисперсионному анализу. Мы даем это описание в следующих параграфах. Там же будет показано, что результаты одномерного подхода могут отличаться от результатов многомерного подхода, и будет объяснено, что это означает.
Необходимость независимости гипотез. Общий способ анализа данных в дисперсионном анализе - это подгонка модели . Если относительно модели, соответствующей данным, имеются некоторые априорные гипотезы, то дисперсия разбивается для проверки этих гипотез (проверка главных эффектов, взаимодействий). С вычислительной точки зрения этот подход строит некоторое множество контрастов (множество сравнений средних в плане). Однако если контрасты не независимы друг от друга, то разбиение дисперсии на компоненты не имеет смысла. Например, если два контраста A и B тождественны, то соответственная им компонента дисперсии выделяется дважды. Например, глупо и бессмысленно выделять две гипотезы: "среднее в ячейке 1 выше среднего в ячейке 2" и "среднее в ячейке 1 выше среднего в ячейке 2". Итак, гипотезы должны быть независимы или ортогональны (термин ортогональность впервые использован в работе Yates, 1933).
Независимые гипотезы при повторных измерениях. Общий алгоритм, реализованный в модуле Дисперсионный анализ , будет пытаться для каждого эффекта генерировать независимые (ортогональные) контрасты (см. раздел Технические замечания руководства пользователя). Для фактора повторных измерений эти контрасты задают множество гипотез относительно разностей между уровнями рассматриваемого фактора. Однако если эти разности коррелированы внутри групп, то результирующие контрасты не являются больше независимыми. Например, в обучении, где обучающиеся измеряются три раза за один семестр, может случиться, что изменения между 1 и 2 измерением отрицательно коррелируют с изменением между 2 и 3 измерениями субъектов. Те, кто большую часть материала освоил между 1 и 2 измерениями, осваивают меньшую часть в течение того времени, которое прошло между 2 и 3 измерением. В действительности, для большинства случаев, где дисперсионный анализ используются при повторных измерениях, можно предположить, что изменения по уровням коррелированы по субъектам. Однако когда это происходит, предположение о сложной симметрии и сферичности не выполняются и независимые контрасты не могут быть вычислены.
Влияние нарушений и способы их исправления. Когда предположения о сложной симметрии или о сферичности не выполняются, дисперсионный анализ может выдать ошибочные результаты. До того, как были достаточно разработаны многомерные процедуры, было предложено несколько предположений для компенсации нарушений этих предположений. (См., например, работы Greenhouse & Geisser, 1959 и Huynh & Feldt, 1970). Эти методы до сих пор широко используются (поэтому они представлены в модуле Дисперсионный анализ ).
Подход многомерного дисперсионного анализа к повторным измерениям. В целом проблемы сложной симметрии и сферичности относятся к тому факту, что множества контрастов, включенных в исследование эффектов факторов повторных измерений (с числом уровней больше двух) не независимы друг от друга. Однако им не обязательно быть независимыми, если используется многомерный критерий для одновременной проверки статистического значимости двух или более контрастов фактора повторных измерений. Это является причиной того, что методы многомерного дисперсионного анализа стали чаще использоваться для проверки значимости факторов одномерных повторных измерений с более чем 2 уровнями. Этот подход широко распространен, так как он, в общем случае, не требует предположения о сложной симметрии и предположения о сферичности.
Случаи, в которых подход многомерного дисперсионного анализа не может быть использован. Существуют примеры (планы), когда подход многомерного дисперсионного анализа не может быть применен. Обычно это случаи, когда имеется небольшое количество субъектов в плане и много уровней в факторе повторных измерений. Тогда для проведения многомерного анализа может быть слишком мало наблюдений. Например, если имеется 12 субъектов, p = 4 фактора повторных измерений, и каждый фактор имеет k = 3 уровней. Тогда взаимодействие 4-х факторов будет "расходовать" (k-1)p = 24 = 16 степеней свободы. Однако имеется лишь 12 субъектов, следовательно, в этом примере многомерный тест не может быть проведен. Модуль Дисперсионный анализ самостоятельно обнаружит эти наблюдения и вычислит только одномерные критерии.
Различия в одномерных и многомерных результатах. Если исследование включает большое количество повторных измерений, могут возникнуть случаи, когда одномерный подход дисперсионного анализа к повторным измерениям дает результаты, сильно отличающиеся от тех, которые были получены при многомерном подходе. Это означает, что разности между уровнями соответствующих повторных измерений коррелированы по субъектам. Иногда этот факт представляет некоторый самостоятельный интерес.
Методы дисперсионного анализа
Методы дисперсионного анализа обсуждаются в нескольких разделах этого учебника. Хотя многие из доступных статистических методов описываются одновременно в нескольких главах, каждый из них наиболее удобен при работе в определенной области приложений.
Диспресионный анализ: Эта глава включает обзор полнофакторных планов, планов с повторными измерениями, планов многомерного дисперсионного и ковариационного анализа (MANOVA), планов с балансированной вложенностью (планы бывают не сбалансированными, т.е. имеющими различные размеры выборок n при некоторых испытаниях), а также описание оцениванияспланированных и апостериорных сравнений и мн. others
Компоненты дисперсии и смешанная модель ANCOVA: Эта глава включает обсуждение экспериментов со случайными эффектами (смешанная модель дисперсионного анализ), оцениваниекомпонент дисперсии для случайных эффектов, планов с большими главными эффектами (например, с факторами, имеющими более 100 уровней) с/без случайных эффектов, а также в случае планов с большим числом факторов, когда необходимо оценить все взаимодействия.
Планирование эксперимента: Эта глава включает обсуждение стандартных экспериментальных планов, используемых в промышленных/производственных приложениях, включая 2**(kp) и3**(kp) планы, центральные композиционные и нефакторные планы, планы для смесей, D- и A-оптимальные планы, а также планы для произвольных ограниченных областей значений экспериментальных данных.
Анализ повторяемости и воспроизводимости (в главе Анализ процессов ): Этот раздел главы Анализ процессов включает обсуждение планов специального вида, используемых для оценивания надежности и точности измерительных устройств; Эти планы обычно включают два или три случайных фактора и набор специализированных статистик, позволяющих оценить качество измерительной системы (обычно в промышленных/производственных приложениях).
Таблицы группировки (в главе Основные статистики и таблицы): Эта глава включает обсуждение экспериментов, одного (многоуровневого) или нескольких (любых) факторов в случаях, когда не требуется проведение полного дисперсионного анализа.
| To the begining |
Часть 1 Variance analysis
Часть 2 - Variance analysis
Comments
To leave a comment
Probability theory. Mathematical Statistics and Stochastic Analysis
Terms: Probability theory. Mathematical Statistics and Stochastic Analysis