Week 7

Make the error and quality analysis. Finalise the computational experiment.

Формальный результат:

1. график с анализом ошибки (например, кривая обучения или зависимость точности от сложности и дисперсия функции ошибки)
2. таблица сравнения моделей (пусть даже не до конц заполненная)

E: Error analysis

Запустить базовый эксперимент, проанализировать его результаты.

Цель анализа

Построить таблицу сравнения различных моделей на нескольких выборках согласно набору критериев качества. Таблица модели-выборки-критерии и нарисовать зависимость функции потерь или критерия качества от влияющих на эту функцию факторов. Например, от сложности модели, от шага итерации оптимизации, от дисперсии параметров.

Анализ ошибки в вычислительных экспериментах — это анализ изменения значений функции ошибки при изменении состава выборки (или при других изменениях условий эксплуатации модели).

Начальные требования для анализа

1. Поставлена задача оптимизации параметров.
2. Задана стратегия разбиения скользящего контроля.
3. Задан набор внешних (эксплуатационных) критериев качества модели.
4. Для набора разбиений получен
   • набор значений векторов оптимальных параметров,
   • набор значений функции ошибки на обучении и на контроле.
5. Получен набор значений внешних критериев на обучении и контроле.

Анализ ошибки содержит следующие базовые статистические тесты].

1. Анализ состава выборки:
   1. анализ простоты выборки по отдельным признакам (гистограммы признаков),
   2. анализ мультикоррелированности признаков, в частности анализ ковариационных матриц (вычисление коэффициента детерминации <tex>R^2</tex>, фактора инфляции дисперсии VIF, визуализация результатов метода Белсли, в частности, при изменении состава признаков, факторного анализа),
   3. тест наличия выбросов в выборке (визуализация изменения функции ошибки при исключении выбросов),
   4. тест наличия мультимоделей (снижение ошибки при, например, использовании стратегии бустинга)
   5. оценка необходимой мощности выборки (по оси абсцисс — число объектов, по оси ординат — ошибка на обучении и ее стандартное отклонение),
   6. оценка необходимого числа признаков (по оси абсцисс — последовательно добавляемые признаки; признаки добавляются, например, по убыванию скорости изменения ошибки — т. н. ускорение и торможение ошибки)).
2. Анализ дисперсии параметров и функции ошибки
   1. анализ стандартного отклонения функции ошибки (внутреннего критерия) и внешних критериев (в частности, визуализация ROC — обучение и контроль на каждом из разбиений),
   2. анализ изменения функции ошибки на итерациях оптимизации (ось абсцисс — итерации, ось ординат функция ошибки на обучении, контроле и ее стандартное отклонение),
   3. анализ изменения параметров и гиперпараметров модели (по оси абсцисс — итерации, по оси ординат — набор параметров, лапша и их стандартные отклонения или гипер-параметры),
   4. анализ изменения параметров и функций ошибки при изменении структурных параметров или регуляризаторов (они по оси абсцисс, по оси ординат — не забываем о стандартном отклонении, получаемом скользящим контролем).
3. Сложность алгоритма оптимизации функции ошибки в зависимости от объема выборки
   1. теоретическая,
   2. эмпирическая,
   3. аппроксимация эмпирической функции теоретической (по оси абсцисс — объем выборки, число признаков, число кластеров).
4. Анализ свойств модели с помощью внешних критериев, учет возможных ограничений на параметры и структуру модели
   1. построение парето-оптимального фронта множества моделей, из которых производится выбор.

Resources

• [Video for week 7].
• [Slides for week 7].

1. Критерии качества линейных моделей раз, два.
2. Коллекция графиков, ассорти[1].
3. 11 Important Model Evaluation Techniques Everyone Should Know (datacentral)[2].
4. How Bayesian Inference Works (datacentral)[3].