Week 7

Make the error and quality analysis. Finalise the computational experiment.

Формальный результат:

1. график с анализом ошибки (например, кривая обучения или зависимость точности от сложности и дисперсия функции ошибки)
2. таблица сравнения моделей (пусть даже не до конц заполненная)

E: Error analysis

Запустить базовый эксперимент, проанализировать его результаты.

Цель анализа

Построить таблицу сравнения различных моделей на нескольких выборках согласно набору критериев качества. Таблица модели-выборки-критерии и нарисовать зависимость функции потерь или критерия качества от влияющих на эту функцию факторов. Например, от сложности модели, от шага итерации оптимизации, от дисперсии параметров.

Анализ ошибки в вычислительных экспериментах — это анализ изменения значений функции ошибки при изменении состава выборки (или при других изменениях условий эксплуатации модели).

= Начальные требования для анализа

1. Поставлена задача оптимизации параметров.
2. Задана стратегия разбиения скользящего контроля.
3. Задан набор внешних (эксплуатационных) критериев качества модели.
4. Для набора разбиений получен
   • набор значений векторов оптимальных параметров,
   • набор значений функции ошибки на обучении и на контроле.
5. Получен набор значений внешних критериев на обучении и контроле.

Анализ ошибки содержит следующие базовые статистические тесты].

1. Анализ состава выборки:
   1. анализ простоты выборки по отдельным признакам (гистограммы признаков),
   2. анализ мультикоррелированности признаков, в частности анализ ковариационных матриц (вычисление коэффициента детерминации <tex>R^2</tex>, фактора инфляции дисперсии VIF, визуализация результатов метода Белсли, в частности, при изменении состава признаков, факторного анализа),
   3. тест наличия выбросов в выборке (визуализация изменения функции ошибки при исключении выбросов),
   4. тест наличия мультимоделей (снижение ошибки при, например, использовании стратегии бустинга)
   5. оценка необходимой мощности выборки (по оси абсцисс — число объектов, по оси ординат — ошибка на обучении и ее стандартное отклонение),
   6. оценка необходимого числа признаков (по оси абсцисс — последовательно добавляемые признаки; признаки добавляются, например, по убыванию скорости изменения ошибки — т. н. ускорение и торможение ошибки)).
2. Анализ дисперсии параметров и функции ошибки
   1. анализ стандартного отклонения функции ошибки (внутреннего критерия) и внешних критериев (в частности, визуализация ROC — обучение и контроль на каждом из разбиений),
   2. анализ изменения функции ошибки на итерациях оптимизации (ось абсцисс — итерации, ось ординат функция ошибки на обучении, контроле и ее стандартное отклонение),
   3. анализ изменения параметров и гиперпараметров модели (по оси абсцисс — итерации, по оси ординат — набор параметров, лапша и их стандартные отклонения или гипер-параметры),
   4. анализ изменения параметров и функций ошибки при изменении структурных параметров или регуляризаторов (они по оси абсцисс, по оси ординат — не забываем о стандартном отклонении, получаемом скользящим контролем).
3. Сложность алгоритма оптимизации функции ошибки в зависимости от объема выборки
   1. теоретическая,
   2. эмпирическая,
   3. аппроксимация эмпирической функции теоретической (по оси абсцисс — объем выборки, число признаков, число кластеров).
4. Анализ свойств модели с помощью внешних критериев, учет возможных ограничений на параметры и структуру модели
   1. построение парето-оптимального фронта множества моделей, из которых производится выбор.

Resources

• [Video for week 7].
• [Slides for week 7].