Week 7

Make the error and quality analysis. Finalise the computational experiment.

Формальный результат:

1. график с анализом ошибки (например, кривая обучения или зависимость точности от сложности и дисперсия функции ошибки)
2. таблица сравнения моделей (пусть даже не до конц заполненная)

E: Error analysis

Запустить базовый эксперимент, проанализировать его результаты.

Цель анализа

Построить таблицу сравнения различных моделей на нескольких выборках согласно набору критериев качества. Таблица модели-выборки-критерии и нарисовать зависимость функции потерь или критерия качества от влияющих на эту функцию факторов. Например, от сложности модели, от шага итерации оптимизации, от дисперсии параметров.

Анализ ошибки в вычислительных экспериментах — это анализ изменения значений функции ошибки при изменении состава выборки (или при других изменениях условий эксплуатации модели).

Начальные требования для анализа

1. Поставлена задача оптимизации параметров.
2. Задана стратегия разбиения скользящего контроля.
3. Задан набор внешних (эксплуатационных) критериев качества модели.
4. Для набора разбиений получен
   • набор значений векторов оптимальных параметров,
   • набор значений функции ошибки на обучении и на контроле.
5. Получен набор значений внешних критериев на обучении и контроле.

Анализ ошибки содержит следующие базовые статистические тесты].

1. Анализ состава выборки:
   1. анализ простоты выборки по отдельным признакам (гистограммы признаков),
   2. анализ мультикоррелированности признаков, в частности анализ ковариационных матриц (вычисление коэффициента детерминации <tex>R^2</tex>, фактора инфляции дисперсии VIF, визуализация результатов метода Белсли, в частности, при изменении состава признаков, факторного анализа),
   3. тест наличия выбросов в выборке (визуализация изменения функции ошибки при исключении выбросов),
   4. тест наличия мультимоделей (снижение ошибки при, например, использовании стратегии бустинга)
   5. оценка необходимой мощности выборки (по оси абсцисс — число объектов, по оси ординат — ошибка на обучении и ее стандартное отклонение),
   6. оценка необходимого числа признаков (по оси абсцисс — последовательно добавляемые признаки; признаки добавляются, например, по убыванию скорости изменения ошибки — т. н. ускорение и торможение ошибки)).
2. Анализ дисперсии параметров и функции ошибки
   1. анализ стандартного отклонения функции ошибки (внутреннего критерия) и внешних критериев (в частности, визуализация ROC — обучение и контроль на каждом из разбиений),
   2. анализ изменения функции ошибки на итерациях оптимизации (ось абсцисс — итерации, ось ординат функция ошибки на обучении, контроле и ее стандартное отклонение),
   3. анализ изменения параметров и гиперпараметров модели (по оси абсцисс — итерации, по оси ординат — набор параметров, лапша и их стандартные отклонения или гипер-параметры),
   4. анализ изменения параметров и функций ошибки при изменении структурных параметров или регуляризаторов (они по оси абсцисс, по оси ординат — не забываем о стандартном отклонении, получаемом скользящим контролем).
3. Сложность алгоритма оптимизации функции ошибки в зависимости от объема выборки
   1. теоретическая,
   2. эмпирическая,
   3. аппроксимация эмпирической функции теоретической (по оси абсцисс — объем выборки, число признаков, число кластеров).
4. Анализ свойств модели с помощью внешних критериев, учет возможных ограничений на параметры и структуру модели
   1. построение парето-оптимального фронта множества моделей, из которых производится выбор.

Базовый вариант анализа

Обоснование модели, анализ ошибки. Отвечаем на вопрос почему мы используем именно такую прогностическую модель.

1. Для задачи из Домашнего задания 2 (или для любой новой задачи, или вот этой задачи) сделать анализ ошибки и нарисовать один график на выбор.
   • Зависимость значения ошибки и его стандартного отклонения от сложности (числа признаков) на обучении и контроле.
   • Зависимость значения ошибки и его стандартного отклонения от объема выборки на обучении и контроле.
   • Комбинация первых двух вариантов.
   • Зависимость значения ошибки и его стандартного отклонения от номера шага в итерационной процедуре.

Кривая обучения

Запускаем нейросети на общеупотребляемых выборках. Строим график зависимости ошибки от номера итерации алгоритма оптимизации параметров модели.

1. На ваш выбор взять выборку и тип нейронной сети. Согласовать объем выборки и сложность нейронной сети.
2. В процедуру оптимизации нейронной сети вставить код, получающий ошибку на тестовой и контрольной выборках или воспользоваться встроенными процедурами.
3. Для разных объемов выборки построить графики кривой обучения, показывающие различные скорости обучения.
4. Наложить на выборку шум. Например, перемешать независимые переменные или добавить случайный шум в зависимые, на ваш выбор. Построить несколько графиков кривой обучения в условиях наложенного шума с разной дисперсией.

Анализ структуры модели

Анализ пространства параметров, гиперпараметров, структуры модели

1. Поставить вычислительный эксперимент на реальной выборке, проанализировать структуру модели.
2. Обсудить, что является структурным параметром, согласно которому модель выбирается из множества моделей, примеры:
   • число признаков обобщенно-линейные модели,
   • число слоев нейросети, число нейронов или параметров каждого слоя,
   • число ближайших соседей,
   • другие параметры.
3. Обсудить способ выбора модели:
   • с помощью алгоритмического задания структуры,
   • посредством включения структурных параметров в модель,
   • посредством включения структурных параметров в функцию ошибки,
   • наложением ограничений на функцию ошибки,
   • введением механизма релаксации элементов функции ошибки,
4. Обсудить алгоритм выбора модели, оптимизации структурных параметров, примеры:
   • перебор из списка, заданного вручную,
   • полный перебор,
   • генетические алгоритмы,
   • оптимизация с релаксацией,
   • алгоритмы выбора признаков,
   • алгоритмы прореживания,
   • другие специальные алгоритмы.
5. Запустить алгоритмы оптимизации
   • параметров,
   • гиперпараметров (если имеются),
   • структурных параметров.
6. Построить сравнительную таблицу моделей на одной выборке и оптимизируемой функции ошибки.

Resources

• [Video for week 7].
• [Slides for week 7].

1. Критерии качества линейных моделей раз, два.
2. Коллекция графиков, ассорти[1].
3. 11 Important Model Evaluation Techniques Everyone Should Know (datacentral)[2].
4. How Bayesian Inference Works (datacentral)[3].