Week 7

Make the error and quality analysis. Finalize the computational experiment.

Homework

Write the outline of the Error analysis:

1. include a plan for the Computational experiment in the section
2. draft of a graph with error analysis (e.g., learning curve of how accuracy depends on complexity, or learning curve with the variance of the error function)
3. model comparison table (baseline or partial completion is fine).

Формальный результат:

1. график с анализом ошибки (например, кривая обучения или зависимость точности от сложности и дисперсия функции ошибки)
2. таблица сравнения моделей (пусть даже не до конц заполненная)

E: Error analysis

Запустить базовый эксперимент, проанализировать его результаты.

Цель анализа

Анализ ошибки в вычислительных экспериментах — это анализ изменения значений функции ошибки при изменении состава выборки или при других изменениях условий обучения или эксплуатации модели.

Требуется нарисовать зависимость функции потерь или критерия качества от влияющих на эту функцию факторов. Например, от сложности модели, от шага итерации оптимизации, от дисперсии параметров. Построить таблицу сравнения различных моделей на нескольких выборках согласно набору критериев качества — таблицу модели-выборки-критерии.

Начальные требования для анализа

1. Поставлена задача оптимизации параметров.
2. Задана стратегия разбиения скользящего контроля.
3. Задан набор внешних (эксплуатационных) критериев качества модели.
4. Для набора разбиений получен
   • набор значений векторов оптимальных параметров,
   • набор значений функции ошибки на обучении и на контроле.
5. Получен набор значений внешних критериев на обучении и контроле.

Анализ состава выборки

1. Анализ простоты выборки по отдельным признакам. Гистограммы признаков и другие статистические тесты статистические тесты.
2. Анализ мульти-коррелированности признаков, в частности анализ ковариационных матриц. Вычисление коэффициента детерминации \(R^2\), фактора инфляции дисперсии VIF, визуализация результатов метода Белсли, в частности, при изменении состава признаков, факторного анализа.
3. Тест наличия выбросов в выборке. Визуализация изменения функции ошибки при исключении выбросов.
4. Тест наличия мультимоделей: снижение ошибки при, например, использовании стратегии бустинга.
5. Оценка необходимой мощности выборки: по оси абсцисс — число объектов, по оси ординат — ошибка на обучении и ее стандартное отклонение.
6. Оценка необходимого числа признаков: по оси абсцисс — последовательно добавляемые признаки; признаки добавляются, например, по убыванию скорости изменения ошибки — т. н. ускорение и торможение ошибки.

Анализ дисперсии параметров и функции ошибки

1. Анализ стандартного отклонения функции ошибки (внутреннего критерия) и внешних критериев (в частности, визуализация ROC — обучение и контроль на каждом из разбиений).
2. Анализ изменения функции ошибки на итерациях оптимизации (ось абсцисс — итерации, ось ординат функция ошибки на обучении, контроле и ее стандартное отклонение).
3. Анализ изменения параметров и гиперпараметров модели (по оси абсцисс — итерации, по оси ординат — набор параметров, лапша и их стандартные отклонения или гипер-параметры).
4. Анализ изменения параметров и функций ошибки при изменении структурных параметров или регуляризаторов (они по оси абсцисс, по оси ординат — не забываем о стандартном отклонении, получаемом скользящим контролем).
5. Сложность алгоритма оптимизации функции ошибки в зависимости от объема выборки
   1. теоретическая,
   2. эмпирическая,
   3. аппроксимация эмпирической функции теоретической (по оси абсцисс — объем выборки, число признаков, число кластеров).
6. Анализ свойств модели с помощью внешних критериев, учет возможных ограничений на параметры и структуру модели построение парето-оптимального фронта множества моделей, из которых производится выбор.

Базовый вариант анализа

Обоснование модели, анализ ошибки. Отвечаем на вопрос почему мы используем именно такую прогностическую модель.

1. Зависимость значения ошибки и его стандартного отклонения от сложности (числа признаков) на обучении и контроле.
2. Зависимость значения ошибки и его стандартного отклонения от объема выборки на обучении и контроле.
3. Комбинация первых двух вариантов.
4. Зависимость значения ошибки и его стандартного отклонения от номера шага в итерационной процедуре.

Кривая обучения

Исследуем график зависимости ошибки и ее дисперсии от номера итерации или эпохи алгоритма оптимизации параметров и гипер-параметров модели.

1. На ваш выбор взять выборку и тип нейронной сети. Согласовать объем выборки и сложность нейронной сети.
2. В процедуру оптимизации нейронной сети вставить код, получающий ошибку на тестовой и контрольной выборках или воспользоваться встроенными процедурами.
3. Для разных объемов выборки построить графики кривой обучения, показывающие различные скорости обучения.
4. Наложить на выборку шум. Например, перемешать независимые переменные или добавить случайный шум в зависимые, на ваш выбор. Построить несколько графиков кривой обучения в условиях наложенного шума с разной дисперсией.

Анализ структуры модели

Анализ пространства параметров, гиперпараметров, структурных параметров, метапараметров

1. Обсудить, что является структурным параметром, согласно которому модель выбирается из множества моделей, примеры:
   • число признаков обобщенно-линейные модели,
   • число слоев нейросети, число нейронов или параметров каждого слоя,
   • число ближайших соседей,
   • другие параметры.
2. Обсудить способ выбора модели:
   • с помощью алгоритмического задания структуры,
   • посредством включения структурных параметров в модель,
   • посредством включения структурных параметров в функцию ошибки,
   • наложением ограничений на функцию ошибки,
   • введением механизма релаксации элементов функции ошибки,
3. Обсудить алгоритм выбора модели, оптимизации структурных параметров, примеры:
   • перебор из списка, заданного вручную,
   • полный перебор,
   • генетические алгоритмы,
   • оптимизация с релаксацией,
   • алгоритмы выбора признаков,
   • алгоритмы прореживания,
   • другие специальные алгоритмы.
4. Запустить алгоритмы оптимизации
   • параметров,
   • гиперпараметров (если имеются),
   • структурных параметров.
5. Назначить метапараметры или расписание их изменения.
6. Построить сравнительную таблицу моделей (на одной выборке или нескольких) согласно критериям качества.

Resources

• Video for week 7.
• Slides for week 7, slides 2022,
• examles of computational experiment 2022.

1. Критерии качества линейных моделей раз, два.
2. Коллекция графиков, ассорти.
3. 11 Important Model Evaluation Techniques Everyone Should Know datacentral.
4. How Bayesian Inference Works, datacentral.
5. Задачи, на которых легко делать анализ ошибки: линейная регрессия и логистическая регрессия.