Week 7

Make the error and quality analysis. Finalize the computational experiment.

E: Error analysis

Run a basic experiment, analyze its results.

Purpose of analysis

Error analysis in computational experiments is the analysis of changes in the error function when the dataset changes, or when the model parameters or the model structure change.

It is required to draw the dependence of the error function or quality criterion on the factors affecting this function. For example, on the complexity of the model, on the optimization iteration step, and on the variance of the parameters.

Build a comparison table of different models on several samples according to a set of quality criteria: the table "models-datasets-criteria".

Initial requirements for analysis

1. The problem of parameter optimization or model selection is set.
2. A strategy for splitting the sliding control is specified.
3. A set of external (operational) criteria for the quality of the model is specified.
4. For a set of splits, a
   • set of values of the optimal parameter vectors is obtained,
   • a set of values of the error function for training and control.
5. A set of external criterion values for training and control was obtained.

Analysis of the sample composition

1. Analysis simplicity of the sample by individual features. Histograms of features and others statistical tests statistical tests. #Analysis multi-correlation of features, in particular analysis covariance matrices. Calculation determination coefficient \(R^2\), variance inflation factor VIF, visualization of results Belsley method, in particular, when D0%B5%D0%BB%D1%81%D0%BB%D0%B8_%D0%B4%D0%BB%D1%8F_%D0%BF%D1%80%D0%BE%D1%80%D0%B5%D0%B6%D0 %B8%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%BF%D1%80%D0%B8%D0%B7%D0%BD%D0%B0%D0%BA%D0%BE%D0%B2 change in the composition of features, factor analysis.
2. Test the presence of outliers in the sample. Visualization of the change in the error function when excluding outliers.
3. Test the presence of multimodels: reducing the error when, for example, using the boosting strategy.
4. Estimation of the required sample power: on the abscissa axis—the number of objects, on the ordinate axis—the training error and its standard deviation.
5. Estimation of the required number of features: on the abscissa axis—sequentially added features; features are added, for example, in decreasing order of the rate of change of the error—the so-called acceleration and deceleration of the error.

Analysis of the variance of parameters and the error function

1. Analysis of the standard deviation of the error function (internal criterion) and external criteria (in particular, visualization of ROC—training and control on each of the splits).
2. Analysis of the change in the error function at optimization iterations (the abscissa axis is iterations, the ordinate axis is the error function during training, control, and its standard deviation).
3. Analysis of changes in the parameters and hyperparameters of the model (the abscissa axis is iterations, the ordinate axis is the set of parameters, noodles, and their standard deviations or hyperparameters).
4. Analysis of changes in parameters and error functions when changing structural parameters or regularizers (they are on the abscissa axis, on the ordinate axis—don't forget about the standard deviation obtained by sliding control).
5. Complexity of the error function optimization algorithm depending on the sample size
   1. theoretical,
   2. empirical,
   3. approximation of the empirical function to the theoretical one (the abscissa axis is the sample size, the number of features, and the number of clusters).

Базовый вариант анализа

Обоснование модели, анализ ошибки. Отвечаем на вопрос почему мы используем именно такую прогностическую модель.

1. Зависимость значения ошибки и его стандартного отклонения от сложности (числа признаков) на обучении и контроле.
2. Зависимость значения ошибки и его стандартного отклонения от объема выборки на обучении и контроле.
3. Комбинация первых двух вариантов.
4. Зависимость значения ошибки и его стандартного отклонения от номера шага в итерационной процедуре.

Кривая обучения

Исследуем график зависимости ошибки и ее дисперсии от номера итерации или эпохи алгоритма оптимизации параметров и гипер-параметров модели.

1. На ваш выбор взять выборку и тип нейронной сети. Согласовать объем выборки и сложность нейронной сети.
2. В процедуру оптимизации нейронной сети вставить код, получающий ошибку на тестовой и контрольной выборках или воспользоваться встроенными процедурами.
3. Для разных объемов выборки построить графики кривой обучения, показывающие различные скорости обучения.
4. Наложить на выборку шум. Например, перемешать независимые переменные или добавить случайный шум в зависимые, на ваш выбор. Построить несколько графиков кривой обучения в условиях наложенного шума с разной дисперсией.

Анализ структуры модели

Анализ пространства параметров, гиперпараметров, структурных параметров, метапараметров

1. Обсудить, что является структурным параметром, согласно которому модель выбирается из множества моделей, примеры:
   • число признаков обобщенно-линейные модели,
   • число слоев нейросети, число нейронов или параметров каждого слоя,
   • число ближайших соседей,
   • другие параметры.
2. Обсудить способ выбора модели:
   • с помощью алгоритмического задания структуры,
   • посредством включения структурных параметров в модель,
   • посредством включения структурных параметров в функцию ошибки,
   • наложением ограничений на функцию ошибки,
   • введением механизма релаксации элементов функции ошибки,
3. Обсудить алгоритм выбора модели, оптимизации структурных параметров, примеры:
   • перебор из списка, заданного вручную,
   • полный перебор,
   • генетические алгоритмы,
   • оптимизация с релаксацией,
   • алгоритмы выбора признаков,
   • алгоритмы прореживания,
   • другие специальные алгоритмы.
4. Запустить алгоритмы оптимизации
   • параметров,
   • гиперпараметров (если имеются),
   • структурных параметров.
5. Назначить метапараметры или расписание их изменения.
6. Построить сравнительную таблицу моделей (на одной выборке или нескольких) согласно критериям качества.

Resources

• Video for week 7.
• Slides for week 7, slides 2022,
• examles of computational experiment 2022.

1. Критерии качества линейных моделей раз, два.
2. Коллекция графиков, ассорти.
3. 11 Important Model Evaluation Techniques Everyone Should Know datacentral.
4. How Bayesian Inference Works, datacentral.
5. Задачи, на которых легко делать анализ ошибки: линейная регрессия и логистическая регрессия.

-->