Difference between revisions of "Fundamental theorems"

From Research management course
Jump to: navigation, search
(Created page with "Fundamental theorems of Machine learning [page stub]")
 
Line 1: Line 1:
 
Fundamental theorems of Machine learning
 
Fundamental theorems of Machine learning
−
[page stub]
+
 
 +
Фундаментальные теоремы машинного обучения
 +
1. Причины: Теорема - краткое сообщение о наиболее важных результатах области.
 +
2. Теорема делает область математической в силу общности и строгости.
 +
3. теоремы лежат в основе математики, они также играют центральную роль в её эстетике
 +
4. Основная теорема линейной алгебры - не нужна (но нужна в контексте СВД) https://www.engineering.iastate.edu/~julied/classes/CE570/Notes/strangpaper.pdf
 +
5. Основная теорема статистики - нужна.
 +
6. Должна быть показана связь между различными областями машинного обучения
 +
7. Вероятность, обоснованность, порождение и выбор, корректность по Адамару, снижение размерности, сходимость алгоритмов
 +
 
 +
{{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}}
 +
{{TOCright}}
 +
==Мотивация и план курса==
 +
 
 +
Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.
 +
 
 +
[http://bit.ly/MLTh_21  Короткая ссылка bit.ly/MLTh_21]
 +
===Каждое занятие курса===
 +
# Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение)
 +
# Два студенческих доклада (20'=15'+5' обсуждение)
 +
 
 +
===Каждый студент делает два доклада===
 +
# С теоремой взятой из литературы, по которой выполняется дипломная работа
 +
# С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе
 +
 
 +
===Приветствуются!===
 +
* Варианты собственных формулировок и доказательств
 +
* Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа)
 +
 
 +
===План изложения материала===
 +
# Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
 +
# Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
 +
# Формулировка и доказательство теоремы в '''строгом''' изложении (но можно отходить от авторского варианта, если это нужно для ясности)
 +
# Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему
 +
 
 +
===Оформление===
 +
* В виде страницы текста, [https://drive.google.com/file/d/17AcostCAVSKfgK52MAelsSy_dC-sxDR4/view?usp=sharing пример], [https://www.overleaf.com/read/wsmczggkzpgj шаблон]
 +
* Слайды приветствуются, но необязательны
 +
* Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки)
 +
 
 +
===Материалы курса===
 +
* Проект на GitHub для загрузки докладов [https://github.com/Intelligent-Systems-Phystech/FundamentalTheoremsML  Intelligent-Systems-Phystech/FundamentalTheoremsML]
 +
** В папку группы 674 загрузить pdf, tex, fig с именем файла
 +
** Surname2021Literature, Surname2021Research,
 +
* Канал Youtube [https://www.youtube.com/channel/UC90B3Y_FbBRrRQk5TCiKgSA Machine Learning]
 +
* Ссылка на сессию Zoom m1p.org/go_zoom
 +
 
 +
===Оценивание===
 +
* Доклад и материалы к нему 0-4 балла (по результатам сравнения работ)
 +
* Не по расписанию делим на два
 +
* Экзамен 2 балла
 +
 
 +
==Расписание докладов==
 +
{|class="wikitable"
 +
|-
 +
! Докладчик
 +
! Литература
 +
! Диплом
 +
|-
 +
|Бишук Антон
 +
|17.2 [https://github.com/ApostolAnt/Projects/blob/master/______.pdf link]
 +
|31.3 link
 +
|-
 +
|Вайсер Кирилл 

 +
|17.2 [https://github.com/Nerkan78/IntelligentSystems/blob/main/Diploma/VayserKirill2020/MatheronRule.pdf link]
 +
|31.3 [https://github.com/Nerkan78/IntelligentSystems/blob/main/Diploma/VayserKirill2020/ErrorAnalysis.pdf link]
 +
|-
 +
|Гребенькова Ольга 

 +
|24.2 [https://github.com/Intelligent-Systems-Phystech/Grebenkova-BS-Thesis/raw/main/ELBo.pdf link]
 +
|7.4 link
 +
|-
 +
|Гунаев Руслан
 +
|24.2 [https://github.com/Gunaev/Gunaev_BS-thesis/blob/main/th_diplom.pdf link]
 +
|7.4 link

 +
|-
 +
|Жолобов Владимир 

 +
|3.3 [https://github.com/Intelligent-Systems-Phystech/Zholobov-BS-Thesis/blob/main/Zholobov_thesis.pdf link]
 +
|14.4 link
 +
|-
 +
|Исламов Рустем
 +
|3.3 [https://github.com/Intelligent-Systems-Phystech/Islamov-BS-Thesis/blob/main/Fundamental%20theorems%20on%20Machine%20Learning/First%20report/Stochastic%20Newton%20method.pdf link]
 +
|14.4 link
 +
|-
 +
|Панкратов Виктор  

 +
|10.3 [https://github.com/Intelligent-Systems-Phystech/Pankratov_BS_Thesis/blob/main/link1.pdf link]
 +
|21.4 link
 +
|-
 +
|Савельев Николай
 +
|10.3 [https://github.com/Intelligent-Systems-Phystech/Savelev-BS-Thesis/raw/main/Prediction_Learning_and_Games-%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D1%8B-18-21.pdf link]
 +
|21.4 link
 +
|-
 +
|Филатов Андрей
 +
|10.3 [https://github.com/Intelligent-Systems-Phystech/Filatov-BS-Thesis/blob/main/Fundamental%20Theorems/Theorem.pdf link]
 +
|21.4 link
 +
|-
 +
|Филиппова Анастасия 

 +
|17.3 link
 +
|28.4 link
 +
|-
 +
|Харь Александра 

 +
|17.3 [https://github.com/Intelligent-Systems-Phystech/Khar-BS-Thesis/blob/main/otchet_1.pdf link]
 +
|28.4 link
 +
|-
 +
|Христолюбов Максим
 +
|24.3 [https://github.com/Intelligent-Systems-Phystech/Khristolyubov-BS-Thesis/blob/main/paper/Proof_of_the_theorem.pdf link]
 +
|5.5 link
 +
|-
 +
|Шокоров Вячеслав 

 +
|24.3 [https://github.com/Intelligent-Systems-Phystech/Shokorov-BS-Thesis/blob/main/report/VKR_Theorem.pdf link]
 +
|5.5 link
 +
|-
 +
|}
 +
 
 +
==Темы лекций==
 +
 
 +
# Теорема о сингулярном разложении Молер-Форсайт и другие разложения
 +
# Singular values decomposition and spectral theorem [https://en.wikipedia.org/wiki/Spectral_theorem W]
 +
# Gauss–Markov-(Aitken) theorem [https://en.wikipedia.org/wiki/Gauss–Markov_theorem W]
 +
# Principal component analysis [https://en.wikipedia.org/wiki/Principal_component_analysis W]
 +
# Karhunen–Loève theorem [https://en.wikipedia.org/wiki/Karhunen–Loève_theorem W]
 +
# Kolmogorov–Arnold representation theorem [https://en.wikipedia.org/wiki/Kolmogorov–Arnold_representation_theorem W]
 +
# Universal approximation theorem by Cybenko [https://en.wikipedia.org/wiki/Universal_approximation_theorem W]
 +
# Deep neural network theorem
 +
# No free lunch theorem by Wolpert [https://en.wikipedia.org/wiki/No_free_lunch_theorem W]
 +
# RKHS by Aronszajn and Mercer's theorem [https://en.wikipedia.org/wiki/Mercer%27s_theorem W]
 +
# Representer theorem by Schölkopf, Herbrich, and Smola [https://en.wikipedia.org/wiki/Representer_theorem W]
 +
# Convolution theorem (FT, convolution, correlation with CNN examples) [https://en.wikipedia.org/wiki/Convolution_theorem W]
 +
# Fourier inversion theorem [https://en.wikipedia.org/wiki/Fourier_inversion_theorem W]
 +
# Parseval's theorem (and uniform, non-uniform convergence) [https://en.wikipedia.org/wiki/Parseval%27s_theorem W]
 +
# Probably approximately correct learning with the theorem about compression means learnability
 +
# Holland's schema theorem [https://en.wikipedia.org/wiki/Holland%27s_schema_theorem W]
 +
# Variational approximation
 +
# Convergence of random variables and Kloek's theorem
 +
# Exponential family of distributions and Nelder's theorem
 +
# Multi-armed bandit theorem
 +
# Копулы и теорема Скляра
 +
 
 +
== Talks ==
 +
# Three works by Greg Yang https://arxiv.org/pdf/1910.12478.pdf https://arxiv.org/pdf/2006.14548 https://arxiv.org/pdf/2009.10685.pdf [https://www.youtube.com/watch?v=kc9ll6B-xVU&list=PLt1IfGj6-_-ewBQJDVMJOJNlW5AbY6D3p&index=4&fbclid=IwAR3kIUQZWsh9j_Xp2TYb5ZmcsH7nFDIpCuRnmeoxoRJyPuxKvFyxTRI3ypY рус]
 +
# Theorems on flows by Johann Brehmera and Kyle Cranmera arXiv:2003.13913v2
 +
 
 +
==Расписание лекций==
 +
{|class="wikitable"
 +
|-
 +
! Дата
 +
! Тема
 +
! Лектор
 +
! Ссылки
 +
|-
 +
|10 февраля
 +
|Вводное занятие (и Основная теорема статистики)
 +
|Стрижов, Потанин
 +
|[https://drive.google.com/file/d/17AcostCAVSKfgK52MAelsSy_dC-sxDR4/view?usp=sharing link]
 +
|-
 +
|17 февраля
 +
|Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена
 +
|Марк Потанин
 +
|[https://drive.google.com/file/d/1Pu8mvexKkO45ED4MWSH-sZDusNNTgMpC/view?usp=sharing link]
 +
|-
 +
|24 февраля
 +
|Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
 +
|Марк Потанин
 +
|[https://drive.google.com/file/d/1Thm73TYyLXhoHNA_4uhyFB9Im26Ctjxp/view?usp=sharing link]
 +
|-
 +
|10 марта
 +
|[[Media:BershteinFonMises.pdf|Берштейн - фон Мизес]]
 +
|Андрей Грабовой
 +
|[[Media:BershteinFonMises.pdf|link]]
 +
|-
 +
|17 марта
 +
|[[Media:BershteinFonMises.pdf|Берштейн - фон Мизес]] (продолжение)
 +
|Андрей Грабовой
 +
|[[Media:BershteinFonMises.pdf|link]]
 +
|-
 +
|24 марта
 +
|[[Media:PAC_learning_compress.pdf|РАС обучаемость, теорема о том, что сжатие предполагает обучаемость]]
 +
|Андрей Грабовой
 +
|[[Media:PAC_learning_compress.pdf|link]]
 +
|-
 +
|31 марта 
 +
|Сходимость про вероятности при выборе моделей
 +
|Марк Потанин
 +
|[https://drive.google.com/file/d/1-rtOJtjivRs0TwOga8-MLaBEzCcUyD0H/view?usp=sharing link]
 +
|-
 +
|7 апреля
 +
|Теорема о минимальной длине описания <!--Метрические пространства: RKHS Аронжайн, теорема Мерсера-->
 +
|Олег Бахтеев <!--Алексей Гончаров-->
 +
| link
 +
|-
 +
|14 апреля
 +
|Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
 +
|Филипп Никитин
 +
| link
 +
|-
 +
|21 апреля
 +
|Representer theorem, Schölkopf, Herbrich, and Smola
 +
|Андрей Грабовой
 +
| link
 +
|-
 +
|28 апреля
 +
|Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
 +
|Филипп Никитин
 +
| link
 +
|-
 +
|5 мая
 +
|Вариационная аппроксимация, теорема о байесовском выборе моделей
 +
|Олег Бахтеев
 +
| link
 +
|-
 +
|12 мая
 +
|Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом)
 +
|Потанин, Стрижов
 +
|
 +
|-
 +
|26 мая
 +
|Экзамен: схемы доказательства различных теорем (тест на время, как в гос по физике, и обсуждение)
 +
|Потанин, Адуенко, Бахтеев
 +
|
 +
|-
 +
|
 +
|Теорема о бесплатных обедах в машинном обучении, Волперт
 +
|Радослав Нейчев
 +
|
 +
|-
 +
|
 +
|Теорема схем, Холланд
 +
|Радослав Нейчев
 +
|
 +
|-
 +
|}
 +
 
 +
==References==
 +
===Proof techniques===
 +
# [https://www.birmingham.ac.uk/Documents/college-eps/college/stem/Student-Summer-Education-Internships/Proof-and-Reasoning.pdf Proofs and Mathematical Reasoning by Agata Stefanowicz, 2014]
 +
# [http://www.vixri.com/d/Uspenskij%20V.A.%20_Chto%20takoe%20aksiomaticheskij%20metod.pdf Успенский
 +
# Mathematical statistics by A.A. Borovkov, 1998
 +
# Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин, 1970 (глава про сходимость)
 +
# [http://fulviofrisone.com/attachments/article/452/Kolmogorov%20And%20Mathematical%20Logic.pdf Kolmogorov and Mathematical Logic] by Vladimir A. Uspensky // The Journal of Symbolic Logic, Vol. 57, No. 2 (Jun., 1992), 385-412.
 +
# [Что такое аксиоматический метод?, 2001]  В.А. (см. также Труды по НЕматематике)
 +
# [http://lpcs.math.msu.su/~zolin/ax/pdf/2015_Axiomatic_method_Zolin_Lectures.pdf Аксиоматический метод, 2015]
 +
# Трудности доказательств. Купиллари А., 2002
 +
===Methodology===
 +
# [http://eqworld.ipmnet.ru/ru/library/books/Klini1957ru.djvu Клини С.К. Введение в метаматематику, 1957]
 +
# Science and Method by Henry Poincare, 1908
 +
# A Summary of Scientific Method by Peter Kosso, 2011
 +
# Being a Researcher: An Informatics Perspective by Carlo Ghezzi, 2020
 +
# [https://cs9.pikabu.ru/post_img/big/2018/05/21/9/1526915408141416733.jpg Пикабу. Типичные методы доказательства, 2018] (если вы чувствуете, что несет не туда)
 +
# [The definitive glossary of higher mathematical jargon] by Math Vault, 2015
 +
# The definitive guide to learning higher mathematics: 10 principles to mathematical transcendence by Math Vault, 2020

Revision as of 14:30, 4 April 2021

Fundamental theorems of Machine learning

Фундаментальные теоремы машинного обучения 1. Причины: Теорема - краткое сообщение о наиболее важных результатах области. 2. Теорема делает область математической в силу общности и строгости. 3. теоремы лежат в основе математики, они также играют центральную роль в её эстетике 4. Основная теорема линейной алгебры - не нужна (но нужна в контексте СВД) https://www.engineering.iastate.edu/~julied/classes/CE570/Notes/strangpaper.pdf 5. Основная теорема статистики - нужна. 6. Должна быть показана связь между различными областями машинного обучения 7. Вероятность, обоснованность, порождение и выбор, корректность по Адамару, снижение размерности, сходимость алгоритмов

Template:Main Template:TOCright

Мотивация и план курса

Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.

Короткая ссылка bit.ly/MLTh_21

Каждое занятие курса

  1. Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение)
  2. Два студенческих доклада (20'=15'+5' обсуждение)

Каждый студент делает два доклада

  1. С теоремой взятой из литературы, по которой выполняется дипломная работа
  2. С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе

Приветствуются!

  • Варианты собственных формулировок и доказательств
  • Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа)

План изложения материала

  1. Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
  2. Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
  3. Формулировка и доказательство теоремы в строгом изложении (но можно отходить от авторского варианта, если это нужно для ясности)
  4. Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему

Оформление

  • В виде страницы текста, пример, шаблон
  • Слайды приветствуются, но необязательны
  • Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки)

Материалы курса

  • Проект на GitHub для загрузки докладов Intelligent-Systems-Phystech/FundamentalTheoremsML
    • В папку группы 674 загрузить pdf, tex, fig с именем файла
    • Surname2021Literature, Surname2021Research,
  • Канал Youtube Machine Learning
  • Ссылка на сессию Zoom m1p.org/go_zoom

Оценивание

  • Доклад и материалы к нему 0-4 балла (по результатам сравнения работ)
  • Не по расписанию делим на два
  • Экзамен 2 балла

Расписание докладов

Докладчик Литература Диплом
Бишук Антон 17.2 link 31.3 link
Вайсер Кирилл 
 17.2 link 31.3 link
Гребенькова Ольга 
 24.2 link 7.4 link
Гунаев Руслан 24.2 link 7.4 link

Жолобов Владимир 
 3.3 link 14.4 link
Исламов Рустем 3.3 link 14.4 link
Панкратов Виктор 
 10.3 link 21.4 link
Савельев Николай 10.3 link 21.4 link
Филатов Андрей 10.3 link 21.4 link
Филиппова Анастасия 
 17.3 link 28.4 link
Харь Александра 
 17.3 link 28.4 link
Христолюбов Максим 24.3 link 5.5 link
Шокоров Вячеслав 
 24.3 link 5.5 link

Темы лекций

  1. Теорема о сингулярном разложении Молер-Форсайт и другие разложения
  2. Singular values decomposition and spectral theorem W
  3. Gauss–Markov-(Aitken) theorem W
  4. Principal component analysis W
  5. Karhunen–Loève theorem W
  6. Kolmogorov–Arnold representation theorem W
  7. Universal approximation theorem by Cybenko W
  8. Deep neural network theorem
  9. No free lunch theorem by Wolpert W
  10. RKHS by Aronszajn and Mercer's theorem W
  11. Representer theorem by Schölkopf, Herbrich, and Smola W
  12. Convolution theorem (FT, convolution, correlation with CNN examples) W
  13. Fourier inversion theorem W
  14. Parseval's theorem (and uniform, non-uniform convergence) W
  15. Probably approximately correct learning with the theorem about compression means learnability
  16. Holland's schema theorem W
  17. Variational approximation
  18. Convergence of random variables and Kloek's theorem
  19. Exponential family of distributions and Nelder's theorem
  20. Multi-armed bandit theorem
  21. Копулы и теорема Скляра

Talks

  1. Three works by Greg Yang https://arxiv.org/pdf/1910.12478.pdf https://arxiv.org/pdf/2006.14548 https://arxiv.org/pdf/2009.10685.pdf рус
  2. Theorems on flows by Johann Brehmera and Kyle Cranmera arXiv:2003.13913v2

Расписание лекций

Дата Тема Лектор Ссылки
10 февраля Вводное занятие (и Основная теорема статистики) Стрижов, Потанин link
17 февраля Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена Марк Потанин link
24 февраля Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях Марк Потанин link
10 марта Берштейн - фон Мизес Андрей Грабовой link
17 марта Берштейн - фон Мизес (продолжение) Андрей Грабовой link
24 марта РАС обучаемость, теорема о том, что сжатие предполагает обучаемость Андрей Грабовой link
31 марта Сходимость про вероятности при выборе моделей Марк Потанин link
7 апреля Теорема о минимальной длине описания Олег Бахтеев link
14 апреля Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей Филипп Никитин link
21 апреля Representer theorem, Schölkopf, Herbrich, and Smola Андрей Грабовой link
28 апреля Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) Филипп Никитин link
5 мая Вариационная аппроксимация, теорема о байесовском выборе моделей Олег Бахтеев link
12 мая Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом) Потанин, Стрижов
26 мая Экзамен: схемы доказательства различных теорем (тест на время, как в гос по физике, и обсуждение) Потанин, Адуенко, Бахтеев
Теорема о бесплатных обедах в машинном обучении, Волперт Радослав Нейчев
Теорема схем, Холланд Радослав Нейчев

References

Proof techniques

  1. Proofs and Mathematical Reasoning by Agata Stefanowicz, 2014
  2. [http://www.vixri.com/d/Uspenskij%20V.A.%20_Chto%20takoe%20aksiomaticheskij%20metod.pdf Успенский
  3. Mathematical statistics by A.A. Borovkov, 1998
  4. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин, 1970 (глава про сходимость)
  5. Kolmogorov and Mathematical Logic by Vladimir A. Uspensky // The Journal of Symbolic Logic, Vol. 57, No. 2 (Jun., 1992), 385-412.
  6. [Что такое аксиоматический метод?, 2001] В.А. (см. также Труды по НЕматематике)
  7. Аксиоматический метод, 2015
  8. Трудности доказательств. Купиллари А., 2002

Methodology

  1. Клини С.К. Введение в метаматематику, 1957
  2. Science and Method by Henry Poincare, 1908
  3. A Summary of Scientific Method by Peter Kosso, 2011
  4. Being a Researcher: An Informatics Perspective by Carlo Ghezzi, 2020
  5. Пикабу. Типичные методы доказательства, 2018 (если вы чувствуете, что несет не туда)
  6. [The definitive glossary of higher mathematical jargon] by Math Vault, 2015
  7. The definitive guide to learning higher mathematics: 10 principles to mathematical transcendence by Math Vault, 2020
Retrieved from ‘https://m1p.org/index.php?title=Fundamental_theorems&oldid=615’