Что такое нейронные сети и как работает NVIDIA DLSS?

Это видео посвящено технологии DLSS от NVIDIA. Здесь вы узнаете о том, что такое нейронные сети и как они помогают в улучшении изображений. На самом деле, за DLSS стоит намного больше, чем просто увеличение разрешения кадра в игре, поэтому для раскрытия этого материала в полной мере и требовалось такое огромное и подробное видео. Приятного просмотра.

Стрим с ответами на вопросы - https://www.youtube.com/watch?v=2awQ4TFUn9s

Поддержка канала - https://www.donationalerts.com/r/selectfrom
______________
Над видео работали:

Сценарий, съёмка, монтаж, графика - Галкин Кирилл
Графика - Предко Александр (https://www.youtube.com/c/KoalaPark)
Графика, монтаж - Михайлов Вячеслав (https://www.youtube.com/c/DIGITALLABORATORY)
Графика - Шамрай Илья (https://www.youtube.com/c/GodRay)
Обложка - Александров Владимир (https://vk.com/yoggypapstud)

Отдельная благодарность за помощь в проработке материала:
Герасимовой Ольге - специалисту по анализу неструктурированных и графовых данных
Козачук Андрею - разработчику на С# и Python

______________
Содержание:
00:00 - вступительное слово
01:52 - нужно ли пользователю высокое разрешение
05:42 - сэмплинг, супер-сэмплинг, сглаживание
08:22 - введение в нейронные сети
11:45 - что такое искусственная нейронная сеть
15:10 - что такое нейрон в ИНС
16:48 - как работает нейронная сеть
23:06 - функция активации нейрона
25:35 - матричные вычисления в ИНС
27:17 - что такое тензор
30:07 - что такое обучение нейронной сети
32:53 - метод обратного распространения ошибки
34:05 - минимизация функции ошибки
35:40 - что такое градиентный спуск
39:26 - свёрточные нейронные сети
45:43 - автоэнкодеры
48:42 - как нейронные сети убирают шум на изображении
49:13 - как работает RTX Voice
50:50 - генеративно-состязательные сети
54:23 - скрытое пространство данных в нейросетях
56:43 - сети повышения размерности
58:13 - пространственное масштабирование изображений
01:00:34 - методы интерполяции
01:02:30 - субпиксельная свёртка
01:03:47 - остаточные сети
01:05:24 - пространственно-временное масштабирование кадра
01:15:54 - пояснения про DLSS и DLSS 2.0
01:18:15 - заключение

______________
Список источников:

1) Реставрация повреждённых изображений
https://dspace.spbu.ru/bitstream/11701/12146/1/diplom.pdf
2) 3Blue1Brown - But what is a neural network?
https://www.youtube.com/watch?v=aircAruvnKk
3) 3Blue1Brown - Gradient descent, how neural networks learn
https://www.youtube.com/watch?v=IHZwWFHWa-w
4) 3Blue1Brown - What is backpropagation really doing?
https://www.youtube.com/watch?v=Ilg3gGewQ5U
5) selfedu - Автоэнкодеры. Что это и как работают
https://www.youtube.com/watch?v=iLoCVz3RJTc
6) Визуализация нейронных сетей (ССЫЛКИ НА ВИЗУАЛИЗАЦИЮ)
https://www.cs.ryerson.ca/~aharley/vis/fc/
https://www.cs.ryerson.ca/~aharley/vis/conv/flat.html
https://www.cs.ryerson.ca/~aharley/vis/conv/
7) Dan Fleisch - What’s a tensor?
https://www.youtube.com/watch?v=f5liqUk0ZTw
8) Документация по методу субпиксельной свёртки
https://arxiv.org/ftp/arxiv/papers/1707/1707.02937.pdf
9) Temporal Reprojection Anti-Aliasing in INSIDE
https://www.youtube.com/watch?v=2XXS5UyNjjU
10) Документация по сети Facebook
https://research.fb.com/wp-content/uploads/2020/06/Neural-Supersampling-for-Real-time-Rendering.pdf
11) Документация по сети DLSS 2.0
http://behindthepixels.io/assets/files/DLSS2.0.pdf
12) Общая информация по DLSS 2.0
https://www.nvidia.com/en-us/geforce/news/nvidia-dlss-2-0-a-big-leap-in-ai-rendering/

Примеры кода на Python для визуализации автоэнкодера взяты с ресурса selfedu.

_________________
Музыка:

Youtube Audio Library

Patrick Patrikios - Grut
Patrick Patrikios - Oh My
Asher Fulero - September Pass
Soul Searching - Causmic
Dulce Reggaetom - An Jone
Patrick Patrikios - Love Aside
Patrick Patrikios - Where We Go
Patrick Patrikios - New Day
——————————-
Creative common:

1) Infraction - Doctor
https://www.youtube.com/watch?v=m28BT4OKSHU
2) Mokka - Lunatic
https://www.youtube.com/watch?v=8B6ZBqGsZSU
3) Mokka - Cherry
https://www.youtube.com/watch?v=qK9MbpIfQZM
4) Mokka - Chrome
https://www.youtube.com/watch?v=SnFDeBmPKUo
5) Mokka - Space Mind
https://www.youtube.com/watch?v=cDbYF4JvKcA



#SelectFrom #NVIDIA #DLSS