Градиентный спуск
Спуск по склону функции ошибки: шаг против наклона, пропорционально ему.
1function gradientDescent(2 start: number,3 lr: number,4 iters: number,5): Array<{ x: number; grad: number }> {6 // минимизируем f(x) = x² → f'(x) = 2x7 const trace = []8 let x = start9 10 for (let i = 0; i < iters; i++) {11 const grad = 2 * x12 trace.push({ x, grad })13 x = x - lr * grad // шаг против градиента14 }15 16 return trace17}Проблема
Спуск по склону функции ошибки: шаг против наклона, пропорционально ему.
Что вы видите
f(x)=x²: из x=4.5 шаги x ← x − η·2x, ошибка падает до нуля.
Как это работает
Производная указывает направление роста; шаг против неё с коэффициентом η уменьшает функцию. Слишком большой η — расходимся, слишком маленький — медленно. Так обучаются почти все модели.
Пошаговый разбор
- 01
Наклон
Производная в точке.
- 02
Шаг
x ← x − η·производная.
- 03
Сходимость
Наклон → 0: минимум.
Complexity и ограничения
Сложность см. в шапке страницы.
Edge cases
- Пустой вход
Корректная тривиальная обработка.
- Вырожденный случай
Минимум работы — сразу ответ.
Где встречается в реальности
Нейросети
Backprop = градиентный спуск по слоям.
Логистическая регрессия
Обучение коэффициентов.
Рекомендации
Матричные разложения (ALS).
Связанные алгоритмы
«Как учатся нейросети: спуск по ошибке»
Тот же сценарий StepSequence в вертикальной композиции — с safe zones и записью WebM ниже на странице.
Shorts 9:16
Вертикальная композиция строится той же последовательностью шагов, что и страница: safe zones отмечены пунктиром (там живёт UI платформ), биты сценария подсвечиваются по прогрессу. Кнопка записи сохраняет WebM — детерминированная StepSequence даёт воспроизводимый ролик без монтажа.