Искусственный интеллект для инженеров

Цифра. Слой за слоем.

Случайные веса
Инструкция ↗
02 / ПРЕОБРАЗОВАНИЕ

Внутри нейросети

256 входов→16 нейронов→12 нейронов→10 ответов
Числа нейрона
Сеть 256→16→12→10. Порядок выходов 1…9,0 соответствует классам 1…9,0. Числа и все входящие веса доступны в инспекторе.

Выберите нейрон или его числовые параметры. Полный граф доступен отдельной кнопкой.

ВЫБРАННЫЙ НЕЙРОН

Выберите нейрон

Сумма z = Σ(w·a) + b—
Активация a / softmax—
Смещение b—

z обозначает входную сумму, a обозначает сигнал после функции активации. Вес w относится к связи, а не к нейрону.

ЦИКЛ ОБУЧЕНИЯ

Один шаг и цикл из 12 эпох

Готов к первой эпохе0 / 12
0 из 12

80 примеров для обучения · 20 отложены для проверки

Ошибка · loss
—
Обучение
—
Проверка
—
История метрик по эпохам
Фактические метрики каждой завершённой эпохи
ЭпохаШагиLossTrainValidation

Правильная цифра: —. Использовать для обучения?

До подтверждения веса и число шагов не изменятся.

РЕЖИМ ПРЕПОДАВАТЕЛЯ · ОДИН ПРИМЕР

Разбор шага без скрытого обучения

  1. Вход
  2. Сумма z
  3. Активация a
  4. Loss
  5. Градиент
  6. Вес
Этап 1 / 6

Вход

Выбранная связь · фактические значения плана
w_oldηgradientΔww_new
—————

План рассчитан, но не применён. Скорость показа не меняет математический результат.

ВЕС СВЯЗИ · НЕ АКТИВАЦИЯ

Входящие веса

Входa входаww × a
МЕТОДИЧЕСКАЯ ПАМЯТКА

Как показать это на занятии

Начните с рисунка. Проверьте ответ сети и при необходимости исправьте его.

  1. Нарисовать и распознать.

    Нарисуйте одну цифру и нажмите «Распознать». Анимация повторяет прямой проход, но не обучает сеть.

  2. Подтверждение.

    Если ответ верен, нажмите «Верно, обучить на цифре N». Если нет, выберите правильный выход, затем «Да, обучить». До подтверждения ничего не меняется.

  3. Ровно один шаг.

    Рисунок остаётся на экране. Сравните вероятность выбранного класса, loss и вес до/после. Один пример не гарантирует улучшения на всех изображениях.

  4. 12 эпох отдельно.

    Быстрое обучение использует только 80 обучающих примеров. Проверочные 20 не участвуют в обновлении весов; это небольшой синтетический набор, а не доказательство распознавания любого почерка.

  5. Свёрточная сеть.

    Переключитесь на второй пример: рисунок общий, модели и их обучение раздельны. Выберите свёртку, фильтр и ячейку. Сопоставьте окно, произведения и результат. Во второй свёртке суммируются 72 произведения из 8 каналов. Затем изучите выбор максимума в pooling и выходные доли softmax.

  6. Инспекция.

    В обучении цифра выбирает метку, а «i» показывает параметры. В распознавании никакие действия с входом не меняют веса.

  7. Проектор.

    Кнопка «Крупно» вверху увеличивает весь интерфейс, чтобы подписи и числа читались с задних рядов; повторное нажатие возвращает обычный масштаб. Выбор запоминается в этом браузере.

Обратное распространениеw ← w − η · ∂Loss/∂w

Полносвязная сеть: η = 0,35 для одного примера, η = 0,3 для цикла. Свёрточная сеть: η = 0,03. Выбранный общий вес фильтра получает сумму вкладов от всех позиций. Ошибка считается по логитам без скрытого ограничения loss.

Вернуть случайные веса?

Результат обучения будет удалён из этого браузера. Экспортированный файл, если он есть, останется на диске.