Party Girls
Добро пожаловать
Вход

On Power Laws in Deep Ensembles [in Russian]

Спасибо! Поделитесь с друзьями!

URL

Вам не понравилось видео. Спасибо за то что поделились своим мнением!

К сожалению, только зарегистрированные пользователи могут создавать списки воспроизведения.
URL


Добавлено от Admin В Большие члены
133 Просмотры

Описание

Slides: https://bayesgroup.github.io/bmml_sem/2020/Lobacheva_Power%20Laws.pdf
Chat: https://drive.google.com/file/d/157G8h0vltoqz9wuHydg-HD9uErDpqxZm/view?usp=sharing

Ансамбли нейронных сетей широко применяются на практике, особенно для задач, в которых важна устойчивая оценка неопределенности модели. В докладе мы посмотрим как ведет себя качество ансамбля в терминах NLL/CNLL как функция от количества сетей в ансамбле, размера этих сетей и общего числа параметров в модели. Мы увидим, что во многих случаях качество ведет себя как степенной закон, что само по себе любопытно, плюс позволяет предсказывать возможную прибавку в качестве при увеличении моделей. Также мы рассмотрим случай фиксированного бюджета по памяти и поймем как лучше его распределять - брать мало больших сетей или много маленьких - и как это распределение предсказывать для конкретных задач с помощью обнаруженных степенных законов.

Написать комментарий

Комментарии

Комментариев нет.
RSS