Современные нейросети стали значительно глубже и сложнее, чем их предшественники десятилетней давности. Сотни слоев, миллионы параметров и сложные архитектуры требуют особого подхода к стабилизации обучения. Одним из ключевых открытий, сделавших возможным эффективное обучение глубоких моделей, стал слой Batch Normalization (BatchNorm). Сегодня он используется почти во всех архитектурах — от сверточных сетей для обработки изображений до…