В настоящее время при распознавании речи, обработка естественного языка, компьютерное зрение одним из популярных методов является глубокое обучение нейронных сетей. В статье выполнен обзор истории развития глубокого обучение нейронных сетей и современное состояние в целом. Рассматривается алгоритмы для обучения нейронных сетей применяемый для глубокого обучения нейронных сетей, последующий тонкой настройки с помощью метода обратного распространения ошибки. Нейронные сети при больших количествах скрытых слоев, часто встречающихся и исчезающих градиентов очень трудно обучить. В данной работе рассматривается методы, успешно реализующие обучение нейронных сетей при больших количествах слоев (более ста) и исчезающих градиентов. Проводится обзор известных библиотек применяемых для успешного глубокого обучение нейронных сетей