Қазіргі уақытта сөйлемді тану, табиғи тілді өңдеу, компьютерлік көруді зерттеу нейрондық желілерді терең оқытуда танымал тәсілдер мен әдістердің бірі болып табылады. Мақалада нейрондық желілерді терең оқытудың даму тарихы мен жалпы қазіргі жағдайы туралы шолу қарастырылған. Тереңдетіп оқыту үшін қолданылатын нейрондық желілерді оқуты алгоритмі кері таралу әдісінің көмегімен дәл баптауды таңдау және оны қолдану қарастырылған. Нейрондық желілерде жасырын қабаттардың саны көп, жиі кездесетін және жоғалып бара жатқан градиенттерді оқыту қиындығымен ерекшелінеді. Қарастырылып отырған жұмыста көп қабаттар (жүзден астам) және жойылып бара жатқан градиенттер кезінде нейрондық желілерді оқытудың табысты іске асыратын әдістері қарастырылады.