В первые дни Великой Отечественной войны Рыленков ушел добровольцем на фронт.

Командовал взводом в саперном батальоне, был военным корреспондентом армейской печати, а по ночам в землянках при свете коптилки продолжал писать стихи.

Николай Иванович являлся редактором журнала «Фронтовой юмор» Западного фронта. Листовки со стихами-призывами Николая Рыленкова сбрасывали с самолетов во вражеском тылу партизанам и жителям временно оккупированных Смоленщины и Белоруссии.

Писатель был награжден медалью «Партизану Великой Отечественной войны». В это время он писал стихи, песни, баллады, поэмы: «Апрель», «Лесная сторожка», «Возвращение», «Сотворение мира», «В родном краю». Стихотворение Рыленкова «Отомсти, товарищ» пели, как народную песню.

С 1943 по 1945 гг. Рыленков опубликовал четыре сборника стихов: «Прощание с юностью», «Синее вино», «Отчий дом» и «Смоленские леса».

В 1946 г. издал книгу с записями партизанских песен «Живая вода».

После освобождения Смоленщины от фашистских оккупантов вернулся в родной город. Награды боевые: медаль «За доблестный труд в Великой Отечественной войне 1941–1945 гг.», медаль «За оборону Москвы», медаль «За победу над Германией в Великой Отечественной войне 1941–1945 гг.», медаль «Партизану Великой Отечественной войны».