Усадьба основана дворянами Олениными, ведущими свой род от Невзора Оленя, жившего в первой половине XVI века. В 1760-е гг. Иван Михайлович Оленин, выйдя в отставку, построил в своем имении усадьбу с деревянным домом у деревни Иловка. Сестра его Анастасия Ивановна, в замужестве Каховская, была матерью декабриста Каховского.

В 1780 г. на территории усадьбы Оленины построили большой каменный храм во имя иконы Владимирской Божией Матери, рядом с церковью было основано родовое кладбище. Усадьба Иловка перешла по наследству к сыновьям Ивана Михайловича – Евгению и Владимиру.
Евгений Иванович Оленин (1774–1827) под командованием Суворова участвовал в Итальянском и Швейцарском походах. За отличие произведен в подполковники и пожалован орденом Святого Иоанна Иерусалимского и орденом Святой Анны 2-й степени с алмазными подвесками.
В 1805 г. при Аустерлице Евгений Оленин отбил у неприятеля знамя 4-го французского пехотного полка, получив три ранения: в грудь, правую руку и правую ногу. В 1808 году после смерти отца вышел в отставку «за болезнью» (к этому времени имел 12 ранений и контузий) в чине генерал-майора.
В 1812 г. вновь поступил в армию, командовал армейским партизанским отрядом, участвовал в Бородинском сражении; во время заграничного похода в 1813-м у местечка Люцен отбил у неприятеля два орудия. В 1816 г. вновь по болезни был уволен из армии и вернулся в свое смоленское имение, где и похоронен. Семьи не имел. Таким же боевым и заслуженным генералом был и его брат Владимир Иванович Оленин. С его смертью в 1833 г. пресеклась смоленская ветвь Олениных.

От усадьбы почти ничего не осталось, кроме руин церкви и остатков старинного парка. Сохранились три мраморных памятника на могилах Олениных.


В 1941 году под деревней Иловка Смоленского района Смоленской области велся ожесточённый бой. Двое солдат получили тяжёлые ранения, за ними ухаживали местные жители, но спасти бойцов не удалось. Они были захоронены на местном кладбище.
В Иловке есть памятник защитникам Смоленщины, установленный в 2017 году. На нём рассказывается о двух солдатах, которые летом 1941 года отстреливались у церкви, чтобы задержать фашистские войска и прикрыть отступление Красной Армии.
Также в деревне Иловка родился Владимир Филиппович Кушнерев, который с июля 1943 года участвовал в Великой Отечественной войне. Он воевал командиром роты связи 350-го стрелкового полка 96-й стрелковой дивизии, был награждён орденами Отечественной войны 1-й и 2-й степеней, орденом Красной Звезды и рядом медалей.