Хаджи Димитър е роден в Сливен в семейството на търговеца Никола и Маринка Асенови. Когато е на две години, той и семейството му отиват на поклонение в Йерусалим, и оттогава Димитър е хаджия.
През 1862 година Хаджи Димитър излиза в Балкана с чета и цяло лято броди из планината. През пролетта на 1864 г. се включва в четата на Стоян войвода от Сливен като знаменосец. Четата е от 12 души и има за задача да убие търновския гръцки владика. Преди да влязат в Търново четата се разпада и четниците се отделят от войводата. Командването се поема от Хаджи Димитър, който ги повежда към Сливенския Балкан.
На 21 май 1865 г. в жилището на Георги Раковски се сформира чета, в която участват също Хаджи Димитър и Стефан Караджа. На 13 юни1865 г. четата преминава Дунава и се отправя към Котленския Балкан. Действа в района на прочутото хайдушко сборище Агликина поляна.
Не можем да си представим Сливен без присъствието на легендарния войвода Хаджи Димитър на централния сливенски площад. Един от неотменните символи на града, паметникът е свидетелство за славния подвиг и родната признателност.