Хаджи Димитър е роден в Сливен в семейството на търговеца Никола и Маринка Асенови. Когато е на две години, той и семейството му отиват на поклонение в Йерусалим, и оттогава Димитър е хаджия.
През 1862 година Хаджи Димитър излиза в Балкана с чета и цяло лято броди из планината. През пролетта на 1864 г. се включва в четата на Стоян войвода от Сливен като знаменосец. Четата е от 12 души и има за задача да убие търновския гръцки владика. Преди да влязат в Търново четата се разпада и четниците се отделят от войводата. Командването се поема от Хаджи Димитър, който ги повежда към Сливенския Балкан.
На 21 май 1865 г. в жилището на Георги Раковски се сформира чета, в която участват също Хаджи Димитър и Стефан Караджа. На 13 юни 1865 г. четата преминава Дунава и се отправя към Котленския Балкан. Действа в района на прочутото хайдушко сборище Агликина поляна.