Na samo pet kilometara jugozapadno od Knjaževca, u ataru sela Rgošta, na desnoj obali Svrljiškog Timoka, nalazi se termalno izvorište Banjica.
Poznata je od davnina. Rimski legionari kupali su se u njoj o čemu svedoče ostaci nekadašnjeg rimskog kupatila. O lekovitim svojstvima izvorišta na Banjici svedočanstvo je 1864. godine ostavio austrijski putopisac Feliks Kanic. Analizama je utvrđeno da u vodi, konstantne temperature 28 stepeni, ima magnezijuma, selena, mangana, radona, fluora.
Hiljade posetilaca, koji ovde dolaze svake godine tokom svih godišnjih doba, tvrde da im je upravo voda sa Banjice pomogla da se izleče od različitih
bolesti, poput išijasa, reumatizma, ili bolesti disajnih organa.
Osim lekovitog izvora, na ovom omiljenom izletišu knjaževčana i njihovih gostiju uređene su staze za šetnju, restoran i igralište za decu.