Godine 1833. u čast prvog dolaska Knjaza Miloša u Gurgusovac, počela je izgradnja pravoslavne crkve. Konstrukcija je završena 1835. Zvonik sa satom podignut je 1866. godine. Ikonostas crkve naslikao je Georgije Bakalović iz Sremskih Karlovaca, učenik Stefana Gavrilovića, jednog od najznačajnijih slikara s početka XIX veka. Crkva je za vreme srpsko-turskog rata (1876. godine) bila spaljena. Obnova je počela 1878. godine, a akademski slikar Nikola Marković naslikao je nove ikonostase. Danas se u riznici knjaževačke crkve čuva Jevanđelje iz 1805. godine, srebrni krst iz 1866. godine i dve ikone, ostaci starog ikonostasa, iz 1835. godine.
Jevanđelje, koje je Crkvi Svetog Đorđa poklonio Knjaz Miloš, iz Bugarske u Knjaževac doneo je 1878. godine trgovac Ilija Jeremić, tadašnji komandant bataljona knjaževačke vojske.