Osnivanje muzeja u Sremskoj Mitrovici usko je vezano za arheološke nalaze iz vremena rimskog grada Sirmijuma, koga je Amijan Marcelin (oko 330-400.g.n.e.), poslednji veliki rimski istoriograf, nazvao ,,mnogoljudnom majkom gradova’’ – urbium matris populosae et celebris.