С момента основания в 1581 г. деревянные строения коллегиума находились на острове Западной Двины, напротив Софийского храма, но в результате пожара были воссозданы на новом месте между Верхним замком и городом. В настоящее время в восточном корпусе коллегиума размещается крупнейшая в республике художественная галерея, западное крыло здания передано Полоцкому государственному университету.