Erzherzog Ferdinand II. von Tirol (1564-1595) war mit Philippine Welser, einer Tochter aus der bekannten Augsburger Handelsfamilie, verheiratet. Einer ihrer beiden Söhne, Karl, trat 1605 die Herrschaft über die Markgrafschaft Burgau an. Als Residenzort hatte sein Vater Günzburg vorgesehen und schon 1577 den italienischen Baumeister Alberto Lucchese beauftragt, ein standesgemäßes Schloß mit dazugehöriger Hofkirche zu errichten. In Reiseberichten aus der Zeit um 1600 wird eine prachtvolle Innenausstattung beschrieben, doch der Brand von 1703, Umbauten des 19. Jahrhunderts und die Bombenschäden des 2. Weltkriegs haben das Erscheinungsbild des Schlosses stark verändert. Heute ist das das Rathaus und das Finanzamt in dem weitläufigen Komplex untergebracht.
Die Hofkirche entstand in den Jahren 1579/80 und ist einer der wenigen erhaltenen Kirchenbauten der Spätrenaissance in Süddeutschland. Details dieses Baustils, wie ionische Säulen und korinthische Kapitelle, lassen sich im Inneren gut ablesen. 1755 baute Joseph Dossenberger d. J. im Auftrag des benachbarten Piaristenkollegs, dem der Bau als Schulkirche diente, eine Seitenkapelle im Stil des Rokoko an. Sie ist dem Ordensstifter, dem seligen Joseph von Calasanza, gewidmet. Die Kirche ist heute profaniert; eine einfühlsame Restaurierung in den Jahren zwischen 2004 und 2006 hat dem Gebäude aber viel von seinem alten Glanz zurückgegeben.