1745 erhielt der Hofbaudirektor Emanuel Teles Graf Sylva-Tarouca von Kaiserin Maria Theresia die Erlaubnis, das Gebäude des Hofbauamtes zu seinem Palais um- und auszubauen. Vom Anfang des 19. Jh. bis zum Ende der Monarchie diente das Palais Herzog Albert, dem Begründer der graphischen Sammlung und seinen Erben, den Erzherzogen Karl, Albrecht und Friedrich als Wohngebäude. Im Frühjahr 1919 ging das Objekt in den Besitz der Republik Österreich über und wird seitdem von der Graphischen Sammlung Albertina und anderen Institutionen genutzt.

Dieser von der Albertina genutzte Bauteil ist jener mit der bekannten schmalen Stirnseite hinter dem Reiterdenkmal Erzherzog Albrechts (von Caspar von Zumbusch, enthüllt 1899), des Palais - Eigentümers in der 2. Hälfte des 19. Jahrhunderts und Siegers der Schlacht bei Custozza (1866).

Der langgestreckte, dem Burggarten zugewandte Trakt der Albertina wurde zwischen 1801 und 1805 nach Plänen des belgischen Architekten Louis von Montoyer unter Herzog Albert angebaut. Er beherbergt die Repräsentationsräume, die wie der Großteil des Palaisinneren auf Umbauten zurückgehen, die Alberts Adoptivsohn Erzherzog Karl nach 1822 vornehmen ließ. Die dabei nach Entwürfen von Joseph Kornhäusl entstandenen Räume zählen zu den kostbarsten Beispielen klassizistischer Bau- und Dekorationskunst in Österreich.

Ein dritter von der Graphischen Sammlung Albertina verwendeter Bauteil ist der Verbindungstrakt zwischen dem ehemaligen Palais Sylva-Taronca und der Augustinerkirche in der Augustinerstraße. Der Gebäudeflügel entstand im 16. Jahrhundert durch Aufstockung des Klosterkreuzganges der Augustiner Chorherren aus der 2. Hälfte des 14. Jahrhunderts. Die ehemaligen Gänge und Zellen des Klosters im zweiten und dritten Geschoss dienen heute zum Teil der Albertina als Ausstellungs-, Büro- und Archivräume.