Der aufgeklärteste der Lothringer Fürsten, die etwa ein Jahrhundert lang über die Toskana herrschten, der Großherzog Pietro Leopoldo, verordnete 1784, daß sämtliche damalige Zeichenschulen von Florenz in einer einzigen Akademie zusammengefaßt würden; er legte ferner fest, daß diese Akademie mit einer Galerie alter Gemälde ausgestattet werden sollte, damit deren Kenntnis und Studium den jungen Studenten besser nähergebracht werden konnte. Der hierfür gewählte Sitz, der bis heute beibehalten wurde, war ein altes Gebäude, das einst zu einem Krankenhaus gehörte, dem „Ospedale di San Matteo“ (Krankenhaus von San Matteo), und an das in der Folge mehrere zusätzliche Räume angeschlossen wurden.

Der Bestand und die Zusammensetzung der hier erhaltenen Sammlungen haben im Laufe der Zeit teilweise stark variiert, und zwar aufgrund von Ausdehnungen durch neu zugegangene Gemälde, die aus aufgelösten Klöstern stammten. Auch Reduzierungen im Zuge von Rück- oder Leihgaben an andere florentinische Galerien, insbesondere an die Uffizien, trugen zu diesen Schwankungen bei (so war hier auch einige Jahrzehnte lang das berühmte Werk „Primavera“ (Frühling) von Botticelli ausgestellt). Die Galerie gestaltete sich langsam zu einem Museum 1. Ranges im Panorama der städtischen Museen, nicht zuletzt dank einer Reihe einzigartiger Stücke, die sie bewahrt und von denen hier nur einige genannt seien: Die „Pietà“ von Giovanni da Milano (14. Jh.), „L’Annunciazione” (Verkündung) von Lorenzo Monaco (15. Jh.), die herrliche Truhe genannt „Cassone Adimari“, die das Gemälde eines prächtigen Hochzeitszuges trägt (ca. 1450) und die „Madonna del Mare“ (Madonna und das Meer), die Botticelli (1445-1510) zugeschrieben wird.

Fest steht allerdings, daß das Museum zum Lieblingsziel unzähliger Besucher wurde, seit 1873 auf einem hierfür eigens aufgebauten Podium der hierher verlegte David von Michelangelo thront. Substanz erhaltende Gründe legten in der Tat die Entfernung von der Piazza Signoria nahe, wo die Statue etwa 4 Jahrhunderte lang die Kraft und Würde der florentinischen Republik verkörpert hatte. Zu Beginn des 20. Jh. folgte dann eine beeindruckende Reihe weiterer Werke von Michelangelo Buonarroti: „San Matteo“ (hl. Matthäus) und die 4 „Prigioni“ (Gefangene), die ursprünglich für das Grab Papst Julius II. in Rom ausgeführt, jedoch Ende des 16. Jh. in der Grotte des Giardino di Boboli (Boboligarten) aufgestellt worden waren; und schließlich die „Pietà di Palestrina“ (dessen Zuordnung zu einem Autor noch höchst kontrovers ist).

Eine detaillierte Neuordnung und die Restaurierung mehrere Räume in der oberen Etage ermöglichte eine Erweiterung der Ausstellung um weitere Gemälde aus dem 15. und 16. Jh. Zudem wurde vor kurzer Zeit der Saal für Besucher geöffnet, in dem die Gipsmodelle von Lorenzo Bartolini und Luigi Pampaloni, zweier berühmter Bildhauer des 19 Jh., ausgestellt sind.