Il legame che lega le Gallerie dell'Accademia con la città di Venezia è molto profondo. Le sale contengono infatti molti capolavori provenienti da chiese , scuole o magistrature pubbliche
La visita alla città è quindi un prolungamento necessario alla visita alle collezioni perché così il visitatore può comprendere completamente le soluzioni scelte da un pittore in funzione della destinazione e del significato di un dipinto.
In alcuni casi le opere esposte alle Gallerie sono l'unica testimonianza sopravvissuta di chiese che sono state demolite durante il periodo napoleonico . Infine, alcuni fra i più famosi quadri da arredo privato contenuti nella raccolta (il San Girolamo di Piero della Francesca, o le scene veneziane di Pietro Longhi, per citarne solo alcuni) sono pervenuti grazie alla generosità di illustri collezionisti veneziani: nel 1816 il lascito di Girolamo Molin, nel 1833 (esecutiva dal 1850) la donazione di Felicita Renier; nel 1838 Girolamo Contarini devolveva alle Gallerie 188 dipinti.
La direzione del Museo non ha mai smesso di incrementare le collezioni anche con acquisizioni recenti.