Akademija lepih umetnosti je v resnici kompleks, ki zajema tri stavbe: cerkev Santa Maria della Carita (Sv. Marija Milosti), samostan lateranskih kanonikov in Scuola Grande della Carita (Velika šola Milosti). Po ustni tradiciji, je na tem mestu stala ena najstarejših cerkva v Benetkah.
Le-ta je bila narejena iz lesa, katero je zamenjala kamnita cerkev l. 1116, zgrajena s pomočjo zapuščine beneškega patricija Marca Zuliana.
Beneški patriarh Gabriele Condulmer (poznejši papež Evgenij IV) je dal popolnoma obnoviti cerkev l. 1453 v gotskem slogu, ko so v njo prenesli ostanke svetnika San Aniana. Notranjost so krasila zgodnja renesančna dela slikarja Bellinija. V 18. st. se je podrl cerkveni zvonik in povzročil precej škode cerkvi in sosednim stavbam. Zaradi tega je cerkev ostala zaprta dokler l. 1807 ni Napoleon razglasil cerkev, sosedni samostan in šolo za kompleks, namenjen šolanju slikarjev in za galerijo umetniških del pod imenom Akademija za slikarje. Po vseh predelavah so od nekdanje cerkve ostale praktično le zunanje stene.
Današnje galerije Akademije so največja pinakoteka v Benetkah, z umetniškimi deli znanih slikarjev beneške šole iz obdobja 16.-18. st.: Bellini, Vivarini, Mantegna, Giorgione, Carpaccio, Tizian, Tintoretto, Veronese, Canaletto, Guardi, Tiepolo in dr., razporejenimi v 24 dvoranah. Eno najbolj pomembnih del je Da Vinčijeva skica „Vitruvijski človek”, znamenita risba človeških proporc v korelaciji z geometričnimi ugotovitvami antičnega rimskega arhitekta Vitruviusa. Kot večina drugih risb na papirju, je tudi ta razstavljena le občasno.
Zanimivost: l. 1177 se je papež Aleksander III na begu pred hordami Fridriha Barbarosse zatekel v Benetke. Bil je sam, premražen in premočen. Spal je pod beneškimi podhodi. Še vedno anonimnež, poiskal je pomoč v cerkvi Svete Marije Milosti, kjer so mu ponudili delo pomočnika v kuhinji, dokler ga ni nekdo le prepoznal in so ga teatralno odpeljali pred doža Zianija, kateri mu je ponudil svojo pomoč. Julija istega leta je, zaradi političnih spletk, Barbarossa moral priznati nadvlado papeža Aleksandra III, se ponižati in skleniti mirovni sporazum z njim v Benetkah (beneški mir). Papež ga je priznal za cesarja Svetega rimskega Imperija. Kot nagrado za vso nudeno pomoč, je papež dožu podaril zlat prstan, s katerim so Benetke dobile možnost, da pričnejo z vsakoletno tradicijo uprizarjanja poroke Benetk z Jadranskim morjem – simboličnega prikaza njihove moči in absolutne kontrole nad morjem ter kot potrditev Cerkvenega priznanja samostojnosti Serenissime.