Spolek výtvarných umělců Mánes pořádal výstavy, vydával časopisy, představoval nové směry a organizoval cesty našich umělců do zahraničí. V letech 1928-1930 si postavil na místě bývalých Šítkovských mlýnů svou vlastní budovu s galerií. Stavbu a výzdobu financovali členové spolku z vlastních zdrojů i z darů mecenášů, mezi které patřil i prezident T. G. Masaryk nebo třeba bankéř Louise Rothschild

Návrh budovy byl svěřen architektovi Otakarovi Novotnému, který stavbu navrhl v duchu funkcionalismu jako nízký bílý kvádr, jehož hlavní prostor tvoří velkolepý výstavní sál s prosklenou sedlovou střechou, jež propouští dostatek denního světla na vystavená díla. První výstavou, která se zde konala, byla velká souborná retrospektiva českého umění „Sto let českého umění 1830–1930“.

Z Galerie Mánes se stalo uznávané centrum českého umění. Po roce 1948 však byla činnost spolku násilně přerušena. V roce 1956 byl SVU Mánes rozpuštěn a nahradil ho Český fond výtvarných umění, který spravoval budovu až do 90. let, kdy jeho majetek a činnost převzala Nadace českého výtvarného umění, současný vlastník Galerie Mánes.

V letech 2012 až 2014 se budova dočkala generální rekonstrukce a získala zpět svůj půvab. Jejím vnitřním prostorám byla navrácena původní podoba ze 30. let 20. století. Obnovena byla původní restaurace s terasou a stropními freskami Emila Filly. V prostoru kavárny je umístěno i opravené klavírní křídlo Steinway z roku 1897, na kterém zde hrával skladatel Jaroslav Ježek.