Karel Sano, afdelingsmanager bij Gevaert Photoproducten N.V. en Piet Baudouin, toenmalig conservator van het Museum Sterckshof, organiseerden in 1965 met steun van het inmiddels gefusioneerde Agfa-Gevaert de tentoonstelling 125 Jaar Fotografie in het Provinciaal Museum voor Kunstambachten Sterckshof in Deurne. Aansluitend op het succes van deze tentoonstelling werden de bruiklenen van de firma Agfa-Gevaert samen met het archief van zijn voormalige publicatiedienst overgedragen aan de provincie Antwerpen. Deze collectie vormde de kern voor de uitbouw van een permanente afdeling binnen het museum, gewijd aan de geschiedenis van de fotografie. Het beheer van deze afdeling werd toevertrouwd aan het werkcomité Foto & Film onder leiding van Karel Sano, later opgevolgd door doctor Laurent Roosens. Vanaf 1973 werden de taken van dit werkcomité geleidelijk overgenomen door de wetenschappelijke staf van het Museum Sterckshof.

Onder leiding van historicus Roger Coenen, en later bijgestaan door kunsthistoricus Pool Andries, ontgroeiden de camera-, fotografie- en bibliotheekcollecties de beschikbare ruimte in het Sterckshof. Eind 1980 verhuisde de afdeling naar een kantoorgebouw in de Karel Oomsstraat in Antwerpen waarbij de benaming Museum voor Fotografie werd ingevoerd. In 1986 vond het museum en haar collecties een definitief onderkomen in het gerenoveerde pakhuis Vlaanderen aan de Waalsekaai. Architect Georges Baines bouwde een nieuwe vleugel aan het pakhuis waardoor de capaciteit drastisch werd uitgebreid. In 2000 werd er opnieuw grondig verbouwd en na vier jaar opende het vernieuwde Fotomuseum met onder meer 1400m² aan tentoonstellingszalen, twee cinemazalen, een aantal extra depots, een verruimde inkomhal en een workshopruimte. In 2009 verwierf het museum landelijke erkenning. Nadien werd de capaciteit nogmaals vergroot met de bouw van de Lieven Gevaerttoren, het eerste lage energiedepot voor fotografie in Europa.

Vandaag is het FOMU een volwaardige (inter)nationale erfgoedbeherende instelling die niet alleen infrastructureel gegroeid is, maar op ook op het gebied van werking en personeel.