Až do roku 1325 byl pravděpodobně vlastníkem mlýna rod z Lipé, neboť v tomto roce daroval Jindřich z Lipé mlýn klášteru Králové Panny Marie na Starém Brně.
V roce 1349 odevzdal klášter mlýn Konrádovi ze Židenic a jeho manželce až do jejich smrti.
Následující tři století se majitelé mlýna stále střídali.
V roce 1662 koupil Cacovický mlýn nazpět klášter na Starém Brně.
V rukou soukromníka se mlýn ocitl o několik desítek let později (Za mlynáře J. Koláře navštívil mlýn císař Josef II., který si mlýn prohlédl, a když zjistil jeho kapacitu, dodal mu vojenské dodávky. To bylo roku 1785 a od té doby se v Cacovickém mlýně mlelo pro vojsko).
Po vrchnosti byl prvním majitelem mlýna a jezu Antonín Svoboda, druhým Eduard Ryba a od něj koupil mlýn Josef Kotovec. V roce 1884 koupil mlýn od Kotovců mlynář Ferdinand Frank, ten mlýn zrenovoval (zrušil 12 vodních kol na spodní vodu a postavil turbínu, systém Girard, která byla první turbínou na Moravě; vyměnil také mlecí zařízení; v roce 1902 vybudoval nový jez na Svitavě, který měl délku 43 m). Pozdější nový majitel Adolf Ženožička mlýn přestavěl znovu. Bylo to v roce 1918, kdy na jeho kapacitu byly kladeny zvýšené požadavky (obě budovy byly zvýšeny na tři poschodí a rozšířeny). V roce 1926 přešel celý objekt do vlastnictví
Moravské banky v Brně. V roce 1931 přešel mlýn do majetku Adolfa a Jarmily Hynkových.

mlýn