Die erste Erwähnung des Schloss Wolfurt erfolgte Ende der ersten Hälfte des 13. Jahrhunderts (ca. 1217). Das Schloss war der Stammsitz des alten und mächtigen Dienstmannen- und Rittergeschlechts derer "von Wolfurt". Zwei Jahrhunderte lang erwarb das Geschlecht großes Ansehen, bevor es zu Beginn des 15. Jahrhunderts zerfiel und mit dem Verkauf von Gütern begann.
1402 ging die Hälfte des Schlosses an das Kloster Au (Mehrerau), fiel aber als Lehen zurück. Nach Paul von Wolfurt (1440) starb das Geschlecht aus; neuer Besitzer wurde Hans von Gästras. 1451 wurde die Burg erneut ein Lehen vom neuen Erzherzogtum Österreich. Lehensherr war Landammann des Gerichtes Hofsteig Heinrich Kaysermann. Danach ging das Lehen an Hans Leber. Die Enkel Leber wurden von Kaiser Maximilian I. 1515 in den Adelsstand erhoben. Im Endeffekt durften alle Mitglieder der Familie Leber den Namen "von Wolfurt" tragen. Nach 150 Jahren Schlossbesitz starb die Familie 1653 aus.
Der nächste Lehensherr war Johann Wilhelm Marius. Die Lehensfamilie darauf war Reichart von Wolfurt und Wellenstein bis 1730. Danach wurde das Lehen an Familie Tröndlein-Greifenegg aus dem Schwarzwald verkauft. 1772 erwarb der Bauersmann Johann Stadelmann aus Wolfurt um 3.600 Gulden (ca. € 48.000,00) das Schloss mit allen zugehörigen Gütern. Anfang 1800 ging das Schloss an Xaver Köb. 1856 wurde Schloss Wolfurt an die Familie Huter aus Bregenz verkauft.
Das Gebäude war in sehr schlechtem Zustand, da es den einen Lehensherren vorrangig wichtig war, ein wohlklingendes Adelsprädikat zu erhalten und die anderen vor allem an der landwirtschaftlichen Nutzung interessiert waren. Die Familie Huter unternahm große Anstrengungen, um das Schloss wieder bewohnbar zu machen.
1937 kaufte Dr. Fritz Schindler, einer der markantesten Industriellen Vorarlbergs, das Schloss. Sein Urgroßvater Samuel Wilhelm Schindler gründete 1836 die damals größte Textilfabrik Vorarlbergs. Sein Vater Friedrich Wilhelm Schindler gründete die Elektra Bregenz und erfand die erste vollelektronische Küche. 1908 baute er in Andelsbuch das größte Wasserwerk in Österreich-Ungarn. Diese waren der Beginn der heutigen VKW.
Im Dezember 1939 brannte das Schloss bis auf die Mauern ab. Dies war bereits der zweite Brand des Schlosses. Der bekannte Architekt Johann Anton von Tscharner wurde während der Kriegszeit mit dem Wiederaufbau beauftragt. Seit 2017 gehört das Schloss Wolfurt der Marktgemeinde. Heute ist das Schloss von außen ein gewaltiger klassischer Bau und wirkt innen mit dem Stil der ersten Hälfte des 20. Jahrhunderts.