In 1687 werd het Graanpakhuisgebouwd door Jacobus van Vechelen. Tien jaar na de bouw van het graanpakhuis besloot de eigenaar zijn bedrijf uit te breiden met een grut- en pelmolen Bij voldoende windkracht, overdag of ’s nacht, moest er direct gewerkt kunnen worden. Daartoe was het huis ten noorden van het pakhuis ingericht tot molenaarswoning. De molen zelf stond daarachter in de hof (nu de parkeerplaats van het voormalige kadaster). Na het overlijden van Van Vechelen in 1707 werd de grutter Pieter Metsers eigenaar van de Pelmolen. Van de pelmolen maakte hij overigens weinig gebruik. Hij maalde zijn gerst, haver en boekweit liever op zijn paardenmolen. Dat verklaarde tenminste zijn zoon Hermanus (de volgende eigenaar) in 1751 tegenover de Nassause Domeinraad in een poging van het windgeld af te komen, voor het gebruik van de wind moest namelijk betaald worden aan de landsheer.
Pakhuis
De molen is in onbruik geraakt en door jarenlange stilstand vervallen. In 1752 werd de grutter en binnenvoerman Nicolaas Van Gils eigenaar van de Pelmolen. Na het overlijden van grutter van Gils werd het pakhuis door zijn erfgenamen publiek verkocht. De nieuwe eigenaar in juli 1785 werd Ludovicus IngenHousz, apotheker en koopman. De zolders van het pakhuis konden direct in gebruik worden genomen. De begane grond was voor onbepaalde tijd kosteloos in gebruik bij het garnizoen. IngenHousz had het pakhuis nodig voor zijn leerhandel. Nadat de familie IngenHousz het eigendom had overgedaan werd de Pelmolen gebruikt als cholera-gasthuis, tapijtfabriek, kledingmagazijn voor het garnizoen, opslag voor machinefabriek Backer & Rueb. In de jaren 50 van de vorige eeuw heeft een deel van het pand ook dienst gedaan als filmhuis.
Rijksmonument
In 1967 werd het pand het nieuwe depot voor het Stedelijk Museum. In 1978 werd de Pelmolen tot rijksmonument verklaard. Ondanks dat dreigde in 1982 toch de sloop van het monument maar gelukkig bleef het pand (mede dankzij de acties van een oplettende historicus) behouden en bood het pakhuis na een grondige verbouwing onderdak aan in Breda gevonden fietsen en bromfietsen. In november 1983 vond de feestelijke opening plaats en voor het eerst was de Pelmolen toegankelijk voor het publiek, want op kijkdagen kon de Bredase bevolking haar fiets komen zoeken. Het pand bleef – ook nadat het niet meer als fietsenopslag werd gebruikt – eigendom van de politie, totdat de NV Stadsherstel Breda het in 2009 kon kopen.
Restauratie
Graanpakhuis De Pelmolen is in 2009 door Stadsherstel aangekocht. In september 2012 werd gestart met de restauratie/renovatie o.l.v. Rienks architecten. In het voorjaar 2013 werd het pand opgeleverd en werd het pand in gebruik genomen door een architectenkantoor (Rienks-architecten), en een installatiebureau (M3E).
