Havehuset, der ligger i museets have, er et af Skagens ældste huse og bliver første gang omtalt i 1801. Havehuset fik sit navn i 1840'erne, da det blev en del af Brøndums gård. Indlemmelsen betød at huset nu var placeret i haven til Brøndums gård - deraf navnet Havehuset. Huset har været anvendt til mange forskellige formål igennem tiden.

I 1853 blev huset brugt som koleralazaret, og efter en brand i Brøndums gård i 1874 fungerede det som købmandsbutik og gæstgiveri med værelser og skænkestuer. Gæstgiveriet flyttede tilbage til Brøndums gård i 1875, efter genopbygningen af de nedbrændte fløje. I 1880 flyttede det nygifte par Anna og Michael Ancher ind i Havehuset. Den østlige ende, der tidligere havde været købmandsbutik, blev indrettet som atelier, og ved den lejlighed blev det store vindue indsat i husets gavl. Helga Ancher blev født i Havehuset i 1883 og året efter flyttede familien Ancher ind i huset på Markvej. Michael Ancher fortsatte dog med at bruge Havehuset som atelier. Havehuset blev siden brugt som sommerbolig for tilrejsende kunstnere. 

I 1919 skænkede familierne Brøndum og Ancher, haven og Havehuset til Skagens Museum. Siden har der været mindestuer for Holger Drachmann og P.S. Krøyer samt skiftende udstillinger. Fra 1989 til 1997 fungerede Havehuset som administrationsbygning. Havehuset er blevet restaureret flere gange, og i 1971 blev bygningen fredet. I 2009 blev museets café flyttet fra det gamle korntørringsmagasin hen i Havehuset, hvor man i dag kan nyde hjemmebagte kager og lette frokostanretninger.