Krøyers første atelier i Skagen er et lille hvidkalket hus, der blev opført af den velhavende møllebygger Søren Møller (Anna Anchers morfar) i 1850. Det er et bindingsværkshus med et pyramideformet tegltag, og det ligger halvt indgravet i en sandbanke. oprindeligt fungerede huset som korntørringsmagasin, og blev blandt andet brugt til tørring af det korn og kaffe, der havnede som strandingsgods i Skagen.

I sommeren 1884 indrettede malerne P.S. Krøyer og Oscar Björck korntørringsmagasinet som atelier. Björck fjernede inventaret og dekorerede atelieret med fresker. Der blev også indsat et nordvendt vindue i husets tag. Det nye atelier blev indviet med en fest den 2. juli samme år. De to bedst bevarede fresker blev i 1943 overført til lærred og udstillet i museet og senere på Brøndums Hotel. Freskerne brændte sammen med en del af hotellet i 1959, men en af dem kan dog ses som baggrund på Michael Anchers maleri Kunstdommere fra 1906 (Frederiksborgmuseet).

Bygningen blev fredet i 1971, og blev i 1990 indrettet som café. Bordene i caféen er udført med inspiration fra et par borde, som Marie Krøyer designede til ægteparret Krøyers bolig i Skagen Plantage. I 2009 blev caféen flyttet til Havehuset. Det gamle korntørringsmagasin danner i dag ramme om den digitale formidling af Krøyers berømte maleri Hip, hip, hurra!, som han malede på netop her.