På en af Lemvigs smukkest beliggende grunde ved Limfjorden lå tidligere byens gamle sommerrestaurant. Den nedbrændte, og ved hjælp fra bl.a. by, amt og private fonde byggede man på grunden i 1994 første etape af kunstmuseet. Bag museet løfter sig de tæt bevoksede skrænter, der beskytter mod vestenvinden, og foran museet ligger fjorden med indsejlingen til Lemvig Havn. Fra museets café kan man således nyde den udsigt, som de fleste danskere er fortrolige med gennem digteren Thøger Larsens sange og - måske ikke mindst - gennem Henning Gantriis' tegneserie om "Livets gang i Lidenlund". I caféen kan man bl.a. købe kaffe og kage. Både her og ved skranken betjenes de besøgende af museets mange frivillige medarbejdere