Den gamle bydel i Kalundborg kalder man Højbyen. Højbyen i Kalundborg er en af landets bedst bevarede middelalderbyer og flere af husene her er helt tilbage fra 1400- eller 1500-tallet.