Kulturmiljöer finns både inom och utanför detaljplanerat område. När man bygger nytt, bygger till eller gör andra ändringar i en kulturmiljö ställs krav på utförandet. Tillkommande byggnader ska anpassas till den befintliga miljön, vara estetiskt tilltalande och skapa en god helhetsverkan.
Vid tillbyggnader eller ändringar ska byggnadernas karaktärsdrag och kulturhistoriska värden tillvaratas på ett varsamt sätt. Vissa byggnader eller bebyggelseområden är utpekade som särskilt värdefulla vilket innebär att dessa inte får förvanskas enligt Plan- och bygglagen.
Kulturmiljöer och enskilda byggnader finns utpekade i olika dokument som översiktsplan, kustplan, fördjupade översiktsplaner, detaljplaner, kulturmiljöinventeringar, och genom riksintresseområden. Även bebyggelse som inte är speciellt utpekad i något dokument kan vara så värdefull att den inte får förvanskas, i sådana fall gör stadsbyggnadsnämnden eller byggherren en utredning när byggnaden står inför en förändring.