Com acabamento em granito branco, o edifício tem uma arquitetura conhecida como "baronial escocesa" e está repleto de estátuas e monumentos para comemorar datas importantes na vida da família real, informa o órgão público escocês Historical Environment Scotland.
Na área externa, há plantações de rosas, lavanda e samambaias, que ficam próximas de estátuas de veados. Já o jardim localizado no Leste concentra vegetais que são consumidos no castelo.
O príncipe Albert foi o responsável pelo paisagismo, seguindo um modelo que ele havia construído em areia. Ele não viveu para ver seus planos concluídos, mas a rainha Victoria deu continuidade a eles;