Согласно Альканьисскому договору 1297 года, Оливенса принадлежала Португалии до 1801. По инициативе муниципалитета здесь были восстановлены и испанские, и португальские памятники.
Оливенса была основана орденом тамплиеров в XIII веке. По сей день она не отказывается от португальских традиций. Ее архитектура и обширное монументальное наследие сочетают стили обеих стран.
Старый город, окруженный крепостными стенами, насчитывал раньше 14 башен. За этими стенами в 1334 году началось возведение крепости. Однако только в 1488 году была построена самая высокая башня на границе — высотой 37 метров. Внутри крепости и в Королевской пекарне (XVIII в.) сейчас находится Этнографический музей. Церковь Ла-Магдалена XVI столетия— подлинный шедевр мануэлинского стиля. Церковь Эрмандад-де-Мисерикордия приобрела свой нынешний вид в 1732 году, хотя ее больница постоянно реконструировалась. Строительство клариссинского монастыря Сан-Хуан-де-Диос заняло почти целое столетие (1556–1631 годы), а сегодня в этом здании находится Культурный центр, а также Школа театра и танца. В часовне Евангелия церкви Санта-Мария-дель-Кастильо можно полюбоваться удивительным ретабло Оливенсы. Оно выполнено в виде древа высотой 15 метров и является одним из немногих сохранившихся произведений такого рода.Поскольку Оливенса стоит на границе, здесь были возведены фортификационные сооружения с бастионами. Вместе с ними появились пороховой погреб Санта-Барбара, корпуса стражей ворот и казармы.