Sua histórica condição de fortaleza fronteiriça entre Portugal por um lado, e Castilla - e mais tarde, a Espanha - por outro, determinou o singular aspecto urbanístico que apresenta hoje em dia. Seu centro histórico foi declarado Bem de Interesse Cultural.
Seu recinto de origem medieval é resguardado pelo castelo e pelas muralhas, erigidas em momentos sucessivos. A muralha é do final do séc. XIII, foi construída de pedra talhada com torres quadradas geminadas, e encerra uma ampla praça de armas. Do séc. XV data a torre da homenagem, e do séc. XVII um terceiro recinto fortificado com muralhas com baluartes. Intramuros, cabe mencionar a igreja paroquial (séculos XII-XIII) românica de transição (portal e campanário), modificada na época gótico-renascentista (séc. XVI), com suas três naves e a capela principal. De sua arquitetura civil se destacam edifícios como a Prefeitura (séc. XVI) e a Alhóndiga, os antigos hospitais de Rocamador e da Misericórdia, e suas casas senhoriais brasonadas (séculos XVI-XVIII), como a dos Mayorazgos, a do Corregidor e a dos senhores de Ron.