Além de duas grandes igrejas da capital paraense, a Praça Dom Frei Caetano Brandão também é o endereço de duas atrações turísticas e históricas importantes de Belém: o Forte do Presépio e a Casa das Onze Janelas, ambos abrigando museus.
O Forte do Castelo do Senhor Santo Cristo do Presépio de Belém, popularmente referido como Forte do Presépio, está localizado onde se deu a origem da cidade de Belém. Também conhecido como Forte do Castelo, foi construído pelos colonos portugueses em 1616, em um terreno elevado, cercado de pântano, de maneira que fosse permitido o domínio de visão da ampla baía de Guajará, tornando-se elemento fundamental no sistema de defesa da cidade.
Ao longo de três séculos, o forte passou por várias modificações arquitetônicas e alterações no seu formato. Apesar disso, manteve a função estratégica de defesa da cidade. Peças de artilharia operavam encravadas nas canhoneiras abertas na parede de alvenaria de pedra, onde ainda estão mantidos alguns canhões. No final do século XIX, entrou em processo de decadência, passando a funcionar como enfermaria até 1907 e sede do Círculo Militar de Belém nos anos 60. É considerado um sítio arqueológico de grande significado histórico para entender o contato entre os primeiros colonizadores portugueses e indígenas nativos, até os fins do século XIX.
A entrada para o forte se dá pelo Portal do Aquartelamento que era a porta de entrada para Feliz Lusitânia, o primeiro nome de Belém. Até a segunda metade do séculos XIX, a cidade e o forte eram ligados fisicamente, quando foi construído um muro de separação aquartelando o local. Em 2002, o muro foi parcialmente demolido, deixando apenas um vestígio do mesmo.
Dentro do Forte funciona o Museu do Encontro para o qual é necessário ingresso, que dá direito a visitar a muralha do forte, de onde se tem uma perfeita vista do Mercado Ver-o-Peso. O museu fica na Sala Guaimiaba, antigo Corpo da Guarda do Forte, abrigando uma exposição que reúne objetos da arqueologia pré-histórica e outros traços de cultura material recolhidos no próprio sítio histórico, focalizada em dois momentos significativos da história do Pará (período pré-colonial e após colonização).
Ao fundo do museu, “A Conquista do Amazonas”, uma tela histórica encomendada pelo governador Augusto Montenegro ao pintor Antônio Parreiras, para decorar a parede do Salão de Honra do Palácio do Governo. A tela, de 8 metros de largura por 4 de altura, retrata a expedição organizada pelo Governador da Capitania do Maranhão com objetivo de reconhecer o rio Amazonas até Quito, no Equador.
Outro marco histórico da urbanização de Belém é a Casa (ou Palacete) das Onze Janelas, que foi construída na metade do século XVIII por Domingos da Costa Bacelar, proprietário de engenho de açúcar. Em 1763, a casa passou por um projeto de adaptação arquitetônica para servir como instalação do Hospital Real Militar a pedido do Governo Português. A casa deixou de funcionar como hospital em 1870, mas continuou a ter funções militares, abrigando o Corpo da Guarda e a Subsistência do Exército até o final do século XX.
Em 2001, o terreno da casa, assim como do forte, passou para o Estado do Pará, que a restaurou e atualmente funciona como um espaço cultural de referência para as artes visuais contemporâneas. O Espaço Cultural Casa das Onze Janelas recebe exposições e antigamente funcionava um restaurante às margens do rio. A entrada para o jardim é gratuita, sendo necessário ingresso apenas para a exposição que estiver em cartaz.
Nos espaços do Forte do Presépio e da Casa das Onze Janelas foram encontrados em torno de cem mil objetos inteiros ou em fragmentos, como vasilhas indígenas de cerâmica, garrafas de bebidas europeias, porcelanas do século XIX, moedas (inclusive uma de ouro) e artigos de vestuário de uso cotidiano. Por isso, hoje esta área desempenha uma grande importância para a história de Belém e do Brasil.