博物館建築由孫德鴻建築師設計,設計理念發想於考古發掘及先民乘船渡海來臺。全館藉由三組不同型態的建築群,分別為山與海、過去與現在的意象,以清水混凝土、砂岩及老化的金屬板等,構築而成。
全館凹立於地下一點五米,觀眾入館前,經歷一段向上後再緩緩往下斜伸的坡道,象徵走入考古學家發掘的地下寶庫。
本館建築最吸引人之處是「鯨背沙丘瞭望臺」與傾斜不正的「考古八角塔」。鯨背沙丘瞭望臺象徵海中的鯨背與十三行人當時生存的沙丘,可以從館外地面拾階而上,觀賞夕照、淡水河海與觀音山之美景。傾斜不正的考古八角塔則象徵毀壞的遺跡與無法還原的歷史真相。
博物館建築於2002年榮獲「臺灣建築獎」首獎、2003年獲「遠東建築傑出設計獎」,2014年獲「國家建築獎」金獎之文化教育及公共建築類金獅獎,值得細細探索。