Sejarah mencatat, Baiturrahman kembali melewati satu babak dalam sejarah masyarakat Aceh. Mesjid ini merupakan simbol Aceh. Perjalanan Mesjid ini juga merekam sejarah Aceh. Karena itu tak lengkap rasanya bila berkunjung ke Aceh, tanpa menengok Mesjid berkubah lima ini dan sedikit mengenal sejarahnya.
Mesjid ini sudah berada di tengah kota Banda Aceh sejak zaman kesultanan. Ada dua versi hikayat pendiriannya. Ada yang menyebut Sultan Alauddin Johan Mahmud Syah membangun Mesjid ini pada abad ke 13. Dalam versi lain menyatakan Baiturahman didirikan pada abad 17, pada masa kejayaan pemerintahan Sultan Iskandar Muda. Tak ada yang bisa memastikan mana yang benar. Nama Baiturahman, menurut catatan sejarah, diberikan oleh Sultan Iskandar Muda. Pada masa itu Mesjid ini menjadi salah satu pusat pengembangan ajaran Islam wilayah kerajaan Aceh. Perubahan fisik mesjid mengikuti alur sejarah bumi Serambi Mekah. Bangunan yang kelihatan sekarang bukanlah lagi bangunan semasa zaman kesultanan. Pada masa kesultanan, gaya arsitektur Baiturahman mirip Mesjid-Mesjid tua di Pulau Jawa. Bangunan kayu dengan atap segi empat dan bertingkat yang memiliki 1 kubah. Pada 1873, mesjid ini dibakar oleh Belanda dikarenakan mesjid dijadikan pusat kekuatan tentara Aceh melawan Belanda. Dan pada tahun itu pula terjadi pertempuran besar antara rakyat Aceh dengan tentara Belanda. Tembak menembak yang membuat gugurnya salah seorang perwira tinggi Belanda bernama Kohler. Pertempuran di Mesjid ini dikenang lewat pembangunan prasasti Kohler pada halaman Mesjid. Letak prasasti di bawah pohon Geulempang, yang tumbuh di dekat salah satu gerbang Mesjid.
Peletakan batu pertama pembangunan kembali Mesjid dilakukan tahun 1879 oleh Tengku Malikul Adil, disaksikan oleh Gubernur Militer Hindia Belanda di Aceh saat itu, G. J. van der Heijden. Pembangunan mesjid ini dirancang arsitek Belanda keturunan Italia, De Brun. Bahan bangunan Mesjid sebagian didatangkan dari Penang – Malaysia, batu marmer dari Negeri Belanda, batu pualam untuk tangga dan lantai dari Cina, besi untuk jendela dari Belgia, kayu dari Birma dan tiang-tiang mesjid dari Surabaya. Pembangunan kembali Mesjid dengan satu kubah, selesai dua tahun kemudian. Pada masa residen Y. Jongejans berkuasa di Aceh Mesjid ini kembali diperluas. Kemudian setelah itu, masyarakat Aceh semakin besar, untuk mengupahi dan meredakan kemarahan rakyat Aceh maka Mesjid diperluas lagi kiri kanannya pada tiga tahun kemudian. Ditambahlah dua kubah lagi di atasnya sehingga menjadi tiga kubah. Belanda kemudian meninggalkan Aceh. Bumi Nangroe beralih pada Indonesia.
Pada 1957, masa pemerintahan presiden Soekarno, Mesjid ini kembali berubah. Dua kubah baru dibuat di bagian belakang. Dibangun pula dua menara dengan jumlah tiang mencapai 280 buah. Karena perluasan ini, sejumlah toko di pasar Aceh yang berada di sekeliling mesjid tergusur. Peletakan batu pertama dilakukan oleh menteri agama Republik Indonesia pada masa itu KH Ilyas, kemudian dibangun kira-kira empat tahun. Bangunan berikutnya itu sudah sampai pada menara yang berikut ini. Renovasi Mesjid yang dilakukan pemerintah Soekarno terjadi pada masa gerakan Darul Islam pimpinan Daud Beureueh. Sehingga banyak kalangan yang mengaitkan pembangunan itu sebagai usaha pemerintah meredam pemberontakan itu. Lima kubah juga dianggap mewakili Pancasila yang digagas Soekarno. Pada kurun 1992-1995, Mesjid kembali dipugar dan diperluas hingga memiliki tujuh buah kubah dan lima menara. Setelah dipugar, Mesjid itu mampu menampung 10.000 hingga 13.000 jemaah. Halaman Mesjid juga diperluas hingga menjadi 3,3 hektar.
Semua pemugaran ini dilakukan dengan mempertahankan arsitektur dan bentuk ornamen lama pada masa Belanda. Salah satu tiang peninggalan Belanda, ketika Mesjid masih berkubah satu, masih dipertahankan. Arsitektur Mesjid ini bercorak eklektik, yaitu gabungan berbagai unsur dan model terbaik dari berbagai negeri.Ini misalnya tampak pada tiga pintu bukaan serta jendela yang bisa berfungsi sebagai pintu masuk. Jendela ini dibentuk oleh empat tiang langsing silindris model arsitektur Moorish, yang banyak terdapat di Mesjid-Mesjid Afrika Utara dan Spanyol. Sementara bagian tengah ruang shalat berbentuk bujur sangkar, diatapi kubah utama yang bercorak bawang. Pucuknya dihiasi kubah, mirip Mesjid-Mesjid kuno di India. Pada jendela yang sekaligus menjadi pintu terdapat ukiran yang tampak kokoh dan indah. Untuk menambah kemegahan dan keindahan, Mesjid ini ditempatkan di tengah lapangan terbuka, sehingga semua bagian Mesjid jelas terlihat juga dari kejauhan.
Mesjid Baiturrahman menjadi saksi darurat militer di Aceh, ketika muncul Gerakan Aceh Merdeka. Baiturrahman ini menjadi tempat memanjatkan doa dan harapan rakyat Aceh atas tanggungan beban konflik yang dideritanya. Baiturrahman ini juga menjadi sarana singgah pejabat pusat mengunjugi Aceh yang ketika itu tak aman. Baiturrahman yang konon merupakan salah satu Mesjid terindah Asia Tenggara ini juga menjadi saksi bisu bencana tsunami. Bencana memilukan itu juga merusak sejumlah bagian Mesjid. Rakyat menyelamatkan diri kedalam mesjid sembari meneriakkan Asma Allah.
Pada halaman Mesjid inilah berdirinya posko bencana pertama pasca tsunami Desember 2004 tersebut. Mesjid ini tangguh bertahan dari gempa dan terjangan air laut yang naik ke daratan. Hanya sedikit bangunan yang retak akibat gempa.
Pada halaman Mesjid inilah berdirinya posko bencana pertama pasca tsunami Desember 2004 tersebut. Mesjid ini tangguh bertahan dari gempa dan terjangan air laut yang naik ke daratan. Hanya sedikit bangunan yang retak akibat gempa.
Pasca tsunami perdamaian datang. Mesjid ini kembali menjadi bagian sejarah itu. Di Mesjid inilah warga menggelar doa khusus ketika delegasi Indonesia bertemu dengan wakil Gerakan Aceh Merdeka di Helsinki, Finlandia. Mesjid Baiturrahman menyaksikan perubahan Aceh pasca tsunami dan perjanjian damai. Ketika syariah Islam berlaku di Serambi Mekah, kawasan Mesjid Baiturahman dinyatakan sebagai area terbatas. Hanya pengunjung yang menutup aurat sesuai hukum syariah boleh masuk halaman Mesjid.