Nhà thờ được xây dựng vào năm 1884 và khánh thành năm 1887 với tên gọi Nhà thờ Thánh Giuse (Saint Joseph). Gọi là Nhà thờ Lớn vì đây là công trình Công giáo lớn nhất ở Hà Nội. Nhà thờ có chiều dài 64,5m, chiều rộng 20,5m và hai tháp chuông cao 31,5m với những trụ đá to nặng bốn góc, trên đỉnh là cây thánh giá bằng đá.
Nhà thờ lớn Hà Nội là một trong những công trình kiến trúc có sức hút kỳ lạ đối với bất kỳ du khách nào khi đặt chân đến Hà Nội, bởi sự độc đáo và “quyến rũ” trong kiến trúc. Nhà thờ được thiết kế theo phong cách kiến trúc Gothic trung cổ châu Âu, mô phỏng Nhà thờ Đức Bà Paris với những mái vòm uốn cong, rộng, hướng lên bầu trời (kiểu kiến trúc thịnh hành trong thế kỷ XII và thời Phục Hưng).
Vật liệu xây dựng chính của Nhà thờ là gạch đất nung, tường trát bằng giấy bổi. Bên ngoài nhìn nhà thờ có vẻ rất cổ kính với những lớp vôi cũ, rêu phong hiện rõ lớp bụi thời gian xuyên qua 3 thế kỷ. Nhưng trái ngược với nét cổ kính, rong rêu đó, khi bước qua cánh cửa lớn vào bên trong nhà thờ, du khách sẽ ngỡ ngàng khi chứng kiến những nét kiến trúc nguy nga, tráng lệ không bị biến đổi mà song hành theo thời gian.
Phía sảnh trong nhà thờ, có một cửa đi lớn, hai cửa nhỏ hai bên tháp. Các cửa đi và toàn bộ các cửa sổ đều cuốn nhọn, kết hợp với đó là những bức tranh Thánh bằng kính màu hài hòa tạo ra nguồn ánh sáng tự nhiên huyền ảo bên trong. Điểm khác biệt độc đáo là Khu cung thánh được trang trí theo nghệ thuật dân gian truyền thống, chạm trổ hoa văn bằng gỗ sơn son thiếp vàng rất tinh tế. Ở gian chính có tượng thánh Giuse bằng đất nung cao hơn 2m.
Nhà thờ còn có một bộ chuông Tây, gồm bốn quả chuông nhỏ và một quả chuông lớn. Đặc biệt là chiếc đồng hồ lớn gắn giữa mặt tiền nhà thờ. Đồng hồ có báo khắc, báo giờ, hệ thống chuông báo được liên kết với 5 quả chuông treo trên hai tháp. Người ta vẫn không hiểu rằng tại sao khu Phố cổ vẫn luôn nhộn nhịp và tấp nập nhưng xung quanh công trình Nhà thờ Lớn Hà Nội được bao bọc bởi các ngôi nhà mang kiến trúc Pháp cổ kính lại tĩnh lặng và yên bình đến thế, cảm giác như một mình Nhà thờ nằm tách biệt với toàn bộ những gì đang diễn ra sôi động và cuồng nhiệt ở trung tâm của thủ đô. Đấy cũng chính là lý do rất nhiều khách du lịch yêu thích địa điểm này.
Đến nay, Nhà thờ Lớn Hà Nội không chỉ là trung tâm hoạt động của Công giáo Hà Nội và các vùng phụ cận, mà còn là một điểm đến không thể thiếu trong hành trình của mỗi du khách khi đặt chân đến thăm mảnh đất thủ đô ngàn năm văn hiến.
