Hơn 15 năm trước khi Đức Mẹ Fatima xin hiến dâng nước Nga cho Trái Tim Vô Nhiễm Nguyên Tội của Mẹ Maria, việc xây dựng một nhà thờ dành riêng cho Đức Mẹ Vô Nhiễm Nguyên Tội đã bắt đầu tại Matxcova. Đó từng là nhà thờ Công giáo lớn nhất ở Nga.
Nhà thờ tân Gothic được xây dựng trước Cách mạng Nga với thiết kế của Foma Bogdanovich-Dvorzhetsky, một kiến trúc sư từng được đào tạo tại Học viện Nghệ thuật Hoàng gia do Hoàng hậu Catherine Đại đế khánh thành.
Vào thời điểm đó, dân số Công giáo thiểu số của Mátxcơva lên tới hơn 30.000 người, vượt quá sức chứa của hai nhà thờ Công giáo hiện có của thành phố.
Việc xây dựng bắt đầu vào năm 1901 và kéo dài trong 10 năm cho đến khi nhà thờ được thánh hiến vào ngày 21 tháng 12 năm 1911, đặt tước hiệu Đức Mẹ Vô Nhiễm Nguyên Tội.
Cha Mikhail Tsakul là giám đốc đầu tiên của nhà thờ. Ngài xuất thân trong một gia đình có gốc gác Ba Lan. Ngài đã từng học tại Đại chủng viện Công giáo St. Petersburg, nơi ngài bị ảnh hưởng rất nhiều bởi Tôi tớ của Chúa là Cha Konstantin Budkevich - người sau đó đã bị hành quyết vào đêm Thứ Bảy Tuần Thánh năm 1923 vì tổ chức phản kháng bất bạo động chống lại chiến dịch chống tôn giáo đầu tiên của Liên Xô.
Với tư cách là giám đốc, Cha Tsakul liên tục bị bắt trong những năm sau Cách mạng Nga 1917. Ngài bị bắt vào các năm 1924, 1927, 1929, và một lần nữa vào năm 1931, khi bị bắt cùng một nhóm giáo sĩ và giáo dân Công giáo với cáo buộc “nuôi dạy trẻ em theo tinh thần chống Liên Xô”.
Cha Tsakul bị đày đến Tambov, miền trung nước Nga, trong hai năm trước khi được phép trở lại Moscow, nơi ngài tiếp tục công việc của mình.
Chưa đầy 5 năm sau khi trở về, vị linh mục bị bắt vì dâng lễ vào ngày 3 tháng 5, Ngày Hiến pháp Ba Lan, theo yêu cầu của đại sứ Ba Lan. Ngài bị giam trong nhà tù khét tiếng Butyrka trong ba tháng trước khi bị kết án tử hình. Ngài bị bắn chết vào ngày 21 tháng 8 năm 1937 và được chôn trong một ngôi mộ chung với các nạn nhân khác của cuộc đàn áp Liên Xô.
Trong số các linh mục tử đạo khác có mối liên hệ chặt chẽ với nhà thờ là Cha Sergey Solovyov và Chân phước Leonid Fedorov, những người đã dâng Thánh lễ Phục Sinh cuối cùng của mình ở đó trước khi qua đời sau nhiều năm lao động trong trại tập trung khổ sai.
Sau cái chết của cha giám đốc, Nhà thờ Đức Mẹ Vô Nhiễm Nguyên Tội bị đóng cửa vào năm 1938 và tài sản bị cướp phá. Phải mất hơn 50 năm trước khi thánh lễ thánh hiến được dâng lại bên trong nhà thờ, mà mãi đến năm 1999 mới mở cửa trở lại.
Trong thời kỳ Xô Viết vô thần, toà nhà thánh đường là nơi đặt một viện nghiên cứu khoa học và nội thất của nó đã được thay đổi hoàn toàn để có thể được sử dụng làm không gian ký túc xá cho những người vận hành máy móc.
Năm 1990, chính quyền Liên Xô cho phép Cha Tadeusz Pikus, tuyên úy người Ba Lan làm việc tại Liên Xô để dâng thánh lễ trên các bậc thang bên ngoài nhà thờ. Hàng trăm người đã tham dự thánh lễ ngoài trời được tổ chức vào tháng 12 trong cái lạnh buốt giá.
Nhưng phải mất nhiều năm cho đến khi toà nhà thánh đường được trả lại cho Giáo hội Công giáo.
Người Công giáo ở Mátxcơva tiếp tục tham dự Thánh lễ thường xuyên trên các bậc thềm của nhà thờ, và sau đó tại nhà thờ chính toà trong những năm sau đó, cho đến khi Tổng Giám mục Tadeusz Kondrusiewicz gửi thư cho Tổng thống Boris Yeltsin vào năm 1995 yêu cầu chuyển nhượng nhà thờ đã được uỷ quyền trước đó cho Giáo hội Công giáo được xúc tiến.
Năm 1999, Ngoại trưởng Vatican, Hồng y Angelo Sodano, đã cho tái thánh hiến nhà thờ.
Năm sau, một bức tượng Đức Mẹ Fatima được làm phép trong nhà thờ chính toà và một cuộc rước Thánh Thể được tổ chức qua các đường phố ở Mátxcơva.
Giáo hoàng Gioan Phaolô II đã cầu nguyện lần chuỗi mân côi qua hội nghị viễn thông với những người Công giáo tụ tập bên trong Nhà thờ Chính toà Moscow vào tháng 3 năm 2002.
Nhân kỷ niệm 100 năm ngày thánh hiến nhà thờ, ĐGH Bênêđictô XVI nói rằng lịch sử của Nhà thờ Đức Mẹ Vô Nhiễm Nguyên Tội ở Moscow là một trong những “sự cứu chuộc và đau khổ”. Ngài mô tả nhà thờ là "một biểu tượng tươi sáng cho sức mạnh của đức tin".
Ngày nay, các thánh lễ thường xuyên được tổ chức trong nhà thờ lớn theo phong cách tân Gothic bằng tiếng Nga, Ba Lan, Anh và Pháp với 11 thánh lễ được tổ chức trong nhà thờ vào các ngày Chủ Nhật.
Một linh mục cho biết vào năm 2017 rằng khoảng 150 người được rửa tội theo đạo Công giáo mỗi năm ở Moscow.
Đức Tổng Giám mục Paolo Pezzi, người lãnh đạo Tổng Giáo phận Công giáo của Mẹ Thiên Chúa tại Matxcova, đã hoan nghênh quyết định “vô cùng vui mừng và biết ơn” của Đức Giáo hoàng Phanxicô khi thánh hiến Nga và Ukraine cho Đức Mẹ Vô Nhiễm Nguyên Tội.
Đức Tổng Giám mục sẽ dâng thánh lễ trong thánh đường vào ngày 25 tháng Ba, Lễ Truyền Tin, và cộng đoàn từ Matxcova sẽ xem và cầu nguyện cùng với buổi truyền hình trực tiếp lễ thánh hiến của Đức Thánh Cha.