Sau khi bị trục xuất vĩnh viễn khỏi Việt Nam năm 1645, cha Đắc Lộ về châu Âu tường trình cánh đồng truyền giáo chín vàng ở Việt Nam để kêu gọi có thêm thừa sai và giám mục sang Việt Nam. Ngày 9-9-1659, Đức Thánh Cha Alexander VII, qua Sắc chỉ Super Cathedram, quyết định thiết lập ở Việt Nam hai giáo phận và chọn hai vị thừa sai thuộc Hội Truyền giáo Paris (MEP) làm Đại diện Tông toà. Giáo phận Đàng Trong từ sông Gianh trở vào Nam, gồm cả phần đất Chiêm Thành, Chân Lạp do Đức cha Pierre Lambert de la Motte cai quản. Giáo phận Đàng Ngoài từ sông Gianh trở ra Bắc, bao gồm cả Lào và 5 tỉnh miền Nam Trung Quốc do Đức cha François Pallu coi sóc.
Đức cha Pallu đã nhiều lần muốn tới Đàng Ngoài để nhận nhiệm sở, nhưng bị cản trở nên đành nhờ Đức cha Lambert de la Motte giám quản giùm và đặt cha François Deydier Phan làm cha chính (tổng đại diện) giáo phận. Đến năm 1679, Toà Thánh bổ nhiệm Đức cha Pallu làm giám mục giáo phận Phúc Kiến (Trung Quốc). Ngày 27-1-1684, Đức cha lên đường nhận nhiệm sở và 9 tháng sau, ngài qua đời tại đó. Năm 1669, Đức cha Lambert tới Phố Hiến (Hưng Yên). Đầu năm 1670, ngài truyền chức linh mục cho 7 thầy, chủ toạ công đồng đầu tiên ở Phố Hiến, lập dòng Mến Thánh Giá tại Kiên Lao (Bùi Chu) và Bái Vàng (tỉnh Hà Tây, giáo phận Hà Nội).
Năm 1679, giáo phận Đàng Ngoài được chia thành hai: Tây và Đông, lấy sông Hồng và sông Lô làm ranh giới. Tây Đàng Ngoài do Đức cha Jacques de Bourges Gia, MEP (1679-1714) coi sóc. Đông Đàng Ngoài được trao cho Đức cha François Deydier Phan (MEP). Trong suốt hơn một thế kỷ, các giám mục Đại diện Tông toà kế tiếp nhau (7 vị ở Đàng Trong, 7 vị ở Tây Đàng Ngoài, 9 vị ở Đông Đàng Ngoài). Tất cả đã làm việc hết sức mình, trải qua nhiều gian khổ, để xây dựng Giáo Hội trong địa phương được giao phó cho mình. Chúng ta ghi nhận một số khó khăn chính của thời kỳ này.
Khó khăn trước hết là sự bất hoà giữa các thừa sai dòng Tên và các giám mục Đại diện Tông toà thuộc Hội Thừa sai Paris cũng như giữa các thừa sai thuộc nhiều quốc tịch khác nhau. Khó khăn thứ hai là tính cách bất hợp pháp của Công giáo do các sắc chỉ cấm đạo của vua chúa. Nhiều vị thừa sai nước ngoài cũng như linh mục Việt Nam đã bị giết hại dưới thời các chúa Trịnh Cương, Trịnh Doanh, Trịnh Sâm ở ngoài Bắc, cũng như thời vua Cảnh Thịnh, nhà Tây Sơn ở miền Trung. Hàng chục ngàn giáo dân đã bị giết chết chỉ vì muốn bảo vệ đức tin của mình. Trước tình cảnh đó, các vị thừa sai đã đi tìm một giải pháp mới, khiến cho sau này người Pháp có điều kiện can thiệp và xâm chiếm Việt Nam bằng vũ lực (x. Nguyễn Văn Kiệm, Một số vấn đề lịch sử đạo Thiên Chúa trong lịch sử dân tộc Việt Nam, UBKHXH, Viện KHXH và Ban Tôn giáo của Chính phủ, 1988, tr. 29-42).
Sau khi vua Quang Trung Nguyễn Huệ đại phá quân Thanh ở Thăng Long ngày 30-1-1789 và mất năm 1792, con là Quang Toản mới 10 tuổi lên nối ngôi, lấy niên hiệu là Cảnh Thịnh. Mọi việc triều đình do các quan lại chuyên quyền nắm giữ, tướng tá thì ganh ghét xâu xé lẫn nhau, trong khi thế lực của chúa Nguyễn Phúc Ánh ngày một mạnh ở Gia Định. Ông là người biết tổ chức, chỉnh đốn lại xã hội về mọi lĩnh vực, không xâm phạm đến tín ngưỡng của dân chúng nên ông được người dân Nam bộ tin tưởng.
Đức cha Pigneau de Béhaine, quen gọi là Bá Đa Lộc, Đại diện Tông toà Đàng Trong (1771-1799), đã hết lòng giúp đỡ Nguyễn Phúc Ánh, lúc đó đang bị khốn đốn bởi cuộc vây hãm của quân Tây Sơn. Ngài đã đưa hoàng tử Nguyễn Phước Cảnh (lúc bấy giờ mới lên 4 tuổi) sang Pháp và vận động người Pháp giúp đỡ tàu chiến, vũ khí để Nguyễn Phúc Ánh chống Tây Sơn và chúa Trịnh. Ước nguyện của các vị thừa sai và của Đức cha Bá Đa Lộc là chỉ muốn cho người Công giáo Việt Nam được an thân giữ đạo và đạo Chúa được mở rộng, vừa có lợi cho Giáo Hội, vừa tốt đẹp cho dân tộc Việt Nam. Đức cha đã nuôi dạy hoàng tử Cảnh ở dinh Tân Xá. Năm 13 tuổi, hoàng tử được phong làm Nguyên Soái Quận Công, theo cha đi chinh chiến, lập nhiều chiến công. Sau khi ở Pháp về năm 1789, hoàng tử Cảnh không chịu làm lễ bái trước bàn thờ chư vị tiên đế khiến vua Gia Long rất bực tức. Đây cũng là một trong những nguyên nhân sâu xa khiến vua Gia Long không chọn hoàng tôn Đán mà lại chọn người con nuôi là hoàng tử Đảm sau này. Chính Đức cha cũng đã khuyên hoàng tử Cảnh phải tôn trọng tục lệ thờ kính ông bà và lễ bái trước bàn thờ chư vị tiên đế (x. Trần Đình Sơn, Vua Gia Long với quyết định chọn người kế vị, tạp chí Xưa và Nay của Hội Khoa học Lịch sử Việt Nam, số 81B, tháng 11-2000, tr. 26-27.34). Ước mơ của các thừa sai về một ông vua theo đạo Công giáo và cho người Công giáo được hoàn toàn tự do hành đạo như vua Constantinus ở đế quốc Roma vào năm 313 hoàn toàn tan biến với cái chết của Đức cha Bá Đa Lộc (9-10-1799) và của hoàng tử Cảnh (1801).
Tuy nhiên, dù chịu nhiều thử thách và bách hại vì đức tin, số tín hữu ở cả 3 giáo phận vẫn tăng lên không ngừng. Vào năm 1802, Giáo hội Việt Nam đã thành hình cơ cấâu tổ chức gồm 3 giáo phận với 121 linh mục Việt Nam, khoảng 320.000 tín hữu.
- Đàng Trong: 1 giám mục, 5 thừa sai, 15 linh mục, 60.000 giáo dân.
- Tây Đàng Ngoài: 1 giám mục, 5 thừa sai, 65 linh mục và 120.000 giáo dân.
- Đông Đàng Ngoài: 1 giám mục, 4 thừa sai, 41 linh mục và 140.000 giáo dân (x. Eugène L. Louvet, Les Missions Catholiques au XIXè siècle, tr 207).