Ba Huy chính thức cưới vợ vào năm 1934, một cô gái Bạc Liêu chính hiệu là bà Ngô Thị Đen. Bà sinh được một người con gái đặt tên là Trần Thị Lưỡng.
Nhưng ít ai biết trước đó 10 năm, Ba Huy đã có con với một cô gái Pháp. Một lần, khi đến tiệm cà phê nổi tiếng nằm bên bờ sông Siene, Ba Huy bị ánh mắt sâu thẳm của cô caissier hớp hồn. Ban đầu Ba Huy tính chơi qua đường cho vui, nhưng rồi Ba Huy thấy yêu thương Marie thật sự, chủ động để cho có con và đặt tên là Richard. Khi cậu bé được 7 tháng, Ba Huy phải lên đường về nước. năm 1936, tức gần 6 năm sau khi Ba Huy từ Pháp trở về Bạc Liêu, Marrie dẫn con trai 6 tuổi về gặp cha. Công tử Bạc Liêu đã dẫn vợ con về ra mắt bố mẹ, nhưng 2 mẹ con Marie chỉ ở lại Bạc Liêu một thời gian rồi về lại Pháp vì lúc đó Ba Huy vừa kết hôn với con gái ông Bá hộ Mín.
Vợ chồng Công tử Bạc Liêu
Thông tin không chính thức cho hay số tiền ông bà Hội đồng cho mẹ con Marie tương đương vài chục ký vàng - đủ để Marie sống và nuôi Richard ăn học tới tuổi trưởng thành.
50kg vàng để chinh phục Hoa hậu Đông Dương
Trần Ngọc Trà, thường gọi là cô Ba Trà, thuở ấy được mệnh danh là "Hoa hậu Đông Dương" khiến các ông phủ, ông huyện, các công tử, thầy thông, thầy ký đều nhìn cô thán phục, thèm thuồng... Công tử Bạc Liêu đã tiêu tốn khoảng chục triệu đồng Đông Dương, tương đương 40 - 50kg vàng để theo đuổi người đẹpbằng những món đồ quý đắt giá như dây chuyền, nhẫn hột xoàn, thậm chí cả nhà cửa, xe hơi.
Tuy nhiên, cô Ba Trà chọn một người đàn ông khác làm chồng và cuộc đời của cô cũng kết thúc trong nghèo khó.
Lần thất tình duy nhất
Một tối nọ, ông đến nhà hàng Soái Kình Lâm cùng vài người bạn để “giải sầu” bằng rượu Tây và nghe ca nhạc. Ba Huy chợt sững sờ trước ca sĩ trẻ T.T mới nổi, vừa ký hợp đồng phục vụ hàng đêm ở nhà hàng này. Đôi chân dài ẩn hiện trong chiếc váy ngắn, thân hình bốc lửa trong chiếc áo thun màu hồng bó sát và đặc biệt là đôi mắt long lanh, sâu thẳm như thôi miên Công tử Bạc Liêu. Cùng với sắc đẹp cháy bỏng ấy là giọng hát mượt mà trong các ca khúc lãng mạn buồn man mác của Lam Phương, Phạm Duy...
Lâu lắm rồi Ba Huy mới diện kiến một người con gái tài sắc vẹn toàn đến vậy, làm mê hồn người đàn ông đệ nhất đa tình Ba Huy. Ba Huy kêu người bồi bàn tới, dúi cho một nắm tiền và bảo: “Cậu nói với ca sĩ T.T có Công tử Bạc Liêu mời một ly rượu làm quen”. Thế nhưng, cô ca sĩ trẻ không mảy may đếm xỉa đến Công tử Bạc Liêu lừng danh đang dõi mắt về phía cô. Có thể cô ca sĩ trẻ kia chưa từng được nghe nói Công tử Bạc Liêu là ai, nên cô mới xúc xiểm như thế, Ba Huy tự an ủi.
Đêm sau, Công tử Bạc Liêu một mình đến nhà hàng, ông đưa một xấp tiền dày cho chủ nhà hàng, rồi bảo: “Ông nói rõ cho cô T.T biết Công tử Bạc Liêu là ai rồi "bo" cho cô ta tất cả số tiền này. Bảo là tôi mời cô ta đến bàn uống một ly làm quen”. Người chủ nhà hàng đã hết lòng thuyết phục, nên đêm đó, sau khi trình diễn, ca sĩ T.T đến gật đầu chào, uống với Công tử Bạc Liêu một ly rồi lẳng lặng ra đi, chỉ để lại cho Ba Huy một ánh mắt vô hồn.
Không chịu thua, ngày hôm sau, Ba Huy lại đến nhà hàng vào lúc trưa, nói với người chủ: “Đêm nay, tôi muốn bao nguyên nhà hàng của ông, chi phí bao nhiêu tôi trả đủ. Ông chỉ dọn một bàn thật sang với thức ăn ngon nhất cho một thực khách, còn trên sân khấu thì chỉ có ca sĩ T.T hát phục vụ”. Chủ nhà đăm chiêu trả lời: “Thưa công tử, doanh số của nhà hàng tôi một đêm đến 100 ngàn đồng lận...”. Công tử Bạc Liêu móc ngay 100 ngàn đồng (tương đương gần nửa ký vàng) ra đập xuống bàn.
Đêm ấy, Công tử Bạc Liêu một mình ngồi giữa nhà hàng rộng mênh mông vừa uống rượu vừa nghe T.T hát hết bản này đến bản khác. Cú chơi “không đụng hàng” này của Công tử Bạc Liêu một lần nữa làm chấn động giới ăn chơi Sài Gòn, tạo ra thêm một giai thoại về Công tử Bạc Liêu Trần Trinh Huy. Hôm sau, nhiều tờ báo đồng loạt viết bài tường thuật giật gân về chuyện “một mình một nhà hàng” của Công tử Bạc Liêu. Có tờ báo lại vẽ biếm họa cảnh Công tử Bạc Liêu tay chống cằm nhìn như muốn rớt tròng mắt vào một nàng con gái sexy trên sân khấu. Kể cả cái đêm “độc quyền” ấy, cô ca sĩ T.T cũng chỉ ghé lại bàn uống với Ba Huy vài ly rượu rồi chia tay.
Suốt thời gian dài, người ta thấy bữa nào Ba Huy cũng đến nhà hàng Soái Kình Lâm và gửi tiền boa cho T.T, nhưng đáp lại chỉ là ly rượu xã giao cùng nụ cười bí hiểm, ngoài ra không có gì hơn. Là người từng bách chiến bách thắng trên tình trường, Ba Huy như càng bị cám dỗ, kích thích, lại lao vào như con thiêu thân, gửi tặng cô ca sĩ trẻ rất nhiều tiền của, nhưng cô vẫn một mực khước từ những “lời đề nghị khiếm nhã” của Công tử Bạc Liêu. Lần đầu tiên một người vang danh trong chốn tình trường như Ba Huy cảm thấy "lực bất tòng tâm", nhưng ông cũng bắt đầu nhận ra mình đã quá già, không còn sức hút đối với các cô gái trẻ, dù có vung ra bao nhiêu tiền đi nữa.
Những người vợ chính thức
Sau bà Ngô Thị Đen, Ba Huy có cưới thêm bàTrần Thị Hai. Bà Hai ở với Công tử Bạc Liêu sinh được 2 người con trai, đặt tên là Trần Trinh Nhơn và Trần Trinh Đức. Anh Trần Trinh Đức là hậu duệ duy nhất của Công tử Bạc Liêu hiện nay đang sống ở quê nhà Bạc Liêu, nhưng sống nghèo khó, vừa mới được trao “nhà tình thương”.
Người vợ cuối cùng được Ba Huy cưới hỏi đàng hoàng nhỏ hơn ông tới 40 tuổi. Bà tên Nguyễn Thị Ba, xuất thân trong gia đình nghèo, sống bằng nghề gánh nước mướn ở cạnh công viên Tao Đàn - Sài Gòn.
Vào cuối thập niên 1960, Công tử Bạc Liêu Trần Trinh Huy đã về sống hẳn ở Sài Gòn với cô vợ cuối cùng, nhỏ hơn ông 40 tuổi, có với ông 4 người con.
Trải qua không biết bao nhiêu là chuyện tình, không đếm xuể những nhân tình qua tay Công tử Bạc Liêu nhưng cuối đời ông Trần Trinh Huy chủ yếu sống trong bệnh viện, ở bên ngoài những đứa con, cháu của ông tiếp tục ăn chơi vô độ, tàn phá gia sản của gia đình. Đầu năm 1973, sức khỏe của Công tử Bạc Liêu càng suy sụp nặng nề. Ba Huy từ giã cõi đời trong cô độc, dù ông có hàng chục bà vợ, hàng trăm cô nhân tình, 4-5 dòng con.