蔡少芬有个不幸的单亲家庭，嗜赌如命的母亲千方百计让女儿成为“摇钱树”，还穿针引线让蔡少芬认识了超级富豪刘銮雄。蔡少芬18岁生日时，身为应届港姐季军的她，竟能以一身名牌巨钻，在丽晶酒店筵开50席，举行百万元生日会，场面之盛大成为圈中一时佳话。原来这场豪华生日会其实是富商刘銮雄因情倾蔡少芬，一掷百万以博红颜一笑。据悉，刘曾赠千万元给蔡少芬，1997年更将公司名下两个物业转到蔡少芬名下，并曾多次为蔡母还赌债，前后高达逾亿港元。而在蔡少芬与刘銮雄结束6年交往后，蔡母仍向刘銮雄借钱还债。

　　蔡少芬和吴奇隆可以说是一对同病相怜的苦命鸳鸯。吴奇隆因其父亲喜欢赌六合彩而负债，而蔡少芬则要为母亲偿还巨额赌资。拥有共同背景的两人在1999年因为合作演出《还我情心》互有好感，传出拍拖，后来拍摄《创世纪》陷入热恋，是备受看好的一对。但两人因聚少离多，于2002年和平分手。

　　在拍《黑夜彩虹》时，黎姿“意外”地爆出蔡少芬和吴启华常相约吃消夜的消息，并指吴启华对蔡少芬特别照顾。对此，吴启华表示，两人仅止于“哥儿们”似的好朋友，并非男女朋友。

　　在电视剧《勇往直前》中，蔡少芬和马浚伟的合作十分有默契，而在戏外，马浚伟直言，蔡少芬是他多年的梦中情人，现在对其依然一往情深。不过，蔡少芬对这个绯闻不理不睬，令其自然消失。

　　其中的“高低恋”是与无线的新晋小生、身高只有162CM的王祖蓝拖手出席电影的首映礼，蔡少芬大赞对方是个绝顶的好男人，但其后王祖蓝被揭发其实是与“华姐”李亚男拍拖。另外一则“同性恋”传闻更加奇怪。因为蔡少芬与十几年的好姐妹陈法蓉经常出双入对，一起买大床，还买下两个相连的住宅单位，因此被“有心人”传为“断背情”。直到蔡少芬宣布结婚，陈法蓉才笑言早已知道，还帮忙筹备，并透露会充当伴娘。