因为我经常和公司的男同事一起旅行，所以在商务旅行中我们有一段恋爱关系，但我们都是家庭成员。之后，我责怪自己，害怕被丈夫发现。我现在该怎么办？

我叫小莉，今年30岁，已经嫁给丈夫五年了。但是，我丈夫很没用。他知道整天在家吃饭，喝酒和娱乐。他一点也不上进。我什至拖了一个朋友来帮助他找到工作。我从心底看不起他，很长一段时间以来我对他和这婚姻都没有希望和激情。

我的工作单位从事工程深圳请私家侦探，所以我需要经常出差。我和一位男同事总是被巧合地安排出差。经过几次商务旅行，我们之间的关系非常好。这次我出差，碰巧我们两个之间形成了默契，使我们感到非常高兴。

公司根据性别为我们安排了两个房间。出差当晚晚餐后，我们回到了各自的房间。当我看电视一会儿时，他突然敲门，我打开了门。他说我睡不着说话，因为我经常说话，以为还不算太晚与同事出轨经常出差后，现在我对丈夫感到内，所以我和他聊了一会儿。

他的嘴就像擦蜂蜜一样甜。他会让我快乐并逗我，赞美我美丽而女性。我没想到他突然提议与我建立关系。我和一个男人一起长大，除了我的丈夫。他没有与外界的其他人接触，因此一开始他就坚决不同意，他说他是否担心被人知道，并说只要我们不谈论，他就可以放心，没有人会知道。

他在说话的时候，伸出手伸出来，用我的刘海摆弄。我迅速把他推到外面，告诉他回去睡觉。但是他拒绝离开，他抓住了我的肩膀，说他以为我以前很可爱与同事出轨，想和我在一起。在他的夸夸其谈下，我同意了他的要求。

第二天早上醒来，他摸了摸我的脸，对不起。昨晚太粗糙了，以后不会再这样了。我后悔并打了他一巴掌。回到公司后，我一直回避他。我不知道该如何面对这种关系。而且，他仍然是一个有家庭的人，所以我担心会再次陷入这种关系。

但是我内心深处，有时我为丈夫感到难过，我的良心也受到谴责。但是我不禁想起他。我很矛盾。如果我的丈夫有一天发现我的情况该怎么办？