彼とは、不倫関係です。この先、どうしたらよいか、を教えてください。
同じ職場職種の相手と約2年ほど不倫をしました。相手は既婚、私は未婚（離婚歴あり）です。音楽や絵画と共通の趣味が多く、話も体も意気投合しました。一泊旅行や音楽会もよく出かけました。でも、彼はいわば不倫常習的なところがあります。私は、本来そういう男性には嫌悪感をもつほうなのですが、何故か彼の、知的で、ずるく、少し間抜けなところもある性格に、惹かれてしまいました。本来私は、一人でいる時間を大切にしたいマイペースな性格なので、1年近くは会うときだけ楽しむ、という関係を楽しみました。でもその後会う時以外は、辛いと思う時間のうが長くなりました。4月頃に一度、将来結婚を考え始めた人ができ、悩み苦しみぬいた末、9月に、彼に「今のあなたとの関係は、これで終わりにするね」と別れを告げました。はじめ「なんで急に」と言った彼も、理解してくれました。新たに付き合い始めた人は、数年前に奥さんを病気で亡くされ、彼とはまったく正反対の、人間的にもバランスがとれ、人望のある人ですが、どうしても別れた彼と比較してしまうのか、共通の趣味もないためか、会うことが苦痛になってしまい、結局私からお断りしました。
　もう、不倫をしていた彼のことは忘れたいと思っています。でも、何しろ同じ職場なので、時々顔も合わせます。自分のことは大切にしたいですし、育ててくれた両親（二人とも他界し、私は一人っ子です）にも申し訳ないし、来た道を引き返すこのは情けない。でも、どうしても無性に会いたくなり、夢にも出てきます。今も、音楽のCDの貸し借りや、メール（職場メールのみで、CDを聴いた感想や近況を報告しているだけですが）してはいます。
　打ち寄せる波のように、彼に会いたい、という気持ちが強くなることがあり、辛くなります。今後、私はどうなるのか？どうしたらよいのか？教えてください。
　蛇足ですが、5年前に母が亡くなりました。実は、彼は母の主治医でした。その頃は今のような関係は全くなく、信頼できる先生として母を最後まで治療してくれました。母をなくして孤独感が強くなったばかりに、彼のような人間に惹かれてしまってのかもしれません。このまま彼のことを諦めた方がよい、というのが常識なのでしょうが、そうでしょうか？