愚痴の捌け口にされる

すみません。少しネガティブな話になります。

話を共感して聞いていたら、いつの間にか、後輩から仕事の八つ当たりや、私にはどうにも出来ない愚痴ばかり吐かれます。
きっぱり断ることができず、相手がイライラすると、電話がかかってきたり、顔を合わすなり、ちょっと聞いて下さい！これどう思います？？と自分には全く関係のない話を聞かされてしまいます。
友人でもない、ただの同僚のどうでもいい愚痴ばかり聞かされ、だんだんこちらの心が余裕なくなり、精神的にまいってきています。
やんわりと、それは、自分で相手がわかるまで話するしかないな！と笑って終わらそうとしても、空気が読めないのか、しつこくネチネチ同じ愚痴を続けられます。距離をとりたいと思うが、相手と1対1の仕事で、避けようもなく。こんな時どうしますか？