「妻子持ちと不倫」と職場で作り話を言いふらす同僚…名誉毀損になる？

妻子持ちと不倫した」は名誉毀損にあたる可能性――職場の同僚が事実無根の悪口を言いふらしているそうです。どのような法的問題がありますか。