自分も知らない間に迷惑をかけているはず、だからその部分は相殺しましょう、という考え方はできないですか？
少しだけ、楽になるかもしれません。
やりすぎはストレスにもなるけれど。