ご近所トラブル？家の前の道路での出来事

我が家は、行き止まりの道路を囲んでコの字に
住宅が立ち並んでおり車通りがないことを良い事に
ご近所さんは子供を遊ばせていたり、
私は趣味のDIYをしたりしています。

先日、ご近所さんとのやりとりです。
近所「すみません。音がうるさいのでやめてもらえませんか？子供が昼寝できないので。」（電動工具の音がうるさいとの事です）
私「そうですか、すみません。あ、いい機会なので私からもよろしいですか？家の前でお子さんを遊ばせていらっしゃいますけど、前々からうるさいと思ってたのですよね、今後やめてもらえませんか？」
近所「は？無理です。あなたにここで遊ばせるなと言われる筋合いはありません」（怒ってます）
私「そうですか。じゃあ私も無理です。私もこれをやめろと言われる筋合いはありませんので」
近所「それに金属の欠片とか子供が怪我したりするかもしれないから、危ないじゃないですか」
私「もちろんきちんと掃除しますよ。あなた達がばら撒いたお菓子のクズもついでに掃除してるんですから～笑」
ご近所さんはブスっとして帰っていきました。

このやり取りの後も、ご近所さんは変わらず子供を遊ばせています。
私も子供が遊んでる目の前でもDIYを続けたりしています。
私は道路はどちらの占有物ではないので、お互い様だと思っているのですが、私が折れないといけないのですか？

会う度に嫌味言ってきて、腹立つのでここで吐き出させてもらいました。