中居正広、復帰説については「言葉にしたこともなければ、考えたこともない」