Läuft Nextcloud auf dem anderen Server auch mit Docker? Hast Du mal zum testen vom Nextcloud Host aus via telnet versucht ob Du zur mailcow kommst?
telnet dein.mailcow.host 993
Und weil Du Fail2Ban erwähnst, evtl bist Du auf Mailcow Seite geblockt wegen falschem Passwort o.ä., kannst Du in der UI nachschauen:
System -> Konfiguration -> Einstellungen -> Fail2ban-Parameter
Da siehst Du ganz unten evtl gesperrte Hosts und kannst sie auch direkt whitelisten