Nein, wenn du nginx als Reverse Proxy nutzen willst, musst du es separat auf dem Server installieren, auf dem auch mailcow läuft. Das mailcow-eigene nginx spielt hier keine Rolle.
Am besten startest du hier:
https://docs.mailcow.email/de/post_installation/reverse-proxy/r_p/
Die mailcow-Doku geht davon aus, dass du nginx auf deinem Server laufen hast. Dann änderst du die Ports für HTTP(S) wie dort beschrieben und konfigurierst nginx gemäß der von dir verlinkten Konfigurationsdatei so, dass es die Anfragen zukünftig an mailcow durchreicht.
In deinem Fehler ist von “openresty” die Rede, läuft da ggf. schon ein Webserver/Proxy?