Les trames circulent en utilisant un format IP.
Ce format prévoit un n° de protocole avec un découpage précis de la partie Data de la trame.
Les 2 protocoles les plus connus sont TCP (protocole n° 6) et UDP (protocole n° 17).
Cela n'empèche nullement de parler de port ensuite car ces protocoles peuvent en utiliser. C'est le cas bien sur pour TCP et UDP.
Pour établir une liaison IPSEC, il faut effectivement utiliser UDP/500 mais aussi ESP (protocole IP n° 50) et AH (protocole n° 51). On ajoute en général aussi UDP/4500 pour du NAT traversal, dernière déclinaison IPSEC pour passer au travers de routeur NAT.
Je te renvoie à l'excellent site
http://www.frameip.com, site qui explique bien mieux que moi tout cela.
.