X11 fonctionne normalement à l'aide du service TCP de TCP/IP dans la région du port 600048. Les clients se connectent donc sur le serveur grâce à TCP/IP ou un médium local: sous UNIX il est très courant que la connexion locale se fasse non pas par TCP/IP, mais par socket UNIX, ce qui est bien souvent plus efficace et permet de supprimer l'écoute externe.
Le protocole XDMCP permet à un serveur de connaître tous les systèmes sur lequel il peut se connecter via un login graphique UNIX.
La plupart des terminaux (serveurs) X, comme des stations de travail qui démarrent sous X sans mode console, tournent à l'aide de xdm. Ils supportent en général l'authentification par clé (voir section x11_securite).