La terminologie X11 peut sembler contradictoire ou du moins insensée au profane. En effet, un gestionnaire d'écran, comme une application, sont considérés comme des clients, et l'écran physique est lui considéré comme un serveur. En fait, il est assez normal que la couche offrant des services graphiques utilisés par les clients distants se nomme serveur.
Le serveur est donc la machine sur laquelle l'affichage proprement dit s'effectue. Tout le reste n'est que clients, y compris un gestionnaire d'interface (window-manager). Votre ordinateur personnel (où s'affichent les différents clients distants) est donc appelé un serveur X. Les deux parties (clients, serveur) peuvent très bien se trouver sur un même système (station de travail par exemple).