1927 absolvierte er seine einzigen beiden Länderspiele für Österreich. Sensationell gewann er mit Rapid Wien 1930 den Mitropa-Cup und die Meisterschaft. Als Spielertrainer gewann er mit Servette Genf zweimal die Meisterschaft, 16 weitere Titel hamsterte der Coach in der Schweiz. Als Trainer führte Rappan die Schweiz 1938 sowie 1954 bei den WM-Endrunden ins Viertelfinale. Bei der 62er-WM kam das Aus bereits in der Vorrunde.
Karl Rappan nahm später die schweizer Staatsbürgerschaft an. Er ist zusammen mit Ernst B. Thommen Initiator des UEFA Intertoto Cup (Rappan-Cup). Fußballhistorisch am bedeutendsten ist seine "Erfindung" des sogenannten "Schweizer Riegels", welcher später zum Catenaccio weiterentwickelt wurde. Rappan starb 1996 in Bern und wurde am Berner Schosshaldenfriedhof begraben.
Vereine als Spieler:
DAC, Donau Wien, Straßenbahn, Wacker (1924-1928), Austria Wien (1928-1929), Rapid Wien (1929-1931), Servette Genf (1931-1935)
Später Trainer in der Schweiz:
Servette Genf (1931-1935 als Spielertrainer; 1948-1957; 3 x Meister, 1 x Cupsieger), Grasshoppers Zürich (1935-1948; 5 x Meister, 7 x Cupsieger), FC Zürich (1958-1959), Lausanne Sports (1964-1968; 1 x Meister), Schweizer Nationalteam (1937-1938; 1942-1949; 1953-1954; 1960-1964)