Herbert Prohaska wurde nach seiner aktiven Laufbahn Sportdirektor bei der Wiener Austria. Schon bald löste er jedoch den unglücklichen Erich Hof als Trainer der Kampfmannschaft ab. Die Austria wurde unter seiner Regie zweimal Meister, zweimal Cupsieger und zweimal Supercupsieger. Nach dem Tod von Austria-Präsidenten Joschi Walter ging es bei der Austria "drunter & drüber". Prohaska verlies im Sommer 1992 die Austria.
1993 wurde er Trainer der österreichischen Fußballnationalmannschaft und qualifizierte sich 1997 als Gruppensieger für die WM 1998 in Frankreich. 1999 erlitt Österreich ein 0:9 Debakel gegen Spanien und Prohaska trat von seinem Amt zurück.
Aufbruchstimmung herrschte bei der Austria im Sommer 1999 als Herbert Prohaska zur Austria als Trainer zurückkehrte. Nach seinem Rücktritt als Teamchef übernahm Herbert Prohaska zum zweiten Mal das Traineramt bei der Austria. Die Saison begann auch vielversprechend mit zwei Siegen und die Austria übernahm erstmals seit Jahren wieder einmal die Tabellenspitze. Dann folgte jedoch für die hoffnungsvollen Fans die Ernüchterung. Schmerzliche Niederlagen folgten und die Austria stürzten in untere Tabellenregionen ab. Nachdem der Magna-Konzern die Führung der Kampfmannschaft mittels Betriebsführungsvertrags bei der Austria übernommen hatte, wollte man im Sommer 2000 mit einem neuen Trainer in die Meisterschaft starten. Herbert Prohaska musste also den Verein schon wieder im Mai 2000 verlassen.