Alexander von Zemlinszky kam am 14. Oktober 1871 in der Odeongasse 3,  im 2. Wiener Gemeindebezirk, zur Welt. Seine Eltern waren der Rabbiner Adolf von Zemlinszky und dessen Frau Clara. Seine jüngere Schwester Mathilde, heiratete später Arnold Schönberg. 

Alexanders große musikalische Begabung zeigte sich bereits im Alter von vier Jahren, als er bei einem Freund des Hauses die Gelegenheit bekam, auf dem Klavier zu spielen. Die Eltern legten großen Wert auf sprachliche und musische Bildung und förderten Alexander so gut sie konnten. Mit 10 Jahren wurde er in den neu gegründeten Tempelchor der sephardischen Gemeinde aufgenommen. Als er drei Jahre später in den Stimmbruch kam, verdiente er sich als musikalischer Begleiter bei den Chorproben und durch sein Orgelspiel in der Synagoge ein Taschengeld. 1884 meldete ihn sein Vater am Konservatorium der Gesellschaft der Musikfreunde in Wien an, wo man ihn im Herbst aufnahm. Nach 3 Jahren erhielt er ein Rubinstein-Stipendium von 1.000 Gulden pro Jahr. Von diesem Geld sowie Privatunterricht und der Teilnahme bei Wettbewerben finanzierte er vorerst sein Leben. In seinem 8 Jahre dauernden Studium erhielt er von den Brüdern Robert und Johann Nepomuk Fuchs eine solide und praxisorientierte Ausbildung. Nebenbei studierte er Klavier und Harmonielehre. Später absolvierte er auch Kammermusik- und Orchesterübungen, Kontrapunkt und Komposition. Alexander war ein begeisterter und ausgezeichneter Student. Während seiner gesamten Ausbildung schloss er nur einmal ein Fach nicht mit der Note „sehr gut“ ab. Alexander nutzte jede freie Minute um neue musikalische Eindrücke zu sammeln. So soll ihn eine Aufführung des „Lohengrin“ in der Hofoper tagelang in ein „Fieber der Erregung“ versetzt haben. Geprägt wurde Alexanders Stil aber vor allem durch seine intensive Beschäftigung mit der zeitgenössischen Dichtung von Schnitzler, Hofmannsthal, Dehmel und Bahr.

Bei den jährlichen Kompositionswettbewerben des Konservatoriums  gewann er 1890 für das Lied „Des Mädchens Klage“ die Goldmedaille und einen Bösendorfer Flügel. 1891 brachte ihm „Der Morgenstern“ den zweiten Preis ein. Alexander war auch ein begehrter Pianist und Begleiter der wohlhabenden Wiener. 1891 komponierte er mit den „Ländlichen Tänzen“ sein erstes Werk, das beim Musikverlag „Breitkopf & Härtel“ in Leipzig erschien. Alexander war jedoch mit der Veröffentlichung sehr unzufrieden. Vermutlich befürchtete er, als Komponist leichter Werke abgestempelt zu werden. Seine Abschlussarbeit war die "Symphonie in d-Moll". 

1902 - 1903 schuf Alexander "Die Seejungfrau" nach dem Märchen von Hans Christian Andersen. 1903 wechselte er seine Stelle und ging ans Theater an der Wien. Ein Jahr später wurde er als Musikdirektor des Kaiser-Jubiläums-Stadttheaters (die heutige Volksoper) engagiert. Dort konnte er schon bald das Niveau des unerfahrenen Ensembles heben. Während dieser Zeit entstanden die Opern "Kleider machen Leute" und "Der Traumgörge", in der einige Anspielungen auf Alma Mahler-Werfel enthalten sind. 1907 holt ihn Mahler als Kapellmeister an die Hofoper. Zwischen Mahlers Nachfolger Felix Weingartner und Zemlinsky stellten sich unlösbare Spannungen ein, als dieser die Premiere von "Traumgörge" absagte. Alexanders Vertrag endete darauf bereits im Feber 1908 und so kehrte er an die Volksoper zurück. Allerdings nur als Kapellmeister. Hier konnte er jedoch seine Oper „Kleider machen Leute“ uraufführen. Alexander bewarb sich als Kapellmeister in Mannheim, wirkte dort aber nur phasenweise. 1910 verabschiedete er sich mit einer Aufführung von "Tannhäuser" von der Wiener Volksoper. 

Alma Schindler sah Alexander von Zemlinsky das erste Mal im Feber 1900 als Dirigent bei der Uraufführung seiner Kantate „Frühlingsbegräbnis“ im Goldenen Saal des Wiener Musikvereins. Danach schrieb sie in ihr Tagebuch: „Eine Carricatur − kinnlos, klein, mit herausquellenden Augen und einem zu verrückten Dirigieren.“ Zwei Wochen später lernten sich die beiden auf einer Abendgesellschaft kennen. In weiterer Folge wurde er ihr Musiklehrer. Unter seiner Führung komponierte sie eine Reihe von Liedern. Schon bald entwickelte sich eine intensive Beziehung. Alma bewunderte seine Musik und die Intelligenz Alexanders. Sie war auch fasziniert von seiner erotischen Ausstrahlung, obwohl sie den kleingewachsenen Alexander nicht attraktiv fand. Vor allem störte sie seine Herkunft aus "kleinen" Verhältnissen". Für sie war die Meinung der Öffentlichkeit und die ihrer Eltern, die Zemlinsky von Anfang an nicht akzeptierten, wichtig. Alexander liebte Alma abgöttisch. Er lehnte jedoch  ihr oberflächliches Gesellschaftsleben ab.  Er erwartete von einer Frau, dass sie sich für ihn aus der Öffentlichkeit zurückzog, was für Alma nicht in Frage kam. Letztlich entschied sich Alma gegen Alexander und heiratete 1902 den 19 Jahre älteren Hofoperndirektor Gustav Mahler. Danach brach der Kontakt zwischen Alma und Alexander zunächst ab. Nach 1903 kam es aber wieder zu regelmäßigen Briefwechseln und Begegnungen. Zemlinsky war auch Gast bei Almas legendärer Abschiedsparty am 12. Juni 1937, die sie vor ihrer Emigration nach Amerika auf der Hohen Warte gab.    

Viele Werke Alexanders sind entweder Alma gewidmet oder spiegeln das Verhältnis der schönen, unerreichbaren Frau und des "hässlichen Gnoms" wieder. In Zemlinskys Oper "Der Zwerg" bekommt eine schöne Prinzessin einen Zwerg als Geburtstagsgeschenk, der sich noch nie im Spiegel gesehen hat. Er verliebt sich in sie und glaubt auf Gegenliebe zu stoßen, nachdem ihm die Prinzessin als Spaß für die Gesellschaft eine Rose zuwirft. Am Ende wird er über das üble Spiel aufgeklärt, sieht sich im Spiegel und stirbt.  

1915 lernte Alexander Louise Sachsel (1900–1992) kennen, als diese für den Chor des Prager Theaters vorsang und er ihr einige Gesangsstunden gab. Aus der Freundschaft zu der hübschen und intelligenten Sängerin wurde bald eine Liebesbeziehung. Nach ihrem Gesangsstudium in Wien, wurde Louise 1924 als Solistin in Prag engagiert.  Sie trat auch an der Wiener Volksoper auf. Weiters war sie eine begabte Malerin und studierte 1918–21 an der Prager Kunstakademie. 1921 wurde sie an der Akademie für Musik und darstellende Kunst in Wien aufgenommen. Erst 1924 kehrte sie an das Neue Deutsche Theater in Prag zurück. 1926 wechselte sie an die Volksoper.

Ida Zemlinsky war inzwischen an Leukämie erkrankt. Als Luise schwanger wurde, wollte sich Alexander wegen des schlechten Gesundheitszustands seiner Frau nicht scheiden lassen und bestand auf einer Abtreibung. Ida Zemlinsky starb am 31. Jänner 1929 im Alter von 49 Jahren.

Am 4. Jänner 1930 heirateten Alexander und Louise in Berlin. Als Hochzeitsgeschenk komponierte Zemlinsky die Oper "Der Kreidekreis".  Seine Tochter zog wenig später nach Wien, um Schneiderin zu werden. Louise beendete ihre Gesangskarriere und widmete sich nur mehr der Malerei. 1934 zogen die Zemlinskys erstmals in ein eigenes Haus. Das Grundstück in der Kaasgrabengasse 24 im 19. Wiener Gemeindebezirk war auf den Namen von Louise registriert, die auch die Bauarbeiten überwachte. Das Haus wurde nach Plänen des Hoffmann-Schülers Walter Loos (der nicht mit Adolf Loos verwandt war!)  gebaut. Der moderne Stil des Gebäudes erregte große Aufmerksamkeit.  

Nach einem kurzen Engagement bei den Operettenfestspielen des Münchner Künstlertheaters von Max Reinhardt im Sommer 1911 ging Alexander als Musikdirektor ans Neue Deutsche Theater in Prag. Das Theater wurde fast ausschließlich aus privaten Spenden der deutschsprachigen Bevölkerung finanziert. Tschechische Opernbesucher waren dort kaum anzutreffen. Schon die ersten Aufführungen unter der Leitung Alexanders waren ein voller Erfolg. Auch seine Art, hinter ein Werk zurückzutreten, kam sehr gut an. Allerdings fand er kaum Zeit zum Komponieren. Trotz des Erfolgs waren Alexander und der Operndirektor Heinrich Teweles mit der Qualität der Aufführungen unzufrieden und entließen 1912 zahlreiche Künstler und Techniker. 1915 stellte er sein "2. Streichquartett" fertig, das er Schönberg widmete. Seine Oper „Es war einmal“ wurde als erste Neuheit aufgeführt. Die Uraufführung von „Der Traumgörge“ musste wegen des Kriegsausbruchs 1914 abgesagt werden. Damals entstand auch sein Operneinakter "Eine florentinische Tragödie" nach dem Drama von Oscar Wilde.  

Nach dem Ende des Ersten Weltkriegs versuchte Alexander nach Wien zurückzukehren, fand aber keine geeignete Stelle. Also blieb er am Neuen Deutschen Theater, das zwar vom Tschechoslowakischen Staat konfisziert worden war,  jetzt aber staatliche Förderungen erhielt. 1920 gründete die deutsche Minderheit in Prag die Deutsche Akademie für Musik und darstellende Kunst in Prag und ernannte Zemlinsky zum Rektor. Hier unterrichtete er Komposition und Dirigieren. „Der Zwerg“ wurde 1922 in Köln unter Leitung von Otto Klemperer uraufgeführt, hatte aber nur mäßigen Erfolg. Gedichte von Rabindranath Tagore, der 1913 den Literaturnobelpreis erhalten hatte, inspirierten  Alexander 1921 zur Komposition der "Lyrischen Symphonie".  Der Tod seiner Schwester Mathilde 1923 veranlasste ihn zur Komposition seines "3. Streichquartetts". Nach der Uraufführung 1924 in Prag wurde das Streichquartett auch 1928 beim Festival der Internationalen Gesellschaft für Neue Musik in Siena gespielt. Diese Aufführung förderte schließlich Alexanders internationale Anerkennung. Inzwischen hatte er sich auch über Prag hinaus einen Ruf als hervorragender Dirigent erworben. Neben sporadischen Konzerten in Wien, gastierte er auch in Rom und Barcelona. 

Der neue Operndirektor in Prag, Leopold Kramer, änderte aus budgetären Ängsten den Spielplan und setzte auf Operetten und billige Revuen. Das wiederum brachte dem Theater heftige Kritik ein und führte Ende 1926 schließlich zum Rücktritt Kramers und Zemlinskys. 

Mitte 1927 wechselte Alexander an die Berliner Krolloper. Sie war zwar als Zentrum für experimentelles Musiktheater ausgerichtet, konnte jedoch aus budgetären Gründen nur eingeschränkt moderne Musik spielen. Alexander wurde als Erster Kapellmeister engagiert und arbeitete unter seinem jüngeren Kollegen Otto Klemperer. Alexanders Arbeit fand in Berlin zwar Respekt und Anerkennung, allerdings wurde er nicht so verehrt wie in Prag. Seine Gage war jedoch wesentlich höher als in Prag. Auch blieb ihm an der Krolloper viel mehr Zeit zum Komponieren und für zahlreiche Gastauftritte in diversen Städten.  Nach dem Tod seiner Frau Ida 1929 komponierte Alexander die "Symphonischen Gesänge".  "Der Kreidekreis" war 1930 das Hochzeitsgeschenk an seine 2. Frau Louise Sachsel. Infolge der Weltwirtschaftskrise musste die Krolloper 1931 ihre Pforten schließen.

Ein Angebot als Generalmusikdirektor in Wiesbaden lehnte Alexander ab. Er wurde Leiter des Hochschulchores und später Lehrer für Partiturspiel an der Musikhochschule Berlin-Charlottenburg. Alexander nutzte auch die Zeit für neue Kompositionen. Seine Oper "Aufstieg und Fall der Stadt Mahagonny", die höchst umstritten war und von rechten Kreisen abgelehnt wurde, erwies sich als kommerzieller Erfolg. Die folgenden politischen Veränderungen und die Machtergreifung der Nationalsozialisten machten jüdischen Künstlern das Leben in Berlin zusehends schwer. 

Im Frühjahr 1933 übersiedelten die Zemlinskys wieder nach Wien, wo Alexander Musikdirektor des Wiener Konzertorchesters wurde. Die Familie bezog zunächst eine Wohnung in der Mariannengasse im 9. Bezirk und übersiedelte 1934 in ihr Haus im 19. Bezirk in der Kaasgrabengasse 24.

Zwar drohte der Familie Zemlinsky Mitte der 30er Jahre noch keine unmittelbare Gefahr, doch waren die Anzeichen politischer Repressionen in der Kultur unübersehbar. Alexander konnte trotz seines großen Renommees als Dirigent im Wiener Musikleben nicht mehr dauerhaft Fuß fassen. 1933 fand in Zürich die Uraufführung seiner Oper „Der Kreidekreis“ statt. Sie brachte zwar nicht den erhofften großen Erfolg, wurde von den Kritikern aber gut aufgenommen.  Die Oper konnte auch in mehreren deutschen Städten aufgeführt werden. In Berlin kam sie sogar 21 Mal zur Aufführung. 

Nachdem das Orchester 1935 aus Geldmangel aufgelöst wurde, verbrachte Alexander viel Zeit mit Komponieren. Daneben absolvierte er immer wieder Gastauftritte als Dirigent, oftmals mit der Tschechischen Philharmonie. Im Januar 1934 schuf er die "Sechs Lieder". Danach schrieb er die "Sinfonietta",  das einzige Orchesterwerk aus seiner Wien-Zeit das noch zu seinen Lebzeiten aufgeführt wurde. Nach dem Tod seines Freundes Alban Berg, zu Weihnachten 1935, komponierte Alexander zu seinem Andenken das "4. Streichquartett".

Zemlinsky und Schönberg lernten sich um 1895 im Orchesterverein "Polyhymnia" kennen, den Zemlinsky leitete und in dem Schönberg als Cellist spielte. Zwischen den beiden Musikern entwickelte sich eine enge Freundschaft, die trotz mancher Krisen 30 Jahre lang hielt. In künstlerischer Hinsicht entwickelte sich die Beziehung der so unterschiedlich veranlagten Komponisten zu einer gleichberechtigten Partnerschaft, in der beide von den Stärken des anderen profitierten. Zemlinsky war zunächst Schönbergs Lehrer und ebnete ihm manchen Weg im Wiener Musikleben. Zum "Unterricht" gehörte auch, dass Schönberg 1897 den Klavierauszug von Zemlinskys erster Oper "Sarema" anfertigte. Zemlinsky ließ Schönberg immer wieder Arbeiten zukommen, um dessen finanzielle Lage aufzubessern. 1901 heiratete Alexanders Schwester Mathilde seinen Freund Arnold Schönberg. Damit waren sie auch verschwägert. Die Beziehung hatte Alexander eingefädelt, nachdem Mathilde von ihrem Verlobten verlassen worden war. 

Um 1902 begann Schönberg, sich kompositorisch von Zemlinskys Einfluss freizumachen und eigene Wege zu gehen. Ihre persönlichen musikalischen Stile entwickelten sich in komplett unterschiedliche Richtungen. Sie setzten sich aber weiterhin gemeinsame für die zeitgenössische Musik ein. Dazu gründeten sie 1904 die "Vereinigung schaffender Tonkünstler".  Ihr Engagement fand weite Beachtung. Allerdings erlebten sie am am 31.3.1913 im legendären "Watschenkonzert", dass die Begeisterung der Gesellschaft auch Grenzen hatte.  Als sich Schönberg der atonalen Musik zuwandte, meinte Zemlinsky:  "Vor den letzten Werken Schönbergs stehe ich nicht immer mit gleicher Liebe, aber mit grenzenlosem Respekt." 

Die größte Krise in Schönbergs Privatleben betraf indirekt auch Zemlinsky. Mathilde hatte eine Affäre mit dem Maler Richard Gerstl und verließ kurzzeitig ihren Mann. Als sie zu Schönberg und den Kindern zurückkehrte, beging Gerstl Ende 1908 Selbstmord. Die Ereignisse dieser Zeit waren auch für die Freundschaft der beiden Schwager  eine Prüfung. Zudem wohnten sie  bis 1909 im selben Haus in der Liechtensteinstraße im 9. Wiener Gemeindebezirk. Auch nach Zemlinskys Weggang nach Prag blieben die Freunde in Verbindung und führten einen regen Briefwechsel. Sie trafen sich in den Sommerferien und setzten das Engagement für neue Musik im "Verein für Privataufführungen in Prag" fort. Zemlinsky setzte sich nachdrücklich für die Aufführung von Schönbergs Werken ein und verschaffte ihm Gelegenheit, zu dirigieren. Umgekehrt initiierte Schönberg Zemlinsky-Aufführungen in Wien. 

1924 starb Mathilde. Als Schönberg schon wenig später erneut heiratete, führte dies zu ernsten Verstimmungen in der Freundschaft. Auch künstlerisch trennten sich die Wege mehr und mehr. Schönbergs Zwölftontechnik stand Zemlinsky sehr skeptisch gegenüber. Erst im amerikanischen Exil fanden die beiden Komponisten wieder einen herzlichen Ton füreinander. Doch kam es nur noch zu einer einzigen Begegnung, als Schönberg den bereits todkranken Zemlinsky im Dezember 1940 in New York besuchte.

1939 erlitt Alexander Zemlinsky einen schweren Schlaganfall und 1940 einen weiteren, was ihn zu einem Pflegefall machte.  Bei der Übersiedlung der Familie Anfang 1942 in ein Landhaus im benachbarten Larchmont, zog sich Alexander eine Lungenentzündung zu, an der er am 15. März 1942 verstarb. 

1985 überführte man seine Urne nach Wien. Am 18. Juli 1985 fand Alexander Zemlinsky seine letzte Ruhestätte in einem Ehrengrab der Stadt Wien am Zentralfriedhof in der Gruppe 33 G/Nr. 71, nahe bei Tor 2.

Auf Veranlassung des Alexander-Zemlinsky-Fonds schuf 1994 der Prager Künstler und langjährige Professor an der Wiener Kunstakademie Josef Symon einen Grabstein, dessen Form vom Buchstaben "Z" inspiriert ist. Die Fünfteilung der Skulptur spiegelt  die fünf Lebensstationen Zemlinskys wider. 

1957 wurde die Zemlinskygasse im 23. Wiener Bezirk nach dem Komponisten benannt.

Am 26. März 2008 wurde in der Odeongasse 2A ein Denkmal enthüllt, das an den Komponisten erinnert. Die Gedenksäule wurde auf Initiative des Zemlinsky-Fonds errichtet und vom Künstler Josef Symon entworfen und ausgeführt. Das Denkmal befindet sich in unmittelbarer Nähe von Zemlinskys Geburtshaus.

Bald schon schien der großartige Musiker, Komponist, Dirigent und Lehrer vergessen. Vierzig Jahre nach seinem Tod folgte die Wiederentdeckung. Zemlinskys Musik wurde wieder ins  Konzertleben und ins Theaterrepertoire aufgenommen.

In den 1970er Jahren erschien eine Schallplatte mit Zemlinskys "2. Streichquartett". Sie wurde ein sensationeller Erfolg und war wochenlang in den Klassik-Charts zu finden.