Происходил из династии книгоиздателей Глазуновых. Потомственный дворянин. Мать Александра Константиновича, Елена Павловна, была пианисткой. Образование получил во Втором петербургском училище, по окончании которого некоторое время был вольнослушателем в Петербургском университете (1883). В университете играл в студенческом симфоническом оркестре, в регулярных концертах, называемых «Музыкальными упражнениями студентов императорского университета в Петербурге». На университетских концертах неоднократно исполнялись произведения Глазунова.
Одарённый хорошим слухом и музыкальной памятью, Глазунов начал учиться игре на фортепиано с девяти лет, сочинять — с одиннадцати. В 1879 году он познакомился с Милием Балакиревым, который отметил незаурядный талант юноши и рекомендовал его Николаю Римскому-Корсакову. С Римским-Корсаковым Глазунов начал частным образом изучать курс гармонии, форм и инструментовки, теории музыки и композиции, и за полтора года прошёл весь курс, рассчитанный на 5-7 лет учёбы в консерватории. Уже в 1882 году Глазунов написал свою Первую симфонию, которая 17 марта с успехом была исполнена в Бесплатной музыкальной школе под управлением Балакирева, а вскоре появился его первый струнный квартет.
Творчеством Глазунова заинтересовался известный лесопромышленник, меценат и покровитель искусства Митрофан Беляев, ставивший своей целью поддержку молодых русских композиторов. Для ознакомления с творчеством юного композитора Беляев 27 марта 1884 года устроил закрытый концерт из произведений Глазунова, в котором дирижировали Римский-Корсаков и Дютш.
В 1885 году Беляев организовал музыкальное издательство в Лейпциге, а годом ранее при его поддержке Глазунов впервые отправился за границу, посетив Германию, Швейцарию, Францию, Испанию и Марокко. В Веймаре Глазунов познакомился с Ференцем Листом, по инициативе которого 14 мая 1884 года на съезде «Всеобщего немецкого музыкального союза» прозвучала Первая симфония 18-летнего автора. Вернувшись в Петербург, Глазунов стал одним из членов так называемого «Беляевского кружка», в который входили также Римский-Корсаков, Лядов, Малишевский, Витолс, Блуменфельд и другие музыканты. Продолжая традиции «Могучей кучки» по части развития русской композиторской школы, «беляевцы» также держали курс на сближение с западной музыкальной культурой.
В 1887 году умер Александр Бородин, оставив неоконченными оперу «Князь Игорь» и Третью симфонию. За их окончание и оркестровку взялись Римский-Корсаков и Глазунов. Феноменальная память Глазунова позволила ему полностью восстановить увертюру к опере, услышанную в исполнении на фортепиано самим Бородиным незадолго до его смерти, и фрагменты третьего действия. Также Глазунов смог полностью оркестровать симфонию.
В 1886 году Глазунов дебютировал как дирижёр в «Русских симфонических концертах», где был впервые исполнен ряд его сочинений. В 1907 году выступил как дирижёр и композитор в «Исторических русских концертах» в Париже.
Глазунов поддерживал тесные личные и творческие отношения с Петром Ильичём Чайковским. Глазунова Чайковский пригласил 25 ноября 1890 года на предварительное прослушивание струнного секстета ««Воспоминание о Флоренции»» накануне первого публичного исполнения этого сочинения. После смерти композитора Глазунов сделал оркестровку ряда произведений покойного, среди них цикл пьес для скрипки и фортепиано «Воспоминание о дорогом месте». Оркестровка этого произведения получила широкое распространение.
В начале 1890-х Глазунов пережил творческий кризис, который сменился новым подъёмом: он сочинил три симфонии, камерные произведения и балет «Раймонда», ставший самым известным его сочинением. В 1899 году он получил место профессора Петербургской консерватории, в которой работал непрерывно около тридцати лет. После событий 1905 года, когда из консерватории за поддержку революционно настроенных студентов был уволен Римский-Корсаков, Глазунов в знак протеста также покинул свой пост. Однако уже в декабре 1905 года, после того как консерватория была отделена от Русского музыкального общества, Глазунов вернулся в неё и вскоре был избран её директором. На посту директора Глазунов провёл огромную работу: привёл в порядок учебные планы, основал оперную студию и студенческий оркестр, значительно повысил требования к студентам и преподавателям, в конце каждого учебного года лично присутствовал на всех экзаменах и писал характеристики на каждого студента. В 1906 году Глазунов написал музыку гимна «Избранникам русского народа», прославляющего депутатов Государственной думы Российской империи.
Глазунов со своим учителем Н. А. Римским-Корсаковым.
В 1908 году Глазунов рекомендовал своего ученика, талантливого польского композитора Витольда Малишевского, на пост директора Императорских музыкальных классов в Одессе. Это назначение оказалось знаковым для развития музыкальной культуры юга Российской империи, а затем Украины, так как в 1913 году Малишевский стал основателем и первым ректором Одесской консерватории.
В 1915 году Глазунов создал произведение, написанное на темы английского, русского, сербского, французского, черногорского и японского гимнов — «Парафраза на гимны союзных держав» (ор. 96). О «Парафразе» журнал «Музыка» высказался сухо: «Глазуновская парафраза для роялей, правда, является как бы исключением, но она — конгломерат гимнов, а не творческий порыв, отвечающий историческому моменту».
В 1917 году композитор обработал музыку к «Рабочей Марсельезе» (слова П. Лаврова, 1875 год) — российскому гимну в первые месяцы советской власти. После Октябрьской революции Глазунов сумел остаться на своём посту, наладив отношения с новой властью и, в частности, с наркомом по просвещению Анатолием Луначарским, сохранив за консерваторией престижный статус. В 1918—1920 годах выступал как дирижёр на фабриках, в клубах, частях Красной Армии, принимал участие в музыкально-общественной жизни страны. В 1922 году Глазунову было присвоено звание народного артиста Республики. Тем не менее, против Глазунова в консерватории были настроены некоторые группы профессоров и студентов. В 1928 году Глазунов был приглашён на композиторский конкурс в Вену, посвящённый столетию со дня смерти Франца Шуберта, по окончании которого принял решение не возвращаться в СССР. Глазунов формально числился ректором Ленинградской консерватории до 1930 года (его обязанности исполнял Максимилиан Штейнберг).
19 декабря 1928 года в парижском зале Pleyel состоялся первый публичный концерт Глазунова после его отъезда из СССР, на котором исполнялись популярные произведения композитора: Торжественная увертюра, Второй фортепианный концерт, симфоническая поэма «Стенька Разин», Седьмая симфония. Оркестром дирижировал автор. Некоторое время Глазунов выступал как дирижёр, а в 1932 году, в связи с ухудшившимся здоровьем, вместе с женой поселился в Париже, где изредка сочинял (среди его поздних работ — Концерт для саксофона с оркестром, посвящённый Сигурду Рашеру).
Глазунов скончался в 1936 году в клинике Villa Borghese, похоронен на новом кладбище Нёйи-сюр-Сен. В 1972 году прах Глазунова был перевезён в Ленинград и торжественно захоронен на Тихвинском кладбище Александро-Невской лавры.
В Мюнхене открыт институт, занимающийся исследованием творчества композитора, архив его партитур хранится в Париже.
Именем композитора назван малый зал Санкт-Петербургской консерватории.
