Родился в Австрии в еврейской семье. Когда он был ещё ребёнком, семья уехала из Австрии в Нью-Йорк (США), спасаясь от нацистских гонений.
Здесь в 1953 Клейн заканчивает Иешива-университет, затем в 1955 Колумбийский университет. 6 лет учился медицинскому делу в Швейцарии, в 1961 стал доктором медицины.
На протяжении 70-х годов практиковал как психиатр в Нью-Йорке.
В 1974, не найдя в Нью-Йоркской публичной библиотеке материалов о бисексуальности (сам Клейн идентифицировал себя как бисексуал), он дал объявление в газету «Village Voice». Так возникло первое в США движение в поддержку бисексуалов, получившее название Bisexual Forum.
В 80-е годы Клейн разработал собственную решётку сексуальной ориентации, развив и уточнив существовавшую к тому моменту шкалу Кинси.
Выпустил ряд книг по проблеме бисексуальности, учредил и до своей смерти был главным редактором издания «Journal of Bisexuality».
В 2006 у Клейна был диагностирован рак, он перенёс операцию.
Умер 24 мая 2006 у себя дома в Сан-Диего от остановки сердца.