Black Sabbath est considéré comme l'un des groupes pionniers du heavy metal, voire le premier groupe de ce genre.[7],[8],[9] Osbourne prend ainsi part à huit albums, de 1968 à 1978, qui sont maintenant reconnus par beaucoup comme des classiques du genre[9] : Black Sabbath, Paranoid, Master of Reality, Vol. 4, Sabbath Bloody Sabbath, Sabotage[10], Technical ecstasy et Never Say Die!.
Le choix de l'orientation musicale de Black Sabbath se fait par un concours de circonstances ; le nouveau groupe répète juste à côté d'un cinéma qui passe principalement des films d'horreur. Les jeunes musiciens s'étonnent que les gens dépensent de l'argent pour voir des films effrayants, mais que personne n'ait encore créé de musique contemporaine comparable à ce genre cinématographique. C'est ainsi qu'ils décident de composer des morceaux à l'ambiance inquiétante et sombre, qui vont devenir caractéristiques du metal au fil des années[6].
Les débuts du groupe sont difficiles. Ils sont tous issus d'un milieu modeste et c'est la mère de Iommi, qui possède un magasin de chocolat, qui prend à sa charge le financement du groupe. Les Black Sabbath finissent par s'imposer en parcourant la Grande-Bretagne, déchargeant leur matériel là où personne ne les attend, espérant qu'un groupe ne se présentera pas afin de le remplacer en dernière minute[11].
La stratégie paye et le groupe se fait assez rapidement un nom, nom qui, d'ailleurs, n'a rien à voir avec un penchant pour le culte du Diable. Le groupe refuse, par exemple, de jouer à Stonehenge pour un mouvement sataniste britannique et s'y fait des ennemis[11]. En 1970, leur premier album sort : le succès est quasi-immédiat, puisqu'il atteint la huitième place des classements britanniques et la vingt-troisième aux États-Unis. L'affluence à leurs concerts est de plus en plus grande. Chaque nouvel album du groupe sera une confirmation de ce premier succès, et Black Sabbath reste, de nos jours, un nom intimement lié à l'émergence et au succès du metal.
Pendant toutes ces années avec Black Sabbath, Osbourne compose et/ou écrit des chansons devenues des classiques du groupe, telles que : Black Sabbath, War Pigs, Paranoid, Snowblind, Iron Man, Supernaut, Sabbath Bloody Sabbath, Rock N' Roll Doctor, Never Say Die et bien d'autres.
En 1979, le guitariste Tony Iommi prend la décision de congédier Osbourne, mais c'est Bill, meilleur ami d'Ozzy, qui le lui annonce. Ce renvoi est motivé par sa trop grande consommation d'alcool et de drogues. Pendant ses années avec Black Sabbath, Osbourne chante des textes écrits par Butler et lui-même. Il contribue aux plus grands succès du groupe, ceux qui sont désormais considérés comme des classiques par leurs inconditionnels. Au cours des années qu'il passe avec Black Sabbath, il rencontre et épouse sa première femme, Thelma. Il adopte le fils que Thelma a eu d'un premier mariage, Elliot Kingsley, en 1966 ; ensemble ils ont ensuite Jessica Starshine Osbourne Hobbs (née le 20 janvier 1972) et Louis John Osbourne (1975)[3],[12].
Le mariage dure jusqu'en 1981. Ozzy Osbourne boit et se drogue de plus en plus et il finit par retrouver toutes ses affaires hors de sa maison. Il passe alors très peu de temps avec sa famille et le divorce est inévitable. Pour simplifier au maximum les démarches administratives, il laisse tous les biens matériels à son ex-femme et ses enfants[13].