劉玉，字仲玺，磁州人。他天生體力過人，在曹吉祥家當仆人。他随軍征讨麓川，被授為副千戶，積功升至都指揮佥事。天順元年(1457)，劉玉以“奪門”功進升為都督佥事，随即充任右參将，守備氵尋州。慶遠蠻劫掠博白及廣東之甯川，劉玉偕同左參将範信進行攔擊，擊敗之。随即奉命分守貴州。劉玉随方瑛征讨東苗，殲滅了幹把豬。又征讨西堡苗，捕獲其首領楚得。先後斬殺一千人，搗毀其巢穴而返。劉玉旋即改任右副總兵，鎮守貴州。曹吉祥被誅，劉玉作為他的下屬而應當斬首。因為相隔遙遠，劉玉沒有參與其圖謀，被免除死罪，貶為海南副千戶。
六年(1462)，皇上将要任命谷登為甘肅副總兵。李賢說谷登不能勝任，劉玉則老成持重。于是皇上重又任命劉玉為都督佥事、右副總兵，鎮守涼州。咎咂族發動叛亂，劉玉聚集軍隊讨平之，因此進升為都督同知。
成化四年(1468)，滿俊擾亂固原，白圭舉薦劉玉為總兵官，統領左右參将夏正、劉清前往征讨，兵分七路。劉玉與總督項忠抵達石城時，亂賊已屢敗官軍。又逢毛忠戰死，劉玉也被包圍，被飛箭射中，拼力作戰才得以沖出重圍。與亂賊相持兩月，經過大小數十上百戰，終于平息了叛亂。劉玉進升為左都督，掌管右府事務。他又自陳以往西堡之功，而被增加俸祿百石，并掌管耀武營。六年，劉玉充任左副總兵，随朱永出延綏。五月，河套部隊入侵，劉玉率衆将其擊退。一年之後，劉玉去世。被贈為固原伯，谥号毅敏。
劉玉雖出身奴仆，但勇決過人，善于安撫士卒，所至之處從未失敗過。滿俊叛賊，憑借石城之險，屢敗官軍，劉玉戰得最猛。等到論功時，他卻隻官升一級，當時人們都覺得朝廷賞賜太薄。其子劉文，承襲指揮使之職。