上官桀是西汉陇西上邽(今甘肃天水)人,年轻时给汉武帝当警卫,官职是羽林郎。有一次,跟随汉武帝去甘泉宫,途中突然遇上了大风,皇帝的车子被大风吹得不能前行,为了减轻阻力,只得把车盖解下来让上官桀拿着。上官桀便高举着车盖,顶风前行,一步也没落后。不久便下起了雨,上官桀便用车盖替汉武帝挡风遮雨。汉武帝因此对上官桀很是赏识,当场提升他为未央厩令,负责给皇帝饲养专用的马匹。
但是在事情过后,汉武帝很快就把上官桀忘记了。又过了一段时间,汉武帝生了一场病,病愈后就去看马。不看不知道,一看吓一跳,汉武帝发现马大多都瘦了,不由得勃然大怒,连忙把养马的传来。身为未央厩令的上官桀得知后,连忙跪在地上,叩了三个响头,一边流泪一边抽咽着说:“启奏陛下,小臣上官桀听说皇上龙体欠安,就日日夜夜为您担心,哪里还顾得上看马呀。”这时汉武帝猛然想起,面前跪着的这个人就是之前那个替自己顶风冒雨的卫士,再听他刚才所讲的那番话,便认为上官桀对自己忠心耿耿,立刻转怒为喜,并提升上官桀为侍中,后来逐渐升为太仆,成为皇帝的车马总管,位列九卿。再后来,上官桀又同霍光一道在平定莽何罗、莽通兄弟叛乱时,立了功,被封为安阳侯,成为汉武帝的心腹重臣。在汉武帝病危时,与霍光、金日?、桑弘羊一同成为临危受命的四大臣之一,在朝廷中的地位可以说仅次于霍光。