据公开资料，李小牛是山东莱州人，本科学历，2000年6月加入中国共产党，2000年8月参加工作。

　　他长期在青海省海西州工作，历任海西州委组织部干部科科员、副主任科员、科长，德令哈市委常委、组织部部长，德令哈市委常委、副市长，格尔木市副市长等职。

　　2019年10月，李小牛调任青海省海东市互助县委书记；2021年6月任青海省西宁市委常委，西宁（国家级）经济技术开发区党工委副书记、管委会常务副主任；后任西宁市委常委、副市长，西宁经济技术开发区（青海国家高新技术产业开发区）党工委书记、管委会主任等职。

　　2023年12月28日，青海省委组织部发布干部任前公示，其中：李小牛，男，汉族，1978年2月生，中共党员，中央党校大学，现任西宁市委常委、副市长，拟提任正厅级领导干部。