“我永远是替罪羊，你知道我爱洛杉矶，我怎么可能想离开，但不管出什么事，他们总是让我背黑锅，他们的一举一动都预示着他们不愿意留下我，到了最后反而是我提出交易，毫无疑问，我是替罪羊，直到走到这一天都是。”奥尼尔说道。
2004年6月14日，奥尼尔被交易到热火，换来卡隆巴特勒，布莱恩格兰特，拉马尔奥多姆以及2006年首轮签和2007年二轮签。一天以后，科比续约7年1.36亿美元。
2004-2005赛季。
湖人阵容还算可以，有卡隆巴特勒和拉马尔奥多姆等实力球员。尤其是卡隆巴特勒，年仅24岁，训练刻苦，2004-2005场均拿到15.5分，命中率44.5%，与科比交情很好。这个赛季湖人的主教练为汤姆佳诺维奇。他信任科比，支持科比从一个得分手变成一个领袖。赛季前半程湖人打得还不错，一直到05年一月份，湖人以超50%的胜率排在西部第八。但在1月13号的比赛里，科比在对阵骑士的时候突破踩到了对方后卫贝尔的脚，科比脚踝严重扭伤，队医预计缺阵2个月。2月1日湖人战绩为24胜19负排在西部第七，主帅却毫无征兆的提出离职。然后经历了换帅和主力受伤的情况下，湖人这个赛季没能进入季后赛。
2005-2006赛季。
2005年8月，湖人和华盛顿奇才交易，送走巴特勒与首发组织后卫查基阿特金斯，换来夸梅布朗与拉隆普罗菲特。这笔交易让科比很失望，为了补强内线送走了首发小前和首发后卫，然后为了省钱直接在自由球员市场签下了前个赛季只在太阳和活塞加起来打了16场的死神斯马什帕克。
这个赛季湖人轮换阵容，中锋安德鲁拜纳姆，2005年挑中的18岁中锋。夸梅布朗，迈克尔乔丹2001年选中的状元。大前锋拉马尔奥多姆，整个赛季受伤病困扰只出战56场。布莱恩库克是一个除了湖人哪都打不了首发的球员。小前锋，卢克沃顿前三个赛季在湖人一共打了13场首发。组织后卫，帕克和本来是得分后卫的萨沙武贾西奇。
这个赛季科比带领湖人重回季后赛，MVP票选第4，首轮面对常规赛MVP史蒂夫纳什领衔的太阳在先失一局的情况下连扳三局。但最后由于实力悬殊太大，3:4被太阳首轮淘汰。
2006-2007赛季。
这个赛季，科比以为湖人会补强，但最后还是失望了。科比说，“很多球员都给我打电话说愿意来湖人，巴朗戴维斯，卡洛斯布泽尔，罗恩阿泰斯特，他们都表明愿意来湖人。我也告诉了杰里巴斯和库普切克，但他们回答我，戴维斯容易受伤，布泽尔不能防四，阿泰斯特会破坏更衣室气氛……他们想省钱，想等待拜纳姆成长，但我已经28岁了，我还没有拿过常规赛和总决赛MVP。”
这一年就像去年的复刻，科比依旧疯狂无法阻挡。湖人也勉强进入季后赛，再次遇到太阳，1:4再次被淘汰，科比场均拿下32.8分，5.2篮板和4.4助攻。
