1991-92赛季，胡安德·拉莫斯开始了职业教练生涯。球员生涯默默无闻的他，只能从最基层球队一点点干起。1991年，拉莫斯带领的是丙级的利奇塔尼奥。
等拉莫斯引起圈内同行注意，已经是1996年的事了。当时他率领的是巴萨B队，被克鲁伊夫称赞为“有才气又爱思索”的后起之秀，加泰罗尼亚媒体也认为，胡安德·拉莫斯迟早有一天会成为巴萨主教练。
2003年冬天，当巴塞罗那前主帅里杰卡尔德在率队第一年就遇到危机时，克鲁伊夫曾向俱乐部力荐胡安德·拉莫斯接替荷兰人。最终巴萨挺过难关，里杰卡尔德留任，才使拉莫斯与第一次执教豪门的机会失之交臂。
2005年入主塞维利亚，是胡安德·拉莫斯教练生涯迄今为止的最高峰。率队连续两个赛季称雄联盟杯后，拉莫斯成为欧洲足坛炙手可热的功勋教头。上赛季开始后，他远赴英伦执教托特纳姆，却未能有所成就。本赛季托特纳姆甚至长时间垫底，拉莫斯被老雷德克纳普取代。
“决定接受皇马的邀请发生在上周一(12月8日)和皇马体育总监米亚托维奇的工作早餐上。”12月15日晚，拉莫斯透露了他和皇马的接触史，“在我和托特纳姆解约后，曾有4家俱乐部向我发出过邀请，他们提供的待遇要比皇马优越得多。我能和皇马一拍即合，是因为俱乐部的历史，以及它拥有的财力，能使我们始终处在最高级别竞争中。任何教练都不会拒绝来自皇马的邀请，尽管只是半年合同。”
有传言说，皇马队长、与拉莫斯同属一位经纪人的劳尔，是舒斯特尔下课后推动拉莫斯入主伯纳乌的幕后关键人物。拉莫斯对此予以澄清：“有关劳尔和我一起吃饭，以及他推动了我的签约事宜，这纯属无稽之谈。我是和他一起吃过饭，但那是两个月前的事了。我俩的确早有接触，但几天来最令我吃惊的是他的敬业精神和职业态度。有他的支持，再看皇马队员在世纪大战中的拼搏精神，我对球队前景非常乐观。”
2002-03赛季，胡安德执教西班牙人期间，与俱乐部因年薪问题发生矛盾，短短5场后就愤然离去，皇马人由此将他看作“金钱的奴隶”(西班牙人和皇马是抗击巴萨的联盟，两者在西班牙有表兄弟之称)。2007-08赛季，拉莫斯不敌托特纳姆的重金诱惑，中途离开塞维利亚，被塞维利亚主席德尔尼多称为“叛徒”。此前拉莫斯的父亲去世时，德尔尼多没允许球队在当天赛前默哀1分钟，就已使两人关系恶化。
由此，“拉莫斯是个好教练，但未必是个好人”，成了西班牙媒体对他的解读。对此拉莫斯也有自己的看法，“对于德尔尼多，我还是要感谢他让我在塞维利亚有了表演舞台。但一个阶段的合作后分道扬镳，这也是很正常的事。我爱钱？谁又会做没酬劳的义务劳动呢？不管怎么说，我在去过的任何地方都是朋友多，敌人少。”
拉莫斯的性格也使他不怕别人揭短，甚至自报山门：“我以往的习惯是和俱乐部签一年合同，因为我有足够的自信。一年合同期满后，有机会和球会坐下来谈。如果球会满意我的工作，那我自然会索取更高报酬。反之，我们可以友好分手，互不伤害。这次来皇马也一样。考虑到我们之间是6个月的短期合同，是急症处理，所以我不会改变皇马的医疗组、营养师甚至厨师人员配置，只是在某些细节上我会提出建议。有些事，必须到赛季末再谈。”
