西班牙位于欧洲西南部的伊比利亚半岛上，半岛最南端与非洲大陆之间仅隔着一条13公里宽的直布罗陀海峡，这里也是欧洲距离非洲最近的地方。
早在公元前6世纪，伊比利亚半岛南部就遭到了来自迦太基的殖民，迦太基是公元前9世纪时兴起于北非突尼斯湾沿岸的一个海洋帝国，他们是中东腓尼基人的后裔，罗马人称其为布匿帝国；公元前8世纪时，迦太基依托突尼斯湾的天然良港，控制了西西里海峡，将迦太基城打造为地中海南岸的粮食、金属和奴隶贸易转运中心。公元535年，迦太基在阿拉利亚海战中大败希腊舰队，掌握了西地中海的制海权，还吞并了撒丁岛和西西里岛的部分地区。
随后他们又在西班牙南部（今安达卢西亚）登陆，在此开发银矿并建立了新迦太基城（卡塔赫纳）作为矿业中心，当时北非相对先进的农业灌溉技术也被引入伊比利亚半岛，半岛南部开始成为粮食、橄榄油和葡萄的重要产地，加的斯、马拉加等港口先后崛起；同时，迦太基人还将腓尼基文字、宗教仪式等传入西班牙，与本地的凯尔特–伊比利亚文化交融，形成了独特的“布匿–伊比利亚”混合文明，今天西班牙这一国名也源于迦太基语，意为“野兔之地”。
公元前218年，罗马帝国通过第二次布匿战争从迦太基手中夺取了伊比利亚半岛的控制权，他们将半岛划分为三个行省，并建立起梅里达、萨拉戈萨等城市；同时，罗马人还在半岛推行拉丁语和罗马法，这奠定了今天西班牙与葡萄牙两国的文化、法律基础。
公元410年，因汪达尔人、阿兰人、西哥特人等蛮族的入侵，罗马帝国的统治被瓦解；415年，西哥特人驱逐了汪达尔人，并以托莱多为中心构筑基地；419年，西哥特人控制了高卢南部与伊比利亚半岛的大部，建立了以图卢兹为首都的王国，即西哥特王国，这个国家也是第一个得到罗马帝国承认的蛮族王国。因西哥特人仅占全国总人口的2%，所以王国的统治并不稳固，同时西哥特人信仰的阿里乌斯派基督教与西班牙罗马天主教之间不和睦，双方多次爆发冲突；为强化统治，消除宗教隔阂，西哥特国王雷卡雷德一世在公元589年宣布改信罗马天主教，此举极大的增强了国内各民族的凝聚力，暂时使西哥特人的统治稳定了下来。
在西哥特人统治西班牙的同时，一股强大的力量正在遥远的东方慢慢崛起，这就是伊斯兰教；公元7世纪初，穆罕默德创立伊斯兰教并以此为基础整合了部落分争、多神崇拜的阿拉伯半岛，阿拉伯帝国依靠宗教凝聚力和高效的军事制度迅速崛起，于公元632年统一了阿拉伯半岛。
公元637年，阿拉伯人在卡迪西亚战役后灭掉了波斯帝国萨珊王朝，控制了两河流域；公元640年，阿拉伯帝国进入北非，他们连续击败埃及人和柏柏尔人，到709年控制了埃及和整个马格里布地区，并将北非作为进攻欧洲的跳板。而就在此时，对岸的西哥特王国恰好爆发了内乱，公元710年西哥特国王维蒂扎去世，贵族罗德里克强行夺权引发了王国的分裂，反对罗德里克的贵族们联合北非的阿拉伯总督穆萨·本·努萨伊尔，主动邀请其介入内战，这给了阿拉伯人一个进攻欧洲南部的最好借口。
同年，阿拉伯的北非军团以柏柏尔骑兵为渡海作战的核心力量向半岛发起进攻，并轻松攻克塞维利亚，在半岛南部站稳了脚跟；711年7月，柏柏尔骑兵在直布罗陀的塔里克山击溃罗德里克军的主力，国王战死；714年，阿拉伯帝国占领托莱多，统治西班牙近300年的西哥特王国灭亡；到718年，阿拉伯人已控制半岛的大部，仅北部山区还留存着少数基督教抵抗势力（如阿斯图里亚斯王国），阿拉伯人在此设立了安达卢斯行省，首府为科尔多瓦，伊比利亚半岛也成为了帝国最西端的领土，西班牙第一次被穆斯林统治，而这次统治长达781年。
不过，阿拉伯统治者对西班牙实行了较宽松的政策，他们允许基督徒、犹太人保留各自信仰并自治，仅需缴纳人头税，这也促成了穆斯林、基督徒、犹太教徒“三教共处”的和谐景象；在此期间，大量的阿拉伯词汇、伊斯兰风格建筑以及生活方式被带到了西班牙，比如公共浴室、路灯系统（科尔多瓦拥有欧洲第一盏路灯）、复杂的输水网络以及咖啡、象棋等。
公元750年，阿拔斯王朝取代倭马亚王朝，倭马亚王子阿卜杜勒·拉赫曼一世流亡西班牙，公元756年阿卜杜勒在西班牙了建立后倭马亚王朝，定都科尔多瓦；到公元929年阿卜杜勒·拉赫曼三世执政期间，王朝国力达到鼎盛，阿卜杜勒·拉赫曼三世自称哈里发，科尔多瓦人口突破50万，拥有70座图书馆及智慧宫，藏书超60万册，成为当时欧洲最大的城市之一。虽然，阿拉伯人统治期间实行宗教宽容政策并持续向西班牙作出先进技术和文化的输出，但身份认同却是双方一直无法回避与弥合的裂痕，这也为后来伊斯兰教在西班牙的全面败退埋下了伏笔。
公元718年阿拉伯帝国占领半岛初期，西哥特贵族佩拉约在阿斯图里亚斯山区打退穆斯林军队，建立了阿斯图里亚斯王国，这个王国依托坎塔布连山脉的崎岖地势，在半岛北部形成了一片基督教的“抵抗飞地”，这一北方据点的建立也被视为“收复失地运动”的开端。
公元9世纪至10世纪期间，西班牙北部又陆续建立起巴塞罗那伯国、纳瓦拉王国、莱昂王国、卡斯蒂利亚王国等基督教国家；公元1085年，卡斯蒂利亚国王阿方索六世收复了原西哥特首都托莱多，切断了安达卢斯与北方的联系，迫使穆斯林向其纳贡。
次年，在基督教国家的步步紧逼之下，穆斯林们开始向北非柏柏尔人建立的穆拉比特王朝求援，穆拉比特埃米尔优素福·伊本·塔什芬亲率两万北非军队渡海参战，在萨拉卡战役中以灵活战术大败基督教联军，卡斯蒂利亚国王阿方索六世仅率300骑仓惶而逃，此役迫使基督教势力北撤，延缓“收复失地运动”近三十年；1090年，优素福废黜了穆斯林泰法国王，并将西班牙纳入了穆拉比特的版图；穆拉比特废除阿拉伯人统治时期的宽容政策，推行马立克学派教法镇压异教徒，并加重税收以维持庞大军队，其激进式的统治导致安达卢西亚民众离心。
与此同时，公元1096年教皇乌尔班二世号召十字军支援西班牙，圣殿、医院、圣地亚哥三大骑士团相继进驻，构筑起边境要塞链；公元1118年，新崛起的阿拉贡王国攻占重镇萨拉戈萨，控制了埃布罗河流域；穆拉比特的威胁迫使基督教诸国搁置内争，卡斯蒂利亚与阿拉贡在1120年结成军事同盟；同时，由于穆拉比特帝国强制同化基督徒与犹太教徒（如摧毁教堂、征收重税）引发不满，促使这些人开始向基督教王国提供情报与资金；1126年，科尔多瓦爆发大规模起义，遭镇压后大量基督徒北逃，不仅造成了动荡还充实了对手的人口；优素福死后，北非本土的桑哈贾部落因不满利益分配发动叛乱，这牵制了王朝的兵力，穆拉比特陷入了两线作战的困境中，面对基督徒的反扑也已是疲于应付；1139年，葡萄牙国王阿方索一世在奥里基战役中大败穆斯林军队，1147年里斯本被十字军攻占；同年，穆拉比特王朝被阿尔摩哈德王朝所取代，后者也接管了半岛南部的穆斯林领土。
阿尔摩哈德王朝建立后对基督教国家实施反扑，并重新控制了塞维利亚和直布罗陀海峡，1184年，阿尔摩哈德埃米尔雅库布·曼苏尔在阿拉尔科斯战役中大败卡斯蒂利亚军队，基督教南扩被暂时遏制。进入13世纪后，基督教联军的南下进入决定性阶段，1212年，阿尔摩哈德埃米尔穆罕默德·纳西尔率12万大军北征，意图彻底驱逐基督教势力，教皇英诺森三世号召基督教诸国停战，促成卡斯蒂利亚、阿拉贡、纳瓦拉等王国组建联军，双方在狭窄的山谷中遭遇，地形限制了柏柏尔轻骑兵的机动性，基督教联军则俯冲围攻，穆斯林军队损失过半，纳西尔重伤逃亡，阿尔摩哈德军事力量崩溃；此战结束后，基督教联军迅速南下，科尔多瓦、塞维利亚等重镇相继陷落。
1492年，卡斯蒂利亚与阿拉贡联姻形成的“天主教双王”攻陷格拉纳达，穆斯林对西班牙的统治彻底被终结。在收复伊比利亚半岛后，基督教王国立即设立宗教裁判所，对穆斯林和犹太教徒进行信仰审查， 他们强迫穆斯林皈依天主教，拒绝者将被处死。
1502年，卡斯蒂利亚王国颁布法令，宣布境内所有穆斯林必须受洗改宗，违者驱逐出境，阿拉贡王国也于1525年跟进，他们没收穆斯林土地、商铺分配给天主教贵族，切断其经济基础。基督教王国还禁止使用民众阿拉伯语和文字进行书写及口语交流，强制推行卡斯蒂利亚语（西班牙语），同时还焚毁阿拉伯语书籍、文献，尤其针对宗教与科学著作，科尔多瓦图书馆的藏书遭到系统性销毁；到1526年，有超过50万的穆斯林被迫接受洗礼成为“摩里斯科人”（名义的基督徒）。
1609年，因摩里斯科人仍暗中保持伊斯兰习俗，西班牙国王菲利普三世下达全面驱逐令，数十万摩里斯科人被强迁往北非，途中近半数死亡；至17世纪中叶，西班牙境内公开的伊斯兰信仰已基本消失，天主教徒占比超过95%。
直到今天，相比西欧其他国家，西班牙仍保持着较为严格的移民政策，而且穆斯林移民一直占总移民数量的比例很低，当代西班牙穆斯林多来自北非务工移民（占80%）而非难民，其后裔普遍接受公立教育，生活方式也趋向世俗化，因此对于该国的影响十分有限。
