Z Indie postupovali Rómovia cez Perziu do Arménska. Z ich jazyka možno usúdiť, že sa tu istý čas zdržali. Jedna časť potom pokračovala cez dnešnú Sýriu a Sinajský polostrov k africkému pobrežiu Stredozemného mora. Popri ňom putovali k Gibraltarskému prielivu a odtiaľ na Pyrenejský polostrov do Španielska. Početnejšie skupiny však prechádzali Malou Áziou do dnešného Grécka.
Za prvú známu zmienku o Rómoch v Európe sa považuje zápis mnícha na hore Athos na území Grécka z roku 1068. Následne prenikali z Balkánu pozdĺž Dunaja až do strednej Európy. Rómovia prichádzali do Európy v skupinách, ktoré prechádzali juhovýchodným Slovenskom do českých krajín a západnej Európy. Najväčšiu pozornosť v západnej Európe vzbudila pomerne početná skupina, ktorá sa objavila v Uhorsku roku 1417 na čele s „kráľom“ Sindelom a „vojvodami“ Michalom, Ondrejom a Panuelom. Táto skupina spoločne prechádzala z Budína cez Szatmár, Polgár a iné maďarské mestá do Košíc, Levíc a ďalšími bohatými oblasťami južného Slovenska až k Bratislave.
Za Bratislavou sa jednotlivé skupiny začali oddeľovať. Skupina vedená Panuelom prešla cez Čechy do Nemecka. Celá skupina pozostávala asi z 300 ľudí. Nedržali sa však spolu, ale putovali po menších oddieloch. Najkratšiu cestu vykonala skupina vedená Sindelom, a to do okolia Regensburgu. Ďalší prúd pod vedením Michala a Ondreja smeroval do Švajčiarska. S Ondrejovou skupinou sa neskôr stretávame až roku 1422, kedy prešli cez Bazilej do Bologne, Forli a Ríma. Z Talianska potom pokračovali popri Stredozemnom mori až po Marseille a odtiaľ roku 1427 do Paríža. Michalova skupina pokračovala zo Švajčiarska cez Savojsko a Francúzsko do Španielska, a to do Barcelóny roku 1447. Poslednou vlnou európskej rómskej diaspóry bola skupina, ktorá sa v strednej a západnej Európe objavila v prvej polovici 15. storočia.
Kočovníci sa predstavovali ako pútnici z Malého Egypta, ktorí ako kajúcni hriešnici musia putovať po svete. Obyvateľstvo ich legendám spočiatku verilo a prijímalo ich pohostinne. Kočujúcim Rómom sa tak podarilo získať ochranné listiny tzv. glejty. Takýmito listinami boli napríklad sprievodný list nemeckého cisára a uhorského kráľa Žigmunda z roku 1417, ochranná listina pápeža Martina V. z roku 1422, listina Mikuláša Garu a ďalšia od cisára Žigmunda, vystavená 17. apríla 1423 na Spišskom hrade. Aj vďaka týmto listinám sa im dostávalo spočiatku materiálnej podpory a bol im naďalej umožnený potulný spôsob života.
Nomádske skupiny boli odkázané na domáce obyvateľstvo a snažili sa ho získať rozličnými prostriedkami. Život v celej západnej Európe bol v tom čase ovládaný cirkvou. Obyvateľstvo krajín, kde cirkev podriadila všetok život a umelecký prejav svojím dogmám, prijímalo tanec, hudbu, veštenie a iné umelecko-atraktívne prejavy Rómov ako príjemnú zmenu. Čiastočne sa venovali rozličným remeslám. Zhotovovali a opravovali predmety pre roľníkov. Niektorí sa živili priekupníctvom alebo poskytovaním rôznych služieb. Tieto zamestnania si však vyžadovali pohyblivý spôsob života, ktorý bol prekážkou ich zblíženia sa s domácim obyvateľstvom.
Rôzne stránky ich života neskôr vzbudili podozrenie, že nie sú tí, za ktorých sa vydávajú. Ponechaní sami na seba si stále vo väčšej miere zadovažovali existenčné potreby krádežou. To samozrejme vyvolávalo stále ostrejšie protiopatrenia zo strany domáceho obyvateľstva. Ich situácia sa neustále zhoršovala a jej negatívnym vyvrcholením bola krvavá diskriminácia, ktorá postihla všetkých západoeurópskych Rómov.
Celkové postavenie Rómov zhoršovali aj expanzívne akcie Turkov v Európe. Rómov, ktorí prichádzali od tureckých hraníc, začali považovať za tureckých vyzvedačov. Ďalším z podnetov, pre ktoré sa postoj európskeho obyvateľstva menil, bola ich exkomunikácia z cirkvi parížskym arcibiskupom v roku 1427. Západoeurópske krajiny začali následne prijímať stále striktnejšie opatrenia. Zákony a nariadenia boli takmer všade rovnaké. Rómov, ktorí neopustili krajinu, najskôr palicovali, pri druhom dolapení im mrzačili telo a ak ich dolapili tretíkrát, čakala ich smrť obesením, upálením alebo utopením. Napríklad kráľovná Alžbeta I. roku 1579 prikázala, aby všetci Rómovia opustili krajinu. Tí, ktorí za mesiac neodídu, prepadajú trestu smrti. Po uplatnení tohto nariadenia nasledovali masové popravy Rómov. Ich hromadné prenasledovanie v Anglicku sa skončilo až v 19. storočí.
O prvé zmeny postoja k Rómom sa pokúsila až Mária Terézia v rokoch 1761 a 1773, kedy vydala asimilačné nariadenia. Podľa nich sa z Rómov mali stať roľníci. Nariadenia, v ktorých pokračoval aj Jozef II, sa stali vzorom pre riešenie prístupu k rómskemu obyvateľstvu v ďalších krajinách.
Aj v juhovýchodnej Európe boli potulné skupiny, ktoré žili viac z krádeží ako z práce trestané, nikdy však nie prenasledované. Kým v západnej Európe bola remeselná výroba organizovaná v cechoch, v juhovýchodnej Európe a Uhorsku prevládala domáca remeselná výroba. Vykonávanie remesiel na týchto územiach nebolo výnosné, takže noví remeselníci boli vítaní. Ľahšie sa prispôsobovali aj celkovému spôsobu života, ktorého úroveň zodpovedala nízkemu stupňu hospodárskeho vývoja týchto oblastí. Nad neproduktívnymi skupinami, žijúcimi z krádeže a žobroty, nadobudli prevahu drobní remeselníci a príslušníci rozličných povolaní. Vo viacerých hľadiskách sa Rómovia žijúci v balkánskych krajinách a čiastočne aj Uhorsku postupne zžívali s domácim obyvateľstvom. Sústreďovali sa do väčších celkov. Vo väčších mestách vytvárali vlastné štvrte tzv. machali.
S voľným postavením juhoeurópskych Rómov ostro kontrastovala situácia v Rumunsku. V bývalých kniežatstvách, Moldavsku a Valašsku sa Rómovia zaoberali prevažne remeslami. Postupom času sa však dostávali do područia feudálov ako ich otroci. Správy o „cigánskych otrokoch“ v Rumunsku sú už zo 14. storočia. Prakticky sa ich situácia nelíšila od postavenia otrokov v klasických otrokárskych štátoch a trvala až do druhej polovice 19. storočia.
Tým najtragickejším obdobím v rómskej histórii bola celkom určite druhá svetová vojna. Napriek tomu, že Rómovia patria do indoeurópskej rasy, boli podľa rasistických zákonov nacistického Nemecka považovaní za menejcenných. Na území celého hitlerovského Nemecka boli zriaďované pracovné tábory, do ktorých boli sústreďované celé rómske rodiny. Z týchto táborov boli potom ďalej deportované do koncentračných táborov. Do Osvienčimu sústreďovali Rómov z Nemecka, Čiech a Moravy, Poľska, Francúzska, Holandska, Belgicka, Chorvátska, Maďarska, Litvy, Nórska a Ruska. Rómskemu koncentračnému táboru v Osvienčime II. - Brzezinke predchádzalo masové vyvražďovanie Rómov v Poľsku, na Kryme a na Ukrajine.
V roku 1942 vyšla direktíva, nariaďujúca transport všetkých Rómov do koncentračného tábora Osvienčim. Do roku 1945 bolo vyvraždených približne 70-75% Rómov, ktorí sa nachádzali na území kontrolovanom nacistami. Percentuálne sa to rovná židovským stratám. Do Čiech sa ich z koncentračných táborov vrátilo len 583. Zo Slovenska, s výnimkou južných a juhovýchodných oblastí, ktoré boli počas vojny pričlenené k Maďarsku, neboli Rómovia transportovaní do koncentračných táborov. Boli však v mnohých ohľadoch obmedzovaní. Mali zákaz vstupovať do verejných priestorov a parkov, do miest a obcí smeli vstúpiť len vo vyhradených dňoch a hodinách. Po obsadení Slovenska nemeckou armádou v septembri 1944 nastali na mnohých miestach masové popravy rómskeho obyvateľstva. Odhaduje sa, že počas druhej svetovej vojny zahynulo tristo tisíc európskych Rómov. Iné zdroje uvádzajú až pol milióna rómskych obetí.