Mange middelalderlige regeringer og samfund begrænsede jødiske musikere til specifikke instrumenter (fløjter og strengeinstrumenter blandt de mest fremtrædende), og musik i sig selv var en af de få erhverv jødiske folk fik lov til at praktisere. Således alle større europæisk by besad højt kvalificerede, professionelle jødiske bands. Disse bands, sammen med Rom (sigøjner) bands, rejste for at tjene til livets ophold. Tvunget ud af Spanien, Portugal og Centraleuropa (Tyskland i særdeleshed), 17. århundrede jøder fandt sig flyttet til det Osmanniske Rige i Pale of Settlement.
Der, udenlandske musikere, der rejser på handelsruter injicerede jødisk musik med tyrkiske, græske, armenske og mellemøstlige påvirkninger, der bidrager til dannelsen af tidlig Klezmer. Det var kendetegnet ved: 1) en meget høj grad af musikalitet; 2) unikke instrumentering; 3) mellemøstlige polyrytmer. Oprindeligt begrænset til mindre støjende instrumenter klarinet og violin, Klezmer musikere adeptly udforskede deres musikalske evner, udvikle en følelsesmæssig dybde og udtryk mønstret efter den menneskelige sangstemme (en fremtrædende egenskab stadig iboende i Klezmer i dag). Med det 18.
århundrede hasidisk tradition (tilbedelse gennem øget følelse) og frigivelsen af jøder tjener i zarens hær bringe i mere militaristiske instrumenter, (trompeter, basuner, koncert lilletromme eller "lille" trommer ["tshekal"], monterede bas trommer ["PUK" aka "Poik" eller "Baraban"], bækkener ["tats"], tamburiner, woodblocks, cowbells og andre percussion effekter) lyden af moderne Klezmer begyndte at dukke op. Når europæiske regeringer 19. århundrede pålagt endnu endnu flere strabadser på Pale of Settlement, udvandring til USA blev det logiske valg for meget af den jødiske befolkning.
I årene 1880-1924, jødisk indvandring til Amerika (specifikt New York) overskrides mere end to millioner mennesker, hvilket bringer Klezmer til den nye verden. Ved begyndelsen af det 20. århundrede, flere Klezmer musikere kom i forgrunden, blandt de mest respekterede bliver clarinetists Naftule Brandwein og Dave Tarras. Derudover band ledere som