Après seulement trois albums avec les Bad Seeds (mais auparavant un avec The Boys Next Door et trois avec The Birthday Party), Nick Cave s'offre, comme les grands, un album de reprises. On y retrouve ses maîtres, le folk et la country Southern Gothic (Johnny Cash, repris pas moins de trois fois ici), le blues (John Lee Hooker, Leadbelly), le rock'nroll (Roy Orbison), les musique traditionnelles du Sud profond américain (The Alabama Singers). En bref, toutes les racines américaines et rurales du rock. Ne manque à l'appel que l'idole Elvis Presley, mais il avait déjà été repris à l'époque du premier album. Plus inattendus, le classique "Hey Joe", un morceau du Velvet et, surtout, le tube easy listening, presque kitsch mais soyeux et somptueux, "Something's Gotten Hold Of My Heart". Ces deux dernières reprises montrent les facettes urbaines, minimaliste, avant-gardiste et junkie pour la première, cabaret pour la seconde (citons aussi le "Sleeping Annaleah", sonnant comme du Kurt Weill grotesque et martelé), de l'univers de Nick Cave.
Comme dans tout exercice de style de ce genre, l'ensemble sonne relativement décousu, en tous cas hétéroclite, et surtout inégal. Certains morceaux sont réinterprétés avec un peu trop de respect pour l'original, même si ces versions sont au minimum intéressantes. "The Singer", où l'espace sonore est déchiré par trois notes de guitare western, et le religieux "Muddy Waters", tous deux de Johnny Cash, sont tout de même magnifiques. En revanche, "By The Time I Get To Phoenix" ou "The Carnival is Over" inspirent surtout de l'ennui.
Quoiqu'il en soit, avec cet album de reprises, Nick Cave And The Bad Seeds poursuivent dans la lignée des albums précedents, ces reprises sont (à peu d'exceptions près) intégrées à leur son et leur univers. C'est d'ailleurs pour les cas limites, plus éloignés a priori de ces derniers, qu'ils s'en sortent le mieux, et même avec brio, transfigurant des chansons parfois très éloignées de leur répertoire habituel. "Hey Joe" est on ne peut plus iconoclaste par rapport à la version de Jimi Hendrix, sans guitare, avec un piano martelé, un orgue sinistre et un violon psychotique, elle s'avance menaçante en rampant. Une version très différente de la version de Hendrix, aussi passionnante mais plus inquiétante et qui suscitera légèrement moins de vocations d'apprentis guitar heroes de sous-préfecture et ne sera que relativement peu chantée en chœur lors de la Fête de la Musique. La ballade gothique et lascive du Velvet Underground, "All Tomorow's Parties", chantée à l'origine par Nico, est au contraire rendue plus énergique et spacieuse, le chant y est assuré non par Nick Cave mais par le chœur vigoureux des Bad Seeds, et l'ambiance médiévale y est gommée.
Loin de constituer un disque destiné à honorer ou achever un contrat avec une maison de disques, ou une pièce à réserver aux fans, Kicking Against The Pricks, bien qu'inégal, force le respect, ne serait-ce que pour les reprises de "Hey Joe" et de "All Tomorow's Parties".