Karim Ziani est né en région parisienne d'un père algérien kabyle et d'une mère française [1][1] est d'abord repéré par le Racing club de France qui l'intègre à ses équipes jeunes de 1995 à 1998. Il rejoint ensuite le centre de formation de Troyes, signant son premier contrat pro avec le club aubois en 2001. Sous les ordres de l'entraîneur Alain Perrin, il foule pour la première fois les pelouses en championnat de Ligue 1 en décembre 2001. Il fait ses débuts dans la sélection algérienne le 12 février 2003, à l'occasion d'un match contre la Belgique.
Un temps pressenti pour rejoindre l'Italie et le club de Sienne, il part finalement en prêt le 11 octobre 2004 au FC Lorient. Devenu un élément-clé du dispositif lorientais, l'équipe de Christian Gourcuff le recrute pour la saison 2005-2006 qui le verra s'affirmer comme l'un des grands artisans de la remontée en Ligue 1. Il est d'ailleurs désigné meilleur joueur de Ligue 2 au terme de cette saison.
Ce titre et son nombre important de sélections en équipe d' Algérie lui attirent l'intérêt de nombreux clubs dont le FC Nantes, l'Olympique de Marseille et l'AS Saint-Étienne. C'est finalement pour le FC Sochaux-Montbéliard qu'il s'engage pour trois ans en août 2006, retrouvant ainsi l'entraîneur de ses débuts, Alain Perrin.
En 2006 et 2007, il est élu Ballon d'Or Algérien.
Le 12 mai 2007, il remporte la coupe de France avec le FC Sochaux contre l'OM. Avec une passe millimétrée décisive à la 116e minute à son coéquipier Le Tallec, il fait basculer le cours du match et permet à son équipe d'égaliser et de passer aux tirs au but.
En juin 2007, il est recruté par l'Olympique de Marseille, pour une durée de 4 ans. Ce transfert, évalué à 8 millions d'euros, lui permet notamment de découvrir la prestigieuse Ligue des champions.
Karim Ziani inscrit son premier but sous les couleurs de l'OM le 15 août 2007 lors de la 3e journée contre Valenciennes FC.
Cependant, lors de sa première saison à Marseille, il n'est que l'ombre de lui-même. Quasiment invisible sur le terrain, il est très souvent blessé et Éric Gerets lui préfère régulièrement Mathieu Valbuena. Une altercation verbale intervient avec son entraineur Éric Gerets le 19 mars 2008 lors d'une rencontre de coupe de France, il est mis à pieds par l'OM pour une durée de 10 jours, ne touchant pas son salaire et étant écarté du groupe.
Malgré une première saison "noire" sous le maillot olympien, il reste à Marseille pour montrer son réel potentiel.
En juin 2008, il joue avec la sélection algérienne contre le Libéria un match comptant pour les éliminatoires de la CAN-CM 2010, ou il signe son premier doublé. (Algérie-Libéria 3-0)
Sa préparation pour la saison 2008-2009 est perturbée par une nouvelle blessure, décelé lors de sa première apparition en match amical d'avant saison, face au FC Nantes. Karim Ziani débute le match en tant que titulaire au poste de meneur de jeu, poste qu'il affectionne tout particulièrement, et fait état de tout son talent, en offrant une excellente prestation, sous le regard admirarif d'Éric Gerets. Mais, à la 30ème minute de jeu, ressentant une douleur aux adducteurs, il cède sa place. Ainsi, il rate toute la préparation d'avant saison au grand regret de son entraîneur. Il fait son retour quelques jours avant l'ouverture du championnat 2008-2009. Éric Gerets explique en conférence de presse le 7 août 2008 que Ziani lui fait la misère à l'entraînement, de manière positive, avouant qu'il "pète les flammes", selon ses dires. Éric Gerets met également en avant son comportement exceptionnel, comme si celui-ci n'avait raté aucun entraînement. Son entraîneur n'hésite donc pas à le mettre titulaire lors du premier match de la saison au Stade Vélodrome face à Auxerre Auxerre le 17 août 2008. Karim Ziani est élu l'olympien du match pour son retour, laissant présager de bons espoirs pour cette nouvelle saison. Le samedi 30 aout 2008, il marque le 1er but de l'OM face a son ancien club, le Football club sochaux, pour une victoire 2-1 des marseillais