โจชัว กิมมิช เริ่มต้นเล่นฟุตบอลครั้งแรกในสโมสรเยาวชนร่วมกับทีม VfB Bosingen จากนั้นไม่นาน ได้ย้ายสโมสรเยาวชนเข้าร่วมเล่นให้กับ VfB สตุทการ์ท สโมสรฟุตบอลชื่อดังในเยอรมัน เมื่อปี 2007-2013 ระยะเวลา 6 ปี ก่อนที่จะก้าวขึ้นมาร่วมค้าแข้งเล่นในสโมสรอาชีพ ไลป์ซิก สโมสรฟุตบอลในเยอรมัน เมื่อปี 2013-2015 โดยลงเล่นให้กับทีมมากกว่า 53 ครั้ง สามารถทำประตูได้มากกว่า 3 ลูก หลังจากนั้นเป็นเวลาสองปี ได้ย้ายมาค้าแข้งกับสโมสรชื่อดัง บาเยิร์น มิวนิค ในศึกบุนเดสลีกาเยอรมัน เมื่อปี 2015 โดยลงสนามเล่นมากกว่า 96 ครั้ง ซึ่งเป็นสโมสรปัจจุบันของเขา ถือว่าเป็นนักเตะที่มีความสามารถและมีส่วนช่วยให้ทีมมีเกมป้องกันและการโจมตีที่ดุดันอย่างมาก