נולד במחוז וושינגטון (אנ') שבפנסילבניה בשם ג'ון מיטשל היפל. ב-1837 עבר עם הוריו למחוז באטלר (אנ'), אף הוא בפנסילבניה, שם למד מאוחר יותר בבתי ספר ציבוריים ופרטיים כאחד. לאחר מכן עבד כמורה במשך זמן מה. מאוחר יותר למד משפטים, התקבל ללשכת עורכי הדין ב-1857 והחל לעבוד במקצועו החדש. ב-1860 עבר לקליפורניה ולאחר מכן לפורטלנד שבאורגון, שם עסק בעריכת דין. אז גם החליף את שם משפחתו בשמו האמצעי.
בפורטלנד החל מיטשל את הקריירה הפוליטית שלו כחבר המפלגה הרפובליקנית. בין 1862 ל-1866 כיהן בסנאט של אורגון והיה נשיאו מ-1864. ב-1866 התמודד ללא הצלחה לסנאט של ארצות הברית. בבחירות ב-1872 נבחר מיטשל לסנאט כמועמד מפלגתו. הוא החליף בסנאט את הנרי קורבט, שלימים האשים את מיטשל בביגמיה ובקיום אורח חיים תחת שם בדוי. עם זאת, הסנאט לא פתח בחקירה בעניין זה. בין 1877 ל-1879 עמד בראש ועדת הרכבות.
מיטשל לא נבחר מחדש ב-1878 וכהונתו הסתיימה ב-4 במרץ1879. ב-1882 התמודד שוב לסנאט אך נכשל שוב. לעומת זאת, ב-1885 הצליח להיבחר שוב לסנאט. הוא ירש את ג'יימס סלייטר, לו הפסיד בשנת 1878. עם זאת, כניסתו עוכבה והוא החל את כהונתו רק ב-18 בנובמבר 1885. הוא כיהן בסנאט במשך 12 שנים עד 1897. במהלך תקופה זו עמד מ-1887 עד 1889 בראש הוועדה לנתיבי תחבורה בחופי הים. לאחר מכן כיהן שוב כיושב ראש ועדת הרכבות עד שנת 1893 וכן היה חבר בוועדת התביעות (אנ') ובוועדת הזכויות והבחירות (אנ').
ב-1897 ניסה להתמודד לאספה המחוקקת של אורגון, הגוף שבחר אז את נציגי אורגון לסנאט, אך כשל. בשנים הבאות עסק שוב בעריכת דין. בשנת 1900 נבחר מחדש לסנאט ונכנס לתפקידו ב-1901. הוא כיהן בסנאט עד למותו ב-1905. באותה תקופה היה מיטשל מעורב גם במה שנקרא בפרשת הונאה באורגון. הוא הואשם בשוחד ובניצול יכולת השפעה. תחילה הואשם והורשע אך ערער על ההחלטה. בעת מותו טרם הסתיים הדיון בעניין ערעורו.[1]