נולד לשמחה אלתר, מחסידי סטוטשין. רבי מרדכי מנשה היה תלמידם של האדמו"ר מסטוטשין רבי יהודה הרוביץ ושל האדמו"ר מאמשינוב רבי יצחק קאליש. למד בישיבת תורה ודעת. בהשתדלות רבי יהודה הורוביץ נשאר בבית המדרש ולא יצא להתפרנס. נישא לבתו של הרב משה וולפסון, משגיח ור"מ בישיבת תורה ודעת. הוא עסק בלימוד ספרי חסידות של חב"ד וברסלב.
בשנת תשמ"ב, לאחר פטירת רבי יהודה הורוביץ, הקימו מספר משפחות מהחסידות בית כנסת בשם תולדות יהודה ורבי מרדכי מנשה התמנה לרבה. במהלך השנים החליט להיות אדמו"ר והחל לערוך טיש בליל שבת ובסעודה שלישית.
לאחר פטירת רבי יצחק מאמשינוב, החל הרב זילבר לנסוע מדי שנה לרבי משולם פייש מטאש, עד שזה חלה. בטיש בליל שבת הוא מספר סיפורים ששמע מרבותיו, ולאחר מכן שר זמירות שבת ושירים נוספים במשך שעות. בסעודה שלישית הוא אומר מערכה קבלית-חסידית על פרשת השבוע. דברי תורתו בסעודה שלישית מודפסים מדי שבוע בעלון "דברי תורה".
בחודשים תמוז ואב נוהג הרב זילבר לשהות בישראל וללמוד בישיבת שער השמים. גם בימי השובבי"ם הוא נוהג לשהות בישראל. בסביבות שנת תש"ס החל הרב זילבר למסור שיעורים ולאחר מכן החל לערוך טישים ועם השנים נוצרה קהילה בישראל. בשנים האחרונות מוסר בתקופת שהותו בישראל שיעורים כמעט מדי יום. חסידיו הקימו את בית הכנסת "תולדות יהודה" בירושלים.
הוא תובע משומעיו שיתעמקו בלימוד תורת החסידות כמו שרגילים להתעמק בתורת הנגלה ושלא יסתפקו במועט בעבודת ה'. מדגיש את עניין החיוניות בעבודת ה', בפרט בחגים ומועדים. תפילותיו נאמרות במתינות. תפילת שחרית נמשכת אצלו למעלה משעתיים, וכן נענועי ארבעת המינים נמשכים כשעתיים והוא רוקד לעיתים במשך שעות. הרב זילבר מבקר אדמו"רות אשר כל מעלתה היא רק היותה ירושה של שושלת אבות.
