ישיבת פוניבז' נוסדה בעיירה פוניבז' שבליטא לפני כשמונים שנה על ידי רבה של העיירה הגאון רבי יוסף שלמה כהנמן זצ"ל הידוע בכינוי הרב מפונביז' או 'הפונעביז'ער רוב'. עם פרוץ מלחמת העולם השנייה בה עברה השליטה בעיירה לידי הרוסים הקומוניסטים ואחריהם לידי הנאצים יימח שמם, הקץ הקיץ על הישיבה שבליטא, אך קרנה של הישיבה לא נגדעה. ראש הישיבה הרב כהנמן שהה בתחילת המלחמה בשליחות הצלה מחוץ לאירופה, וכך בניסי ניסים ניצל מגיא ההריגה. משנוכח הרב כהנמן כי חזרה לליטא לא באה בחשבון, הוא החליט לעלות לארץ ישראל ולחדש בה את הישיבה.
 
בעצה אחת עם מרן 'החזון איש' זצ"ל, החליט הרב כהנמן להקים את הישיבה בבני ברק, שהייתה באותם הימים מושבה חרדית צעירה וקטנה. הישיבה נוסדה ביום ה' בכסלו ה'תש"ד בבית הכנסת 'הליגמן' העומד עד היום ברחוב רבי עקיבא בעיר. בעת הקמתה למדו בישיבה שבעה בחורים בלבד, ולתפקיד הר"מ בישיבה מינה הרב כהנמן את הגאון רבי שמואל רוזובסקי זצ"ל.
 
כעבור כמעט שנתיים מעת הקמתה - בחודש אלול ה'תש"ה, עברה הישיבה למשכנה בו היא נמצאת עד היום בגבעת הישיבה. מספרים, כי פעם אחת פגש יהודי את הרב כהנמן מסתובב מודאג ברחוב העיר של תל אביב על יד בית הדואר, אותו יהודי ניגש אל הרב כהנמן ושאל אותו לפשר דאגתו, ענה הרב כהנמן כי באותו ערב הוא אמור לחתום על חוזה הקנייה של גבעת הישיבה אך אין לו כסף לשלם למוכר, התפלא אותו יהודי ושאל את הרב כהנמן הכיצד הוא נכנס לעסקה שאינו יודע כיצד יוכל לבצעה, ובתשובה ענה לו הרב כהנמן כי גביר מסוים בדרום אפריקה הסכים לתרום את הסכום הדרוש, דא עקא שהוא צריך לשלוח מברק לאותו גביר כיהוא זקוק כעת לכסף, ואין לו את המעות הדרושות על מנת לשלם עבור משלוח המברק. מששמע אותו יהודי כי הרב כהנמן נזקק לסכום פעוט על מנת לשלוח מברק, מיד שלף את הסכום הנדרש מכיסו ונתנו לרב כהנמן. הרב כהנמן שלח את המברק לאותו גביר בדרום אפריקה, והעסקה שממנה צמחה ממלכת פוניבז' יצאה לדרך, בזכותו של אותו יהודי שהעניק סכום פעוט לרב כהנמן עבור משלוח מברק.
 
מיוחד ביותר הוא ארון הקודש המפאר את היכלה של ישיבת פוניבז'. ארון קודש זה היה מוצב בבית הכנסת שבעיר מנטובה שבאיטליה, לאחר מלחמת העולם השנייה במהלכה נרצחו רבים מיהודי איטליה בידי הנאצים ועוזריהם הפאשיסטים האיטלקים ימ"ש, הועלה ארון קודש זה לארץ ישראל יחד עם עוד ארבעים ארונות קודש איטלקיים שפוזרו ברחבי הארץ מספר שנים לאחר המלחמה. ארון הקודש מצופה כולו בזהב, ולפי הכתובת שחרוטה עליו הוא נבנה בשנת ה'שי"ר היא שנת ה'תק"י.
 
במשכנה החדש צמחה הישיבה עד שהפכה לפאר עולם הישיבות, בה לומדים מדי שנה למעלה מאלף בחורים ממיטב הבנים של עולם התורה. לצידו של רבי שמואל רוזובסקי צירף הרב כהנמן להנהגת הישיבה את הגאון רבי דוד פוברסקי זצ"ל ואת הגאון רבי אלעזר מנחם מן שך זצ"ל. ראשי הישיבה הפכו עם השנים לא רק למורי דרך לתלמידי הישיבה לבדם כי אם למנהיגי הזרם הליטאי – חרדי כולו. המפורסם מהם היה הרב שך, שעל פיו נשק כל דבר בציבור הליטאי – חרדי, השפעתו של הרב שך הייתה רבה גם בפוליטיקה הכללית בארץ ישראל שראשיה העריכו והוקירו את חכמתו הרבה.
 
שיטת הלימוד בישיבת פוניבז' הושפעה ברובה ממשנתו של ראש הישיבה הרב שמואל רוזובסקי, שהקיף כל סוגיא לעומקה בהבנה פשוטה ובהירה. ישיבת פוניבז' הטביעה חותם עמוק בדרך הלימוד בעולם הישיבות הליטאי, החיבורים שהותירו אחריהם ראשי הישיבה הפכו לספרי יסוד בדרך הלימוד הישיבתית - ליטאית, והם ספרי חובה בכל ארון ספרים ישיבתי. בוגרי הישיבה הרבים שהפכו ברבות הימים לראשי ישיבות ורבנים, תרמו אף הם את חלקם בהטמעת דרך הלימוד של הישיבה והפצתה בקרב צעירי הצאן.
 
מעבר לחלק הלמדני התפשטה תורתה של ישיבת פוניבז' גם בחלק המוסר, על ידי המשגיחים הרוחניים הגדולים שכיהנו בישיבה זו. במשך השנים פיארו את הישיבה הגאון רבי אבא גרוסברד זצ"ל, הגאון רבי אליהו דסלר זצ"ל-  ה'מכתב מאליהו', הגאון, רבי יחזקאל לוינשטיין זצ"ל, שכיהן כמשגיח רוחני גם בישיבת מיר, הגאון רבי ראובן גינצבורג זצ"ל, הגאון רבי חיים פרידלנדר זצ"ל ורבנים נוספים.
 
לבד מהישיבה עצמה, הקים הרב כהנמן מוסדות נוספים המהווים חלק בלתי נפרד מהישיבה. בסמוך לישיבה – בהיכל 'אוהל קדושים' פועל כולל אברכים בו לומדים מאות מטובי האברכים בוגרי הישיבה ואחרים, בנוסף הוקמה בבני ברק ישיבה לצעירים בה לומדים נערים שסיימו זה עתה את לימודיהם בתלמוד תורה, בראשות ישיבה זו עומד הגאון רבי מיכל יהודה לפקוביץ' שליט"א כשלצידו עמד עד לפני מספר שנים גם הגאון רבי אהרן לייב שטיינמן שליט"א. בנוסף הקים הרב כהנמן את 'בתי אבות', שהיו מוסדות לימודים עם פנימייה שהוקמו על ידו עבור ילדים שניצלו משואת אירופה וזכו לעלות לארץ.
 
מוסדות הישיבה אף פשטו מעבר לגבולות העיר בני ברק, קריית פוניבז' הוקמה על ידי הרב כהנמן בעיר אשדוד בה קיימת לתפארה ישיבת גרודנא בראשותו של הגאון הרב צבי דב קרלנשטיין שליט"א, וכן ישיבה לצעירים, לצד בניני מגורים השייכים לקריית הישיבה. בשנים האחרונות נפרד פלג מישיבת גרודנא באשדוד ועל ידם הוקמה ישיבת גרודנא – באר יעקב בראשותו של הגאון הרב צבי דרבקין שליט"א.
 
ברחבי העיר בני ברק פזורים בתי הנציבים - הם בניני דירות השייכים לישיבת פוניבז' שהוקמו לצורך רבני הישיבה ושאר יהודים שקנו דירות בבניינים אלו, כשההכנסות קודש לאחזקת מפעלי הישיבה. בנוסף נמצא בפאתי בני ברק בית החיים של נציבי ישיבת פוניבז' ובו טמונים רבני הישיבה יחד עם גדולי תורה נוספים.
 
במוסדות ישיבת פוניבז' כולם, למדו במשך השנים רבבות תלמידים. ועדיין קול התורה נשמע ברמה ממוסדות הישיבה הרבים בהם שוקדים על התורה אלפי תלמידים בכל שעות היממה.