סיפר הגאון אברהם יוסף שליט"א, רבה של חולון ובנו של מרן הגאון פאר הדור רבינו עובדיה יוסף זצ"ל: "פעם אחת שלח אותי אבי מורי זצ"ל, להחזיר ספר מסיום לבית מסחר ספרים 'העור'. בית מסחר זה היה ממש בסוף רחוב זוננפלד שבירושלים ת"ו. בהגיעי למקום, אני מחזיר את הספר ושואל 'האם בעל הבית נמצא?' אדם מבוגר ניגש אליי ואומר לי: "זה אני". אני אומר לו: אבא שלח אותי עם הספר. הוא אומר לי: "מי זה אבא שלך?" אמרתי לו "הרב עובדיה", ואז הוא פונה אליי ואומר לי: "אתה לא מכיר את אבא שלך!" חייכתי. אני לא מכיר את אבא שלי?! "כן, בא ותשמע", והוא התחיל לספר לי: "אתה רואה את הסולם הזה פה? והצביע עליו. אבא שלך היה עומד ליד הסולם הזה, עם הספר ביד שלו ולומד ואף אחד לא הפריע לו. נכנס לחנות הגאון רבי ראובן בענגיס זצ"ל גאב"ד העדה החרדית, ראה את האברך הצעיר עם הספר ביד, כל כמה דקות הופך דף, ואז הוא אומר לי – 'תגיד לי, אין לכם מה לעשות, הרי כל ספר הוא בעל ערך והנייר מתפורר, זה לא היה קל למצוא ספרים, ככה אתה נותן לאברך הזה לדפדף?!'.
אמרתי לו: 'הרב, זה אברך מיוחד, תלך בבקשה ותראה איזה ספר הוא לומד, תראה איזה תשובה, תנסה להיזכר איזו תשובה שלפני כן, ותשאל אותו שאלה עכשיו, ותראה מה יהיה. "הספר היה 'נודע ביהודה', הוא הסתכל באיזה סימן, זכר סימן שלפני כן והחל לשאול את אבא, 'מה דעת כבודו בענין זה וזה'. אבא אמר לו: 'כן, יש פה תשובה על השאלה הזו', וציטט לו את כל התשובה בעל פה! הרב בענגיס היה כולו מלא התפעלות. 'איך הוא ציטט את הכל מאיפה הוא ידע את הכל?'. זהו אבא שלך! אתה שומע? אבא שלך היה לוקח ממני ספר בלילה, מחזיר לי אותו בבוקר כשהוא גמר את כולו! אתה יודע את זה?".
אני אומר לאנשים שבאים לכאן אתם לא יודעים מי זה הרב עובדיה! הבן אדם אוהב את התורה בכל עצמותיו, הוא לא זוכר כלום רק את לימוד התורה עליו הוא עמל יומם ולילה, פסקי ההלכות והכתבים שהוא כותב לזכות את ישראל.
אמרתי לו תודה על המידע ומיד חזרתי הביתה, באתי לספר זאת לאבי מורי, אך הוא השתיק אותי מיד ואמר: "תפסיק, מה אתה מדבר שטויות? תלך מפה!".
הוא לא רק ברח מהכבוד, גם כשהיו קצת מפארים אותו, הוא היה מצטער צער אמיתי, ראו על הפנים שלו איך שכואב לו מכל הדיבורים האלה, זו הנהגה. גם בהיותו ענק שבענקים, תמיד היה בצניעותו נחבא אל הכלים, וכל ימיו הוא ברח מכל הפרסומות, ברח מכל ההתרברבות – אלא אם כן היה זה לתועלת.
היינו ילדים, ואבא היה הולך ללוויות של גדולי ישראל מאחינו האשכנזים, שם היו מספידים בשפת האידיש, ואבא הרי לא הבין מה הם אומרים אז היה עומד בצד ואומר משניות בעל פה, גם כשהיה הולך לכנסים מסויימים והיו מעכבים אותו שכיבדו תלמידי חכמים לשאת דברים, היה אבא יושב וכותב חידושי תורה על מפיות קינוח המאכלים שהיו על השולחן, היו אנשים עשירים שהיו באים אליו ומניחים על השולחן שטרות של כסף רב, אבא ללא שימת לב היה מכניס אותם לספר שלפניו ושוכח מהם לגמרי, רק כשנפטר לבית עולמו מצאנו שטרות ישנים שכבר איבדו את שווים וערכם, אבא זצ"ל היה כל כולו חפצא של תורה פשוט לא עניין אותו כלום חוץ ממנה, הוא ידע את ערך הזמן, חבל על כל רגע שאפשר לנצל אותו בלשלוח אוצרות לעולם שכולו טוב.