בהשפעתו עבר הרב שוורץ לישיבת מרכז הרב על מנת ללמוד אצל הרצי"ה עצמו, ובה למד שנים רבות ונעשה לתלמידם של הרצי"ה והרב שפירא.[2] בהוראת רבו הרצי"ה העביר במשך כמה שנים שיעורים בספר הכוזרי במכון מאיר. קיבל הצעה לעבור לישיבת קדומים וללמד שם, אך לאחר התלבטות ארוכה סירב, בעידוד הרצי"ה.
במהלך שנות השבעים השתתף בעליות של גוש אמונים לנקודות שונות ביהודה ושומרון. סיפר שעלה עם קבוצה מתלמידי הישיבה לשילה, אף על פי שקודם נעצרו בדרכם והוחזרו לישיבה. בשילה התלמידים קשרו עצמם בשרשראות כדי להקשות על החיילים לפנותם, ופונו על ידיהם בכח. לאחר המעשה שאל את רבו הרצי"ה: "האם כך צריך לעשות? להיאבק עם הצבא?" והרצי"ה השיב: כך צריך לעשות![3].
שתיים מבנותיו נשואות לבניו של חכם ישועה בן שושן - אחת נשואה לרב שלום בן שושן מחנך בתלמוד תורה "נוהג כצאן יוסף" ביישוב נריה, והשניה נשואה לרב חיים בן שושן, ר"מ שיעור ג' בישיבת רועה ישראל ביצהר ובישיבת בית אל.
בת נוספת נשואה לרב מיכאל בן שלמה, מנהל תלמוד תורה "דביר" בשעלבים.
הרב שורץ בנטיעת עצים בארץ ישראלמתוך התורה הגואלת – סדרת ספרים ובהם סיכומי שיעורים של הרב צבי יהודה קוק, מסודרים לפי נושאים. יצאה לראשונה בשנים תשמ"ג-תשנ"א בארבעה כרכים, ובין השנים תשע"ג-תשע"ח יצאה במהדורה חדשה בשלושה כרכים, בתוספת מקורות והערות.
לנתיבות התורה הגואלת – חוברת הדרכה לבניין האישיות ודרכי לימוד תורה, מפי הרב צבי יהודה קוק, יצאה לאור בארבע מהדורות, החדשה בהוצאת מכון מים חיים.
בדרך התורה הגואלת – ספר על תולדות חייו והנהגותיו של הרב צבי יהודה קוק.
מעמק אברהם ובאוהל אברהם – תולדות הרב אברהם אלקנה כהנא שפירא וסיכומי שיעורים כלליים שהעביר.
וקראתם דרור בארץ – ספר על חייו והנהגותיו של הצדיק הנסתר הרב יוסף דרורי מטבריה.
חיים אביהוא בן דוד יוסף שורץ, דף שער בספרייה הלאומית