大賀氏の祖先は豊後国の緒方三郎惟栄と伝わっています。緒方三郎惟栄は源平合戦の時、源頼朝に味方して平家追討に功績がありましたが、その後の頼朝と義経の争いには義経方に味方したため頼朝の不興をこうむり、上野国沼田に配流されました。頼朝は豊後国を大友義直に与えます。大友義直は、緒方三郎惟栄の平家追討での功績を頼朝に訴え、赦しを請います。この訴えにより、緒方三郎惟栄は赦され豊後国佐伯領を賜り佐伯城主として子々孫々、大友家の幕下となります。この地に土着し地名の佐伯を氏として佐伯姓を称しました。
その後、大友家に内紛がおこり、佐伯氏も兄弟の相続争いによって零落し惟信の代に佐伯姓を改めて大神姓を称しました。その後、大友義統の時には大神大学は小姓として主君に近侍していました。しかし大友義統は文禄2年(1593年)朝鮮出兵時の平壌の戦いで小西行長を救援せずに京城に退いた為に豊臣秀吉の怒りをかい領地を没収され、毛利輝元に預けられ山口に幽閉されました。その為、大神大学も流浪の身となり、豊前中津に移りました。

慶長5年(1600年)関ヶ原の戦いの時、中津城主黒田如水・長政は東軍（徳川方）に味方し、毛利輝元・大友義統は西軍（石田方）に味方しました。大神大学は如水に召し出され、如水の家臣宇治勘七とともに、大友義統説得の使者を命じられ、手紙を持って上関に至り船上で如水の意向を伝えました。このような関係から、大学は如水の信頼を得、黒田氏が筑前国の領主として福岡に入ると、それにしたがって筑前博多の呉服町に住み、慶長6年（1601年）の福岡城築城にさいしては資金を提供しました。黒田長政は、大神大学に士官を勧めましたが、大学は辞退して商人となり、大神姓を改め大賀宗九と名乗りました。

大賀宗九は長崎で朱印船貿易にも従事していました。徳川家は貿易がどんなにもうかるか熟知していましたので、幕府からの心証を悪くしたくない黒田家は他の西国大名のように自分の名前で朱印状を申請するのを避け、商人である大賀家の名義で渡航の権利を手に入れました。多額のお金がかかるのですが、大賀家にはそれが可能でした。大賀宗九はのちに呉服町西側に隠宅を構えて移り住み、幻住庵を現在の場所に再興しました。元和7年(1621年)4月、黒田長政は積年の宗九の苦労に対して粕屋郡中原村・箱崎村のうち164石を知行として与えようとしましたが、宗九は辞退。長政は「その行い神妙である。子孫が不幸にあえば助けよう」と言ったといわれています。寛永7年(1630年)5月13日に死去しました。大賀宗九は嶋井宗室、神屋宗湛とともに博多の三傑と称えられています。

大賀宗九には3人の息子がいました。長男善兵衛は呉服町西側の宗九の居宅に住みましたが、男子にめぐまれず神屋氏や京都の山脇氏から養子をむかえています。次男九郎衛門は伊藤小左衛門の娘を妻としましたが、やはり男子にめぐまれずに家は断絶。三男の惣右衛門は宗伯と号し、呉服町西側の本宅をつぎました。こうして善兵衛家（上大賀）、惣右衛門家（下大賀）の両家にわかれ福岡藩の筆頭御用商人として繁栄していきます。