田所町の廻船問屋亀甲屋の裏長屋に、香具師の元締め藤吉が住んでいた。藤吉には一人息子藤五郎がいた。藤五郎は幼い時に母を病で亡くした。母は亀甲屋の娘だった。藤五郎は父の商いを見ながら亀甲屋の祖母に可愛がられて育った。
　その後、藤五郎の父藤吉は幼い娘を連れた女を後妻にした。連れ娘(ご)は藤五郎より年下だった。藤五郎の父はこの連れ娘の行く末を思って養女にしなかったため、藤五郎はこの娘を義妹と呼んだことはなかった。
　藤五郎の父が亡くなると、後妻は父の遺言に従って遺産を受けとり、娘をつれて藤五郎の元を去った。
　その後、娘は吉次郎を生んで母になった。母は自分の素性をありのままに語り、吉次郎に、藤五郎は伯父のような存在だ、と話して聞かせた。
　父が他界すると藤五郎は香具師の元締の跡目を継いだ。そして廻船問屋亀甲屋を継いだ。藤五郎は廻船問屋の商いをはじめた。藤五郎は日本橋田所町の廻船問屋亀甲屋の主で日本橋界隈の裏世界を牛耳る香具師の元締にのし上がった。
　金しか興味が無かった藤五郎だが、吉次郎が新大坂町に廻船問屋吉田屋を開いたと挨拶に来ると、香具師の元締と亀甲屋の跡継ぎを気にしだした、そして、藤五郎の父藤吉の遠縁に当る押上村のお藤を養女にした。
　藤五郎は阿片の抜け荷を働いた。そして、阿片を菓子折に偲ばせて江戸市中の大名屋敷へ商った。この事がバレそうになったので、阿片の売人、小舟町の山形屋吉右衛門と大八車引きの六助を殺害したため、鎌鼬に斬殺された。
　その後、香具師の藤五郎の跡目争いで新大坂町の廻船問屋吉田屋吉次郎が名乗りを上げるが、あくどい商いと隅田村の百姓の世話人弥助斬殺の咎で処刑される。
　その後香具師の藤五郎の跡目を狙って吉次郎一家の残党、福助一味が暗躍する。福助は刺客を雇って、藤五郎の養女、押上村のお藤一味が次々に斬殺するが、お藤一味の協力で福助一味は町方に捕縛される。福助は死罪、一味の香具師は島流しの沙汰が下った。福助一味に潜入していたお藤一味の香具師はお咎め無しになった。
　その後。御上は、香具師世界の出来事を逐一報告することを条件に、日本橋の香具師の元締だった亡き藤五郎の跡目を、藤五郎の養女のお藤が継ぐことを認めた。