江戸時代には1798回の火事があり、そのうち49回は大火であったといわれています。
その中で多大な被害が出た火事としては、
1657年の明暦の大火（振袖火事）→ この火事を契機に、人形町周辺にあった吉原は浅草方面に移転を余儀なくされました。
天和（八百屋お七の火事）の大火（1683年）
宝暦の大火（1760年）
明和の大火（行人坂の火事）（1772年）
文化大火（1806年）・文政の大火（1829年）などがあります。
火事の原因は、調理や照明用の火の不始末に起因する失火の他に、放火がありました。特に江戸末期になると幕府の権威失墜のために政情不安となり、放火が増えました。
長崎屋も多くの被害を受け、火事の度に建て直しを余儀なくされました。明暦の大火を経験したカピタン ザハリアス・ワーヘナールは、正月15日に将軍家綱に謁見し18日には井上筑後守誠重を訪問している最中に、本郷の本妙寺本堂からの出火を告げられました。急遽長崎屋に戻ったワーヘナールは、激しい北風にあおられた火の粉が飛散していた様子をオランダ館の屋上から見たという話です。江戸火事図巻に明暦の大火の浮世絵が残っていますので、以下で紹介します。
火は長崎屋にも迫ってきたので、荷物を蔵に入れ避難しました。一同が避難してから一時間ほどで焼け落ちたといわれます。翌19日、火は前日より猛威をふるい、正午ごろには江戸城にも火が入りました。
この大火により、江戸の町はほとんど壊滅し、市街の60%以上が焼け野原となりました。このような大火により、長崎屋も被害を受けました。1803年当時の丙寅の大火時の「長崎オランダ商館日記」によると、長崎屋再建の費用としてオランダ側は当時貴重であった砂糖を贈与し、再建費用としたようです。このようにオランダ側の補助を受け且つ幕府の助成を受けながらオランダ館は運営していましたが、過大な借財の負担に耐えられず、幕末にはこの土地を近隣の松沢孫八（江戸一の油問屋）に譲り中央通り角の間口５間程度の唐人参座だけを残し、移転しました。これに伴い200年余続いたオランダ館もなくなり、江戸参府もなくなりました。
11代長崎源右衛門は、蔓延2年（1861年）に鉄砲洲船松町二丁目の河岸地を幕府より拝領し、江戸長崎会所御用達に任ぜられ、貿易商として再起を図った。しかしビジネスは順調には推移しませんでした。
