文久三年（1863）四月二十三日、小栗は歩兵奉行と勘定奉行勝手方をともに免ぜられました。前年十二月にこの二役を兼ねてから、わずか五ヶ月。きっかけは、将軍後見職・一橋慶喜への加増案に真っ向から反対したことでした。
摂河泉播の四ヶ国から削る案
坂本藤良『小栗上野介の生涯』によれば、このころ一橋慶喜は朝廷の受けがよく、朝廷は慶喜を京畿守護の職につけること、またそのための加増をすることを幕府に要望していました。老中たちは、幕府領のある摂津・河内・和泉・播磨の四ヶ国から少しずつ土地を削って慶喜に加増し、朝廷の要求にこたえることを決定します。
ところが小栗は、この決定に真っ向から反対しました。坂本藤良氏は「一説には、老中たちが小栗の反対を期待して、彼の意見をもとめたのだといわれる。本来なら、すでに決定したものであるから、一奉行の意見を聞く必要のないことである」と書いています。慶喜に加増すればますます財政は苦しくなり、将軍後見職という最高位にある者をさらに朝廷の干渉のもとに置くことにもなる――幕閣にもその本音があった、という見方です。
「死を以て上諭を拒むの責に当らん」
この場面を、小栗の盟友であった栗本鋤雲が『鋤雲遺稿』に書き留めています。大坪指方・穂積驚『小栗上野介』が引く一節です。
摂河泉播四州の地を割き一橋家を増封し、以て京畿を守護せしむべきの内旨あり。閣参小栗を召して意見を問はれしに、上野介利害を開陳し固執して聞かず、自ら死を以て上諭を拒むの責に当らんことを請ひしにより、其事果して行はれざるを得たりといへども、枢要に居る能はず、出されて陸軍奉行並に補せられたるにて、是上野介が材力ありと雖も終身参政に躋る能はず、其下に在る者、陸続越へて其上に至るの因なりしと
利害を説いて譲らず、責任を負う者が要るなら自分が即座に命を絶って朝意を拒んだ責に当たろう、とまで言い切った。そのために京畿守護の件は沙汰止みになったが、小栗は枢要の職にとどまることができず、陸軍奉行並に「出された」――栗本鋤雲はこれを左遷と見ており、小栗が終生参政（若年寄）に昇れず、後進に次々と追い越される原因はここにある、と結んでいます。大坪指方・穂積驚『小栗上野介』も、この一件のあと「其後も慶喜の覚えが良くなかったと云われている」と記しています。
その陸軍奉行並の在任も長くは続きませんでした。大坪指方・穂積驚『小栗上野介』は、補職が何日付であったかは記録がなく、同年七月中には職を離れていること、在任が何日間であったのかも、自ら辞したのか罷めさせられたのかも分からない、と正直に書いています。阿部道山『海軍の先駆者小栗上野介正伝』の任免譜は、この年を「四月辞職」「寄合より陸軍奉行」「九月辞職」の三行で記録しています。
免職の前に何があったか
この四月に至るまでの数ヶ月、小栗は各方面から反感を買っていました。大坪元治『小栗上野介忠順家系及略年譜』は、文久三年三月二十九日、江戸日本橋の高札場に小栗を名指しする張紙が出たことを記しています。軍制改革の急先鋒となり、洋式の筒袖で登城するような振る舞いが、保守派の反感を集めていたためだとされます。続く四月十三日には、清河八郎の部下による小栗邸斬込みの計画がありました。同じ日に清河八郎自身が暗殺されたため、未遂に終わっています。
財政をめぐる衝突も重なっていました。同年二月の将軍・家茂の上洛に対して、小栗は反対を唱えています。大坪指方・穂積驚『小栗上野介』によれば、その趣旨は「将軍上洛に就き、往復、滞在、進物、手当、準備等に要する経費は、実に百万両を超す、今や内外多事の時なり、その費用を転じて、陸海軍養成に用い、国防の充実を計り、幕府の実力を鞏固にすべき也」というものでした。同書は実際の上洛費用を、大判五七三枚・金百七万六千百九十六両・銀十一万三千四百九十五両と記録しています。
この十ヶ月に残した仕事
文久二年六月から三年四月までの、この短い在職期間に小栗が手をつけた仕事は少なくありません。洋式の歩・騎・砲の三兵制度の採用に踏み切ったのもこのときです。坂本藤良氏は、そのほかにも朝鮮国使の接待、講武所御用取扱など「資金を要するプロジェクトばかり命ぜられたが、何とかやってのけた」と書いています。生麦事件でイギリスが求めた賠償金の処理も、この期間に降りかかった難題でした。
辞任ののち小栗は一年あまり幕政の中枢を離れますが、元治元年（1864）八月十三日、陸軍奉行並から三度目の勘定奉行勝手方に復帰します。以後は横須賀製鉄所の建設と財政の立て直しに向かっていきます。
典拠：坂本藤良『小栗上野介の生涯』講談社、1987年／大坪指方・穂積驚『小栗上野介』小栗上野介を偲ぶ会、昭和五十年（栗本鋤雲『鋤雲遺稿』引用）／大坪元治『小栗上野介忠順家系及略年譜』小栗公顕彰会、昭和三十二年