主従制は単なる社会システムではない。初めは生の人間感情に裏付けられていた。
鎌倉幕府草創の頃、夕方の砂浜。将軍頼朝の前で、自然発生的に御家人の相撲大会が始まった。１４世紀初、求心力を失った幕府で吾妻鏡を編纂した人たちは、羨ましい世界を回顧した。建久３（１１９２）年、かつて頼朝が御家人に発給した安堵状を回収し、政所発給の安堵状に替えることになった。機構が整備されてきたのである。しかし、長老御家人の千葉常胤は「政所下文と謂うは家司等の署名なり、常胤が分に於いては、別に御判（頼朝の署名）を副え」た安堵状も欲しいといった。頼朝もそれを受け入れた。栃木の小山朝政も同じように二通もらい、現物が今に残っている。他にも二通もらった御家人は多かったはずだ。頼朝と御家人のパーソナルな、濃密な主従関係を示す逸話だろう。
それから５００年も経過した江戸時代後期。武士の主従関係は空疎になってしまった。官僚になりきった武士に対する厳しい目が現れてきた。もっともラディカルなのは安藤昌益（１７０３～１７６２）である。秋田生まれ、医者。八戸で藩士などのサークルに属し、故郷に戻ってから「統道真伝」を刊行した。これが実に痛快である。徹底した価値転換。例えば、人を働かして、自分が楽をしようと、学問や宗教が編みだされた。「釈迦、孔子が王になり、信者を集めて自分が楽をする生活をした」。武士も田で働かないため、正しい生活のあり方ではない。正しいのは昔から、自然に働きかけて食料を獲得する生き方だ。これが将来も真理であると主張する。働かない武士より、生きるために土の中で一生懸命動いている虫ケラのほうが、正しいあり方といわんばかりである。ただ、安藤昌益の著作はほとんど普及せず、明治になって「発見」された。
江戸後期には儒教・仏教を離れたユニークな思想家が数多く出現する。主従関係を、家臣からサービスを「買う」主君、サービスを「売る」家臣という資本主義の論理で解釈した海保青陵（１７５５～１８１７）などのほか、蘭学の影響下で自由な発想をする人物が登場した。たとえば、平賀源内、司馬江漢。この才人二人は友人同士である。
司馬江漢（１７４７～１８１８）は絵画、天文学、紀行文など多彩な活動をした。主著というにはやや散漫だが「春波楼筆記」の中から、ぎょっとする言葉がでてくる。「天下に才ある者といへど、農夫工商の家に生まるる時は、卑賤なりとして之を用ひず、諸侯貴家に生まるる者は、才なしと雖も之を用ふ」。身分制への直球の批判である。こんなのもある。「上天子将軍より下士農工商非人乞食に至るまで、皆以て人間なり」。こうした批判だけではなく、自分に対しても醒めている。「天地は無始にして開け、其中無始にして人を生じ、是より先、無終の年数に人を生ずる事、無量なり、其中我と云う者は予一人なり、親兄弟ありと雖も、皆別物なり」。孤独と高揚。我の自覚。思想的にはもはや主従制・身分制を離れ、近代がそこまで来ている。このエッセイ集には天動説、旧約聖書・イソップ話の紹介もある。文化８（１８１１）年の作品だ。
しかし、この頃から日本の海岸には、海外から船が近づいてくる。ロシアのレザノフが長崎に来たのが１８０４年である。天保８（１８３７）年にはモリソン号事件。インテリの関心は国防に重点が移り、危機感から蘭学者の渡辺崋山、高野長英が提言をまとめた（仲間には見せたが刊行した訳ではない）だけで、処罰された。有名な天保１０（１８３９）年の「蛮社の獄」である。「御政道批判」は法度なのである。この後、洋学者は政策提言ではなく、新しい武器と戦闘の技術論へ向かう。佐久間象山の「東洋道徳、西洋芸術（技術）」（省けん録）という発想から、技術に関しては幕府も洋書の輸入に熱心だった。
（この段階で「負け惜しみ」を言わず、すなわち東洋道徳にこだわらず、進んだ技術を生んだ社会・思想まで踏み込んで学んだのが福沢諭吉である）
ペリー来航という嘉永６（１８５３）年の衝撃から、幕府は軍制改革に手を付けた。安政３（１８５６）年、老中阿部正弘の下で西洋砲術などを学ぶ講武所を開設している。このころ大藩でも軍制改革が相次いだ。次いで文久２（１８６２）年には具体的な組織新設が始まる。これは従来の軍団構成とは別に歩兵・騎兵・砲兵の三兵隊を新設する。問題は兵隊の調達である。武士だけでは人数が足りないため、旗本が知行高に応じて農民を徴発する。五年間の勤務で給金を出す。この軍に入っているときには武家奉公人として、脇差を帯びるなど百姓身分から離れる。年季が明けると再び百姓に戻る。実際には村の抵抗で予定人員が集まらなかった。何より、農工商を守るのは武士という建前を幕府が崩したのである。
最後の将軍徳川慶喜も慶応３（１８６６）年に大規模な軍制改革を打ち出した。旗本が動員した銃手を一元的に使う組織である。ただ、旗本が動員するのは市中の有力人宿（人材斡旋人）を通すため、当然農工商の人々である。こうした組織は武器を幕府が支給せざるをえなかった。元々の武器自弁という武士の原則は変えざるをえなかった。
こうした軍隊は主従制の成り立つ基盤がない。主従制はフィクションにせよ具体的な人間関係を基礎に持つ。しかし、近代軍隊は官僚制（役割の関係が基礎）以外の何物でもない。幕府が軍隊の近代化を進める中で、倒幕派のクーデタによる敗北以前に、幕府の組織原理としての主従制は終焉を迎えていたのである。