>Я пока что собирался делать а-ля conntrack в линуксах, то есть набор хуков и функций фреймворка - если это сильно криво, то почему у них есть столько модулей, а вот ихний же nftables таки загнулся? ;)

AFAIK, nftables начинался как альтернативный путь имевшихся на тот момент проблем в netfilter/iptables.
в первую очередь, из-за проблем с расширением всего этого хозяйства(например, чтобы добавить модуль нужно было патчить ядро и iptables). плюс, слить iptables/ip6tables/ebtables/arptables в единое целое.
потом появился xtables и на проект забили.