行為生態學的理論框架建立在演化博弈論和最適化模型之上，利用嚴謹的數學預測和實證檢驗理解行為的適應意義。
演化博弈論（Evolutionary Game Theory）
Maynard Smith & Price（1973）將博弈論引入生物學，定義演化穩定策略（ESS, Evolutionarily Stable Strategy）：一個策略如果被族群中大多數個體採用後，無法被任何替代策略入侵。鷹-鴿博弈（Hawk-Dove game）預測攻擊行為的頻率取決於爭鬥成本和資源價值的比值。當 V < C 時，ESS 為混合策略（族群中鷹和鴿共存或個體隨機選擇）。
Owner-intruder 博弈（Bourgeois strategy）：佔有者攻擊、入侵者退讓——這一策略的穩定性解釋了動物的「領域性」。Parker（1974）的不對稱博弈分析揭示非對稱的能力或資訊可作為「conventional settlement」的基礎。
性擇的分子機制與基因組印記
Andersson（1994）的性擇專著整合了理論和實證。近年研究發現性擇可驅動快速基因組演化——性擇基因（如果蠅的 sex-biased genes）的演化速率顯著高於非性擇基因。精子競爭（sperm competition, Parker 1970）的分子基礎包括 seminal fluid proteins 的快速演化（Clark et al., 2006）。
雌性隱性選擇（cryptic female choice）：交配後雌性可偏好使用特定雄性的精子。Eberhard（1996）提出這是性擇的重要延伸。
真社會性的演化
Hamilton 的親緣選擇理論長期被視為真社會性演化的標準解釋，但 Nowak et al.（2010, Nature）挑戰了此觀點，主張群選擇（group selection / multilevel selection）足以解釋真社會性，引發激烈辯論——Abbot et al.（2011）聯名 137 位學者反駁。目前共識是親緣選擇和多層選擇數學上等價（不同的簿記方式），但概念框架各有優劣。
Wilson & Hölldobler（2005）指出真社會性的演化條件：群體防禦巢穴的生態優勢（生態因素）+ 永久性巢穴（前適應）→ 非繁殖個體留巢幫助 → 親緣選擇強化。白蟻（等翅目，二倍體）的真社會性演化路徑與膜翅目不同——不依賴單倍二倍體的高親緣係數，而可能涉及共生腸道微生物的傳遞需求和巢穴的大量基礎建設投資。
認知生態學（Cognitive Ecology）
Shettleworth（2010）整合了認知能力的演化分析。空間記憶能力與食物儲藏行為的關聯（Emery & Clayton, 2004）：西叢鴉（Western scrub jay）展示了情節式記憶（what-where-when）和心智理論的初步證據。社會腦假說（Dunbar, 1998）：社群大小與新皮質比例正相關，社會認知需求驅動腦容量演化。