В работе исследуется влияние структуры матрицы выплат на динамику больцмановского Q-обучения в повторяющихся матричных играх 2 × 2 на примере дилеммы заключённого, охоты на оленя и интерполяции между ними. Матрицы выплат параметризуются характеристическими промежутками между элементами. Показано, что формального определения класса игры недостаточно для описания структуры стационарных состояний: фазовая диаграмма для числа асимптотических решений (являющихся равновесиями дискретного отклика) зависит от конкретных значений этих промежутков. Также в работе демонстрируется эффект «стратегического охлаждения», выражающийся в смещении фазовых границ диаграммы количества решений в область более высоких температур при росте коэффициента дисконтирования из-за появления дополнительных метастабильных состояний. Продемонстрирована прямая зависимость времени пребывания агентов в таких метастабильных состояниях от величин характеристических промежутков. Полученные результаты демонстрируют, что конкретные значения параметров матрицы выплат существенно влияют на динамику и результирующие состояния больцмановского Q-обучения в повторяющихся матричных играх.