ANaMed / BIOAGEModelTrainer · 5 моделей
Научная аналитика · методы · результаты

Модели. Графики. Научная оценка.

Что оценивает каждая модель, как устроена проверка и что показывают результаты: от метрик точности до калибровки и качества распознавания классов.

Внутренняя аналитическая оценка3 регрессии · 2 классификатораИсследовательское применение

Научный статус: программные проверки и первичные данные

Подготовлены и проверены программные исправления: обучение с предобработкой только на train, согласованный расчёт метрик и контроль первичных полей HSE. Новые модели на данных исследования не переобучались; новые индивидуальные прогнозы и внешняя научная валидация не заявляются.

Ниже сохранены исторические экспорты и внутренние оценки. Исправление кода не исправляет первичные ответы задним числом и не подтверждает достоверность индивидуального результата. Независимые функции платформы сохраняются. Сведения о подготовленном коде не являются подтверждением обновления работающего API.

6 720наблюдений в исследовании
367подготовленных признаков
5исследовательских моделей
3аналитических домена
01 /

Результаты в графиках

Разные задачи — разные способы оценки. Для регрессии показана объяснённая вариация, для классификации — качество распознавания классов с равным весом каждого класса.

Регрессионные модели

R² · воспроизведение целевого показателя

R²: внутренняя оценка моделейCoreClockScore Beta: 0.990; rTL · FastForest: 0.035; TelomereRiskScore: 0.044. Единая шкала от нуля до единицы.00.250.50.751CoreClockScore Beta0.990rTL · FastForest0.035TelomereRiskScore0.044
У моделей разные целевые показатели. Высокий R² CoreClockScore характеризует воспроизведение возраст-ассоциированного индекса: возраст включён во входные признаки.
Категориальные модели

Macro-F1 · сохранённая holdout-оценка

Macro-F1: внутренняя оценка моделейrTL · три класса: 0.351; TelomereRiskScore: 0.389. Единая шкала от нуля до единицы.00.250.50.751rTL · три класса0.351TelomereRiskScore0.389
Macro-F1 усредняет F1 трёх классов с одинаковым весом. Здесь — сохранённые holdout-результаты. Матрицы классификации представляют отдельные оценочные данные; различия приведены явно ниже.
Что означают эти результаты

CoreClockScore описывает возраст-ассоциированный индекс. Непрерывные rTL и TelomereRiskScore отражают небольшой объяснённый компонент вариации целевого показателя. Для классификаторов важно рассматривать одновременно общую точность, качество отдельных классов и простой ориентир — правило большинства.

02 /

Что показывают пять моделей

Алгоритм, задача и выход каждой модели показаны вместе с показателями внутренней оценки. Значения в карточках округлены; регрессии имеют разные целевые шкалы, поэтому MAE и RMSE сравнивают внутри одной задачи. Для классификаторов метрики экспорта и матриц разделены.

Модель 01РегрессияLightGBM48 признаков в паспорте

CoreClockScore Beta

Интегральный возраст-ассоциированный индекс для исследования возрастного профиля.

Внутренняя holdout-оценка
0.990R²
0.019RMSE
0.003MAE

Возраст входит в признаки и имеет наибольшую оценку важности. Высокий R² относится к воспроизведению целевого индекса; самостоятельный сигнал старения требует отдельного анализа. RMSE и MAE выражены в шкале индекса.

Целевой показатель

CoreClockScore_beta

Входные группы

Возраст, клинические и биохимические показатели; импутированные значения и индикаторы пропусков.

Модель 02РегрессияFastForest363 признаков в паспорте

rTL — непрерывная оценка

Непрерывная модель теломерного профиля для исследовательских сопоставлений.

Внутренняя holdout-оценка
0.035R²
8.155RMSE
6.409MAE

R² ≈ 0.035 соответствует около 3,5% объяснённой вариации. MAE ≈ 6.409 и RMSE ≈ 8.155 — пункты аналитической шкалы rTL_0_100 (0–100). Формирование этой шкалы следует отличать от лабораторного отношения T/S.

Целевой показатель

rTL_0_100

Входные группы

Антропометрические, гормональные, клинико-эпидемиологические и опросные показатели; индикаторы пропусков.

Модель 03КлассификацияFastForest363 признаков в паспорте

rTL — категориальная стратификация

Три аналитических класса теломерного профиля: короткий, средний и длинный.

Сохранённый holdout-результат
0.351Macro-F1
0.366MacroAccuracy · экспорт
0.9803LogLoss

Экспорт записывал MacroAccuracy в поле Accuracy. Это не доля всех верных ответов. Метрики сохранённого результата и пересчёт матрицы ниже относятся к разным оценочным артефактам; единый прогон ещё не согласован.

Целевой показатель

rTL_class

Входные группы

Антропометрические, биохимические, клинико-эпидемиологические и опросные показатели; в том числе индикаторы пропусков гормональных и репродуктивных признаков.

Модель 04РегрессияFastForest39 признаков в паспорте

TelomereRiskScore — непрерывная оценка

Непрерывный теломерно-ассоциированный индекс возрастно-метаболического профиля.

Внутренняя holdout-оценка
0.044R²
0.202RMSE
0.158MAE

R² ≈ 0.044 соответствует около 4,4% объяснённой вариации. Ошибки выражены в шкале TelomereRiskScore — расчётного индекса, а не вероятности клинического события.

Целевой показатель

TelomereRiskScore

Входные группы

Антропометрия, пол, возраст, образование, сон и поведенческие показатели.

Модель 05КлассификацияFastForest39 признаков в паспорте

TelomereRiskScore — категориальная стратификация

Три аналитических уровня TelomereRiskScore: низкий, средний и высокий.

Сохранённый holdout-результат
0.389Macro-F1
0.391MacroAccuracy · экспорт
1.1135LogLoss

Уровни целевого индекса: ниже −0.1, от −0.1 до 0.1 и выше 0.1. Показаны метрики детального holdout-блока; пересчёт сохранённой матрицы рассматривается отдельно.

Целевой показатель

TRS_Class

Входные группы

Окружность талии, пол, возраст, ИМТ, параметры сна, образовательные признаки и индикаторы пропусков.

R² — объяснённая вариация относительно среднего; MAE — средняя абсолютная ошибка; RMSE — корень из средней квадратичной ошибки. Обычная Accuracy — доля верных классов; MacroAccuracy — среднее полноты классов (экспорт раньше ошибочно называл её Accuracy); Macro-F1 — среднее F1 по классам; LogLoss оценивает вероятностные прогнозы, меньше — лучше.

03 /

Калибровочные профили

Каждая точка — средние значения одной из десяти калибровочных групп. Близость к диагонали показывает согласие среднего прогноза со средним наблюдаемым значением. Шкалы у моделей различаются.

Групповое среднееРавенство прогноза и наблюдения

CoreClockScore Beta

CoreClockScore Beta: наблюдаемое среднее и среднее предсказаниеДесять калибровочных групп. Пунктирная диагональ означает равенство средних. Точные значения в таблице под графиком.0.210.210.370.370.520.520.670.670.830.83Группа 1: прогноз 0.212, наблюдение 0.218, n=135Группа 2: прогноз 0.283, наблюдение 0.286, n=134Группа 3: прогноз 0.339, наблюдение 0.340, n=134Группа 4: прогноз 0.393, наблюдение 0.397, n=134Группа 5: прогноз 0.448, наблюдение 0.449, n=135Группа 6: прогноз 0.511, наблюдение 0.512, n=134Группа 7: прогноз 0.594, наблюдение 0.591, n=134Группа 8: прогноз 0.668, наблюдение 0.666, n=134Группа 9: прогноз 0.742, наблюдение 0.741, n=134Группа 10: прогноз 0.829, наблюдение 0.824, n=135Среднее предсказаниеНаблюдаемое среднее
10 групп · суммарно n = 1 343. Шкала целевого показателя этой модели.

Значения по группам

ГруппаnПрогнозНаблюд.
11350.2120.218
21340.2830.286
31340.3390.340
41340.3930.397
51350.4480.449
61340.5110.512
71340.5940.591
81340.6680.666
91340.7420.741
101350.8290.824

rTL · непрерывная модель

rTL · непрерывная модель: наблюдаемое среднее и среднее предсказаниеДесять калибровочных групп. Пунктирная диагональ означает равенство средних. Точные значения в таблице под графиком.28.428.438.538.548.648.658.658.668.768.7Группа 1: прогноз 28.414, наблюдение 38.211, n=135Группа 2: прогноз 38.113, наблюдение 44.063, n=134Группа 3: прогноз 42.501, наблюдение 47.227, n=134Группа 4: прогноз 46.279, наблюдение 48.786, n=135Группа 5: прогноз 49.207, наблюдение 49.846, n=134Группа 6: прогноз 51.856, наблюдение 51.228, n=134Группа 7: прогноз 54.512, наблюдение 52.976, n=135Группа 8: прогноз 57.668, наблюдение 54.196, n=134Группа 9: прогноз 61.435, наблюдение 56.252, n=134Группа 10: прогноз 68.686, наблюдение 58.141, n=135Среднее предсказаниеНаблюдаемое среднее
10 групп · суммарно n = 1 344. Шкала целевого показателя этой модели.

Значения по группам

ГруппаnПрогнозНаблюд.
113528.41438.211
213438.11344.063
313442.50147.227
413546.27948.786
513449.20749.846
613451.85651.228
713554.51252.976
813457.66854.196
913461.43556.252
1013568.68658.141

TelomereRiskScore · непрерывная модель

TelomereRiskScore · непрерывная модель: наблюдаемое среднее и среднее предсказаниеДесять калибровочных групп. Пунктирная диагональ означает равенство средних. Точные значения в таблице под графиком.-0.50-0.50-0.25-0.250.010.010.270.270.520.52Группа 1: прогноз -0.503, наблюдение -0.211, n=135Группа 2: прогноз -0.301, наблюдение -0.149, n=134Группа 3: прогноз -0.202, наблюдение -0.135, n=134Группа 4: прогноз -0.123, наблюдение -0.072, n=134Группа 5: прогноз -0.057, наблюдение -0.043, n=135Группа 6: прогноз 0.007, наблюдение -0.006, n=134Группа 7: прогноз 0.082, наблюдение 0.033, n=134Группа 8: прогноз 0.174, наблюдение 0.096, n=134Группа 9: прогноз 0.292, наблюдение 0.131, n=134Группа 10: прогноз 0.524, наблюдение 0.305, n=135Среднее предсказаниеНаблюдаемое среднее
10 групп · суммарно n = 1 343. Шкала целевого показателя этой модели.

Значения по группам

ГруппаnПрогнозНаблюд.
1135-0.503-0.211
2134-0.301-0.149
3134-0.202-0.135
4134-0.123-0.072
5135-0.057-0.043
61340.007-0.006
71340.0820.033
81340.1740.096
91340.2920.131
101350.5240.305

Графики сопоставляют групповые средние и показывают агрегированное согласие прогноза с наблюдением. Для распределения индивидуальных ошибок требуется отдельный анализ.

04 /

Что показывают классификаторы

Два набора оценочных данных

Проверка исходного кода: ClassificationTrainer.cs, строка 220, записывает MacroAccuracy в поле с именем Accuracy. Поэтому 0.366433 — макроусреднённая метрика экспорта, а не обычная точность. По сохранённой матрице rTL обычная Accuracy = 762/1344 = 0.566964, а средняя полнота классов ≈ 0.369696. Последняя также не равна 0.366433: исходный код использует отдельные обучения (строки 199, 365 и 134), поэтому артефакты пока не сведены к одному прогону. Значения сохранены без изменения; это исправление интерпретации, не переобучение.

МодельОснованиеМетрика по основаниюMacro-F1LogLoss
rTLСохранённый holdout · MacroAccuracy (поле Accuracy)0.3664330.3509910.980289
rTLПересчёт матрицы · обычная Accuracy · n = 1 3440.5669640.353547—
TelomereRiskScoreСохранённый holdout · MacroAccuracy (поле Accuracy)0.3906000.3891001.113500
TelomereRiskScoreПересчёт матрицы · обычная Accuracy · n = 1 3430.3909160.389128—

Все матрицы, recall и сравнения с правилом большинства далее относятся именно к пересчёту матриц. Регрессионные поля, ошибочно включённые в метаданные упакованного TRS-классификатора, как показатели классификации не используются.

Матрицы и результаты их пересчёта

Матрицы показывают распределение верных прогнозов и ошибок по классам. Accuracy, Macro-F1, полнота классов и правило большинства рассчитаны непосредственно по этим значениям.

rTL · категориальная модель

n = 1 344 · строки — истинный класс, столбцы — прогноз
Истина ↓
Прогноз →
КороткийСреднийДлинный
Короткий2422728
Средний2469785
Длинный421441

Полнота (recall): короткий — 8,6%; средний — 86,5%; длинный — 15,8%.
Macro-F1 по матрице: 0.354.

TelomereRiskScore · категориальная модель

n = 1 343 · строки — истинный класс, столбцы — прогноз
Истина ↓
Прогноз →
НизкийСреднийВысокий
Низкий18022755
Средний56201246
Высокий20232144

Полнота (recall): низкий — 39,0%; средний — 40,0%; высокий — 38,1%.
Macro-F1 по матрице: 0.389.

Accuracy и правило большинства

МодельВсегда самый частый класс

rTL · категориальная модель

Модель56,7%
Большинство60,0%

TelomereRiskScore · категориальная модель

Модель39,1%
Большинство37,5%
Единая шкала 0–100%. Правило большинства рассчитано на истинных классах каждой матрицы.

Интерпретация сравнения

56,7%

rTL: Accuracy модели ниже 60,0% у правила большинства. Полнота крайних классов — 8,6% и 15,8%; основной объём прогнозов приходится на средний класс.

39,1%

TelomereRiskScore: Accuracy модели выше 37,5% у правила большинства на 1,6 процентного пункта. Полнота трёх классов — около 38–40%.

Это описательное сравнение на данных матриц. Статистическая значимость разницы и переносимость на другие выборки требуют отдельной проверки.

Как рассчитаны показатели

Accuracy = сумма диагонали / n. Recall класса = верные прогнозы класса / число истинных наблюдений класса. F1 класса = 2 × верные прогнозы / (число истинных + число предсказанных наблюдений класса). Macro-F1 — среднее трёх F1. Accuracy правила большинства = численность крупнейшего истинного класса / n.

05 /

Как выполнялась внутренняя оценка

Описанная схема включает подготовку признаков, отложенную проверочную выборку и выбор алгоритма по заранее указанному критерию.

  1. ШАГ 1

    Подготовка

    Медианная импутация, индикаторы пропусков и списки исключений. Сохранено 247 правил признаков; автоматическая обработка выбросов отключена.

  2. ШАГ 2

    Разделение 80/20

    Train: 5 374 наблюдения; test: 1 344. Сохранённый seed = 42.

  3. ШАГ 3

    Выбор алгоритма

    Для регрессии — минимизация MAE; для классификации — максимизация Macro-F1.

  4. ШАГ 4

    Проверка результатов

    Метрики holdout, калибровочные средние, матрицы классов и контроль оценочных артефактов.

Уровень данныхКоличествоЧто означает
Исходная когорта6 720Общий исходный массив наблюдений.
Подготовленный массив ModelTrainer6 7185 374 train + 1 344 test.
Исходные колонки261Структура исходного массива ModelTrainer.
Подготовленные признаки367Набор после обработки; подмножества различаются по моделям.
Параметры входной схемы238Схема ввода — отдельное представление, а не замена числу подготовленных признаков.

Статус и интерпретация проверки

Внутренняя holdout-оценка описывает работу на отложенных данных этого исследовательского массива. Независимая внешняя и клиническая проверка этих пяти моделей не представлена.

  • В конфигурации сохранено KFold = 5, однако детальные результаты обозначены как Holdout: их корректно читать как отложенную оценку, а не среднее по пяти фолдам.
  • Списки исключений и blacklist — часть контроля признаков; полного отсутствия утечки из одного их наличия не следует. Для CoreClock особенно важен отдельный анализ без паспортного возраста. В ModelTrainer различаются цели CoreClockScore_beta и CoreClockScore_pct; здесь представлен паспорт beta, без смешивания двух конфигураций.
  • Для bootstrap заявлены 1 000 итераций; состав повторных выборок и интервалы для основных метрик требуют отдельного протокола. Индивидуальные доверительные интервалы здесь не заявляются.
  • Численность каждой калибровочной таблицы и матрицы сохранена отдельно: n = 1 343 или 1 344. Эти суммы не подменяются общим размером test.
06 /

Почему выбраны эти алгоритмы

Сопоставление сохранённых кандидатов помогает понять критерий выбора. LightGBM для CoreClock имеет меньшую MAE, хотя у FastTree немного выше R². Для классификаторов ниже используются сохранённые holdout-результаты, а не пересчёт матриц.

CoreClockScore Beta

Критерий выбора: минимальный MAE.

АлгоритмR²RMSEMAE
FastForest0.9114250.05732650.0455986
LbfgsPoisson0.8553670.07325450.0460476
LightGBM · выбран0.9902750.01899570.00274859
FastTree0.9905990.01867570.00286867
Sdca0.9572680.03981790.0246531

rTL — непрерывная оценка

Критерий выбора: минимальный MAE.

АлгоритмR²RMSEMAE
FastForest · выбран0.03490468.15496.40946
LbfgsPoisson-1.45330e+561.00072e+292.72968e+27
LightGBM-0.03757558.455586.58218
FastTree-0.05810618.538826.69325
Sdca-4.87536e+0618328.910715.4

rTL — категориальная стратификация

Критерий выбора: максимальный Macro-F1.

АлгоритмMacro-F1MacroAccuracy · экспортLogLoss
LightGBM0.3317520.3614171.00788
FastForest · выбран0.3509910.3664330.980289

TelomereRiskScore — непрерывная оценка

Критерий выбора: минимальный MAE.

АлгоритмR²RMSEMAE
FastForest · выбран0.04373970.2022980.15845
LightGBM-0.02622050.2095680.163176
FastTree-0.02380550.2093210.163329
Sdca-0.05302150.2122870.16579

TelomereRiskScore — категориальная стратификация

Критерий выбора: максимальный Macro-F1.

АлгоритмMacro-F1MacroAccuracy · экспортLogLoss
LightGBM0.36920.37061.151
FastForest · выбран0.38910.39061.1135

У rTL кандидаты LbfgsPoisson и Sdca дали численно нестабильные результаты; их значения сохранены, для экстремальных величин использована научная запись. Ошибки моделей с разными целевыми шкалами напрямую не сравниваются.

07 /

Качество данных и подготовка признаков

Контроль качества охватывает полноту данных, диапазоны и числовые форматы. Для таблицы ниже используется подготовленный массив ModelTrainer: n = 6 718.

ПоказательТип контроляКоличествоПроверка
PSQ5iПропуски после очистки6 718Проверить доступность и роль переменной.
HSEПропуски после очистки6 697Проверить кодировку и допустимые диапазоны.
HSEЗа пределами диапазона6 622Сопоставить правила диапазона с исходным словарём.
ЭстрадиолОшибки числового разбора1 534Проверить форматы лабораторных значений.
ЭстрадиолПропуски после очистки4 798Уточнить структуру доступности и правила заполнения.
Окружность бедра · ThighЗа пределами диапазона562Проверить единицы и исходные записи.

PSQ5i отсутствует после очистки в 100% строк, HSE — примерно в 99,69%. Пропуски, выходы за диапазон и ошибки разбора могут пересекаться: эти счётчики не суммируются в число участников. Причины отсутствия значений и их влияние на конкретную модель требуют анализа процесса подготовки.

08 /

Молекулярные измерения — отдельный контур

MSP-панель: 478 лабораторных образцов

Лабораторная молекулярная панель и расчётные модели представлены раздельно.

rTL_0_100 — аналитическая шкала 0–100. Классы и индексы используются для исследовательского сопоставления.

Исследовательские модели.