Что оценивает каждая модель, как устроена проверка и что показывают результаты: от метрик точности до калибровки и качества распознавания классов.
Внутренняя аналитическая оценка3 регрессии · 2 классификатораИсследовательское применение
Научный статус: программные проверки и первичные данные
Подготовлены и проверены программные исправления: обучение с предобработкой только на train, согласованный расчёт метрик и контроль первичных полей HSE. Новые модели на данных исследования не переобучались; новые индивидуальные прогнозы и внешняя научная валидация не заявляются.
HSE: исходная формула задаёт процентную шкалу. Выявлены превращение текстовых ответов в календарные даты и подстановка 24 часов при пропущенных временах. Диапазонные ответы и невозможные сочетания требуют проверки по кодбуку; автоматических делений на 60, усреднений и обрезаний нет.
HbA1c: для зависимых моделей нужна прослеживаемая единица лабораторного поля и преобразование цели. Категории в рукописи не подтверждают единицы отдельной модели HbA1c V2.
Эстрадиол: разные пределы цензурирования в импорте требуют согласования лабораторных методик и правил обработки знаков < и >. Знак не заменяется точечным значением.
Ниже сохранены исторические экспорты и внутренние оценки. Исправление кода не исправляет первичные ответы задним числом и не подтверждает достоверность индивидуального результата. Независимые функции платформы сохраняются. Сведения о подготовленном коде не являются подтверждением обновления работающего API.
6 720наблюдений в исследовании
367подготовленных признаков
5исследовательских моделей
3аналитических домена
01 /
Результаты в графиках
Разные задачи — разные способы оценки. Для регрессии показана объяснённая вариация, для классификации — качество распознавания классов с равным весом каждого класса.
Регрессионные модели
R² · воспроизведение целевого показателя
У моделей разные целевые показатели. Высокий R² CoreClockScore характеризует воспроизведение возраст-ассоциированного индекса: возраст включён во входные признаки.Категориальные модели
Macro-F1 · сохранённая holdout-оценка
Macro-F1 усредняет F1 трёх классов с одинаковым весом. Здесь — сохранённые holdout-результаты. Матрицы классификации представляют отдельные оценочные данные; различия приведены явно ниже.
Что означают эти результаты
CoreClockScore описывает возраст-ассоциированный индекс. Непрерывные rTL и TelomereRiskScore отражают небольшой объяснённый компонент вариации целевого показателя. Для классификаторов важно рассматривать одновременно общую точность, качество отдельных классов и простой ориентир — правило большинства.
02 /
Что показывают пять моделей
Алгоритм, задача и выход каждой модели показаны вместе с показателями внутренней оценки. Значения в карточках округлены; регрессии имеют разные целевые шкалы, поэтому MAE и RMSE сравнивают внутри одной задачи. Для классификаторов метрики экспорта и матриц разделены.
Модель 01РегрессияLightGBM48 признаков в паспорте
CoreClockScore Beta
Интегральный возраст-ассоциированный индекс для исследования возрастного профиля.
Внутренняя holdout-оценка
0.990R²
0.019RMSE
0.003MAE
Возраст входит в признаки и имеет наибольшую оценку важности. Высокий R² относится к воспроизведению целевого индекса; самостоятельный сигнал старения требует отдельного анализа. RMSE и MAE выражены в шкале индекса.
Целевой показатель
CoreClockScore_beta
Входные группы
Возраст, клинические и биохимические показатели; импутированные значения и индикаторы пропусков.
Модель 02РегрессияFastForest363 признаков в паспорте
rTL — непрерывная оценка
Непрерывная модель теломерного профиля для исследовательских сопоставлений.
Внутренняя holdout-оценка
0.035R²
8.155RMSE
6.409MAE
R² ≈ 0.035 соответствует около 3,5% объяснённой вариации. MAE ≈ 6.409 и RMSE ≈ 8.155 — пункты аналитической шкалы rTL_0_100 (0–100). Формирование этой шкалы следует отличать от лабораторного отношения T/S.
Целевой показатель
rTL_0_100
Входные группы
Антропометрические, гормональные, клинико-эпидемиологические и опросные показатели; индикаторы пропусков.
Модель 03КлассификацияFastForest363 признаков в паспорте
rTL — категориальная стратификация
Три аналитических класса теломерного профиля: короткий, средний и длинный.
Сохранённый holdout-результат
0.351Macro-F1
0.366MacroAccuracy · экспорт
0.9803LogLoss
Экспорт записывал MacroAccuracy в поле Accuracy. Это не доля всех верных ответов. Метрики сохранённого результата и пересчёт матрицы ниже относятся к разным оценочным артефактам; единый прогон ещё не согласован.
Целевой показатель
rTL_class
Входные группы
Антропометрические, биохимические, клинико-эпидемиологические и опросные показатели; в том числе индикаторы пропусков гормональных и репродуктивных признаков.
Модель 04РегрессияFastForest39 признаков в паспорте
TelomereRiskScore — непрерывная оценка
Непрерывный теломерно-ассоциированный индекс возрастно-метаболического профиля.
Внутренняя holdout-оценка
0.044R²
0.202RMSE
0.158MAE
R² ≈ 0.044 соответствует около 4,4% объяснённой вариации. Ошибки выражены в шкале TelomereRiskScore — расчётного индекса, а не вероятности клинического события.
Целевой показатель
TelomereRiskScore
Входные группы
Антропометрия, пол, возраст, образование, сон и поведенческие показатели.
Модель 05КлассификацияFastForest39 признаков в паспорте
TelomereRiskScore — категориальная стратификация
Три аналитических уровня TelomereRiskScore: низкий, средний и высокий.
Сохранённый holdout-результат
0.389Macro-F1
0.391MacroAccuracy · экспорт
1.1135LogLoss
Уровни целевого индекса: ниже −0.1, от −0.1 до 0.1 и выше 0.1. Показаны метрики детального holdout-блока; пересчёт сохранённой матрицы рассматривается отдельно.
R² — объяснённая вариация относительно среднего; MAE — средняя абсолютная ошибка; RMSE — корень из средней квадратичной ошибки. Обычная Accuracy — доля верных классов; MacroAccuracy — среднее полноты классов (экспорт раньше ошибочно называл её Accuracy); Macro-F1 — среднее F1 по классам; LogLoss оценивает вероятностные прогнозы, меньше — лучше.
03 /
Калибровочные профили
Каждая точка — средние значения одной из десяти калибровочных групп. Близость к диагонали показывает согласие среднего прогноза со средним наблюдаемым значением. Шкалы у моделей различаются.
Групповое среднееРавенство прогноза и наблюдения
CoreClockScore Beta
10 групп · суммарно n = 1 343. Шкала целевого показателя этой модели.
Значения по группам
Группа
n
Прогноз
Наблюд.
1
135
0.212
0.218
2
134
0.283
0.286
3
134
0.339
0.340
4
134
0.393
0.397
5
135
0.448
0.449
6
134
0.511
0.512
7
134
0.594
0.591
8
134
0.668
0.666
9
134
0.742
0.741
10
135
0.829
0.824
rTL · непрерывная модель
10 групп · суммарно n = 1 344. Шкала целевого показателя этой модели.
Значения по группам
Группа
n
Прогноз
Наблюд.
1
135
28.414
38.211
2
134
38.113
44.063
3
134
42.501
47.227
4
135
46.279
48.786
5
134
49.207
49.846
6
134
51.856
51.228
7
135
54.512
52.976
8
134
57.668
54.196
9
134
61.435
56.252
10
135
68.686
58.141
TelomereRiskScore · непрерывная модель
10 групп · суммарно n = 1 343. Шкала целевого показателя этой модели.
Значения по группам
Группа
n
Прогноз
Наблюд.
1
135
-0.503
-0.211
2
134
-0.301
-0.149
3
134
-0.202
-0.135
4
134
-0.123
-0.072
5
135
-0.057
-0.043
6
134
0.007
-0.006
7
134
0.082
0.033
8
134
0.174
0.096
9
134
0.292
0.131
10
135
0.524
0.305
Графики сопоставляют групповые средние и показывают агрегированное согласие прогноза с наблюдением. Для распределения индивидуальных ошибок требуется отдельный анализ.
04 /
Что показывают классификаторы
Два набора оценочных данных
Проверка исходного кода: ClassificationTrainer.cs, строка 220, записывает MacroAccuracy в поле с именем Accuracy. Поэтому 0.366433 — макроусреднённая метрика экспорта, а не обычная точность. По сохранённой матрице rTL обычная Accuracy = 762/1344 = 0.566964, а средняя полнота классов ≈ 0.369696. Последняя также не равна 0.366433: исходный код использует отдельные обучения (строки 199, 365 и 134), поэтому артефакты пока не сведены к одному прогону. Значения сохранены без изменения; это исправление интерпретации, не переобучение.
Все матрицы, recall и сравнения с правилом большинства далее относятся именно к пересчёту матриц. Регрессионные поля, ошибочно включённые в метаданные упакованного TRS-классификатора, как показатели классификации не используются.
Матрицы и результаты их пересчёта
Матрицы показывают распределение верных прогнозов и ошибок по классам. Accuracy, Macro-F1, полнота классов и правило большинства рассчитаны непосредственно по этим значениям.
Полнота (recall): низкий — 39,0%; средний — 40,0%; высокий — 38,1%. Macro-F1 по матрице: 0.389.
Accuracy и правило большинства
МодельВсегда самый частый класс
rTL · категориальная модель
Модель
56,7%
Большинство
60,0%
0%50%100%
TelomereRiskScore · категориальная модель
Модель
39,1%
Большинство
37,5%
0%50%100%
Единая шкала 0–100%. Правило большинства рассчитано на истинных классах каждой матрицы.
Интерпретация сравнения
56,7%
rTL: Accuracy модели ниже 60,0% у правила большинства. Полнота крайних классов — 8,6% и 15,8%; основной объём прогнозов приходится на средний класс.
39,1%
TelomereRiskScore: Accuracy модели выше 37,5% у правила большинства на 1,6 процентного пункта. Полнота трёх классов — около 38–40%.
Это описательное сравнение на данных матриц. Статистическая значимость разницы и переносимость на другие выборки требуют отдельной проверки.
Как рассчитаны показатели
Accuracy = сумма диагонали / n. Recall класса = верные прогнозы класса / число истинных наблюдений класса. F1 класса = 2 × верные прогнозы / (число истинных + число предсказанных наблюдений класса). Macro-F1 — среднее трёх F1. Accuracy правила большинства = численность крупнейшего истинного класса / n.
05 /
Как выполнялась внутренняя оценка
Описанная схема включает подготовку признаков, отложенную проверочную выборку и выбор алгоритма по заранее указанному критерию.
ШАГ 1
Подготовка
Медианная импутация, индикаторы пропусков и списки исключений. Сохранено 247 правил признаков; автоматическая обработка выбросов отключена.
Для регрессии — минимизация MAE; для классификации — максимизация Macro-F1.
ШАГ 4
Проверка результатов
Метрики holdout, калибровочные средние, матрицы классов и контроль оценочных артефактов.
Уровень данных
Количество
Что означает
Исходная когорта
6 720
Общий исходный массив наблюдений.
Подготовленный массив ModelTrainer
6 718
5 374 train + 1 344 test.
Исходные колонки
261
Структура исходного массива ModelTrainer.
Подготовленные признаки
367
Набор после обработки; подмножества различаются по моделям.
Параметры входной схемы
238
Схема ввода — отдельное представление, а не замена числу подготовленных признаков.
Статус и интерпретация проверки
Внутренняя holdout-оценка описывает работу на отложенных данных этого исследовательского массива. Независимая внешняя и клиническая проверка этих пяти моделей не представлена.
В конфигурации сохранено KFold = 5, однако детальные результаты обозначены как Holdout: их корректно читать как отложенную оценку, а не среднее по пяти фолдам.
Списки исключений и blacklist — часть контроля признаков; полного отсутствия утечки из одного их наличия не следует. Для CoreClock особенно важен отдельный анализ без паспортного возраста. В ModelTrainer различаются цели CoreClockScore_beta и CoreClockScore_pct; здесь представлен паспорт beta, без смешивания двух конфигураций.
Для bootstrap заявлены 1 000 итераций; состав повторных выборок и интервалы для основных метрик требуют отдельного протокола. Индивидуальные доверительные интервалы здесь не заявляются.
Численность каждой калибровочной таблицы и матрицы сохранена отдельно: n = 1 343 или 1 344. Эти суммы не подменяются общим размером test.
06 /
Почему выбраны эти алгоритмы
Сопоставление сохранённых кандидатов помогает понять критерий выбора. LightGBM для CoreClock имеет меньшую MAE, хотя у FastTree немного выше R². Для классификаторов ниже используются сохранённые holdout-результаты, а не пересчёт матриц.
CoreClockScore Beta
Критерий выбора: минимальный MAE.
Алгоритм
R²
RMSE
MAE
FastForest
0.911425
0.0573265
0.0455986
LbfgsPoisson
0.855367
0.0732545
0.0460476
LightGBM · выбран
0.990275
0.0189957
0.00274859
FastTree
0.990599
0.0186757
0.00286867
Sdca
0.957268
0.0398179
0.0246531
rTL — непрерывная оценка
Критерий выбора: минимальный MAE.
Алгоритм
R²
RMSE
MAE
FastForest · выбран
0.0349046
8.1549
6.40946
LbfgsPoisson
-1.45330e+56
1.00072e+29
2.72968e+27
LightGBM
-0.0375755
8.45558
6.58218
FastTree
-0.0581061
8.53882
6.69325
Sdca
-4.87536e+06
18328.9
10715.4
rTL — категориальная стратификация
Критерий выбора: максимальный Macro-F1.
Алгоритм
Macro-F1
MacroAccuracy · экспорт
LogLoss
LightGBM
0.331752
0.361417
1.00788
FastForest · выбран
0.350991
0.366433
0.980289
TelomereRiskScore — непрерывная оценка
Критерий выбора: минимальный MAE.
Алгоритм
R²
RMSE
MAE
FastForest · выбран
0.0437397
0.202298
0.15845
LightGBM
-0.0262205
0.209568
0.163176
FastTree
-0.0238055
0.209321
0.163329
Sdca
-0.0530215
0.212287
0.16579
TelomereRiskScore — категориальная стратификация
Критерий выбора: максимальный Macro-F1.
Алгоритм
Macro-F1
MacroAccuracy · экспорт
LogLoss
LightGBM
0.3692
0.3706
1.151
FastForest · выбран
0.3891
0.3906
1.1135
У rTL кандидаты LbfgsPoisson и Sdca дали численно нестабильные результаты; их значения сохранены, для экстремальных величин использована научная запись. Ошибки моделей с разными целевыми шкалами напрямую не сравниваются.
07 /
Качество данных и подготовка признаков
Контроль качества охватывает полноту данных, диапазоны и числовые форматы. Для таблицы ниже используется подготовленный массив ModelTrainer: n = 6 718.
Показатель
Тип контроля
Количество
Проверка
PSQ5i
Пропуски после очистки
6 718
Проверить доступность и роль переменной.
HSE
Пропуски после очистки
6 697
Проверить кодировку и допустимые диапазоны.
HSE
За пределами диапазона
6 622
Сопоставить правила диапазона с исходным словарём.
Эстрадиол
Ошибки числового разбора
1 534
Проверить форматы лабораторных значений.
Эстрадиол
Пропуски после очистки
4 798
Уточнить структуру доступности и правила заполнения.
Окружность бедра · Thigh
За пределами диапазона
562
Проверить единицы и исходные записи.
PSQ5i отсутствует после очистки в 100% строк, HSE — примерно в 99,69%. Пропуски, выходы за диапазон и ошибки разбора могут пересекаться: эти счётчики не суммируются в число участников. Причины отсутствия значений и их влияние на конкретную модель требуют анализа процесса подготовки.
08 /
Молекулярные измерения — отдельный контур
MSP-панель: 478 лабораторных образцов
Лабораторная молекулярная панель и расчётные модели представлены раздельно.
rTL_0_100 — аналитическая шкала 0–100. Классы и индексы используются для исследовательского сопоставления.