Анализ данных (Data analysis)

🖥️ Зачем обучать модель 1000 раз, если можно выбирать параметры умнее? Допустим, подбираешь три гиперпараметра: скорость обучения, глубину деревьев и их количество. По 10 вариантов на каждый — 1000 комбинаций. Если один запуск занимает минуту, полный перебор потребует почти 17 часов. Байесовская оптимизация использует результаты предыдущих запусков, чтобы выбрать следующий. Условный пример со скоростью обучения: - 0.001 → модель учится слишком медленно. - 0.1 → качество нестабильно. - 0.03 → хороший результат. Алгоритм оценивает, где стоит искать дальше: рядом с удачным значением или в ещё не исследованной области. Для этого строит вспомогательную модель, которая прогнозирует качество и неопределённость прогноза. Пример на Python — подбираем параметры SVM: # pip install scikit-optimize scikit-learn from skopt import gp_minimize from skopt.space import Real from sklearn.datasets import load_iris from sklearn.model_selection import cross_val_score from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC X, y = load_iris(return_X_y=True) def objective(params): C, gamma = params model = make_pipeline( StandardScaler(), SVC(C=C, gamma=gamma), ) # Оптимизатор минимизирует — меняем знак accuracy return -cross_val_score(model, X, y, cv=3).mean() result = gp_minimize( objective, dimensions=[ Real(1e-3, 1e3, prior="log-uniform"), Real(1e-4, 1, prior="log-uniform"), ], n_calls=25, n_initial_points=5, acq_func="EI", random_state=42, ) print("C, gamma:", result.x) print("CV accuracy:", -result.fun) Первые 5 комбинаций выбираются случайно. Следующие 20 — с учётом накопленных результатов. EI означает «ожидаемое улучшение»: критерий выбора следующей точки. Особенно полезно, когда каждый запуск дорогой. Но 25 попыток не гарантируют лучший результат: бюджет зависит от задачи. Итоговое качество проверяй на отдельной тестовой выборке, которую не использовал при подборе. https://codecut.ai/bayesian-optimization-hyperameter-search/