Система, названная JoblessBERT, обучена анализировать публикации в Twitter (X), где пользователи сообщают о потере своих рабочих мест. В отличие от традиционных методов, которые ищут конкретные фразы, эта нейросеть способна распознавать разговорные выражения, сленг и даже опечатки, что позволило ей обнаружить в 13 раз больше случаев потери работы при высокой точности.
Чтобы учесть недостатки аудитории Twitter, исследователи определили возраст, пол и географическое положение пользователей на основе их профилей и скорректировали данные с учетом результатов переписи населения.
Проверка модели проводилась на данных за период с 2020 по 2022 годы, включая время пандемии. Например, в марте 2020 года, когда заявки на пособие по безработице увеличились с 252 тысяч до 2,9 миллиона, традиционные прогнозы составляли около 327 тысяч, в то время как JoblessBERT предсказала 2,66 миллиона за два дня до окончания отчетной недели.
В среднем, точность прогнозов JoblessBERT на двухнедельном горизонте была на 54% выше, чем у традиционных методов на национальном уровне, и на 36% лучше на уровне штатов. Эта система также может быть использована для анализа данных на уровне отдельных городов и заполнения пробелов в статистике, где данные публикуются нерегулярно.
Авторы подчеркивают ограничения своего подхода: исследование проводилось только на англоязычных публикациях, а с 2023 года доступ к данным Twitter стал более ограниченным. Тем не менее, они уверены, что метод можно адаптировать для других социальных платформ и языков, что особенно актуально для развивающихся стран с недостаточным доступом к данным о рынке труда.
