сжатие данных

В исследовании рассматривается двойственная природа вероятностного моделирования последовательностей и сжатия данных, где языковые модели используются как инструмент оценки качества генеративного моделирования ДНК. Авторы представили семейство из десяти моделей DNAGPT2 (архитектура GPT-2-small), предобученных на мультивидовом корпусе DNABERT2 с использованием одной видеокарты A40. Ключевым достижением стало достижение показателя 1.47 бит на основание (bpb) при сжатии генома человека T2T, что заняло четвертое место в бенчмарке Cobilab и превзошло все универсальные компрессоры общего назначения. Исследование выявило, что стандартная для NLP токенизация может быть неоптимальной для ДНК: словарь BPE размером в 32 токена показал лучшие результаты, чем более крупные словари. Также было обнаружено, что модели с коротким контекстом, использующие BPE, могут превосходить специализированные геномные модели с длинным контекстом из-за различий в архитектуре и данных. В завершение авторы создали карту информационной плотности генома человека, продемонстрировав статистически значимые различия в профилях информации между экзонами, интронами, межгенными участками и повторами Alu.

В исследовании представлен новый метод оптимизации работы с белковыми языковыми моделями (PLM), которые генерируют объемные многослойные эмбеддинги, создающие высокую нагрузку на системы хранения и вычисления. Авторы предлагают использовать компактное суррогатное представление, основанное на проекциях PCA низкой размерности и кубических полиномиальных траекториях для описания изменений эмбеддингов между слоями трансформера. Данный подход позволяет восстанавливать эмбеддинги любого слоя «на лету» без необходимости повторного запуска ресурсоемкой модели. Эффективность метода была протестирована на моделях ESM-35M и ESM-3B в задачах предсказания белок-белковых взаимодействий и субклеточной локализации. Результаты показывают высокую точность реконструкции при значительном снижении требований к памяти и вычислительным мощностям. Важно, что использование сжатых данных не приводит к потере качества в прикладных задачах, что делает метод масштабируемым решением для биоинформатики и разработки новых лекарств.

В исследовании представлена новая модификация структуры данных skiplist, адаптированная для работы с динамическими графами Burrows-Wheeler (GBWT), что критически важно для эффективного анализа пангеномов. Авторы разработали две вариации двусвязных списков (skiplists) поверх BWT с использованием сжатия длин серий (run-length compression), что позволяет выполнять операции rank, access и insert за время O(log N). Данная технология применяется для поиска путей в графе синхмеров, построенном на основе закрытых синхмеров Эдгара, что эквивалентно разреженному графу де Брюйна. Практическая эффективность метода подтверждена тестами: построение без потерь GBWT-представления для 92 полных геномов человека (общим объемом 280 Гб, включая центромеры и повторы) заняло всего 52 минуты при использовании одного потока, при этом размер структуры составил 5,8 Гб. Система позволяет находить максимально точные совпадения (MEMs) произвольной длины со скоростью около 1 Гб за 10 секунд на один поток. Разработчики представили открытый исходный код в пакете syng (rskip.[ch]), что делает инструмент доступным для биоинформатического сообщества.

В исследовании представлен инновационный фреймворк двухпотокового сжатия для 16-битных медицинских изображений, предназначенный для сохранения тонких вариаций интенсивности, критически важных для клинической интерпретации. Авторы предложили раздельное моделирование наиболее значимых битов (MSB) и наименее значимых битов (LSB): структурный поток MSB кодируется методом JPEG со стратегией пропуска дублирующихся сегментов (DSS), а поток деталей LSB сжимается с помощью методов глубокого обучения. Эксперименты на четырех наборах данных МРТ и КТ показали, что предложенный метод превосходит традиционные и современные нейросетевые кодеки, обеспечивая минимальную скорость передачи битов при сохранении высокой точности реконструкции. Важным аспектом является сохранение локальных профилей интенсивности и консистентности при последующей сегментации изображений. Кроме того, авторы продемонстрировали возможность интеграции сжатых битовых потоков в ДНК-кодирование для создания последовательностей с благоприятными биохимическими свойствами, что открывает новые горизонты в долгосрочном хранении медицинских данных.