gosuprГосударственное управление. Электронный вестникPublic Administration. E-journal (Russia)2070-1381Факультет государственного управления МГУ имени М.В. Ломоносова10.55959/MSU2070-1381-105-2024-169-179gosupr-164Research ArticleСТРАТЕГИЯ ЦИФРОВОЙ ЭКОНОМИКИDIGITAL ECONOMY STRATEGYМетодология использования больших языковых моделей для решения задач государственного и муниципального управления по интеллектуальному реферированию и автоматическому формированию текстового контентаMethodology of Using Large Language Models to Solve Tasks of State and Municipal Government for Intelligent Abstracting and Automatic Generation of Text ContentДудихинВ. В.DudikhinV. V.

Дудихин Виктор Владимирович – кандидат технических наук, доцент, Факультет государственного управления 

Москва

Viktor V. Dudikhin, PhD, Associate Professor, School of Public Administration 

Moscow

 

dudikhin@spa.msu.ruКондрашовП. Е.KondrashovP. E.

Кондрашов Павел Евгеньевич – кандидат технических наук, ведущий научный сотрудник, Факультет государственного управления 

Москва

Pavel E. Kondrashov, PhD, Leading researcher, School of Public Administration 

Moscow

kondrashov@spa.msu.ruМГУ имени М.В. ЛомоносоваLomonosov Moscow State University2024230520260105169179Copyright © Дудихин В.В., Кондрашов П.Е., 20262026Дудихин В.В., Кондрашов П.Е.Dudikhin V.V., Kondrashov P.E.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.spajournal.ru/jour/article/view/164

Факультет государственного управления, МГУ имени М.В. Ломоносова, Москва, РФ.

Большие языковые модели (large language models, LLM) находят все новые области применения на практике, в том числе в сфере государственного и муниципального управления. Для повышения эффективности практического применения больших языковых моделей разрабатываются правила и приемы взаимодействия с ними, учитывающие специфику, широкий спектр их возможного использования и все возрастающую доступность. В статье исследованы вопросы повышения эффективности работы больших языковых моделей с различными видами контента с помощью приемов промпт-инжиниринга. Представлен анализ значительного числа промптов для больших языковых моделей и методик их формирования. Рассматриваются возможности применения больших языковых моделей, обучаемых (настраиваемых) с использованием креативного промтинга, для интеллектуального реферирования различного контента с последующей генерацией оригинальных текстов и текстовых документов для сферы государственного и муниципального управления. Предложенная методология позволяет при обучении LLM эффективно интегрировать в нее знания из различных источников и превращать в действительно интеллектуальный инструмент, расширяющий возможности его работы. При применении данного подхода LLM выступает в качестве мощного интеллектуального ассистента, позволяющего генерировать документ, автором которого является пользователь системы. Применение больших языковых моделей открывает работникам сферы государственного и муниципального управления широкие возможности для автоматизации процесса создания тематических текстов, текстовых отчетов, квалификационных работ, обзоров и аналитических записок, позволяет также пользователям в процессе анализа полученных при реферировании текстов увидеть возможные новые смыслы, ранее не замеченные ассоциации и даже генерировать новые идеи в сфере управления. Авторами показано, что для повышения качества интеллектуального реферирования необходимо осуществлять итерационное использование разных методов обучения (настройки) LLM. При этом важное значение имеет первоначальный отбор текстов для обучения, который производится пользователем с опорой на собственные знания предметной области.

Large language models (LLM) are finding new areas of application in practice, including the sphere of public and municipal administration. To increase the efficiency of the practical application of large language models rules and methods of interaction with them are developed, taking into account the specifics, a wide range of their possible use and increasing accessibility. The article examines the issues of improving the efficiency of large language models with various types of content using prompt engineering techniques. An analysis of a significant number of prompts for large language models and methods for their formation is presented. The article discusses the possibilities of using large language models, trained (customizable) using creative prompting for intelligent abstracting of various content with the subsequent generation of original texts and text documents for the sphere of state and municipal administration. The proposed methodology makes it possible to effectively integrate knowledge from various sources

into LLM training and turn it into a truly intelligent tool that expands the possibilities of its work. When applying this approach, the LLM acts as a powerful intelligent assistant that allows you to generate a document authored by the user of the system. The use of large language models opens up wide opportunities for employees in the field of state and municipal administration to automate the process of creating thematic texts, text reports, qualification papers, reviews and analytical notes. It also allows users to see possible new meanings, previously unnoticed associations, and even generate new ideas in the field of management in the process of analyzing the texts received during the abstract. The authors have shown that in order to improve the quality of intellectual abstracting, it is necessary to carry out the iterative use of different methods of teaching (tuning) LLM. At the same time, the initial selection of texts for training, which is made by the user based on his/her own knowledge of the subject area, is important.

Keywords

государственное управлениебольшие языковые моделиLLMинтеллектуальный ассистентинтеллектуальное реферированиепромпт-инжинирингкреативный промптинггенерация текстовтехнологии GPTpublic administrationlarge language modelsLLMintelligent assistantintelligent referencingpromp-engineeringcreative promptingtext generationGPT technologyReferencesБахтизин А.Р. Вопросы прогнозирования в современных условиях // Экономическое возрождение России. 2023. № 2(76). С. 53–62. DOI: 10.37930/1990-9780-2023-2(76)-53-62Bakhtizin A.R. (2023) The Challenges of Forecasting under Current Conditions. Ekonomicheskoye vozrozhdeniye Rossii. No. 2(76) P. 53–62. DOI: 10.37930/1990-9780-2023-2(76)-53-62Белякова А.Ю., Беляков Ю.Д. Обзор задачи автоматической суммаризации текста // Инженерный вестник Дона. 2020. № 10(70). С. 142–159.Belyakova A.Yu., Belyakov Yu.D. (2020) Overview of Text Summarization Methods. Inzhenernyy vestnik Dona. No. 10(70). P. 142–159.Брагин А.В., Бахтизин А.Р., Макаров В.Л. Большие языковые модели четвёртого поколения как новый инструмент в научной работе // Искусственные общества. 2023. T. 18. № 1. DOI: 10.18254/S207751800025046-9Bragin A.V., Bakhtizin A.R., Makarov V.L. (2023) Large Fourth-Generation Language Models as a New Tool. Iskusstvennyye obshchestva. Vol. 18. No. 1. DOI: 10.18254/S207751800025046-9Долгачева Е.Л., Косюк Е.Ю., Попова Д.Л., Русаков А.М. Современные методы и алгоритмы суммаризации текстов в задачах информационной безопасности // Материалы III Международной научно- практической конференции «Проблемы обеспечения безопасности (Безопасность-2021)». В 2-х томах. Уфа: Уфимский государственный авиационный технический университет, 2021. Т. 1. С. 287–293.Dolgacheva E.L., Kosyuk E.Yu., Popova D.L., Rusakov A.M. (2021) Sovremennyye metody i algoritmy summarizatsii tekstov v zadachakh informatsionnoy bezopasnosti [Modern methods and algorithms of text summarization in information security problems]. Materialy III Mezhdunarodnoy nauchno-prakticheskoy konferentsii “Problemy obespecheniya bezopasnosti (Bezopasnost’-2021)”. V 2-kh tomakh. Ufa: Ufimskiy gosudarstvennyy aviatsionnyy tekhnicheskiy universitet. Vol. 1. P. 287–293Кананыкина П.Г., Хорошевский В.Ф. Интеллектуальное реферирование: онтологический подход и его реализация в решениях ONTOS // XI национальная конференция по искусственному интеллекту с международным участием КИИ-2008. М.: Ленанд, 2008. Т. 2. URL: https://www.raai.org/pages/UGFnZVR5cGU6MTAwNQ==Jacobs G., Hoste V. (2020) Extracting Fine-Grained Economic Events from Business News. Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation. Barcelona: online. P. 235–245.Красочкин С.Г. Чем ChatGPT отличается от текущих нейросетей // Евразийский Союз Ученых. Серия: технические и физико-математические науки. 2023. № 4(107). С. 30–35.Kananykina P.G., Khoroshevsky V.F. (2008) Intellektual’noye referirovaniye: ontologicheskiy podkhod i ego realizatsiya v resheniyakh ONTOS [Intellectual abstracting: An ontological approach and its implementation in ONTOS solutions]. XI natsional’naya konferentsiya po iskusstvennomu intellektu s mezhdunarodnym uchastiyem KII-2008. Moscow: Fizmat-lit. Vol. 2. URL: https://www.raai.org/pages/UGFnZVR5cGU6MTAwNQ==Петрунин Ю.Ю. Развитие концепции социального искусственного интеллекта // Вестник Московского Университета. Серия 21. Управление (государство и общество). 2023. № 1. С. 93-112.Khurana A., Subramonyam H., Chilana P.K. (2024) Why and When LLM-Based Assistants Can Go Wrong: Investigating the Effectiveness of Prompt-Based Interactions for Software Help-Seeking? IUI’24: Proceedings of the 29th International Conference on Intelligent User Interfaces. New York: Association for Computing Machinery. P. 288–303. DOI: 10.1145/3640543.3645200Jacobs G., Hoste V. Extracting Fine-Grained Economic Events from Business News // Proceedings of the 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation. Barcelona: online, 2020. P. 235–245.Krasochkin S.G. (2023) How ChatGPT Differs from Current Neural Networks. Evraziyskiy Soyuz Uchenykh. Seriya: tekhnicheskiye i fiziko-matematicheskiye nauki. No. 4(107), P. 30–35.Khurana A., Subramonyam H., Chilana P.K. Why and When LLM-Based Assistants Can Go Wrong: Investigating the Effectiveness of Prompt-Based Interactions for Software Help-Seeking? // IUI’24: Proceedings of the 29th International Conference on Intelligent User Interfaces. New York: Association for Computing Machinery, 2024. P. 288–303. DOI: 10.1145/3640543.3645200Petrunin Yu.Yu. (2023) Development of the Concept of Social Artificial Intelligence. Vestnik Moskovskogo universiteta. Vupusk 21. Upravlenie (gosudarstvo i obchestvo). No. 1. P. 93–112.Reynolds L., McDonell K. Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm // CHI EA’21: Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems. New York: Association for Computing Machinery, 2021. DOI: 10.1145/3411763.3451760Reynolds L., McDonell K. (2021) Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm. CHI EA’21: Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems. New York: Association for Computing Machinery. DOI: 10.1145/3411763.3451760Shao Zh., Gong Y., Shen Y., Huang M., Duan N., Chen W. Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models // Proceedings of the 40th International Conference on Machine Learning. Honolulu, Hawaii: JMLR.org, 2023. P. 30706–30775.Shao Zh., Gong Y., Shen Y., Huang M., Duan N., Chen W. (2023) Synthetic Prompting: Generating Chain-of- Thought Demonstrations for Large Language Models. Proceedings of the 40th International Conference on Machine Learning. Honolulu, Hawaii: JMLR.org. P. 30706–30775.

The authors declare that there are no conflicts of interest present.