Распознавание, оцифровка документов — результат преобразования физических, бумажных или электронных носителей в редактируемые машиночитаемые текстовые форматы. Включает в себя сканирование или фотографирование документов с последующей обработкой полученных скан-образов с помощью программного обеспечения, которое распознает текст, то есть решает задачи OCR — оптического распознавания символов.
Цель оцифровки – в идеале, мгновенный ввод данных из документов в информационную систему, минуя рутинные действия ручной перепечатки символов, которые чреваты ошибками и медленными бизнес-процессами.
Распознавание данных из бумажных носителей неразрывно связано с ключевыми задачами в разных секторах экономики: в производственном, финансовом секторе, в том числе на вновь формирующемся рынке криптовалют, в архивном деле, для оказания государственных услуг гражданам и коммерческих услуг в корпоративном (B2B) и пользовательском (B2C) сегментах.
Распознают заявки на выдачу кредитов, и счета-фактуры, комплекты кадровых документов, документы, удостоверяющие личность (паспорта, водительские удостоверения), СНИЛС, договоры, доверенности и прочее огромное количество разных форм для разных жизненных ситуаций.
В цифровой вид переводят как строгие формы, утвержденные на законодательном уровне, так и слабоструктурированные, рукописные данные, что вызывает особенные трудности. Рынок оцифровки документов в РФ, по оценкам его крупнейших участнкиов, составляет 6-10 млрд рублей в год с потенциалом роста около 20% ежегодно.
В статье обсудим некоторые самые популярные сценарии и процессы, когда компания требуется автоматическое распознавание документов.
Оцифровка паспортов и других документов, удостоверяющих личность (ДУЛ)
Распознавание паспорта — одна из самых популярных услуг на рынке оцифровки документов, которая востребована малым, средним бизнесом, так и у крупными корпоративными игроками.
Актуально везде, где есть условный «шлагбаум» для регистрации пользователей. Будь то физический шлагбаум для въезда, регистрация посетителей на ресепшн бизнес-центра или «электронный» — при регистрации нового пользователя онлайн: на сайте, цифровой платформе или в приложении.
Как правило, требуется оцифровка не только паспорта, но и какого-то сопутствующего документа. Это может быть СНИЛС, водительские права или же биометрическая идентификация, когда вместе с паспортом пользователь предъявляет селфи, а искусственный интеллект проводит сверку лиц — проверяет соответствие фото в документе прикрепленному селфи. Последний вариант называется KYC-идентификацией (Know Your Customer, знай своего клиента).
Распознавание комплекта паспорт + СНИЛС в разы повышает шансы, что на платформе или в приложении регистрируется именно тот человек, за которого себя выдает новый «цифровой пользователь». Например, это может быть актуально в процессе онлайн-голосования.
KYC-идентификация — распространенная опция при регистрации на крипто-биржах, фрилансовых платформах и шеринговых сервисах. Основная задача такой проверки – удостовериться, что новый пользователь платформы – действительно тот человек, за которого себя выдаёт, что это благонадежный пользователь.
Компания «Биорг» предоставляет сервис KYC-идентификации с необходимым набором логических и биометрических проверок комплекта «паспорт + селфи» или другого комплекта документов, удостоверяющих личность. Включает комплексную проверку бланка документа, антифотошоп и др. антифрод-проверки.
Опыт Биорг: автоматизация кредитного конвейера (оцифровка ипотечных заявок) в УБРиРе:
- Снижение времени обработки комплекта с 45 до 19 минут
- Заведение в процесс новых документов в срок до 2-х дней
- Оцифровка сложных документов: трудовая книжка, анкеты по форме банков, военный билет
- Сервис апробирован к масштабированию на все процессы банка с документами: розница, HR, первичная бухгалтерия, риски и т.д.
- Увеличили выдачу кредитов на 50%
Оцифровка данных для государства
Президент Путин не единожды упоминал необходимость перевода архивных данных в электронный формат. Цель такой работы – повысить эффективность экономического анализа и поднять эффективность труда. Например, оцифровка конструкторской документации поможет быстрее проектировать новую технику, корабли и т.д.
Перевод в «цифру» данных о ресурсах и их последующая актуализация поможет принимать решения об инвестиционной привлекательности и перспективах территорий.
Государство переходит к новому нацпроекту «Экономика данных», ключевые задачи которого:
- повысить цифровую зрелость госуправления
- предоставлять ключевые госуслуги в электронном формате
- развивать рынок данных
- управлять развитием страны и принимать решения на основе анализа данных при помощи искусственного интеллекта.
Для всего этого нужны электронные данные. Чем больше будет переведено в электронный машиночитаемый формат разных слоев данных, тем лучше для будущего развития страны, тем больше информации смогут обработать дорогостоящие системы поддержки принятия решений. Тем точнее будут стратегические решения о развитии.
Опыт Биорг: обработка и оцифровка архивов АЭС и проектных институтов
Калининская атомная станция
- Оцифровка архивов ПТО и УКС —
- Оцифровка паспортов реакторных цехов и оборудования с 1960-х годов по требованиям МАГАТЭ
- Сканирование в закрытом контуре АЭС с соблюдением всех регламентов Росатома
- Минимизация штата на месте – вывод функций и персонала индексирования и проверки за территорию станции
- Миграция ресурса в АСУТД
- Суммарно более 3 млн листов от А4 до 2А0+
Распознавание комплектов документов в общих центрах обслуживания
ОЦО (общий центр обслуживания) — это подразделение компании, которое специализируется на решении конкретного спектра внутренних задач, в том числе на обработке больших потоков документов. Например, это сотни и тысячи кадровых комплектов, данные из которых нужно перевести в электронный вид при официальном оформлении сотрудников. Это могут быть те же самые бухгалтерские документы, договоры и т.д. Подобные подразделения существуют у многих крупных компаний, которым выгоднее вынести все непрофильные для их деятельности процессы в отдельное подразделение, в другой регион.
Автоматическое распознавание документов — один из ключевых факторов повышения эффективности и конкурентоспособности процессов в ОЦО, куда стекаются огромные потоки данных. Технология позволяет
- значительно ускорить процесс извлечения информации
- снижает вероятность ошибок человека, который монотонно вводит данные вручную.
- Ускоряет временя ответа и общую эффективность работы ОЦО, что улучшает качество обслуживания клиентов.
- Легко организовать и хранить документы в электронном виде, что упрощает доступ к ним в будущем.
- Интегрироваться данные в CRM или ERP-системы, обеспечивая бесшовный поток информации внутри организации.
- Эффективно собирать данные для анализа и отчетности, что помогает в принятии обоснованных бизнес-решений.
Одна из популярных услуг компании «Биорг», которую она предоставляет в рамках для разных ОЦО – это автоматическая обработка комплектов документов, содержащих в себе разные формы. Паспорт, СНИЛС, заявление, в том числе рукописное, трудовую книжку, военный билет и т.д. Такой услугой пользуются не только ОЦО, но и банки, финансовый сектор.
Опыт Биорг: обработка кадровых документов при трудоустройстве в сеть из 2000 аптек
- География – 44 региона РФ
- 15 атрибутов в документе
- Среднее кол-во обрабатываемых комплектов – 2 500 в месяц
- Оформление и сбор документов сотрудников через QR-код
- При передаче документов используется мобильное приложение ПО Бискан
- Сократили время приема сотрудника с 30 мин до 10 мин
- Сократили финансовые затраты на обработку 1 комплекта в 2,5 раза
Распознавание большого потока бухгалтерской «первички»
Все больше компаний переходят на проекты электронного документооборота (ЭДО) и кажется, что скоро будет положен предел всеобщему обмену бумажными формами. Канет в лету вопрос распознавания счетов фактур, УПД и оцифровка прочей первички, данные из которой нужно аккуратно переносить в систему.
Однако на сегодняшний день объём документов, данные их которых по-прежнему надо переносить в систему, высок. В ЭДО нередко присылают сканы документов, информацию из которых надо перенести в базу 1С и другие.
Или другой пример – счета от множества контрагентов, где есть какие свои приписки или немного иная форма, немного отличающаяся от стандартной. Все это надо распознавать.
Для распознавания комплектов бухгалтерских документов компания «Биорг» предлагает свой сервис на базе ИИ-технологий и краудсорсинга – системы верификации, проверки данных, которые не распознал ИИ.
Опыт Биорг: автоматизация обработки договорных документов сегмента B2B для крупного телеком-оператора
Оцифровка сложных документов: договоры, дополнительные соглашения, приложения
- Кол-во документов – более 3,7 млн. в год.
- 19 атрибутов в документе
- 72% документов распознаются с помощью ИИ
- После дообучения ИИ сможет распознавать 80+% документов
- Реализована автоматическая проверка юридической значимости документов
- Сокращение трудозатрат на 56%
Больше, чем просто распознавание документов. Потоковый комплаенс и другое
Технологии OCR (оптическое распознавание символов) стали весьма распространенными и доступны широкому кругу пользователей. Распознать простой текст можно через недорогие, либо и вовсе бесплатные инструменты, которые, впрочем, не всегда безопасны.
Все чаще на рынке возникают запросы не только на перевод документов из бумажного вида в формат редактируемых электронных
данных, но на комплексную обработку таких документов, а то и целых комплектов.
Нужен сервис, который не только распознает текст, но и анализирует его. Например, система распознавания и анализа, которая способна выявлять изменения в договорах среди множества контрагентов. Такое решение помогает значительно сократить время на ручную проверку массивов документов, дает возможность автоматизированного сопоставления версий и отдельных условий, помечая ключевые изменения и упрощая работу юристов и менеджеров.
Другой пример «цифрового помощника» — система автоматической проверки комплекта документов на соответствие условиям регламента сделки с рекомендацией человеку, что делать: пропустить документы на регистрацию или вернуть комплект на доработку.
Опыт Биорг: NER-разметка, цифровые помощники
Датасет из 10000 договоров. Весь текст разделен на 170+ классов смысловых сущностей.
ИИ понимает:
- Существенные условия
- Стороны сделки, их доли и статусы
- Нужен ли акт передачи
- Есть ли ипотека, обременения и пр.
- Может анализировать комплект документов на соответствие требования регламента
Заключение
Услуги по распознаванию документов разных форматов все ещё очень актуальны, но вместе с тем уступают место более сложным, инновационным системам, которые создают добавленную стоимость, помогая анализировать извлеченные данные. Государство и бизнес хотят принимать решения и развиваться, основываясь на данных, все больше автоматизируя типовые операции, которыми ранее занимались люди. Однако этот процесс многократно повышает значимость качества первоначальных электронных данных, которые поступают в информационную систему. Оцифровка документов должна быть качественной.