как управлять компьютером с помощью голоса

Как управлять компьютером голосом

Голосовые помощники способные управлять смартфоном или планшетом давно вошли в нашу жизнь и упрощают взаимодействие с гаджетом. Google Now и Siri способны искать в интернете информацию, ставить напоминания, вызывать номер из списка контактов, делится фотографиями и даже изменять настройки телефона.

Cortana от Microsoft

Голосовой помощник для Windows 10 Cortana входит в стандартную версию системы. Он позволяет выполнять поисковые запросы в интернете на компьютере, открывать программы и папки, изменять и удалить файлы, ставить напоминания и выключать компьютер. Cortana – это полноценная замена стандартному управлению Windows, заменяющая мышь и клавиатуру на голосовые команды. Поскольку помощник разработан самой Microsoft, он получил глубокую интеграцию с операционной системой и является лучшим решением для голосового управления Windows. Cortana имеет серьезный недостаток — она не поддерживает русский язык! Если вы владеете одним из этих языков: английский, немецкий, французский, испанский, итальянский, китайский, японский, португальский, то можете смело протестировать разработку от Microsoft на своем компьютере, при условии установленной Windows 10. Для этого выполните следующие действия:

Microsoft не анонсировали дату релиза русскоязычной версии Cortana, поэтому использовать комфортно ассистент практически невозможно. Также, из-за специфики акцента у русскоговорящих пользователей, помощник не всегда понимает голосовые команды. Перейдем к другому приложению, поддерживающего русский язык.

Программа Laitis

Программа Laitis позволяет гибко настроить действия в проводнике Windows, браузерах, выбрать управление на различных сайтах соцсетей и других программах. Также вы можете с помощью макросов настроить управление элементами умного дома. Чтобы установить приложение выполните следующие действия:

Приложение Laitis удовлетворит требования любого пользователя, желающего использовать голосовые команды для управления своим компьютером. Программа предлагает гибкую настройку индивидуально под требования каждого пользователя. Если вы не хотите долго настраивать и вникать в настройки приложения, то предлагаем перейти к простому варианту.

Яндекс Алиса для Windows.

Яндекс Алиса, это не полноценное средство управления компьютером, однако она позволит быстро найти требуемую информацию в интернете или на компьютере и поддерживает элементарные функции управления питанием системы – выключить, перезагрузить или завершить сеанс. Главным плюсом отечественной разработки можно назвать простоту использования. К сожалению Яндекс удалили с главного сайта Алису для Windows, там вы найдете только Яндекс браузер со встроенным голосовым помощником, поэтому мы нашли полноценную рабочую версию ассистента. Перейдем к установке приложения.

Подробное описание всех возможностей ассистента от Яндекс вы найдете на специальных вкладках помощника «Навыки» и «Вот что я умею». Помимо этого, Алиса умеет открывать файлы и программы Windows. Такого функционала хватит большинству пользователей, решивших упростить работу с компьютером.

Источник

Как голосом управлять компьютером: обзор лучших программ

Голосовой ассистент — программа, распознающая человеческую речь и способная выполнять определённые действия в ответ на команду. Сегодня представлено большое количество голосовых помощников, разрабатываемых как крупными, так и небольшими компаниями.

Typle

Typle — это простое для понимания со стороны пользователя и лёгкое в плане расходования ресурсов ПК приложение. Посредством голосового управления через Typle можно запускать программы и документы локально, работать с интернет-ресурсами онлайн. Слова на русском распознаются достаточно точно, но для лучшего результата понадобится качественный широкополосный микрофон.

Скачать Typle можно с официальной страницы разработчика. После инсталляции и запуска, настройка приложения сводится к следующему:

Теперь вы можете свернуть окно и пользоваться помощником, который будет работать в фоне.

Speaker

Так же как и Typle, Speaker предельно простая в освоении и не расходующая много ресурсов компьютера программа. Голосовое управление осуществляется в фоновом режиме, то есть приложение никаким образом не мешает и не отвлекает пользователя от работы.

Speaker выступает в роли посредника между юзером и ПК при различных действиях с файлами, он меняет раскладку клавиатуры, перезагружает, выключает устройство и т. п. При этом интерфейс программы не перегружен, он выделяется минимализмом, но несколько необычен.

Утилиту можно скачать с официального сайта или с других проверенных интернет-ресурсов. Установленный Speaker настраивается довольно просто:

Laitis

Программу для голосового управления компьютером Laitis можно скачать с официального сайта с одноимённым названием. Имеются платная (стабильная) и бесплатная (бета) версии приложения. Второй вариант работает ничуть не хуже первого, но потенциально может сопровождаться мелкими багами.

После загрузки и установки программы её необходимо настроить:

Если программа понравилась, вы можете вступить в сообщество Laitis, щёлкнув по одноимённой вкладке. Регистрация в системе даёт определённые преимущества, включая разного рода бонусы.

«Горыныч»

Ещё один голосовой помощник с поддержкой русского языка. «Горыныч» обрабатывает пользовательские запросы в режиме реального времени и ищет по ним информацию в сети. Кроме того, умеет работать с программами и файлами локально в Windows.

Вы можете вводить информацию как текстом, так и голосом, добавлять новые фразы в словарь и редактировать команды. Скачать «Горыныча» можно с любого надёжного ресурса. Программа портативная и не требует установки.

Настраивается утилита следующим образом:

Существенным минусом утилиты является не слишком удобный интерфейс. Кроме того, «Горыныч» иногда путает команды, открывая, например, «Пуск» вместо блокнота, хотя это может зависеть от качества используемого микрофона.

Speechka

Как и большинство других голосовых помощников, данное приложение базируется на Google Voice Search, то есть использует стандартный голосовой поиск от Google. Программа поддерживает русский язык и проста в настройке. Speechka умеет запускать программы, открывать папки, плееры, документы и т. п.

Коротко о настройке утилиты:

Стоит отметить, что запуск программы в работу путём нажатия клавиш не слишком удобен, а постоянно включенный микрофон, настроенный на автоматическое распознавание, имеет тягу к ложным срабатываниям.

«Алиса»

Виртуальный ассистент «Алиса» от компании «Яндекс» на голову выше описанных нами программ. Она отвечает на всевозможные вопросы, ищет в сети информацию, играет, рассказывает сказки и даже поёт.

Среди основных функциональных возможностей «Алисы» можно выделить:

Конечно, основными функциями данного голосового ассистента являются такие повседневные задачи, как:

Данный голосовой помощник присутствует в «Яндекс.Браузере» по умолчанию, но такой вариант не всегда оправдан из-за его громоздкости и тяжести. В Windows вы можете установить и настроить «Алису» как независимое приложение:

В меру своих способностей (которые постоянно развиваются) «Алиса» может развлечь, вести диалог по разным тематикам. Остроты и приколы от «Алисы» — это отдельная тема. Ассистент умеет шутить и парировать, но не всегда уместно.

Среди дополнительных особенностей «Алисы» можно также отметить:

Cortana для Windows 10

Голосовой помощник от Microsoft взаимодействует с пользователем, помогая в сборе конкретной информации. «Кортана» интегрирована в меню «Пуск», содержит функции самообучения и предугадывания запросов. Однако бот не имеет поддержки русского языка, поэтому его использование подавляющему большинству российских пользователей недоступно.

Голосовой помощник на момент написания статьи оптимизирован для следующих языков:

Голосовые ассистенты прочно вошли в нашу жизнь. Любая из описанных в статье программ для управления компьютером голосом может стать для пользователя незаменимым помощником, облегчающим выполнение повседневных задач.

Источник

Как настроить голосовое управление компьютером

Существует несколько причин, по которым пользователи не могут управлять компьютером с помощью штатных средств — клавиатуры и мыши. Во-первых, это может быть связано с поломкой названных устройств. Во-вторых, такая необходимость возникает у людей с ограниченными возможностями. И наконец, в-третьих, пользователи просто хотят как-то облегчить себе задачу работы с компьютером, отдавая ему команды голосом.

Голосовое управление компьютером выполняется при помощи специального программного обеспечения.

ОС Windows располагает штатным приложением распознавания речи, но к сожалению, оно не поддерживает русский язык, а только — английский, французский, испанский, немецкий, японский и китайский.

Если интерфейс вашего дистрибутива Windows рассчитан для носителей одного из вышеперечисленных языков и, конечно, вы говорите на нём, тогда вы сможете использовать штатную программу распознавания речи. Для этого нужно проделать 3 шага: настроить микрофон, пройти несложный учебный курс по управлению компьютером при помощи голоса (он также включен в Windows) и настроить саму программу распознавания речи.

Чтобы сделать это, необходимо (описание разделов ОС будет вестись на русском языке):

А что же делать русскоязычным пользователям Windows? К счастью, выход есть — использование сторонних программ. Подобных приложений существует множество — и платных, и бесплатных. Среди всех приложений для голосового управления компьютером с системой Windows особенно выделяется Typle. О ней и пойдёт речь далее.

Управление компьютером с помощью Typle

По мнению большинства пользователей, кто предпочитает управлять компьютером при помощи голоса, программа Typle является одной из самых лучших (если не самой лучшей).

Это небольшое по размеру приложение способно не только выполнять команды, имеющиеся в её базе данных, но и поддерживает создание пользовательских. Именно последнее особенно ценится в этом приложении.

Программа распространяется бесплатно, но в бесплатной версии имеются ограничения по созданию пользовательских команд. Однако этих возможностей вполне достаточно для штатного пользователя.

После того, как приложение соберёт нужную ему для работы информацию, вы увидите стартовое окно с подсказками:

Typle попросит вас нажать на кнопку «Добавить». После нажатия потребуется ввести ваше имя (вводите любое) — это нужно для того, чтобы приложение смогло выполнять именно ваши команды в случае, если вы не являетесь единственным пользователем компьютера. Также заполняем поле «Введите ключевое слово» (можно оставить предложенный вариант «Открой»). Именно это слово будет использоваться для запуска ваших команд, а точнее — эта фраза даст программе сигнал к выполнению команды, которую вы будете произносить далее.

Осталось нажать на кнопку записи, а затем произнести какую-либо фразу (длина записи должна быть короче 1,5 секунд). Для проверки можете проговорить «Открой». После успешной записи Typle спросит вас о сохранении записанной команды.

Далее нажимаем на кнопку «Добавить» в верхнем меню. Откроется окно, в котором вам нужно выбрать программу для её запуска после произнесения ключевого слова в микрофон. Для примера выберем приложение «Opera 35» (вы можете выбрать любую свою программу — браузер, проигрыватель или какой-нибудь мессенджер типа Skype).

Обратите внимание на нижнюю часть окна. В данный момент галочка установлена на пункте «Программы и файлы». Вы также можете выделить и другие пункты. Например, установите галочку на «Windows файлы». Теперь в окне выбора команд для запуска отобразятся стандартные программы Windows (блокнот, Paint, командная строка и так далее), а также различные системные приложения, такие как «Центр обновления» или «Мастер дефрагментации диска» и другие. Это удобная возможность для пользователей, которым часто приходится сталкиваться с настройкой системы компьютера.

Ещё одна интересная способность Typle — возможность открывать избранные интернет-сайты. Для этого нужно установить галочку на пункте «Фавориты Интернета» и выбрать из списка нужный сайт.

Как только вы выбрали подходящее действие, для его выполнения потребуется записать команду. Для этого нажимаем на значок записи рядом с полем, в котором написано название выбранного действия (программы, сайта и тому подобное), а затем произносим любую фразу. В нашем случае — это «Опера».

После успешного сохранения записи вы можете проверить правильность выполнения команды с помощью программы Typle. Для этого вам нужно проговорить в микрофон слово «Открой», а затем сразу фразу, которая была записана вами на последнем шаге для запуска той или иной программы. В нашем случае команда звучит как «Открой Опера». После этих слов программа автоматически запустит браузер.

Как видите, управлять компьютером средствами программы Typle не так уж и сложно. Вы можете создать множество различных команд, при произнесении которых будут запускаться те или иные приложения, открываться документы либо начинаться воспроизведение видео или музыки.

Видео по теме — программа VoxCommando

Источник

Простейшее управление компьютером при помощи голоса

Если вас интересует, как помочь обездвиженному человеку управлять компьютером для общения с внешним миром – вам сюда. Если вам интересно, какое отношение к этому имеют мел-частотные кепстральные коэффициенты и нейронные сети – вам тоже сюда.

Часть I. Программа для управления компьютером при помощи голоса

Ко мне обратился человек с просьбой написать программу, которая позволила бы управлять компьютерной мышью при помощи голоса. Тогда я и представить себе не мог, что, практически полностью парализованный человек, который даже не может сам повернуть голову, а может лишь разговаривать, способен развить бурную деятельность, помогая себе и другим жить активной жизнью, получать новые знания и навыки, работать и зарабатывать, общаться с другими людьми по всему свету, участвовать в конкурсе социальных проектов.

Позволю себе привести здесь пару ссылок на сайты, автором и/или идейным вдохновителем которых является этот человек – Александр Макарчук из города Борисов, Беларусь:

	«У Совы» — школа дистанционного обучения для людей с ограниченными возможностями. sova.by
	«Без ограничений» — советы для тех, кому нужно работать на компьютере без рук bezogranicheniy.ru

Для работы на компьютере Александр использовал программу «Vocal Joystick» — разработку студентов Университета штата Вашингтон, выполненную на деньги Национального Научного Фонда (NSF). См. melodi.ee.washington.edu/vj

Кстати, на сайте университета (http://www.washington.edu/) 90% статей именно про деньги. Трудно найти что-нибудь про научную работу. Вот, например, выдержки с первой страницы: «Том, выпускник университета, раньше питался грибами и с трудом платил за квартиру. Теперь он старший менеджер ИТ-компании и кредитует университет», «Большие Данные помогают бездомным», «Компания обязалась заплатить 5 миллионов долларов за новый учебный корпус».

Это одному мне режет глаз?

Программа была сделана в 2005-2009 годах и хорошо работала на Windows XP. В более свежих версиях Windows программа может зависнуть, что неприемлемо для человека, который не может встать со стула и её перезапустить. Поэтому программу нужно было переделать.

Исходных текстов нет, есть только отдельные публикации, приоткрывающие технологии, на которых она основана (MFCC, MLP – читайте об этом во второй части).

По образу и подобию была написана новая программа (месяца за три).

Собственно, посмотреть, как она работает, можно здесь:

Скачать программу и/или посмотреть исходные коды можно здесь.

Никаких особенных действий для установки программы выполнять не надо, просто щёлкаете на ней, да запускаете. Единственное, в некоторых случаях требуется, чтобы она была запущена от имени администратора (например, при работе с виртуальной клавиатурой “Comfort Keys Pro”):

Пожалуй, стоит упомянуть здесь и о других вещах, которые я ранее делал для того, чтобы можно было управлять компьютером без рук.

Если у вас есть возможность поворачивать голову, то хорошей альтернативой eViacam может послужить гироскоп, крепящийся к голове. Вы получите быстрое и точное позиционирование курсора и независимость от освещения.

Если вы можете двигать только зрачками глаз, то можно использовать трекер направления взгляда и программу к нему (могут быть сложности, если вы носите очки).

Часть II. Как это устроено?

Из опубликованных материалов о программе «Vocal Joystick» было известно, что работает она следующим образом:

Последняя задача просто реализуется при помощи функции SendInput.

Наибольший же интерес, мне кажется, представляют вторая и третья задачи. Итак.

Задача №2. Получение 13 кепстральных коэффициентов

Если кто не в теме – основная проблема узнавания звуков компьютером заключается в следующем: трудно сравнить два звука, так как две непохожие по очертанию звуковые волны могут звучать похоже с точки зрения человеческого восприятия.

И среди тех, кто занимается распознаванием речи, идёт поиск «философского камня» — набора признаков, которые бы однозначно классифицировали звуковую волну.

Из тех признаков, что доступны широкой публике и описаны в учебниках, наибольшее распространение получили так называемые мел-частотные кепстральные коэффициенты (MFCC).

История их такова, что изначально они предназначались совсем для другого, а именно, для подавления эха в сигнале (познавательную статью на эту тему написали уважаемые Оппенгейм и Шафер, да пребудет радость в домах этих благородных мужей. См. A. V. Oppenheim and R.W. Schafer, “From Frequency to Quefrency: A History of the Cepstrum”).

Но человек устроен так, что он склонен использовать то, что ему лучше знакомо. И тем, кто занимался речевыми сигналами, пришло в голову использовать уже готовое компактное представление сигнала в виде MFCC. Оказалось, что, в общем, работает. (Один мой знакомый, специалист по вентиляционным системам, когда я его спросил, как бы сделать дачную беседку, предложил использовать вентиляционные короба. Просто потому, что их он знал лучше других строительных материалов).

Являются ли MFCC хорошим классификатором для звуков? Я бы не сказал. Один и тот же звук, произнесённый мною в разные микрофоны, попадает в разные области пространства MFCC-коэффициентов, а идеальный классификатор нарисовал бы их рядом. Поэтому, в частности, при смене микрофона вы должны заново обучать программу.

Это всего лишь одна из проекций 13-мерного пространства MFCC в 3-мерное, но и на ней видно, что я имею в виду – красные, фиолетовые и синие точки получены от разных микрофонов: (Plantronix, встроенный массив микрофонов, Jabra), но звук произносился один.

Однако, поскольку ничего лучшего я предложить не могу, также воспользуюсь стандартной методикой – вычислением MFCC-коэффициентов.

Чтобы не ошибиться в реализации, в первых версиях программы в качестве основы был использован код из хорошо известной программы CMU Sphinx, точнее, её реализации на языке C, именующейся pocketsphinx, разработанной в Университете Карнеги-Меллона (мир с ними обоими! (с) Хоттабыч).

Исходные коды pocketsphinx открыты, да вот незадача – если вы их используете, то должны в своей программе (как в исходниках, так и в исполняемом модуле) прописать текст, содержащий, в том числе, следующее:

Мне это показалось неприемлемым, и пришлось код переписать. Это сказалось на быстродействии программы (в лучшую сторону, кстати, хотя «читабельность» кода несколько пострадала). Во многом благодаря использованию библиотек “Intel Performance Primitives”, но и сам кое-что оптимизировал, вроде MEL-фильтра. Тем не менее, проверка на тестовых данных показала, что получаемые MFCC-коэффициенты полностью аналогичны тем, что получаются при помощи, например, утилиты sphinx_fe.

В программах sphinxbase вычисление MFCC-коэффициентов производится следующими шагами:

Шаг	Функция sphinxbase	Суть операции
1	fe_pre_emphasis	Из текущего отсчёта вычитается большая часть предыдущего отсчета (например, 0.97 от его значения). Примитивный фильтр, отбрасывающий нижние частоты.
2	fe_hamming_window	Окно Хемминга – вносит затухание в начале и конце кадра
3	fe_fft_real	Быстрое преобразование Фурье
4	fe_spec2magnitude	Из обычного спектра получаем спектр мощности, теряя фазу
5	fe_mel_spec	Группируем частоты спектра [например, 256 штук] в 40 кучек, используя MEL-шкалу и весовые коэффициенты
6	fe_mel_cep	Берём логарифм и применяем DCT2-преобразование к 40 значениям из предыдущего шага. Оставляем первые 13 значений результата. Есть несколько вариантов DCT2 (HTK, legacy, классический), отличающихся константой, на которую мы делим полученные коэффициенты, и особой константой для нулевого коэффициента. Можно выбрать любой вариант, сути это не изменит.

В эти шаги ещё вклиниваются функции, которые позволяют отделить сигнал от шума и от тишины, типа fe_track_snr, fe_vad_hangover, но нам они не нужны, и отвлекаться на них не будем.

Были выполнены следующие замены для шагов по получению MFCC-коэффициентов:

Источник