kivy/PyAudioで録音アプリを作ってみた

kivyはモバイルにも対応したGUIアプリ開発ライブラリです。今回はモバイルアプリを意識して別ページで用意した設定画面をスワイプで呼び出せる録音アプリの作り方を紹介します。録音はPyAudio、波形表示はmatplotlibと連携しています。

こんにちは。wat(@watlablog)です。今回はkivyによるモバイル用録音アプリのPythonコード例を紹介します！

目次（項目クリックでジャンプできます）

この記事の目標と前提知識

目標：動画で完成イメージを確認する

アプリの仕様を色々説明する前に、完成イメージを動画で確認してみましょう。以下のYouTube動画に本アプリをデスクトップ環境で動作させた結果を示します。

前提知識

kivyの基本コーディングスタイル

kivyはPythonコードとkv言語によるコードを組み合わせてGUIアプリを開発します。このページでは基本の書き方の説明をしないので、インストールを含む基礎は以下の記事を参照してください。

Python/kivyでGUIアプリ開発！基本の書き方を学ぶ

matplotlibとの連携方法

録音したデータはmatplotlibを使ってプロットします。kivyでmatplotlibを埋め込む方法は少しやっかいな要素があります。matplotlibをkivy上で使うためには、以下の記事の内容を把握しておいてください。

kivyでmatplotlibを使う時にハマったので解決の備忘録

PyAudioによる録音方法

クロスプラットフォームの録音ライブラリとして、PythonではPyAudioが有名です。WATLABブログでも録音関係のコードはPyAudioで書いていました。

PyAudioはPythonのバージョンやOSによってはインストール時にエラー発生する可能性があります。「Python3.7でPyAudioがインストールできない時の解決法」の記事ではその辺の説明をしています。

録音に関する基本は「PythonのPyAudioで音声録音する簡単な方法」、また今回のアプリでマイクチャンネルを自動取得する方法は「Python/PyAudioでマイクのチャンネルを確認する方法！」に記載しました。

classの知識

GUIアプリを作る時はclassを使って効率よく記述することがほぼ不可欠です。
classとは設計図のようなもので、実際に使うためにはインスタンス化（実体化）させる必要がありました。

Pythonにおけるclassの考え方、初期化時に実行されるコンストラクタやメソッドの考え方は「Pythonのクラスの使い方とオブジェクト指向の考え方を理解する」にまとめましたので、こちらも前提知識としています。

また、WATLABブログでは過去に信号処理アプリをwxPythonというGUIアプリ開発ライブラリで作ってみました。

この時はGUIに関する機能（ボタンのクリックやファイルの取り扱い）、信号処理に関する機能…と機能毎にファイルを分けていました。今回もその考え方を踏襲してプログラミングをします。詳しくは以下の記事を参考にしてください。

アプリ完成編：wxPythonで信号処理のGUIアプリをつくろう⑥

しかしこの考え方はIT初心者の筆者が我流でやっているだけなので、もしかしたらもっとスマートな方法があるかも知れません。その点はご了承ください。

kivyとPyAudioで作る録音アプリのPythonコード

動作環境

この記事のコードは以下のPC環境とPython環境で動作を確認しました。今回はデスクトップ環境における動作確認のみとなります。

Mac	OS	macOS Catalina 10.15.7
	CPU	1.4[GHz]
	メモリ	8[GB]

Python	Python 3.9.6
PyCharm (IDE)	PyCharm CE 2020.1
Numpy	1.21.1
Scipy	1.4.1
Pandas	1.0.5
matplotlib	3.4.3
PySoundFile	0.9.0.post1
kivy	2.1.0
Kivy-Garden	0.1.5

コード

my.kv

ボタンやラベルといったウィジェットを記述するkvファイルを以下に示します。ここではPageLayoutを使ってスワイプによる画面遷移を設定しています。kvファイルの名称は「my.kv」です。

#:kivy 2.1.0
<Root>:
    PageLayout:
        BoxLayout:
            id:viewer
            orientation:'vertical'
            size:root.width, root.height

            Button:
                id:record_button
                text:'REC'
                size_hint_y:0.2
                on_release:
                    self.state = 'down'
                    root.on_button()
                    self.state = 'normal'

        BoxLayout:
            orientation:'vertical'
            size:root.width, root.height

            canvas.before:
                Color:
                    rgba:0, 0, 0, 0.9
                Rectangle:
                    pos:self.pos
                    size:self.size

            BoxLayout:
                orientation:'horizontal'
                size_hint_y:0.25

                Label:
                    text:'Record time[s]'
                    font_size:36
                TextInput:
                    id:record_time
                    text:'1'
                    font_size:50
                    halign: 'center'
                    input_filter:'float'
                    padding_y:[50,0]

            BoxLayout:
                orientation:'horizontal'
                size_hint_y:0.25

                Label:
                    text:'Frame size'
                    font_size:36
                TextInput:
                    id:frame_size
                    text:'1024'
                    font_size:50
                    halign: 'center'
                    input_filter:'int'
                    padding_y:[50,0]

            BoxLayout:
                orientation:'horizontal'
                size_hint_y:0.25

                Label:
                    text:''
                TextInput:
                    text:''

            BoxLayout:
                orientation:'horizontal'
                size_hint_y:0.25

                Label:
                    text:''
                TextInput:
                    text:''

#:kivy 2.1.0

<Root>:

PageLayout:

BoxLayout:

id:viewer

orientation:'vertical'

size:root.width, root.height

Button:

id:record_button

text:'REC'

size_hint_y:0.2

on_release:

self.state = 'down'

root.on_button()

self.state = 'normal'

BoxLayout:

orientation:'vertical'

size:root.width, root.height

canvas.before:

Color:

rgba:0, 0, 0, 0.9

Rectangle:

pos:self.pos

size:self.size

BoxLayout:

orientation:'horizontal'

size_hint_y:0.25

Label:

text:'Record time[s]'

font_size:36

TextInput:

id:record_time

text:'1'

font_size:50

halign: 'center'

input_filter:'float'

padding_y:[50,0]

BoxLayout:

orientation:'horizontal'

size_hint_y:0.25

Label:

text:'Frame size'

font_size:36

TextInput:

id:frame_size

text:'1024'

font_size:50

halign: 'center'

input_filter:'int'

padding_y:[50,0]

BoxLayout:

orientation:'horizontal'

size_hint_y:0.25

Label:

text:''

TextInput:

text:''

BoxLayout:

orientation:'horizontal'

size_hint_y:0.25

Label:

text:''

TextInput:

text:''

スワイプして持ってくる2ページ目はBoxLayoutにLabelとTextInputを設置しています。設定画面をスワイプで持ってくると、背景色が設定されていないウィジェット（ここではLabel）の背景に1ページ目の画面が映り込みます。

これを防ぐためにcanvas.before:を書いて背景を四角形で作成しました（アルファチャンネルを0.9にすることで少し透明にしています）。

TextInputにはy方向にPaddingを入れていますが、これはデフォルトだとテキストが一番上にはりついて見えるため、少し下げる意味で設定しました（valignでは中央揃えができない）。

Buttonのイベント（on_release）やTextInputの値参照の兼ね合いから、今回はRootクラスのみでGUIを表現しました（idsで検索しやすくしている）。

dspToolkit.py

dspToolkit.pyは信号処理関係の機能をclassにまとめたPythonファイルです。「アプリ完成編：wxPythonで信号処理のGUIアプリをつくろう⑥」で作成したものに録音機能のメソッド（record()、get_mic_index()）を追加してあります。

import soundfile as sf
import numpy as np
import pandas as pd
from scipy import fftpack
from scipy import signal
import pyaudio

class DspToolkit():
    def __init__(self):
        '''コンストラクタ '''

        # 時間波形関係の変数
        self.time_y = []
        self.time_y_original = []
        self.time_x = []
        self.sampling = 44100
        self.dt = 0
        self.length = 0
        self.record_time = 0

        # フーリエ変換で使う変数
        self.frame_size = 1024
        self.overlap = 0
        self.dbref = 2e-5
        self.averaging = 0
        self.fft_axis = []
        self.fft_mean = []
        self.fft_array = []
        self.acf = 0

        # フィルタ処理で使う変数
        self.lp_freq = 1000
        self.hp_freq = 1000
        self.bp_freq_low = 500
        self.bp_freq_high = 1000
        self.bs_freq_low = 500
        self.bs_freq_high = 1000
        self.attenuation_pass = 3
        self.attenuation_stop = 40

    def open_wav(self, path):
        ''' パスを受け取ってwavファイルを読み込む '''

        self.time_y, self.sampling = sf.read(path)
        self.time_y_original = self.time_y.copy()
        self.get_time_information()

    def open_csv(self, path):
        ''' パスを受け取ってcsvファイルを読み込む '''

        df = pd.read_csv(path, encoding='SHIFT-JIS')
        self.time_y = df.T.iloc[1]
        self.time_y_original = self.time_y.copy()
        self.sampling = 1 / df.T.iloc[0, 1]
        self.get_time_information()

    def get_time_information(self):
        ''' Time plotの表示器に表示させる情報の計算と時間軸作成を行う '''

        self.dt = 1 / self.sampling
        self.time_x = np.arange(0, len(self.time_y), 1) * self.dt
        self.length = len(self.time_x) * self.dt
        print('Time waveform information was obtained.')

    def calc_overlap(self):
        ''' 時間波形をオーバーラップ率で切り出してリスト化する '''

        frame_cycle = self.frame_size / self.sampling
        x_ol = self.frame_size * (1 - (self.overlap / 100))
        self.averaging = int((self.length - (frame_cycle * (self.overlap / 100))) / (frame_cycle * (1 - (self.overlap / 100))))
        time_array = []
        final_time = 0
        if self.averaging != 0:
            for i in range(self.averaging):
                ps = int(x_ol * i)
                time_array.append(self.time_y[ps:ps+self.frame_size:1])
                final_time = (ps + self.frame_size) / self.sampling

            print('Frame size=', self.frame_size)
            print('Frame cycle=', frame_cycle)
            print('averaging=', self.averaging)
            return time_array, final_time
        return time_array, final_time

    def hanning(self, time_array):
        ''' ハニング窓をかけ振幅補正係数ACFを計算する '''

        han = signal.hann(self.frame_size)
        self.acf = 1 / (sum(han) / self.frame_size)

        # オーバーラップされた複数時間波形全てに窓関数をかける
        for i in range(self.averaging):
            time_array[i] = time_array[i] * han
        return time_array

    def fft(self, time_array):
        ''' 平均化フーリエ変換をする '''

        fft_array = []
        for i in range(self.averaging):
            # FFTをして配列に追加、窓関数補正値をかけ、(Fs/2)の正規化を実施。
            fft_array.append(self.acf * np.abs(fftpack.fft(np.array(time_array[i])) / (self.frame_size / 2)))

        # 全てのFFT波形のパワー平均を計算してから振幅値とする。
        self.fft_axis = np.linspace(0, self.sampling, self.frame_size)
        self.fft_array = np.array(fft_array)
        self.fft_mean = np.sqrt(np.mean(self.fft_array ** 2, axis=0))

    def db(self, x, dBref):
        ''' dB変換をする '''

        y = 20 * np.log10(x / dBref)
        return y

    def filter(self, filter_type):
        ''' フィルタをかける '''

        # ナイキスト周波数fnを設定して通過域端周波数wpと阻止域端周波数wsを正規化
        # 阻止域周波数は通過域周波数の2倍にしている仕様（ここは目的に応じて変えても良い）
        fn = self.sampling / 2

        # Lowpassフィルタ
        if filter_type == 'low':
            wp = self.lp_freq / fn
            ws = (self.lp_freq * 2) / fn

            try:
                # フィルタ次数とバタワース正規化周波数を計算
                N, Wn = signal.buttord(wp, ws, self.attenuation_pass, self.attenuation_stop)

                # フィルタ伝達関数の分子と分母を計算
                b, a = signal.butter(N, Wn, filter_type)
                self.time_y = signal.filtfilt(b, a, self.time_y)
            except ValueError:
                return -1

        # Highpassフィルタ
        if filter_type == 'high':
            wp = self.hp_freq / fn
            ws = (self.hp_freq * 2) / fn

            try:
                # フィルタ次数とバタワース正規化周波数を計算
                N, Wn = signal.buttord(wp, ws, self.attenuation_pass, self.attenuation_stop)

                # フィルタ伝達関数の分子と分母を計算
                b, a = signal.butter(N, Wn, filter_type)
                self.time_y = signal.filtfilt(b, a, self.time_y)
            except ValueError:
                return -1

        # bandpassフィルタ
        if filter_type == 'band':
            fp = np.array([float(self.bp_freq_low), float(self.bp_freq_high)])
            fs = np.array([float(self.bp_freq_low)/2, float(self.bp_freq_high)*2])

            wp = fp / fn
            ws = fs / fn

            try:
                # フィルタ次数とバタワース正規化周波数を計算
                N, Wn = signal.buttord(wp, ws, self.attenuation_pass, self.attenuation_stop)

                # フィルタ伝達関数の分子と分母を計算
                b, a = signal.butter(N, Wn, filter_type)
                self.time_y = signal.filtfilt(b, a, self.time_y)
            except ValueError:
                return -1

        # bandstopフィルタ
        if filter_type == 'bandstop':
            fp = np.array([float(self.bs_freq_low), float(self.bs_freq_high)])
            fs = np.array([float(self.bs_freq_low) / 2, float(self.bs_freq_high) * 2])

            wp = fp / fn
            ws = fs / fn

            try:
                # フィルタ次数とバタワース正規化周波数を計算
                N, Wn = signal.buttord(wp, ws, self.attenuation_pass, self.attenuation_stop)

                # フィルタ伝達関数の分子と分母を計算
                b, a = signal.butter(N, Wn, filter_type)
                self.time_y = signal.filtfilt(b, a, self.time_y)
            except ValueError:
                return -1
        return 0

    def get_mic_index(self):
        ''' マイクチャンネルのindexをリストで取得する '''

        # 最大入力チャンネル数が0でない項目をマイクチャンネルとしてリストに追加
        pa = pyaudio.PyAudio()
        mic_list = []
        for i in range(pa.get_device_count()):
            num_of_input_ch = pa.get_device_info_by_index(i)['maxInputChannels']

            if num_of_input_ch != 0:
                mic_list.append(pa.get_device_info_by_index(i)['index'])

        return mic_list

    def record(self, index, samplerate, fs, time):
        ''' 録音する関数 '''

        pa = pyaudio.PyAudio()

        # ストリームの開始
        data = []
        dt = 1 / samplerate
        stream = pa.open(format=pyaudio.paInt16, channels=1, rate=samplerate,
                         input=True, input_device_index=index, frames_per_buffer=fs)

        # フレームサイズ毎に音声を録音していくループ
        for i in range(int(((time / dt) / fs))):
            frame = stream.read(fs)
            data.append(frame)

        # ストリームの終了
        stream.stop_stream()
        stream.close()
        pa.terminate()

        # データをまとめる処理
        data = b"".join(data)

        # データをNumpy配列に変換/時間軸を作成
        data = np.frombuffer(data, dtype="int16") / float((np.power(2, 16) / 2) - 1)
        t = np.arange(0, fs * (i + 1) * (1 / samplerate), 1 / samplerate)

        return data, t

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

import soundfile as sf

import numpy as np

import pandas as pd

from scipy import fftpack

from scipy import signal

import pyaudio

class DspToolkit():

def __init__(self):

'''コンストラクタ '''

# 時間波形関係の変数

self.time_y = []

self.time_y_original = []

self.time_x = []

self.sampling = 44100

self.dt = 0

self.length = 0

self.record_time = 0

# フーリエ変換で使う変数

self.frame_size = 1024

self.overlap = 0

self.dbref = 2e-5

self.averaging = 0

self.fft_axis = []

self.fft_mean = []

self.fft_array = []

self.acf = 0

# フィルタ処理で使う変数

self.lp_freq = 1000

self.hp_freq = 1000

self.bp_freq_low = 500

self.bp_freq_high = 1000

self.bs_freq_low = 500

self.bs_freq_high = 1000

self.attenuation_pass = 3

self.attenuation_stop = 40

def open_wav(self, path):

''' パスを受け取ってwavファイルを読み込む '''

self.time_y, self.sampling = sf.read(path)

self.time_y_original = self.time_y.copy()

self.get_time_information()

def open_csv(self, path):

''' パスを受け取ってcsvファイルを読み込む '''

df = pd.read_csv(path, encoding='SHIFT-JIS')

self.time_y = df.T.iloc[1]

self.time_y_original = self.time_y.copy()

self.sampling = 1 / df.T.iloc[0, 1]

self.get_time_information()

def get_time_information(self):

''' Time plotの表示器に表示させる情報の計算と時間軸作成を行う '''

self.dt = 1 / self.sampling

self.time_x = np.arange(0, len(self.time_y), 1) * self.dt

self.length = len(self.time_x) * self.dt

print('Time waveform information was obtained.')

def calc_overlap(self):

''' 時間波形をオーバーラップ率で切り出してリスト化する '''

frame_cycle = self.frame_size / self.sampling

x_ol = self.frame_size * (1 - (self.overlap / 100))

self.averaging = int((self.length - (frame_cycle * (self.overlap / 100))) / (frame_cycle * (1 - (self.overlap / 100))))

time_array = []

final_time = 0

if self.averaging != 0:

for i in range(self.averaging):

ps = int(x_ol * i)

time_array.append(self.time_y[ps:ps+self.frame_size:1])

final_time = (ps + self.frame_size) / self.sampling

print('Frame size=', self.frame_size)

print('Frame cycle=', frame_cycle)

print('averaging=', self.averaging)

return time_array, final_time

def hanning(self, time_array):

''' ハニング窓をかけ振幅補正係数ACFを計算する '''

han = signal.hann(self.frame_size)

self.acf = 1 / (sum(han) / self.frame_size)

# オーバーラップされた複数時間波形全てに窓関数をかける

for i in range(self.averaging):

time_array[i] = time_array[i] * han

return time_array

def fft(self, time_array):

''' 平均化フーリエ変換をする '''

fft_array = []

for i in range(self.averaging):

# FFTをして配列に追加、窓関数補正値をかけ、(Fs/2)の正規化を実施。

fft_array.append(self.acf * np.abs(fftpack.fft(np.array(time_array[i])) / (self.frame_size / 2)))

# 全てのFFT波形のパワー平均を計算してから振幅値とする。

self.fft_axis = np.linspace(0, self.sampling, self.frame_size)

self.fft_array = np.array(fft_array)

self.fft_mean = np.sqrt(np.mean(self.fft_array ** 2, axis=0))

def db(self, x, dBref):

''' dB変換をする '''

y = 20 * np.log10(x / dBref)

return y

def filter(self, filter_type):

''' フィルタをかける '''

# ナイキスト周波数fnを設定して通過域端周波数wpと阻止域端周波数wsを正規化

# 阻止域周波数は通過域周波数の2倍にしている仕様（ここは目的に応じて変えても良い）

fn = self.sampling / 2

# Lowpassフィルタ

if filter_type == 'low':

wp = self.lp_freq / fn

ws = (self.lp_freq * 2) / fn

try:

# フィルタ次数とバタワース正規化周波数を計算

N, Wn = signal.buttord(wp, ws, self.attenuation_pass, self.attenuation_stop)

# フィルタ伝達関数の分子と分母を計算

b, a = signal.butter(N, Wn, filter_type)

self.time_y = signal.filtfilt(b, a, self.time_y)

except ValueError:

return -1

# Highpassフィルタ

if filter_type == 'high':

wp = self.hp_freq / fn

ws = (self.hp_freq * 2) / fn

try:

# フィルタ次数とバタワース正規化周波数を計算

N, Wn = signal.buttord(wp, ws, self.attenuation_pass, self.attenuation_stop)

# フィルタ伝達関数の分子と分母を計算

b, a = signal.butter(N, Wn, filter_type)

self.time_y = signal.filtfilt(b, a, self.time_y)

except ValueError:

return -1

# bandpassフィルタ

if filter_type == 'band':

fp = np.array([float(self.bp_freq_low), float(self.bp_freq_high)])

fs = np.array([float(self.bp_freq_low)/2, float(self.bp_freq_high)*2])

wp = fp / fn

ws = fs / fn

try:

# フィルタ次数とバタワース正規化周波数を計算

N, Wn = signal.buttord(wp, ws, self.attenuation_pass, self.attenuation_stop)

# フィルタ伝達関数の分子と分母を計算

b, a = signal.butter(N, Wn, filter_type)

self.time_y = signal.filtfilt(b, a, self.time_y)

except ValueError:

return -1

# bandstopフィルタ

if filter_type == 'bandstop':

fp = np.array([float(self.bs_freq_low), float(self.bs_freq_high)])

fs = np.array([float(self.bs_freq_low) / 2, float(self.bs_freq_high) * 2])

wp = fp / fn

ws = fs / fn

try:

# フィルタ次数とバタワース正規化周波数を計算

N, Wn = signal.buttord(wp, ws, self.attenuation_pass, self.attenuation_stop)

# フィルタ伝達関数の分子と分母を計算

b, a = signal.butter(N, Wn, filter_type)

self.time_y = signal.filtfilt(b, a, self.time_y)

except ValueError:

return -1

return 0

def get_mic_index(self):

''' マイクチャンネルのindexをリストで取得する '''

# 最大入力チャンネル数が0でない項目をマイクチャンネルとしてリストに追加

pa = pyaudio.PyAudio()

mic_list = []

for i in range(pa.get_device_count()):

num_of_input_ch = pa.get_device_info_by_index(i)['maxInputChannels']

if num_of_input_ch != 0:

mic_list.append(pa.get_device_info_by_index(i)['index'])

return mic_list

def record(self, index, samplerate, fs, time):

''' 録音する関数 '''

pa = pyaudio.PyAudio()

# ストリームの開始

data = []

dt = 1 / samplerate

stream = pa.open(format=pyaudio.paInt16, channels=1, rate=samplerate,

input=True, input_device_index=index, frames_per_buffer=fs)

# フレームサイズ毎に音声を録音していくループ

for i in range(int(((time / dt) / fs))):

frame = stream.read(fs)

data.append(frame)

# ストリームの終了

stream.stop_stream()

stream.close()

pa.terminate()

# データをまとめる処理

data = b"".join(data)

# データをNumpy配列に変換/時間軸を作成

data = np.frombuffer(data, dtype="int16") / float((np.power(2, 16) / 2) - 1)

t = np.arange(0, fs * (i + 1) * (1 / samplerate), 1 / samplerate)

return data, t

使っていないメソッドも一緒に記載していますが、今後のためにそのままにしています。

過去に作ったclassファイルがそのまま使えることに感動！これがオブジェクト指向の強みでしょうか。

main.py

最後はメインの処理を記述するPythonファイルです。このファイルを実行することでプログラムが動作します。

過去記事ではmatplotlibを連携させるために、PlotWidgetとRootの2つのclassを使っていました。しかし、それだとそれぞれのクラス間でデータのやり取りを行うのが難しかったので、今回はRootのみを使って主要のイベント処理を行う構成にしました。

Rootの中でDspToolkitクラスをインスタンス化し、self.dsp…を使ってDspToolkitクラス内のプロパティ値を更新していくやり方が個人的には腑に落ちたからです。

クラスが2つ以上あると共通の実体を使うことができないため、データのやり取りに苦労しました（グローバル変数は使いたくない…）。

TextInputに入力させていた計測時間とフレームサイズ（1回の録音チャンクで取得するデータポイント数）を読み込んで録音しますが、無効な値とならないようにon_buttonメソッドのif文で制限をかけました（計測時間はとりあえず60を設定。長すぎるとメモリやストレージを圧迫するため）。

from kivy.app import App
from kivy.uix.boxlayout import BoxLayout
from kivy.garden.matplotlib.backend_kivyagg import FigureCanvasKivyAgg
from kivy.core.window import Window
from matplotlib import pyplot as plt
from dspToolkit import DspToolkit

class Root(BoxLayout):
    ''' Pythonで計算をした結果をmatplotlibでプロットするクラス '''

    def __init__(self, **kwargs):
        super().__init__(**kwargs)
        ''' コンストラクタ:プロットの初期化とDspToolkitのインスタンス化を行う'''

        # プロットの初期化
        x = []
        y = []
        self.fig = self.plot(x, y)

        # ウィジェットとしてfigをラップする
        self.ids.viewer.add_widget(FigureCanvasKivyAgg(self.fig))

        # DspToolkitをインスタンス化する
        self.dsp = DspToolkit()

    def on_button(self):
        ''' ボタンがクリックされた時のイベント：波形を更新する '''

        # TextInputからの入力値を引用する（kvのTextInputでfilterしているので数値変換は保証されている）
        self.dsp.record_time = float(self.ids.record_time.text)
        self.dsp.frame_size = int(self.ids.frame_size.text)

        # 測定時間が指定範囲外であれば測定をしない
        min_time = 0
        max_time = 60
        if self.dsp.record_time > min_time and self.dsp.record_time <= max_time:
            pass
        else:
            print('Error:Record time is out of range!')
            return

        # フレームサイズ範囲外であれば測定をしない
        min_frame_size = 0
        max_frame_size = 10000
        if self.dsp.frame_size > min_frame_size and self.dsp.frame_size <= max_frame_size:
            pass
        else:
            print('Error:Frame size is out of range!')
            return

        # マイクチャンネルを自動で取得（最初のマイクを使用する）
        mic_ch = self.dsp.get_mic_index()[0]

        # 録音する
        print('Record time[s]=', self.dsp.record_time)
        print('Sampling rate[Hz]=', self.dsp.sampling)
        print('Frame size=', self.dsp.frame_size)
        data, t = self.dsp.record(mic_ch, self.dsp.sampling, self.dsp.frame_size, self.dsp.record_time)

        # figの再作成
        plt.close()
        self.fig = self.plot(t, data)

        # 値の更新（ウィジェットを削除して新しく追加している。ボタンも一緒に消して再度addしている。なんかもっと良い方法が？？）
        temp_button = self.children[0].children[1].children[1]
        self.children[0].children[1].clear_widgets()
        self.ids.viewer.add_widget(temp_button)
        self.ids.viewer.add_widget(FigureCanvasKivyAgg(self.fig))

        return


    def plot(self, x, y):
        ''' プロットする共通のメソッド '''

        # フォントの種類とサイズを設定する。
        plt.rcParams['font.size'] = 20
        plt.rcParams['font.family'] = 'Times New Roman'

        # 目盛を内側にする。
        plt.rcParams['xtick.direction'] = 'in'
        plt.rcParams['ytick.direction'] = 'in'

        # Subplot設定とグラフの上下左右に目盛線を付ける。
        self.fig = plt.figure()
        self.ax1 = self.fig.add_subplot(111)
        self.ax1.yaxis.set_ticks_position('both')
        self.ax1.xaxis.set_ticks_position('both')

        # 軸のラベルを設定する。
        self.ax1.set_xlabel('Time[s]')
        self.ax1.set_ylabel('Amplitude')

        # スケールを設定する。
        #self.ax1.set_xlim(0, 10)
        #self.ax1.set_ylim(-1, 1)

        # プロット
        self.ax1.plot(x, y, lw=1)

        # レイアウト設定
        self.fig.tight_layout()

        return self.fig

class MyApp(App):
    title = 'WATLAB Recorder'

    # デスクトップ環境上でモバイル画面の比率を検証するためにサイズ設定をしている（正式には外す）
    ratio = 16 / 9
    w = 400
    Window.size = (w, w * ratio)

    def build(self):
        return Root()

if __name__ == '__main__':
    MyApp().run()

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

from kivy.app import App

from kivy.uix.boxlayout import BoxLayout

from kivy.garden.matplotlib.backend_kivyagg import FigureCanvasKivyAgg

from kivy.core.window import Window

from matplotlib import pyplot as plt

from dspToolkit import DspToolkit

class Root(BoxLayout):

''' Pythonで計算をした結果をmatplotlibでプロットするクラス '''

def __init__(self, **kwargs):

super().__init__(**kwargs)

''' コンストラクタ:プロットの初期化とDspToolkitのインスタンス化を行う'''

# プロットの初期化

x = []

y = []

self.fig = self.plot(x, y)

# ウィジェットとしてfigをラップする

self.ids.viewer.add_widget(FigureCanvasKivyAgg(self.fig))

# DspToolkitをインスタンス化する

self.dsp = DspToolkit()

def on_button(self):

''' ボタンがクリックされた時のイベント：波形を更新する '''

# TextInputからの入力値を引用する（kvのTextInputでfilterしているので数値変換は保証されている）

self.dsp.record_time = float(self.ids.record_time.text)

self.dsp.frame_size = int(self.ids.frame_size.text)

# 測定時間が指定範囲外であれば測定をしない

min_time = 0

max_time = 60

if self.dsp.record_time > min_time and self.dsp.record_time <= max_time:

pass

else:

print('Error:Record time is out of range!')

return

# フレームサイズ範囲外であれば測定をしない

min_frame_size = 0

max_frame_size = 10000

if self.dsp.frame_size > min_frame_size and self.dsp.frame_size <= max_frame_size:

pass

else:

print('Error:Frame size is out of range!')

return

# マイクチャンネルを自動で取得（最初のマイクを使用する）

mic_ch = self.dsp.get_mic_index()[0]

# 録音する

print('Record time[s]=', self.dsp.record_time)

print('Sampling rate[Hz]=', self.dsp.sampling)

print('Frame size=', self.dsp.frame_size)

data, t = self.dsp.record(mic_ch, self.dsp.sampling, self.dsp.frame_size, self.dsp.record_time)

# figの再作成

plt.close()

self.fig = self.plot(t, data)

# 値の更新（ウィジェットを削除して新しく追加している。ボタンも一緒に消して再度addしている。なんかもっと良い方法が？？）

temp_button = self.children[0].children[1].children[1]

self.children[0].children[1].clear_widgets()

self.ids.viewer.add_widget(temp_button)

self.ids.viewer.add_widget(FigureCanvasKivyAgg(self.fig))

return

def plot(self, x, y):

''' プロットする共通のメソッド '''

# フォントの種類とサイズを設定する。

plt.rcParams['font.size'] = 20

plt.rcParams['font.family'] = 'Times New Roman'

# 目盛を内側にする。

plt.rcParams['xtick.direction'] = 'in'

plt.rcParams['ytick.direction'] = 'in'

# Subplot設定とグラフの上下左右に目盛線を付ける。

self.fig = plt.figure()

self.ax1 = self.fig.add_subplot(111)

self.ax1.yaxis.set_ticks_position('both')

self.ax1.xaxis.set_ticks_position('both')

# 軸のラベルを設定する。

self.ax1.set_xlabel('Time[s]')

self.ax1.set_ylabel('Amplitude')

# スケールを設定する。

#self.ax1.set_xlim(0, 10)

#self.ax1.set_ylim(-1, 1)

# プロット

self.ax1.plot(x, y, lw=1)

# レイアウト設定

self.fig.tight_layout()

return self.fig

class MyApp(App):

title = 'WATLAB Recorder'

# デスクトップ環境上でモバイル画面の比率を検証するためにサイズ設定をしている（正式には外す）

ratio = 16 / 9

w = 400

Window.size = (w, w * ratio)

def build(self):

return Root()

if __name__ == '__main__':

MyApp().run()

実行結果

プログラムを実行すると、冒頭の動画で示したとおりの結果を得ます。
GIF動画も参考に載せておきます。

まとめ

kivyとmatplotlib、PyAudioを連携させてスワイプ機能付きの録音アプリを作ってみました。

wavファイルへの保存や周波数分析といった機能追加は既に過去記事で行っているので、あとはそれほど難しくないでしょう。

今回はできるだけシンプルな構成にまとめたかったのでここで終わりですが、録音結果の周波数分析機能追加等は別記事にしようと思います。

最終的にはiOSアプリまでできると良いのですが、それはまだ未知なので今後に期待。

こんなに短時間で録音アプリができるとは思いませんでした！
Twitterでも関連情報をつぶやいているので、wat(@watlablog)のフォローお待ちしています！

kivy/PyAudioで録音アプリを作ってみた

この記事の目標と前提知識

目標：動画で完成イメージを確認する

前提知識

kivyの基本コーディングスタイル

matplotlibとの連携方法

PyAudioによる録音方法

classの知識

kivyとPyAudioで作る録音アプリのPythonコード

動作環境

コード

my.kv

dspToolkit.py

main.py

実行結果

まとめ

コメントを残すコメントをキャンセル

最近の投稿

アーカイブ

カテゴリー

この記事の目標と前提知識

目標：動画で完成イメージを確認する

前提知識

kivyの基本コーディングスタイル

matplotlibとの連携方法

PyAudioによる録音方法

classの知識

kivyとPyAudioで作る録音アプリのPythonコード

動作環境

コード

my.kv

dspToolkit.py

main.py

実行結果

まとめ

SNSでもご購読できます。

コメントを残す コメントをキャンセル

最近の投稿

アーカイブ

カテゴリー

コメントを残すコメントをキャンセル