2018 MakeNTU 工作坊

3/25@博雅202

Created by MakeNTU Mentors

Slides Link

To export pdf:

• Click this link
• Print this page as pdf(另存為pdf)

Usage:

• Press "Space" to next page or action
• Press "Esc" to navigate

Wifi

ssid: MakeNTU

password: makentu2018

Speaker

沈昶劭

台大電機三年級

• 開發板(Arduino, RPi, LinkIt...)
• 3D繪圖 & 列印
• Web(React & Node.js), Android App
• ML with Tensorflow, OpenAI Gym

今天要做的東西...

車車Againnnnn

小車Powered by...

• Google Cloud Speech API
• Azure Computer Vision API

Demo

Speech Mode

Requirements

• 聽聲音指令
• 左右轉 & 停止

CV Mode

Requirements

• 從相機看指令
• 左右轉 & 停止

系統架構

CV mode 架構

Speech mode 架構

HTTP 通訊協定

API

=Application Programming Interface

=黑盒子(?)

API Playground

• Google Cloud Speech API
• Azure Computer Vision API

Response

Server

• 定義API的URL(網址)
• 處理request，回應response

Client

• 對正確的URL發出request(GET, POST, ...)
• 處理response(直接顯示給user, 畫圖...)

系統架構

CV mode 架構

Speech mode 架構

Car Setup

Wiring

1. RPi pinout
2. Servo(pwm_pin: 18)
3. MFRC522(pin name的GPIO為BCM)
4. Motor with L293D(motor_pin: 23)
   控制一個馬達即可，L293D其中一個input可接地
5. webcam: 插USB

L293d wiring

API Setup (先用Azure)

1. Google Cloud Speech API
   在local筆電上做(不是RPi)!!
   這個先算了有空自己試...
2. Azure CV API
   (等等會需要複製這個key)

Test API

跑看看 car/tools/speech.py 然後講講話

若順利有transcript則表示setup成功

Test

Speech mode

Client端

• 編輯car/tools/speech.py 將翻譯結果轉成request(記得改RPi ip)

Server 端

• 編輯car/server.py 以成功接收request並左轉/右轉/停

CV mode

Server 端

• 編輯car/modules/camera.py 將webcam拍照的照片上傳azure並回傳response


• 編輯car/server.py 使車子接收照片分析結果並左轉/右轉/停

Note

• OpenCV Reference

RFID

Server 端

• 編輯car/rfid_thread.py 使車子讀到RFID卡時停止


• 編輯car/server.py 使車子讀到RFID卡時停止後開始聽取speech或CV的指令