We develop both physical surgical robot prototypes and VR-based simulators to study robot designs and control methods that surgeons can operate intuitively, both physically and cognitively.
手術支援ロボットの実機および仮想空間(VR)シミュレータをそれぞれ開発し、それらを用いて医師が身体的および認知的に操作しやすいロボットの設計や制御、AIモデルを明らかにしています。実機とVR、各々に得意な面を活かして研究できます。
Using brain activity and motion data measured in a VR-simulated surgical robot, we quantify "embodiment" — the degree to which a surgeon feels the robot as part of their own body — and use this to optimize robot structure and control alongside suturing accuracy.
医師がロボットを手術の道具として使用し、遠隔で操作するロボット手術が普及しています。本研究では、医師が直感的に操作できる手術支援ロボットを開発するため、仮想空間(VR)でロボットを模擬し、操作時のモーションや脳活動を確率的に解析することで、ロボットの構造や制御を設計する手法を研究しています。脳活動は、「道具の身体化」と呼ばれる認知的メカニズムを利用して、ロボットを自身の身体のように動かす度合いを定量化しています。設計においては、縫合精度やモーション、脳活動など複数の指標を満足化するような最適化を行っています。
For tasks where full autonomy is difficult, we develop semi-autonomous systems combining image recognition and AI-based inference with haptic guidance, allowing the operator to intervene only when needed while AI assists the rest of the operation.
ロボットの完全な自律化や自動化が難しく、操作自体も難しい場合があります。そのような場合、AIと人間の得意な面をお互いに補い合いながら作業する半自律操作が望ましいです。
ネジ外しなど対象の位置と姿勢を合わせるような操作では、画像認識とAIによる推論を用いて、適切な操作を力覚で誘導するようなシステムを開発しています。人は望ましい操作や意図した操作と異なる場合は操作に即座に介入し、そうでなければAIに誘導して作業を完遂できます。これによってどんな人でも熟練した操作が可能になります。
We are developing a system that enables remote, safe, and reliable execution of heavy-duty tasks — such as automobile dismantling — where the vehicle type and model cannot be fixed in advance, using robotic arms. When operating with two manipulator arms, dynamically repositioning the camera to an optimal viewpoint is essential for approaching the object from various angles, including the front, sides, and top. In this research, we are developing a system in which the camera automatically follows and positions itself in real time based on the current positions of the manipulator arms and the target object being dismantled.
This research is jointed with Denso Co.
自動車の解体など車種や種類を固定できない重労働の作業を、ロボットアームを用いて遠隔で安全安心に実施するシステムを開発しています。両手の作業アームで操作する際に、解体対象物の正面や側面、上面などの様々な面にアプローチするにはダイナミックにカメラを見やすい位置に動かす必要があります。本研究では、作業アームの移動した位置と解体対象物の位置に応じて、リアルタイムで動的に適切な位置へとカメラが追従するシステムを開発しています。
この研究は(株)デンソーと共同研究しています。
We are developing a brain-machine interface system that estimates a user's intended movement from scalp EEG signals and delivers timed electrical stimulation to the arm, supporting rehabilitation for patients with limb paralysis.
「考えただけでモノが動く」-そんな夢のような技術が実現しつつあります。ブレインマシンインタフェースと呼ばれる技術です。四肢が動かない麻痺患者などのリハビリテーションやコミュニケーション方法として期待されています。
本研究では、頭皮の表面の電位から人の思考を推定し、考えたタイミングで腕の表面から微弱な電気刺激を与えるシステムを開発しています。人の思考推定技術として、AIを用いて意図したタイミングを脳波から読み取っています。外部からの電気刺激は神経を通って、人の手足を屈曲や伸展させることができます。
Pouring molten metal into molds is a critical yet hazardous and physically demanding task. While production lines have become increasingly automated, high-mix low-volume manufacturing continues to rely on manual labor. In this research, we are developing a system for remotely performing molten metal pouring operations safely and reliably using a robotic arm. Our work includes force feedback modulated according to the remaining volume of liquid and the tilting angle of the ladle, as well as AR-based guidance assistance to support the operator.
鋳型に高温の液体金属を流し込む注湯作業は重要ですが危険な重労働です。ライン化が進んでいる一方で、多品種少量生産では人の手による作業が続いています。本研究ではロボットアームを用いて遠隔で注湯作業を安心安全に実施するシステムを開発しています。液体の残量や傾動角に応じた力覚フィードバックやARを用いたガイド支援などを開発しています。
We are developing a keyboard shaped to follow the natural arch of the hand, capable of detecting even small finger movements — designed for users whose typing speed and accuracy are affected by conditions such as hemiplegia.
片麻痺などの症状が発症すると、重症度によっては手指を素早く動かせず、キーボードのタイピングの速度や精度が低下してしまう場合があります。本研究では、人の手のアーチに沿った形状のキーボードを開発し、僅かな手指の動きでも検知して入力可能な手指密着型キーボードを開発しています。手指の動きによる構造決定やAIを用いた入力識別を行っています。
Using deep learning, we detect surgical instruments and needles in real time during endoscopic surgery and overlay this information using augmented reality to assist surgeons.
AI技術(ディープ・ラーニングなど)を活用した手術支援技術を開発しています。内視鏡外科手術において、画像内の医療用鉗子や針をリアルアイムに識別し、AR(拡張現実)などで支援する技術です。右図の黄色い線がARで表示された臓器内に刺入している針を示しています。
By projecting striped patterns onto stairs using augmented reality, we induce visual illusions that guide foot trajectories to help prevent falls when ascending or descending stairs.
拡張現実(AR)で階段に縞模様を表示して錯覚を引き起こすことで、階段で転倒しないように足の軌道を誘導します。
階段を登る時は縦線の縞模様で実際よりも階段の高さを高く感じさせて足の上げ幅を上昇させます。階段を降りる時は横線の縞模様で実際よりも段の幅を狭く感じさせて足の接地位置を滑りにくい位置に誘導します。
We are developing intuitive controllers and robotic guidance systems for endoscopes, catheters, and other slender instruments, leveraging the natural dexterity of the wrist for operation that feels like directly grasping the instrument tip.
内視鏡やカテーテルなどの細長構造物の操作は医療やインフラの検査や治療などで大変重要な役割を果たしています。しかし、それらの操作は独特で一般的に難しいとされています。
本研究では直感的に操作できるコントローラ、および、細長構造物をガイドするロボットシステムを開発しています。これにより手首回りの身体性を活かして誰でも直感的に操作できます。まるで内視鏡やカテーテルの頭を直接つかんで動かすような操作感です。
We develop an original intuitive interface that lets operators control robots and vehicles as if grasping them directly, applicable to endoscopes, drones, construction machinery, and robotic arms. This controller is being commercialized, including through a rental service — see Product for details.
世の中には様々な種類のロボットや乗り物がありますが、人間の身体とは異なる構造や形態(身体性の違い)をしているため、直感的な操作が困難な場合があります。
本研究では、ヒトがロボットを直接掴むような操作感を実現する独自のインタフェースを開発しています。人の身体性を考慮した構造設計や、AI識別を用いた制御などを研究しています。内視鏡やドローン、建設機械、ロボットアームなどに用いられています。特にこのコントローラはロボットや乗り物の速度制御を直感的に操作できます。
このインタフェースは高い評価を得て、レンタルサービスを始めとした事業化を目指しています。ご興味のある方はこちらをご覧ください。
In addition to the above, we conduct a variety of other research projects. Please contact us here for more details.