9608 VPN issue - Invalid Configuration

[uglog]

I have configured our 9608 phone using the below configuration
It appears to exchange keys and fails after 15 secs.

The error is VPN Tunnel Failure - Invalid Configuration

Does anyone know what this generic error actually means?

Is there a way I can access the log files of the phone to see the detailed error?

Any help would be appreciated





################################################## #
## VPN Mode
## 0: Disabled, 1: Enabled.
################################################## #

SET NVVPNMODE 1

################################################## #
## Vendor.
## 1: Juniper/Netscreen, 2. Cisco
## 3: CheckPoint/ Nokia 4: Other
## 5: Nortel.
################################################## #
SET NVVPNSVENDOR 1

################################################## #
## GATEWAY
################################################## #
SET NVSGIP **PUBLIC IP OF REMOTE ENDPOINT**

################################################## #
## Encapsulation Type.
## 0: 4500-4500, 1: Disabled
## 2: 2070-500, 3: ?
## 4: RFC (500-500)
################################################## #
SET NVVPNENCAPS 0

################################################## #
## Copy TOS.
## 1: Yes, 2: No
################################################## #
SET NVVPNCOPYTOS 2

################################################## #
## Authentication Type.
##
## [For Cisco/Juniper/Checkpoint/Other]
## 3: PSK, 4: PSK with Xauth
## 5: RSA signatures with Xauth, 6: Hybrid Xauth
## 7: RSA signatures.
##
## [Nortel Authentication Type]
## 1: Local credentials, 2: Radius Credentials.
## 3: Radius SecureID, 4: Radius Axent.
################################################## #
SET NVVPNAUTHTYPE 3

################################################## #
## Preshared KEY PSK
##################################################
SET NVIKEPSK "PSKKEY"

################################################## #
## VPN User Type.
## 1: Any, 2: User
################################################## #
SET NVVPNUSERTYPE 1

################################################## #
## VPN User name.
################################################## #
SET NVVPNUSER mscep1

################################################## #
## Password Type.
## 1: Save in Flash, 2: Erase on reset
## 3: Numeric OTP, 4: Alpha-Numeric OTP
## 5: Erase on VPN termination.
################################################## #
SET NVVPNPSWDTYPE 1

################################################## #
## User Password.
################################################## #
SET NVVPNPSWD mscep1

################################################## #
## IKE ID (Group Name).
################################################## #
SET NVIKEID mscep

################################################## #
## IKE ID Type.
## 1: IPv4_ADDR, 2: FQDN
## 3: USER_FQDN, 9: DER_ASN1_DN
## 11: Key ID
################################################## #
SET NVIKEIDTYPE 1

################################################## #
## IKE Xchg Mode.
## 1: Aggressive, 2: Identity Protect.
################################################## #
SET NVIKEXCHGMODE 2

################################################## #
## IKE DH Group.
################################################## #
SET NVIKEDHGRP 14

################################################## #
## IKE Encryption Algo.
## 1: AES-128, 2: 3DES
## 3: DEs 4: AEs-192
## 5: AES-256 0: Any
################################################## #
SET NVIKEP1ENCALG 5

################################################## #
## IKE Auth algo.
## 0: Any, 1: MD5
## 2: sHA-1
################################################## #
SET NVIKEP1AUTHALG 1

################################################## #
## IKE Config Mode.
## 0: Enabled, 1: Disabled.
################################################## #
SET NVIKECONFIGMODE 0

################################################## #
## IPsec PFS DH group.
################################################## #
#SET NVPFSDHGRP 14

################################################## #
## IPsec Encryption Algo.
## 1: AES-128, 2: 3DES
## 3: DEs 4: AEs-192
## 5: AES-256 6: None
## 0: Any
################################################## #
SET NVIKEP2ENCALG 5

################################################## #
## IPsec Authentication Algo.
## 0: Any, 1: MD5
## 2: sHA-1
################################################## #
SET NVIKEP2AUTHALG 1

################################################## #
## Specifies the IKE SA lifetime in seconds
################################################## #
SET NVIKEP1LIFESEC 86400
SET NVIKEP2LIFESEC 86400

################################################## #
## Protected Network.
################################################## #

#SET NVIPSECSUBNET 0.0.0.0/0, 0.0.0.0/0
################################################## #
## IKE Over TCP.
## 0: Never, 1: Auto
## 2: Always
################################################## #
SET NVIKEOVERTCP 1

################################################## #
## Craft access
## 0: Enabled, 1: only view option is available?
################################################## #

SET PROCSTAT 0
################################################## #
## VPN craft access
## 0: disabled, 1: view only
## 2: View and edit.
################################################## #

SET VPNPROC 2
################################################## #
## Call Server address
################################################## #

SET MCIPADD 192.168.0.4

################################################## #
## craft access code
################################################## #

SET PROCPSWD 27238

################################################## #
## VPN craft access code
################################################## #

# END

 

[uglog]

Hi, appreciate your comments. Just to clarify We managed to resolved the "Malformed payload" by updating the firmware on the phone.

The issue we have now is;
sending encrypted notification UNSUPPORTED_EXCHANGE_TYPE to 195.XX.XX.XX:4500
received MODECFG message when in state STATE_MAIN_R3, and we aren't xauth client

Any ideas what this could be?

 

[janni78]

I'm guessing one end is set for Xauth and the other is not.

Have you tried Google on the error messages, you get a lot of hits there as they are standard messages.
I could Google it for you but should go faster without the middleman =)

"Trying is the first step to failure..." - Homer

 

[uglog]

Yeap, not lazy like that lol...Googled straight off - see my post my post above - 25 Apr 17 11:19, which I think you skipped over see below

I have setup a few VPNs in my time (with this appliance) and never had an issue.

This Avaya phone is hard work to setup, and i'm just wondering if anyone actually managed to setup the VPN with any other branded VPN devices it lists on the documentation. In fact the lack of logging and generic errors on the phone makes it near impossible to troubleshoot.

QUOTED 25 Apr 17 11:19,
Yes, I have checked on the actual phone, the Auth encryption is MD5 for both IKE and And IPsec, see below

################################################## #
## IKE Auth algo.
## 0: Any, 1: MD5
## 2: sHA-1
################################################## #
SET NVIKEP1AUTHALG 1

################################################## #
## IPsec Authentication Algo.
## 0: Any, 1: MD5
## 2: sHA-1
################################################## #
SET NVIKEP2AUTHALG 1

This post suggests that the error is related to IP addresses...Link
.
"The problem is that if your remote network is using the same subnet as the local network then the router is not capable of knowing when it is supposed to send a request to the LAN or the Remote end"

The Protected Network subnet is different on the phone to firewall. I have also tried changing the protected network to 0.0.0.0/24 same error, which leads me to believe not ip related ...I have hit a brick wall

 

[janni78]

I've set this up against a bunch of other appliances, but it's pretty hard to guess where it goes wrong without seeing the configuration for both ends.
I usually used PSK with Xauth on my installations.

"Trying is the first step to failure..." - Homer

 

[uglog]

Hi,
Would you be able to share your working config?

Do you enter the config directly into the phone or use the 46xxsettings method?

Thanks